CN115881065B - 一种智能钢琴录音系统及方法 - Google Patents
一种智能钢琴录音系统及方法 Download PDFInfo
- Publication number
- CN115881065B CN115881065B CN202211508809.6A CN202211508809A CN115881065B CN 115881065 B CN115881065 B CN 115881065B CN 202211508809 A CN202211508809 A CN 202211508809A CN 115881065 B CN115881065 B CN 115881065B
- Authority
- CN
- China
- Prior art keywords
- information
- playing
- note
- acquiring
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明提供一种智能钢琴录音系统及方法,其中,系统包括:第一获取模块,用于获取弹奏者弹奏智能钢琴的弹奏信息;第二获取模块,用于获取目标乐谱信息;确定模块,用于基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;录音模块,用于若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储。本发明的智能钢琴录音系统及方法,引入弹奏信息和目标乐谱信息,确定弹奏者弹奏音乐的表现值,智能识别弹奏表现值高的弹奏音乐并进行录制,无需弹奏者人为进行录音,更加便捷,也更智能。
Description
技术领域
本发明涉及乐器技术领域,特别涉及一种智能钢琴录音系统及方法。
背景技术
弹奏者在弹奏钢琴时会出现想记录下自己的弹奏音乐的情形,一般的,录制弹奏音乐需要人工设置录音设备或者人工选择录音模式,不够便捷,同时,弹奏者想要记录自己表现好的弹奏音乐时,会出现由于弹奏经验不足需要反复弹奏的情况,反复进行录音设置十分繁琐,且每次都对弹奏者的弹奏音乐进行录制占用系统内存大,还需要人工确定演奏表现好的演奏音乐,不够智能。
因此,亟需一种解决办法。
发明内容
本发明目的之一在于提供了一种智能钢琴录音系统,引入弹奏信息和目标乐谱信息,确定弹奏者弹奏音乐的表现值,智能识别弹奏表现值高的弹奏音乐并进行录制,无需弹奏者人为进行录音,更加便捷,也更智能。
本发明实施例提供的一种智能钢琴录音系统,包括:
第一获取模块,用于获取弹奏者弹奏智能钢琴的弹奏信息;
第二获取模块,用于获取目标乐谱信息;
确定模块,用于基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
录音模块,用于若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储。
优选的,所述第一获取模块获取弹奏者弹奏智能钢琴的弹奏信息,包括:
获取弹奏者在实体智能钢琴输入的弹奏信息;
和/或,
获取弹奏者在智能钢琴对应的弹奏app端输入的弹奏信息。
优选的,所述第二获取模块获取目标乐谱信息,包括:
获取预设的音乐特征提取模板;
对弹奏信息进行特征提取,获得多个弹奏特征值,基于弹奏特征值,构建第一参考向量;
对预设的乐谱信息库中每一乐谱的乐谱信息进行特征提取,获得多个乐谱特征值,基于乐谱特征值,构建第二参考向量;
计算第一参考向量和每一第二参考向量的向量夹角;
将向量夹角最小的对应第二参考向量作为第三参考向量;
获取第三参考向量对应的乐谱信息,并作为目标乐谱信息。
优选的,所述确定模块基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值,包括:
解析弹奏信息,获得多个第一音符信息,所述第一音符信息包括:第一音符记录和第一音符记录对应的第一弹奏时刻;
获取预设的时间轴;
基于第一弹奏时刻,将第一音符记录在所述时间轴上展开,获得多个第二音符记录;
解析目标乐谱信息,获得多个第三音符记录和第二弹奏时刻;
将第一弹奏时刻和第二弹奏时刻进行时间对齐,对齐后,计算弹奏信息和目标乐谱信息的重合度,并作为表现值;
解析弹奏信息,获得多个第一音符信息,包括:
获取对应于第一音符信息的连续响度时间序列;
基于连续响度时间序列,确定第一音符信息对应的频域信息;
基于MFCC算法,根据频域信息,计算倒谱参数;
获取预设的参数特征提取模板;
基于参数特征提取模板,对倒谱参数进行参数特征提取,获得第一音符参数特征;
获取预设的音符特征参数判定库中的多个第二音符参数特征;
将第一音符参数特征和每一第二音符参数特征进行匹配,确定音符相似度;
将音符相似度最大的对应第二音符参数特征作为第三音符参数特征;
确定音符特征判定库中的第三音符参数特征对应的音符;
当所有第一音符参数特征匹配完成后,整合确定的音符和音符对应的第一弹奏时刻,并作为第一音符信息;
所述将第一弹奏时刻和第二弹奏时刻进行时间对齐,包括:
确定最早的第一弹奏时刻为第二弹奏时刻的起始时刻,根据第二弹奏时刻,将第三音符记录在时间轴上展开,完成时间对齐。
优选的,所述确定模块计算弹奏信息和乐谱信息的重合度,包括:
获取第一弹奏时刻对应对齐的第二弹奏时刻,并作为第三弹奏时刻;
计算第一弹奏时刻与对应第三弹奏时刻的时间偏离距离;
累加计算每一时间偏离距离,获得节奏偏离值;
获取第三弹奏时刻对应的第三音符记录,并作为第四音符记录;
基于第一音符记录和对应第四音符记录,确定音调匹配值;
累加计算每一音调匹配值,获得音调匹配度;
基于节奏偏离值和音调匹配度,确定重合度。
优选的,智能钢琴录音系统,还包括:
提醒模块,用于当弹奏者弹奏表现不佳时,对弹奏者进行相应提醒;
所述提醒模块执行如下操作:
获取时间偏离距离对应的节奏偏离信息;
获取音调匹配值对应的音调偏离信息;
基于预设的提醒信息生成模板,根据节奏偏离信息和音调偏离信息,生成提醒信息;
基于预设的提醒信息展示规则,根据提醒信息,对相应弹奏者进行提醒。
优选的,所述录音模块若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储,包括:
若表现值大于预设的表现值阈值,基于预设的录音提醒规则,对弹奏者进行录音提醒;
录音提醒完成后,获取弹奏者的确认信息;
解析确认信息,获得确认状态,所述确认状态包括:确认录音和取消录音;
若确认状态为确认录音,基于预设的格式转换规则,对相应弹奏信息进行格式转换,获得音乐数据;
将音乐数据存储到音乐数据对应音乐格式预设的存储子单元中。
优选的,智能钢琴录音系统,还包括:
扩展模块,用于扩展录音文件的存储空间;
所述扩展录音文件的存储空间,包括:
获取可扩展的第一存储单元的扩展接口的第一接口类型和第一接口协议;
获取扩展设备接入扩展接口的接入接口的第二接口类型和第二接口协议;
判断第二接口类型是否与第一接口类型预设的接入接口类型一致;
若是,判断第一接口协议与第二接口协议是否一致;
若一致,则完成存储空间的扩展。
优选的,智能钢琴录音系统,还包括:
回放模块,用于回放历史存储的录音文件;
所述回放历史存储的录音文件,包括:
获取至少一个回放指令;
解析回放指令,确定回放指令对应的搜索地址;
获取预设的第二存储单元的多个存储地址;
判断搜索地址是否与任一存储地址一致,若一致,确定相应存储地址的第二存储单元内存储的录音文件,并作为回放文件;
基于预设的回放规则,根据回放文件,进行录音回放。
本发明实施例提供的一种智能钢琴录音方法,包括:
步骤1:获取弹奏者弹奏智能钢琴的弹奏信息;
步骤2:获取目标乐谱信息;
步骤3:基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
步骤4:若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种智能钢琴录音系统的示意图;
图2为本发明实施例中一种智能钢琴录音方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种智能钢琴录音系统,如图1所示,包括:
第一获取模块1,用于获取弹奏者弹奏智能钢琴的弹奏信息;
第二获取模块2,用于获取目标乐谱信息;
确定模块3,用于基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
录音模块4,用于若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储。
上述技术方案的工作原理及有益效果为:
弹奏信息为:弹奏者弹奏智能钢琴发出的旋律信息,包括:何时发出何种旋律。目标乐谱信息为:弹奏者弹奏音乐对应乐曲的乐谱信息。基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;一般的,评价弹奏的音乐的标准为:弹奏的节奏是否合拍、弹奏的音准是否准确,节奏越合拍、音准越高,表现值越高。如果表现值大于预设的表现值阈值(例如:90),说明弹奏者表现好。弹奏时,会出现弹奏者弹奏音乐表现好,但是忘记录制弹奏音乐的情况,因此,引入智能钢琴录音系统自动识别弹奏表现好的弹奏音乐进行录音存储。另外,人工也可以手动设置录音模式。
本申请引入弹奏信息和目标乐谱信息,确定弹奏者弹奏音乐的表现值,智能识别弹奏表现值高的弹奏音乐并进行录制,无需弹奏者人为进行录音,更加便捷,也更智能。
在一个实施例中,所述第一获取模块获取弹奏者弹奏智能钢琴的弹奏信息,包括:
获取弹奏者在实体智能钢琴输入的弹奏信息;
和/或,
获取弹奏者在智能钢琴对应的弹奏app端输入的弹奏信息。
上述技术方案的工作原理及有益效果为:
获取弹奏信息的方式有两种。第一种,获取弹奏者在实体智能钢琴输入的弹奏信息;弹奏者弹奏实体钢琴时,手指会敲击琴键产生声音信号,解析声音信号获得弹奏者的弹奏信息;第二种,获取弹奏者在智能钢琴对应的弹奏app端输入的弹奏信息;弹奏者除了可以在实体智能钢琴弹奏之外,还可以登录智能钢琴对应的弹奏app,在弹奏app对应的虚拟钢琴界面进行演奏。弹奏者敲击虚拟琴键时,基于物联网技术,智能钢琴录音系统与上述弹奏app端的设备节点网络对接获取产生的声音信号,解析声音信号获得弹奏者的弹奏信息,物联网技术属于现有技术,不作赘述。
本申请引入两种方式获取弹奏信息,提高了弹奏信息获取的全面性。
在一个实施例中,所述第二获取模块获取目标乐谱信息,包括:
获取预设的音乐特征提取模板;
对弹奏信息进行特征提取,获得多个弹奏特征值,基于弹奏特征值,构建第一参考向量;
对预设的乐谱信息库中每一乐谱的乐谱信息进行特征提取,获得多个乐谱特征值,基于乐谱特征值,构建第二参考向量;
计算第一参考向量和每一第二参考向量的向量夹角;
将向量夹角最小的对应第二参考向量作为第三参考向量;
获取第三参考向量对应的乐谱信息,并作为目标乐谱信息。
上述技术方案的工作原理及有益效果为:
预设的音乐特征提取模板为:预先设置用于提取声音信息音乐特征的模板。基于上述音乐特征提取模板,提取弹奏信息的弹奏特征值(例如:何种弹奏何种音调)。基于弹奏特征值,构建第一参考向量;基于特征值构建向量属于现有技术,不作赘述。基于上述相同的技术手段,构建乐谱信息对应的第二参考向量。计算第一参考向量和每个第二参考向量的向量夹角;向量夹角越小,说明弹奏信息和乐谱信息越相似,基于两向量计算向量夹角属于现有技术,不作赘述。确定向量夹角最小的对应第二参考向量作为第三参考向量,并将第三参考向量对应的乐谱信息作为目标乐谱信息。
本申请引入音乐特征提取模板对弹奏信息进行特征提取,提高了弹奏特征值获取的准确性;引入向量夹角,基于向量夹角确定乐谱信息库中的目标乐谱信息,更加合理。
在一个实施例中,所述确定模块基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值,包括:
解析弹奏信息,获得多个第一音符信息,所述第一音符信息包括:第一音符记录和第一音符记录对应的第一弹奏时刻;
获取预设的时间轴;
基于第一弹奏时刻,将第一音符记录在所述时间轴上展开,获得多个第二音符记录;
解析目标乐谱信息,获得多个第三音符记录和第二弹奏时刻;
将第一弹奏时刻和第二弹奏时刻进行时间对齐,对齐后,计算弹奏信息和目标乐谱信息的重合度,并作为表现值;
解析弹奏信息,获得多个第一音符信息,包括:
获取对应于第一音符信息的连续响度时间序列;
基于连续响度时间序列,确定第一音符信息对应的频域信息;
基于MFCC算法,根据频域信息,计算倒谱参数;
获取预设的参数特征提取模板;
基于参数特征提取模板,对倒谱参数进行参数特征提取,获得第一音符参数特征;
获取预设的音符特征参数判定库中的多个第二音符参数特征;
将第一音符参数特征和每一第二音符参数特征进行匹配,确定音符相似度;
将音符相似度最大的对应第二音符参数特征作为第三音符参数特征;
确定音符特征判定库中的第三音符参数特征对应的音符;
当所有第一音符参数特征匹配完成后,整合确定的音符和音符对应的第一弹奏时刻,并作为第一音符信息;
所述将第一弹奏时刻和第二弹奏时刻进行时间对齐,包括:
确定最早的第一弹奏时刻为第二弹奏时刻的起始时刻,根据第二弹奏时刻,将第三音符记录在时间轴上展开,完成时间对齐。
上述技术方案的工作原理及有益效果为:
连续响度时间序列为:何种时刻发出何种响度的声音。基于连续响度时间序列,确定第一音符信息对应的频域信息;确定时,可以对连续响度时间序列进行快速傅里叶变换,对时间序列进行快速傅里叶变换获得频域信息属于现有技术,不作赘述。基于MFCC算法,根据频域信息,计算倒谱参数,倒谱参数的计算公式如下:
其中,Mel(f)为倒谱参数,f为频率,lg(…)为对(…)取以10为底的对数;
预设的参数特征提取模板为:预先设置的用于提取参数特征的模板,通过参数特征模板提取计算获得的倒谱参数的第一参数特征。预设的音符特征参数判定库中包括:多个一一对应的音符和第二音符参数特征。将第一音符参数特征和音符特征参数判定库中的每一第二音符参数特征匹配,确定匹配获得的音符相似度(音符相似度越大,第二音符参数特征对应的音符越可能是第一音符参数特征对应的音符)。确定音符相似度最大的第二音符参数特征作为第三音符参数特征,获取第三音符参数特征对应的音符,将所有确定得到的音符和音符对应的第一弹奏时刻进行整合,获得第一音符信息。
解析第一音符信息获得第一音符记录和第一音符记录对应的第一弹奏时刻,第一音符记录包含记录时刻的音调信息等,第一弹奏时刻为:上述音调信息对应的弹奏时间。将第一音符记录按照第一弹奏时刻在时间轴上展开,获得依照时间顺序排列的第二音符记录。解析目标乐谱信息中的第三音符记录和第二弹奏时刻,第三音符记录为在第二弹奏时刻应该弹奏的音符。
接着,确定最早的第一弹奏时刻和最早的第二弹奏时刻一致,在将第三音符记录按照第二弹奏时刻展开,完成时间对齐,对齐后,计算弹奏信息和目标乐谱信息的重合度,并作为表现值,重合度包括演奏节奏的重合程度和演奏音符的重合程度,表现值越高,对应演奏曲目的演奏表现越好。
本申请引入时间轴,将弹奏信息和乐谱信息在时间轴上对应展开计算弹奏信息和乐谱信息的重合度,提高了重合度获取的合理性。
在一个实施例中,所述确定模块计算弹奏信息和乐谱信息的重合度,包括:
获取第一弹奏时刻对应对齐的第二弹奏时刻,并作为第三弹奏时刻;
计算第一弹奏时刻与对应第三弹奏时刻的时间偏离距离;
累加计算每一时间偏离距离,获得节奏偏离值;
获取第三弹奏时刻对应的第三音符记录,并作为第四音符记录;
基于第一音符记录和对应第四音符记录,确定音调匹配值;
累加计算每一音调匹配值,获得音调匹配度;
基于节奏偏离值和音调匹配度,确定重合度。
上述技术方案的工作原理及有益效果为:
计算第一弹奏时刻与对应第三弹奏时刻的时间偏离距离,时间偏离距离越大,说明演奏者的演奏节奏越不准确,当第一弹奏时刻在对应第三弹奏时刻之前,说明演奏者抢拍,当第一弹奏时刻在对应第三弹奏时刻之后,说明演奏者拖拍。将每一时间偏离距离进行求和计算,获得节奏偏离值。确定第三弹奏时刻对应的第三音符记录为第四音符记录。基于第一音符记录和第一音符记录对应的第四音符记录,确定音调匹配值(音调越接近,音调匹配值)。基于节奏偏离值和音调匹配度,确定重合度(重合度越高,演奏表现力越好)。
本申请进行弹奏时间的对齐,对齐后,分别确定弹奏时间的节奏偏离值和音调匹配值,基于节奏偏离值和音调匹配值确定重合度,提高了重合度确定的合理性。
在一个实施例中,所述智能钢琴录音系统,还包括:
提醒模块,用于当弹奏者弹奏表现不佳时,对弹奏者进行相应提醒;
所述提醒模块执行如下操作:
获取时间偏离距离对应的节奏偏离信息;
获取音调匹配值对应的音调偏离信息;
基于预设的提醒信息生成模板,根据节奏偏离信息和音调偏离信息,生成提醒信息;
基于预设的提醒信息展示规则,根据提醒信息,对相应弹奏者进行提醒。
上述技术方案的工作原理及有益效果为:
获取时间偏离距离对应的节奏偏离信息(例如:节奏偏快和节奏偏慢)。获取音调匹配值对应的音调偏离信息(例如:音调偏高和音调偏低)。基于预设的提醒信息生成模板,根据节奏偏离信息和音调偏离信息,生成提醒信息;预设的提醒信息生成模板为:为演奏音乐生成提醒消息的模板,提醒信息为,例如:“您的演奏节奏偏快,请您减慢节奏”。基于预设的提醒信息展示规则,例如:在智能钢琴预设位置处的LED显示屏上展示提醒信息,对相应弹奏者进行提醒。
本申请引入提醒信息生成模板,根据节奏偏离信息和音调偏离信息生成提醒信息,提高了提醒信息获取的规范性;引入提醒信息展示规则,向弹奏者展示提醒信息,更加人性化。
在一个实施例中,所述录音模块若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储,包括:
若表现值大于预设的表现值阈值,基于预设的录音提醒规则,对弹奏者进行录音提醒;
录音提醒完成后,获取弹奏者的确认信息;
解析确认信息,获得确认状态,所述确认状态包括:确认录音和取消录音;
若确认状态为确认录音,基于预设的格式转换规则,对相应弹奏信息进行格式转换,获得音乐数据;
将音乐数据存储到音乐数据对应音乐格式预设的存储子单元中。
上述技术方案的工作原理及有益效果为:
一般的,演奏者演奏音乐时,存在即性演奏的情况。即兴演奏时,演奏开始时演奏者不知道演奏表现如何,可能不会录音,存在表现情况较好但是忘记记录演奏曲目的情形,因此,亟需进行解决。
如果表现值大于预设的表现值阈值,说明演奏者表现情况好,触发录音提醒,表现值阈值由人工预先设置。基于预设的录音提醒规则,对弹奏者进行录音提醒;预设的录音提醒规则:以何种提醒方式对弹奏者进行何种提醒,例如:通过安装在智能钢琴内部的扬声器播放提醒语音,播放的录音提醒为:您的弹奏表现不错,已经为您预录制,请问需要录制整首演奏音乐吗?录音提醒完成后,获取弹奏者的确认信息,例如:弹奏者点击触控显示面板上的确认按钮,确定录音。解析确认信息,获得确认状态,确认状态包括:确认录音和取消录音。若确认状态为确认录音,基于预设的格式转换规则,(例如:将录制声音转换为mp3音频格式),对相应弹奏信息进行格式转换,获得音乐数据(例如:mp3格式的录音文件),将音乐数据存储到音乐数据对应音乐格式预设的存储子单元中(例如:搜索mp3格式文件对应的存储地址并存储相应录音文件)。
本申请引入录音提醒规则,当演奏音乐表现好时,对弹奏者进行录音提醒,避免了演奏者演奏音乐表现比较好时忘记录制的情形,同时,不是盲目录音,减少了系统资源的占用。
在一个实施例中,所述智能钢琴录音系统,包括:
扩展模块,用于扩展录音文件的存储空间;
所述扩展录音文件的存储空间,包括:
获取可扩展的第一存储单元的扩展接口的第一接口类型和第一接口协议;
获取扩展设备接入扩展接口的接入接口的第二接口类型和第二接口协议;
判断第二接口类型是否与第一接口类型预设的接入接口类型一致;
若是,判断第一接口协议与第二接口协议是否一致;
若一致,则完成存储空间的扩展。
上述技术方案的工作原理及有益效果为:
由于不同用户的录音存储需求不同,固定容量的存储空间不能满足所有用户的需求,因此,亟需一种解决办法;
获取可扩展的第一存储单元的扩展接口的第一接口类型(例如:USB接口)和第一接口协议(例如:USB2.0)。获取扩展设备接入第一存储单元时,扩展设备的接入接口的第二接口类型(例如:USB接口)和第二接口协议(例如:USB2.0)。如果接口类型和接口协议都一致,那么允许扩展存储空间,完成存储空间的扩展。
本申请引入扩展设备进行存储空间的扩展,提升了存储空间的容量;根据接口类型和接口协议,判断是否允许扩展,提高了空间扩展的合理性。
在一个实施例中,所述智能钢琴录音系统,还包括:
回放模块,用于回放历史存储的录音文件;
所述回放历史存储的录音文件,包括:
获取至少一个回放指令;
解析回放指令,确定回放指令对应的搜索地址;
获取预设的第二存储单元的多个存储地址;
判断搜索地址是否与任一存储地址一致,若一致,确定相应存储地址的第二存储单元内存储的录音文件,并作为回放文件;
基于预设的回放规则,根据回放文件,进行录音回放。
上述技术方案的工作原理及有益效果为:
获取回放指令,例如:回放地址为xxx的录音文件。解析回放指令,确定回放指令对应的搜索地址,例如:xxx,获取预设的第二存储单元的第二地址编号(例如:xxx、xxxx等),预设的第二存储单元为:智能钢琴内部的所有存储单元。如果搜索地址与任一存储地址相同,则对应存储地址的第二存储单元内存储的录音文件为回放文件。预设的回放规则为:以何种播放设备、何种音量大小进行回放的规则,例如:通过钢琴上预先设置的扬声器播放,音量为30(最高音量为100),基于上述回放规则,回放上述回放文件。
本申请根据解析的回放指令确定回放文件,提高了回放文件查找的合理性;引入回放规则,回放录音文件,提高了回放的适宜。
在一个实施例中,所述智能钢琴录音系统,还包括:
互动模块,用于当智能钢琴进行录音时,获取弹奏者的互动需求信息;
基于互动需求信息,确定目标互动方案进行相应互动;
所述基于互动需求信息,确定目标互动方案进行相应互动,包括:
基于预设的需求特征提取模板,对互动需求信息进行特征提取,获得互动需求特征;
获取预设的互动方案库,所述互动方案库包括:多个一一对应的触发互动需求特征集和互动方案;
将互动需求特征与每一触发互动需求特征集中的触发需求特征进行匹配,确定匹配符合的互动方案,并作为目标互动方案,基于目标互动方案进行相应互动。
上述技术方案的工作原理及有益效果为:
当智能钢琴进行录音时,还可以获取弹奏者的互动需求信息(例如:想要xx声音效果的弹奏录音)。基于互动需求信息,确定目标互动方案进行相应互动(例如:为录音增加xx声音效果),确定目标互动方案的具体步骤如下:
基于预设的需求特征提取模板,对互动需求信息进行特征提取,获得互动需求特征;预设的需求特征提取模板为:预先设置的用于提取用户需求特征的模板,互动需求特征为,例如:录音环境太吵闹,又例如:需要安静的录音环境。将互动需求特征与预设的互动方案库中每一触发互动需求特征集对应的触发需求特征进行匹配,确定匹配符合的互动方案为目标互动方案;预设的互动方案库包括:多组一一对应的触发互动需求特征集和互动方案,触发互动需求特征集为:能够触发互动方案的互动需求特征的集合,互动方案为:通过何种互动方式达到弹奏者的互动需求,互动方案由音乐领域的专家制定,目标互动方案为,例如:对录音进行降噪处理降低环境音效。
本申请引入互动方案库,根据弹奏者的互动需求信息在智能钢琴进行录音时确定目标互动方案并进行互动,提高了互动的适宜性,同时,也更加人性化。
本发明实施例提供了一种智能钢琴录音方法,如图2所示,包括:
步骤1:获取弹奏者弹奏智能钢琴的弹奏信息;
步骤2:获取目标乐谱信息;
步骤3:基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
步骤4:若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种智能钢琴录音系统,其特征在于,包括:
第一获取模块,用于获取弹奏者弹奏智能钢琴的弹奏信息;
第二获取模块,用于获取目标乐谱信息;
确定模块,用于基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
录音模块,用于若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储;
其中,所述第二获取模块获取目标乐谱信息,包括:
获取预设的音乐特征提取模板;
对弹奏信息进行特征提取,获得多个弹奏特征值,基于弹奏特征值,构建第一参考向量;
对预设的乐谱信息库中每一乐谱的乐谱信息进行特征提取,获得多个乐谱特征值,基于乐谱特征值,构建第二参考向量;
计算第一参考向量和每一第二参考向量的向量夹角;
将向量夹角最小的对应第二参考向量作为第三参考向量;
获取第三参考向量对应的乐谱信息,并作为目标乐谱信息;
其中,所述确定模块基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值,包括:
解析弹奏信息,获得多个第一音符信息,所述第一音符信息包括:第一音符记录和第一音符记录对应的第一弹奏时刻;
获取预设的时间轴;
基于第一弹奏时刻,将第一音符记录在所述时间轴上展开,获得多个第二音符记录;
解析目标乐谱信息,获得多个第三音符记录和第二弹奏时刻;
将第一弹奏时刻和第二弹奏时刻进行时间对齐,对齐后,计算弹奏信息和目标乐谱信息的重合度,并作为表现值;
其中,解析弹奏信息,获得多个第一音符信息,包括:
获取对应于第一音符信息的连续响度时间序列;
基于连续响度时间序列,确定第一音符信息对应的频域信息;
基于MFCC算法,根据频域信息,计算倒谱参数,倒谱参数的计算公式如下:
其中,Mel(f)为倒谱参数,f为频率,lg(…)为对(…)取以10为底的对数;
获取预设的参数特征提取模板;
基于参数特征提取模板,对倒谱参数进行参数特征提取,获得第一音符参数特征;
获取预设的音符特征参数判定库中的多个第二音符参数特征;
将第一音符参数特征和每一第二音符参数特征进行匹配,确定音符相似度;
将音符相似度最大的对应第二音符参数特征作为第三音符参数特征;
确定音符特征判定库中的第三音符参数特征对应的音符;
当所有第一音符参数特征匹配完成后,整合确定的音符和音符对应的第一弹奏时刻,并作为第一音符信息;
其中,所述将第一弹奏时刻和第二弹奏时刻进行时间对齐,包括:
确定最早的第一弹奏时刻为第二弹奏时刻的起始时刻,根据第二弹奏时刻,将第三音符记录在时间轴上展开,完成时间对齐;
其中,所述确定模块计算弹奏信息和目标乐谱信息的重合度,包括:
获取第一弹奏时刻对应对齐的第二弹奏时刻,并作为第三弹奏时刻;
计算第一弹奏时刻与对应第三弹奏时刻的时间偏离距离;
累加计算每一时间偏离距离,获得节奏偏离值;
获取第三弹奏时刻对应的第三音符记录,并作为第四音符记录;
基于第一音符记录和对应第四音符记录,确定音调匹配值;
累加计算每一音调匹配值,获得音调匹配度;
基于节奏偏离值和音调匹配度,确定重合度;
其中,一种智能钢琴录音系统,还包括:
提醒模块,用于当弹奏者弹奏表现不佳时,对弹奏者进行相应提醒;
所述提醒模块执行如下操作:
获取时间偏离距离对应的节奏偏离信息;
获取音调匹配值对应的音调偏离信息;
基于预设的提醒信息生成模板,根据节奏偏离信息和音调偏离信息,生成提醒信息;
基于预设的提醒信息展示规则,根据提醒信息,对相应弹奏者进行提醒;
其中,所述录音模块若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储,包括:
若表现值大于预设的表现值阈值,基于预设的录音提醒规则,对弹奏者进行录音提醒;
录音提醒完成后,获取弹奏者的确认信息;
解析确认信息,获得确认状态,所述确认状态包括:确认录音和取消录音;
若确认状态为确认录音,基于预设的格式转换规则,对相应弹奏信息进行格式转换,获得音乐数据;
将音乐数据存储到音乐数据对应音乐格式预设的存储子单元中;
其中,一种智能钢琴录音系统,还包括:
互动模块,用于当智能钢琴进行录音时,获取弹奏者的互动需求信息;
基于互动需求信息,确定目标互动方案进行相应互动;
所述基于互动需求信息,确定目标互动方案进行相应互动,包括:
基于预设的需求特征提取模板,对互动需求信息进行特征提取,获得互动需求特征;
获取预设的互动方案库,所述互动方案库包括:多个一一对应的触发互动需求特征集和互动方案;
将互动需求特征与每一触发互动需求特征集中的触发需求特征进行匹配,确定匹配符合的互动方案,并作为目标互动方案,基于目标互动方案进行相应互动。
2.如权利要求1所述的一种智能钢琴录音系统,其特征在于,所述第一获取模块获取弹奏者弹奏智能钢琴的弹奏信息,包括:
获取弹奏者在实体智能钢琴输入的弹奏信息;
和/或,
获取弹奏者在智能钢琴对应的弹奏app端输入的弹奏信息。
3.如权利要求1所述的一种智能钢琴录音系统,其特征在于,还包括:
扩展模块,用于扩展录音文件的存储空间;
所述扩展录音文件的存储空间,包括:
获取可扩展的第一存储单元的扩展接口的第一接口类型和第一接口协议;
获取扩展设备接入扩展接口的接入接口的第二接口类型和第二接口协议;
判断第二接口类型是否与第一接口类型预设的接入接口类型一致;
若是,判断第一接口协议与第二接口协议是否一致;
若一致,则完成存储空间的扩展。
4.如权利要求1所述的一种智能钢琴录音系统,其特征在于,还包括:
回放模块,用于回放历史存储的录音文件;
所述回放历史存储的录音文件,包括:
获取至少一个回放指令;
解析回放指令,确定回放指令对应的搜索地址;
获取预设的第二存储单元的多个存储地址;
判断搜索地址是否与任一存储地址一致,若一致,确定相应存储地址的第二存储单元内存储的录音文件,并作为回放文件;
基于预设的回放规则,根据回放文件,进行录音回放。
5.一种智能钢琴录音方法,其特征在于,包括:
步骤1:获取弹奏者弹奏智能钢琴的弹奏信息;
步骤2:获取目标乐谱信息;
步骤3:基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值;
步骤4:若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储;
其中,所述步骤2:获取目标乐谱信息,包括:
获取预设的音乐特征提取模板;
对弹奏信息进行特征提取,获得多个弹奏特征值,基于弹奏特征值,构建第一参考向量;
对预设的乐谱信息库中每一乐谱的乐谱信息进行特征提取,获得多个乐谱特征值,基于乐谱特征值,构建第二参考向量;
计算第一参考向量和每一第二参考向量的向量夹角;
将向量夹角最小的对应第二参考向量作为第三参考向量;
获取第三参考向量对应的乐谱信息,并作为目标乐谱信息;
其中,所述步骤3:基于弹奏信息和目标乐谱信息,确定弹奏音乐的表现值,包括:
解析弹奏信息,获得多个第一音符信息,所述第一音符信息包括:第一音符记录和第一音符记录对应的第一弹奏时刻;
获取预设的时间轴;
基于第一弹奏时刻,将第一音符记录在所述时间轴上展开,获得多个第二音符记录;
解析目标乐谱信息,获得多个第三音符记录和第二弹奏时刻;
将第一弹奏时刻和第二弹奏时刻进行时间对齐,对齐后,计算弹奏信息和目标乐谱信息的重合度,并作为表现值;
其中,解析弹奏信息,获得多个第一音符信息,包括:
获取对应于第一音符信息的连续响度时间序列;
基于连续响度时间序列,确定第一音符信息对应的频域信息;
基于MFCC算法,根据频域信息,计算倒谱参数,倒谱参数的计算公式如下:
其中,Mel(f)为倒谱参数,f为频率,lg(…)为对(…)取以10为底的对数;
获取预设的参数特征提取模板;
基于参数特征提取模板,对倒谱参数进行参数特征提取,获得第一音符参数特征;
获取预设的音符特征参数判定库中的多个第二音符参数特征;
将第一音符参数特征和每一第二音符参数特征进行匹配,确定音符相似度;
将音符相似度最大的对应第二音符参数特征作为第三音符参数特征;
确定音符特征判定库中的第三音符参数特征对应的音符;
当所有第一音符参数特征匹配完成后,整合确定的音符和音符对应的第一弹奏时刻,并作为第一音符信息;
其中,所述将第一弹奏时刻和第二弹奏时刻进行时间对齐,包括:
确定最早的第一弹奏时刻为第二弹奏时刻的起始时刻,根据第二弹奏时刻,将第三音符记录在时间轴上展开,完成时间对齐;
其中,所述计算弹奏信息和目标乐谱信息的重合度,包括:
获取第一弹奏时刻对应对齐的第二弹奏时刻,并作为第三弹奏时刻;
计算第一弹奏时刻与对应第三弹奏时刻的时间偏离距离;
累加计算每一时间偏离距离,获得节奏偏离值;
获取第三弹奏时刻对应的第三音符记录,并作为第四音符记录;
基于第一音符记录和对应第四音符记录,确定音调匹配值;
累加计算每一音调匹配值,获得音调匹配度;
基于节奏偏离值和音调匹配度,确定重合度;
其中,一种智能钢琴录音方法,还包括:
步骤5:当弹奏者弹奏表现不佳时,对弹奏者进行相应提醒;
所述步骤5:当弹奏者弹奏表现不佳时,对弹奏者进行相应提醒,包括:
获取时间偏离距离对应的节奏偏离信息;
获取音调匹配值对应的音调偏离信息;
基于预设的提醒信息生成模板,根据节奏偏离信息和音调偏离信息,生成提醒信息;
基于预设的提醒信息展示规则,根据提醒信息,对相应弹奏者进行提醒;
其中,所述步骤4:若表现值大于预设的表现值阈值,获取对应弹奏音乐的音乐数据进行录音存储,包括:
若表现值大于预设的表现值阈值,基于预设的录音提醒规则,对弹奏者进行录音提醒;
录音提醒完成后,获取弹奏者的确认信息;
解析确认信息,获得确认状态,所述确认状态包括:确认录音和取消录音;
若确认状态为确认录音,基于预设的格式转换规则,对相应弹奏信息进行格式转换,获得音乐数据;
将音乐数据存储到音乐数据对应音乐格式预设的存储子单元中;
其中,一种智能钢琴录音方法,还包括:
步骤6:当智能钢琴进行录音时,获取弹奏者的互动需求信息;
基于互动需求信息,确定目标互动方案进行相应互动;
所述基于互动需求信息,确定目标互动方案进行相应互动,包括:
基于预设的需求特征提取模板,对互动需求信息进行特征提取,获得互动需求特征;
获取预设的互动方案库,所述互动方案库包括:多个一一对应的触发互动需求特征集和互动方案;
将互动需求特征与每一触发互动需求特征集中的触发需求特征进行匹配,确定匹配符合的互动方案,并作为目标互动方案,基于目标互动方案进行相应互动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211508809.6A CN115881065B (zh) | 2022-11-29 | 2022-11-29 | 一种智能钢琴录音系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211508809.6A CN115881065B (zh) | 2022-11-29 | 2022-11-29 | 一种智能钢琴录音系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115881065A CN115881065A (zh) | 2023-03-31 |
CN115881065B true CN115881065B (zh) | 2023-08-18 |
Family
ID=85764516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211508809.6A Active CN115881065B (zh) | 2022-11-29 | 2022-11-29 | 一种智能钢琴录音系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115881065B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
JP5346114B1 (ja) * | 2012-07-27 | 2013-11-20 | 美佳 増田 | 音楽表現力の教育装置及び方法並びに音楽演奏評価装置 |
CN205541916U (zh) * | 2016-04-14 | 2016-08-31 | 安徽克洛斯威智能乐器科技有限公司 | 一种具有提示键位与评分录音功能的智能钢琴系统 |
CN106935236A (zh) * | 2017-02-14 | 2017-07-07 | 复旦大学 | 一种钢琴演奏评估方法及系统 |
CN107978303A (zh) * | 2016-10-11 | 2018-05-01 | 森兰信息科技(上海)有限公司 | 智能钢琴的智能检测和反馈系统 |
CN111554256A (zh) * | 2020-04-21 | 2020-08-18 | 华南理工大学 | 一种基于强弱标准的钢琴视奏能力评价系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017121049A1 (en) * | 2016-01-15 | 2017-07-20 | Findpiano Information Technology (Shanghai) Co., Ltd. | Piano system and operating method thereof |
-
2022
- 2022-11-29 CN CN202211508809.6A patent/CN115881065B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5346114B1 (ja) * | 2012-07-27 | 2013-11-20 | 美佳 増田 | 音楽表現力の教育装置及び方法並びに音楽演奏評価装置 |
CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
CN205541916U (zh) * | 2016-04-14 | 2016-08-31 | 安徽克洛斯威智能乐器科技有限公司 | 一种具有提示键位与评分录音功能的智能钢琴系统 |
CN107978303A (zh) * | 2016-10-11 | 2018-05-01 | 森兰信息科技(上海)有限公司 | 智能钢琴的智能检测和反馈系统 |
CN106935236A (zh) * | 2017-02-14 | 2017-07-07 | 复旦大学 | 一种钢琴演奏评估方法及系统 |
CN111554256A (zh) * | 2020-04-21 | 2020-08-18 | 华南理工大学 | 一种基于强弱标准的钢琴视奏能力评价系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115881065A (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101452696B (zh) | 信号处理装置、信号处理方法和程序 | |
JP6011565B2 (ja) | 音声検索装置、音声検索方法及びプログラム | |
CN109920449B (zh) | 节拍分析方法、音频处理方法及装置、设备、介质 | |
US20230402026A1 (en) | Audio processing method and apparatus, and device and medium | |
CN103823867A (zh) | 一种基于音符建模的哼唱式音乐检索方法及系统 | |
CN111199732B (zh) | 一种基于情感的语音交互方法、存储介质及终端设备 | |
CN110377782B (zh) | 音频检索方法、装置和存储介质 | |
CN104900231B (zh) | 语音检索装置以及语音检索方法 | |
CN109346043B (zh) | 一种基于生成对抗网络的音乐生成方法及装置 | |
CN107680614B (zh) | 音频信号处理方法、装置和存储介质 | |
CN110718239A (zh) | 音频处理方法、装置、电子设备及存储介质 | |
CN110010159A (zh) | 声音相似度确定方法及装置 | |
JP2003099462A (ja) | 楽曲検索装置 | |
CN111399745A (zh) | 音乐播放方法、音乐播放界面生成方法及相关产品 | |
CN115881065B (zh) | 一种智能钢琴录音系统及方法 | |
CN109756628A (zh) | 一种功能按键音效的播放方法、装置及电子设备 | |
JP2004086001A (ja) | 会話処理装置、および会話処理方法、並びにコンピュータ・プログラム | |
KR101813704B1 (ko) | 사용자 음색 분석 장치 및 음색 분석 방법 | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
CN105575400A (zh) | 一种获取歌曲信息的方法、终端、服务器和系统 | |
CN105895079A (zh) | 语音数据的处理方法和装置 | |
CN108010518B (zh) | 一种语音交互设备的语音采集方法、系统及存储介质 | |
JP2005115164A (ja) | 楽曲検索装置 | |
US11114079B2 (en) | Interactive music audition method, apparatus and terminal | |
CN110136677B (zh) | 乐音控制方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |