CN113593502A - 一种基于音视频演奏示范的交互式乐谱展示方法及系统 - Google Patents
一种基于音视频演奏示范的交互式乐谱展示方法及系统 Download PDFInfo
- Publication number
- CN113593502A CN113593502A CN202110846800.5A CN202110846800A CN113593502A CN 113593502 A CN113593502 A CN 113593502A CN 202110846800 A CN202110846800 A CN 202110846800A CN 113593502 A CN113593502 A CN 113593502A
- Authority
- CN
- China
- Prior art keywords
- audio
- music score
- frame
- demonstration
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 38
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000009432 framing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
- G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
- G10G1/04—Transposing; Transcribing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Abstract
本发明公开了一种基于音视频演奏示范的交互式乐谱展示方法及系统，所述方法包括如下过程：将演奏示范文件中的音频和乐谱文件对齐；将对齐结果以光标的形式在乐谱相应的位置上显示出来；演奏示范文件中的音频和乐谱文件对齐的方法如下：获取演奏示范文件中的音频和乐谱文件；将音频文件和乐谱文件进行分帧并逐帧提取特征，逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；输出音频和乐谱的对齐路径。本发明提升了用户的交互体验，提高音乐教学与欣赏的效果与便利性。
Description
技术领域
本发明涉及乐谱交互展示技术领域，更具体地，涉及一种基于音视频演奏示范的交互式乐谱展示方法及系统。
背景技术
随着音乐教育的日益普及和互联网产业的日益发达，与音乐相关的音视频演奏/教学等素材越来越多，尤其是大师/音乐教师的演奏音视频示范极大地满足了广大音乐爱好者/学习者的视听/教学方面的需求。
在音乐教学或者欣赏的场景中，通常依赖于乐谱。而这些音视频示范中通常并不包含乐谱，在乐谱上进行标注、定位当前播放的示范在乐谱上的位置等常见操作仍需采用传统方式进行，同时在此基础上也无法支持变速、变调等操作，这是非常不便利的。
现有技术中，公开号为CN109377818A，中国发明专利于2019年2月22日公开了一种数字音乐教学系统的乐谱播放模块组件，所述乐谱播放模块组件包括曲谱播放单元、唱名播放单元、范唱、伴奏播放单元以及唱词播放单元。本发明提供一种新的数字音乐教学系统的乐谱播放模块组件，该数字音乐教学系统的乐谱播放模块组件提供多种播放模式，可以满足用户的需求，且不仅可以播放录制好的歌曲和伴奏，还能对编写的曲谱进行识别并自动合成播放，不仅满足教师的教学需要，还可以满足学生的使用需求；播放过程中模拟音乐键盘同时显示乐符在键盘上的位置，实现音符、歌词和虚拟键盘的一一映射。该方案实现的是乐谱的播放，没有实现变调、变速等交互功能。
发明内容
本发明为克服上述现有的乐谱展示无法实现用户的友好交互的缺陷，提供一种基于音视频演奏示范的交互式同步乐谱展示方法及系统。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种基于音视频演奏示范的交互式乐谱展示方法，包括如下过程：
1)将演奏示范文件中的音频和乐谱文件对齐；
2)将对齐结果以光标的形式在乐谱相应的位置上显示出来；
其中，演奏示范文件中的音频和乐谱文件对齐的方法如下：
11)获取演奏示范文件中的音频和乐谱文件；
12)将音频文件和乐谱文件进行分帧并逐帧提取特征，
13)逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；
14)输出音频和乐谱的对齐路径。
进一步地，还包括有对演奏示范文件的视频和乐谱进行变速、变调，包括如下过程：
3)对演奏示范文件的视频和乐谱进行变速、变调；
4)以光标的形式在乐谱相应的位置上显示出来。
对演奏示范文件的示范视频和乐谱进行变速方法如下：
31)根据演奏示范文件中视频的帧率和音频分帧时的帧长和帧跳计算出每个音频帧所对应的视频图像索引号，用于实现音画同步；
32)获取变速倍数，根据变速倍数生成变速后音频帧索引序列t'，利用变速后音频帧索引序列t'重建音频时域信号；
33)将重建后的音频与乐谱文件对齐得到变速后音频帧索引序列对应的乐谱帧索引序列s1；
34)根据变速后音频帧索引序列将其对应的图像播放出来，同时根据乐谱帧索引序列s1，将光标实时在乐谱的相应位置显示；
对演奏示范文件的示范视频和乐谱进行变调方法如下：
35)获取升降调的音分数；
36)将音分数转化成频率并通过分数形式表示；
37)将时域音频数据和分数形式的频率输入至相位声码器中变速后得到音频信号，根据分数形式频率的分子和分母对变速后的音频信号进行重采样，得到变调后的音频。
进一步地，根据变速倍数生成变速后音频帧索引序列t'具体步骤为：
输入音频的变速倍数a，原始音频帧序列t为0，1，2…,N，N为原始音频总帧数，经过变速a倍后，新的音频帧序列变为t'，其中t'为0，a，2a，3a…N；
利用变速后音频帧索引序列t'重建音频时域信号具体步骤为：
将音频帧索引序列t'中的任一元素m向下取整得到整数帧为n，小数部分α，则该帧介于原始音频的第n帧和n+1帧之间；
对音频帧索引序列t'中第m帧幅度谱重建得到：
Sm＝(1-α)Sn+αSn+1
对第m帧相位谱计算得到：
其中Sm和Pm分别第m个元素对应帧的幅度谱和相位谱，
表示当前第m个元素对应的相位增量，Pt(n-1)表示第n-1帧对应的相位；
第m帧信号重建后的傅里叶变换Cm表示为：
Cm＝Sm*exp(i*Pm)
其中i为复数，Cm即为变速后音频索引序列t'中第m个元素，即第m帧所对应的频域信号，频域信号通过逆傅里叶变换后即可得到第m帧时域信号。
进一步地，音分数换算成频率的公式为：
其中，m表示音分数；
频率进行分数化表示的公式为：
其中分子和分母分别为a1和a2；
音频信号重采样的公式为：
sshift＝resample(spv,a1,a2)
其中，spv表示音频信号，sshift表示变调后的音频。
进一步地，还包括有将多个音视频示范文件进行合并的方法，包括如下过程：
5)将多个演奏示范文件进行合并；
6)以光标的形式在乐谱相应的位置上显示出来；
将多个演奏示范文件进行合并的方法包括如下步骤：
51)将每个演奏示范文件中音频对应的声部移到与总谱相同的音调上；
52)选择A方式或B方式进行声部合并：
其中，A方式：利用文件对齐模块将所有示范音频都与总谱进行对齐，根据对齐路径对所有演奏示范文件的音频进行变速，使所有演奏示范文件的速度都统一到与总谱相同，然后再将变速后的演奏示范文件进行合并；
B方式：选取其中一个演奏示范作为参考示范，首先将参考示范与总谱进行对齐操作，然后按照对齐路径来修改总谱，让总谱与参考示范的演奏相匹配，将修改后的总谱再分别与其他演奏示范进行对齐后，根据对齐路径对除参考示范外的所有演奏示范文件的音频进行变速，然后再将变速后的演奏示范文件进行合并。
本发明第二方面提供了一种基于音视频演奏示范的交互式乐谱展示系统，包括：
文件对齐模块、播放操作模块、演奏示范文件合成模块，所述文件对齐模块用于将演奏示范文件中的音频和乐谱路径对齐；
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
所述演奏示范文件合成模块用于将多个演奏示范文件进行合并。
进一步地，所述系统还包括有标注模块，所述标注模块用于乐谱的标注和插入多媒体文件。
进一步地，所述标注模块实现步骤为：
获取指令打开标注功能，首先在乐谱上选出要给出标注的音符、小节、乐句、段落，并计算索引范围，然后基于html5的多媒标签技术在所选中的乐谱索引范围内嵌入多媒体文件。
进一步地，乐谱中的标注同步上传至远程的服务器中，当其他用户请求当前乐谱时，当前乐谱带有的标注同步发送至用户。
进一步地，所述多媒体文件包括有：画图、文本、图片、音视频。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出的一种基于音视频演奏示范的交互式乐谱展示方法，通过演奏示范文件与乐谱文件的对齐、交互式的变调变速，多文件合成，提升了用户的交互体验，提高音乐教学与欣赏的效果与便利性。
附图说明
图1为本发明中演奏示范文件中的音频和乐谱文件对齐方法程图。
图2为本发明中对演奏示范文件的示范视频和乐谱进行变速方法流程图。
图3为本发明中对演奏示范文件的示范视频和乐谱进行变调方法流程图。
图4为本发明实施例第一种基于音视频演奏示范的交互式乐谱展示系统框图。
图5为本发明实施例第二种基于音视频演奏示范的交互式乐谱展示系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
一种基于音视频演奏示范的交互式乐谱展示方法，包括如下过程：
1)将演奏示范文件中的音频和乐谱文件对齐；
2)将对齐结果以光标的形式在乐谱相应的位置上显示出来；
需要说明的是，演奏示范文件中的音频和乐谱文件对齐，如图1所示，步骤为：
11)获取演奏示范文件中的音频和乐谱文件；
12)，将音频文件和乐谱文件进行分帧并逐帧提取特征；
13)，逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；
14)，输出音频和乐谱的对齐路径。
需要说明的是，输出对齐路径即当前音频帧对应了乐谱上的具体的一帧。如果该对齐结果的误差较大，可以人为进行修正。最终结果以光标的形式实时显示在乐谱上。
需要说明的是，本发明中，所有乐谱和演奏示范文件中音视频播放位置相匹配的操作均由上述音频和乐谱对齐结果来实现，例如在演奏示范文件上拖动进度跳到某一位置，即可确定音频所在帧数，根据对齐结果可以找到该帧音频所对应的乐谱帧，进而以光标的形式在乐谱相应的位置上显示出来。反之亦然，即在乐谱上选定位置，演奏示范文件的进度条跳转到相应的位置进行播放。包括对已经变速或变调后的音视频示范进行上述操作。
本方案中，还包括有对演奏示范文件的视频和乐谱进行变速、变调，包括如下过程：
3)对演奏示范文件的视频和乐谱进行变速、变调；
4)以光标的形式在乐谱相应的位置上显示出来。
在本发明中，如图2所示，对演奏示范文件的示范视频和乐谱进行变速方法如下：：
31)，根据演奏示范文件中视频的帧率和音频分帧时的帧长和帧跳计算出每个音频帧所对应的视频图像索引号，用于实现音画同步；
32)，获取变速倍数，根据变速倍数生成变速后音频帧索引序列t'，利用变速后音频帧索引序列t'重建音频时域信号；
33)，将重建后的音频与乐谱文件对齐得到变速后音频帧索引序列对应的乐谱帧索引序列s1；
34)，根据变速后音频帧索引序列将其对应的图像播放出来，同时根据乐谱帧索引序列s1，将光标实时在乐谱的相应位置显示。
本发明中，根据变速倍数生成变速后音频帧索引序列t'具体步骤为：
输入音频的变速倍数a，原始音频帧序列t为0，1，2…,N，N为原始音频总帧数，为了方便可用0：1：N来表示，经过变速a倍后，新的音频帧序列变为t'，其中t'为0，a，2a，3a…N，为了方便可用0：a：N来表示；
例如，若当前音频总长度为N帧，则原音频所有音频帧索引的序列t是从1到N的整数，当播放速度变为原来2倍的时候，只需将音频帧索引t变为0，2，4…N即可，然后根据第一步的对齐路径选取音频帧索引所对应的乐谱帧索引序列s1；
本发明中利用变速后音频帧索引序列t'重建音频时域信号具体步骤为：
将音频帧索引序列t'中的任一元素m向下取整得到整数帧为n，小数部分α，则该帧介于原始音频的第n帧和n+1帧之间；
对音频帧索引序列t'中第m帧幅度谱重建得到：
Sm＝(1-α)Sn+αSn+1
对第m帧相位谱计算得到：
其中Sm和Pm分别第m个元素对应帧的幅度谱和相位谱，
表示当前第m个元
素对应的相位增量，Pt(n-1)表示第n-1帧对应的相位；
第m帧信号重建后的傅里叶变换Cm表示为：
Cm＝Sm*exp(i*Pm)
其中i为复数，Cn即为变速后音频帧索引序列t'中第m个元素，即第m帧所对应的频域信号，频域信号通过逆傅里叶变换后即可得到第m帧时域信号。
进一步地，如图3所示，对演奏示范文件的示范视频和乐谱进行变调方法如下：
35)，获取升降调的音分数；
36)，将音分数转化成频率并通过分数形式表示；
音分数换算成频率的公式为：
其中，m表示音分数；
频率进行分数化表示的公式为：
其中分子和分母分别为a1和a2；
需要说明的是，本发明根据十二平均律将升降的音分数转换成频率。
37)，将时域音频数据和分数形式的频率输入至相位声码器中变速后得到音频信号，根据分数形式频率的分子和分母对变速后的音频信号进行重采样，得到变调后的音频。音频信号重采样的公式为：
sshift＝resample(spv,a1,a2)
其中，spv表示音频信号，sshift表示变调后的音频。
需要说明的是，变调后的音频音频sshift的长度和原始音频的长度基本相同，主要误差是将平移的频率f从小数转分数
的时候引入。
在一个具体的实施例中，通过对音频进行变速、变调后，然后将变调处理后的音频与相应的乐谱进行对齐，从而变速后的音频实现了点击乐谱上的任意音符，演奏示范文件的音视频的进度条自动跳转到相应位置进行播放的功能，反之拖动演奏示范文件的视频进度条到某一位置，乐谱上的光标就立刻跳转到相应音符。
进一步地，还包括有将多个音视频示范文件进行合并的方法，包括如下过程：
5)将多个演奏示范文件进行合并；
6)以光标的形式在乐谱相应的位置上显示出来；
将多个演奏示范文件进行合并的方法包括如下步骤：
51)将每个演奏示范文件中音频对应的声部移到与总谱相同的音调上；所述总谱就是所有声部都合在一起的谱子，并且所有声部速度都是统一的；
52)选择A方式或B方式进行声部合并：
A方式：将所有示范音频都与总谱进行对齐后进行变速伸缩，将所有示范文件的速度都统一到与总谱相同，然后再进行合并；
B方式：选取其中一个演奏示范作为参考示范，首先将参考示范与总谱进行对齐操作，然后按照对齐路径来修改总谱，让总谱与参考示范的演奏相匹配，将修改后的总谱再分别与其他演奏示范进行对齐后，再进行变速伸缩，最后再将所有声部合并。
需要说明的是，所述的多个演奏示范文件进行合并也就是实现多个演奏示范文件对应的声部的合并，声部可以是不同的音调和任意自由的演奏速度，其中方式A虽然能将所有演奏示范文件整齐地合并到一起，但弊端就是没有了个人演奏的感情色彩，都是机械式的按乐谱统一的速度去播放，美感较差；方式B是合并后的音频将会按照参考示范中的节奏进行播放，而不是方式A中按照固定的节奏进行播放，将会更具美感。
图4示出了第一种基于音视频演奏示范的交互式乐谱展示系统框图。
本发明第二方面提供了一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，包括：
文件对齐模块、播放操作模块、演奏示范文件合成模块，所述文件对齐模块用于将演奏示范文件中的音频和乐谱路径对齐；
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
所述演奏示范文件合成模块用于将多个演奏示范文件进行合并。
图5示出了第二种基于音视频演奏示范的交互式乐谱展示系统框图。
所述系统还包括所述标注模块，所述标注模块用于乐谱的标注和插入多媒体文件；
所述标注模块实现步骤为：
获取指令打开标注功能，首先在乐谱上选出要给出标注的音符、小节、乐句、段落，并计算索引范围，然后基于html5的多媒标签技术在所选中的乐谱索引范围内嵌入多媒体文件。所述多媒体文件包括有：画图、文本、图片、音视频。
需要说明的是，在一个具体的实施例中可以在SVG(ScalableVectorGraphics)框架下进行乐谱的标注和展示操作，本发明中，所有在乐谱任意位置画图、在乐谱任意音符、小节、乐句、段落中插入画图、文本、图片、音视频等多媒体文件的操作均通过标注模块实现。
乐谱中的标注同步上传至远程的服务器中，当其他用户(例如同一个老师的学生)请求当前乐谱时，当前乐谱带有的标注同步发送至用户。
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
需要说明的是，所述交互式同步播放即点击乐谱上任意音符，视频进度条就跳到响应的位置播放；反之亦然，拖动视频进度条到某一位置，乐谱上的光标就立刻跳转到相应音符。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，包括如下过程：
1)将演奏示范文件中的音频和乐谱文件对齐；
2)将对齐结果以光标的形式在乐谱相应的位置上显示出来；
其中，演奏示范文件中的音频和乐谱文件对齐的方法如下：
11)获取演奏示范文件中的音频和乐谱文件；
12)将音频文件和乐谱文件进行分帧并逐帧提取特征，
13)逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；
14)输出音频和乐谱的对齐路径。
2.根据权利要求1所述的一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，还包括有对演奏示范文件的视频和乐谱进行变速、变调，包括如下过程：
3)对演奏示范文件的视频和乐谱进行变速、变调；
4)以光标的形式在乐谱相应的位置上显示出来；
对演奏示范文件的示范视频和乐谱进行变速方法如下：
31)根据演奏示范文件中视频的帧率和音频分帧时的帧长和帧跳计算出每个音频帧所对应的视频图像索引号，用于实现音画同步；
32)获取变速倍数，根据变速倍数生成变速后音频帧索引序列t'，利用变速后音频帧索引序列t'重建音频时域信号；
33)将重建后的音频与乐谱文件对齐得到变速后音频帧索引序列对应的乐谱帧索引序列s1；
34)根据变速后音频帧索引序列将其对应的图像播放出来，同时根据乐谱帧索引序列s1，将光标实时在乐谱的相应位置显示；
对演奏示范文件的示范视频和乐谱进行变调方法如下：
35)获取升降调的音分数；
36)将音分数转化成频率并通过分数形式表示；
37)将时域音频数据和分数形式的频率输入至相位声码器中变速后得到音频信号，根据分数形式频率的分子和分母对变速后的音频信号进行重采样，得到变调后的音频。
3.根据权利要求2所述的一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，根据变速倍数生成变速后音频帧索引序列t'具体步骤为：
输入音频的变速倍数a，原始音频帧序列t为0，1，2…,N，N为原始音频总帧数，经过变速a倍后，新的音频帧序列变为t'，其中t'为0，a，2a，3a…N；
利用变速后音频帧索引序列t'重建音频时域信号具体步骤为：
将音频帧索引序列t'中的任一元素m向下取整得到整数帧为n，小数部分α，则该帧介于原始音频的第n帧和n+1帧之间；
对音频帧索引序列t'中第m帧幅度谱重建得到：
Sm＝(1-α)Sn+αSn+1
对第m帧相位谱计算得到：
其中Sm和Pm分别第m个元素对应帧的幅度谱和相位谱，
表示当前第m个元素对应的相位增量，Pt(n-1)表示第n-1帧对应的相位；
第m帧信号重建后的傅里叶变换Cm表示为：
Cm＝Sm*exp(i*Pm)
其中i为复数，Cm即为变速后音频索引序列t'中第m个元素，即第m帧所对应的频域信号，频域信号通过逆傅里叶变换后即可得到第m帧时域信号。
4.根据权利要求2所述的一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，音分数换算成频率的公式为：
其中，m表示音分数；
频率进行分数化表示的公式为：
其中分子和分母分别为a1和a2；
音频信号重采样的公式为：
sshift＝resample(spv,a1,a2)
其中，spv表示音频信号，sshift表示变调后的音频。
5.根据权利要求1所述的一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，还包括有将多个音视频示范文件进行合并的方法，包括如下过程：
5)将多个演奏示范文件进行合并；
6)以光标的形式在乐谱相应的位置上显示出来；
将多个演奏示范文件进行合并的方法包括如下步骤：
51)将每个演奏示范文件中音频对应的声部移到与总谱相同的音调上；
52)选择A方式或B方式进行声部合并：
其中，A方式：利用文件对齐模块将所有示范音频都与总谱进行对齐，根据对齐路径对所有演奏示范文件的音频进行变速，使所有演奏示范文件的速度都统一到与总谱相同，然后再将变速后的演奏示范文件进行合并；
B方式：选取其中一个演奏示范作为参考示范，首先将参考示范与总谱进行对齐操作，然后按照对齐路径来修改总谱，让总谱与参考示范的演奏相匹配，将修改后的总谱再分别与其他演奏示范进行对齐后，根据对齐路径对除参考示范外的所有演奏示范文件的音频进行变速，然后再将变速后的演奏示范文件进行合并。
6.一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，包括：
文件对齐模块、播放操作模块、演奏示范文件合成模块，所述文件对齐模块用于将演奏示范文件中的音频和乐谱路径对齐；
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
所述演奏示范文件合成模块用于将多个演奏示范文件进行合并。
7.根据权利要求6所述的一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，所述系统还包括有标注模块，所述标注模块用于乐谱的标注和插入多媒体文件。
8.根据权利要求7所述的一种基于音视频演奏示范的交互式乐谱展示方法，其特征在于，所述标注模块实现步骤为：
获取指令打开标注功能，首先在乐谱上选出要给出标注的音符、小节、乐句、段落，并计算索引范围，然后基于html5的多媒标签技术在所选中的乐谱索引范围内嵌入多媒体文件。
9.根据权利要求8所述的一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，乐谱中的标注同步上传至远程的服务器中，当其他用户请求当前乐谱时，当前乐谱带有的标注同步发送至用户。
10.根据权利要求8所述的一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，所述多媒体文件包括有：画图、文本、图片、音视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846800.5A CN113593502B (zh) | 2021-07-26 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110846800.5A CN113593502B (zh) | 2021-07-26 | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113593502A true CN113593502A (zh) | 2021-11-02 |
| CN113593502B CN113593502B (zh) | 2024-04-30 |
Family
ID=
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996278A (zh) * | 2006-01-06 | 2007-07-11 | 创新科技有限公司 | 基于文本编辑的乐谱编辑、回放方法和系统 |
| CN101103386A (zh) * | 2004-12-15 | 2008-01-09 | 缪斯艾米股份有限公司 | 用于乐谱捕捉和带同步呈现的合成音频演奏的系统与方法 |
| US20110230987A1 (en) * | 2010-03-11 | 2011-09-22 | Telefonica, S.A. | Real-Time Music to Music-Video Synchronization Method and System |
| CN102867526A (zh) * | 2007-02-14 | 2013-01-09 | 缪斯亚米有限公司 | 用于分布式音频文件编辑的门户网站 |
| CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
| CN103988193A (zh) * | 2011-03-23 | 2014-08-13 | 奥德伯公司 | 管理同步内容的播放 |
| CN104966510A (zh) * | 2015-05-29 | 2015-10-07 | 熊世林 | 一种用于电子曲谱中跨轨及虚拟轨实现多声部的表示方法 |
| CN109345905A (zh) * | 2018-12-10 | 2019-02-15 | 北京金三惠科技有限公司 | 一种互动数字音乐教学系统 |
| CN110192242A (zh) * | 2017-01-20 | 2019-08-30 | 森兰信息科技（上海）有限公司 | 用于钢琴系统的琴键辅助用户输入系统和方法 |
| CN111680187A (zh) * | 2020-05-26 | 2020-09-18 | 平安科技（深圳）有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101103386A (zh) * | 2004-12-15 | 2008-01-09 | 缪斯艾米股份有限公司 | 用于乐谱捕捉和带同步呈现的合成音频演奏的系统与方法 |
| CN1996278A (zh) * | 2006-01-06 | 2007-07-11 | 创新科技有限公司 | 基于文本编辑的乐谱编辑、回放方法和系统 |
| CN102867526A (zh) * | 2007-02-14 | 2013-01-09 | 缪斯亚米有限公司 | 用于分布式音频文件编辑的门户网站 |
| US20110230987A1 (en) * | 2010-03-11 | 2011-09-22 | Telefonica, S.A. | Real-Time Music to Music-Video Synchronization Method and System |
| CN103988193A (zh) * | 2011-03-23 | 2014-08-13 | 奥德伯公司 | 管理同步内容的播放 |
| CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
| CN104966510A (zh) * | 2015-05-29 | 2015-10-07 | 熊世林 | 一种用于电子曲谱中跨轨及虚拟轨实现多声部的表示方法 |
| CN110192242A (zh) * | 2017-01-20 | 2019-08-30 | 森兰信息科技（上海）有限公司 | 用于钢琴系统的琴键辅助用户输入系统和方法 |
| CN109345905A (zh) * | 2018-12-10 | 2019-02-15 | 北京金三惠科技有限公司 | 一种互动数字音乐教学系统 |
| CN111680187A (zh) * | 2020-05-26 | 2020-09-18 | 平安科技（深圳）有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10056062B2 (en) | Systems and methods for the creation and playback of animated, interpretive, musical notation and audio synchronized with the recorded performance of an original artist | |
| Beckstead | Will Technology Transform Music Education? Although technological advances make composing easier, music educators tend to use these tools to make traditional methods more accessible rather than explore new possibilities in composing | |
| CN109345905B (zh) | 一种互动数字音乐教学系统 | |
| CN109377818B (zh) | 一种数字音乐教学系统的乐谱播放模块组件 | |
| Sussman et al. | Jazz composition and arranging in the digital age | |
| CN113593502B (zh) | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 | |
| CN113593502A (zh) | 一种基于音视频演奏示范的交互式乐谱展示方法及系统 | |
| Olmos et al. | A high-fidelity orchestra simulator for individual musicians’ practice | |
| Payne et al. | “We Avoid PDFs”: Improving Notation Access for Blind and Visually Impaired Musicians | |
| AU2002100284A4 (en) | Interactive Electronic Publishing | |
| Fein | Teaching music improvisation with technology | |
| Rees | Collaboration in practice: developing a repertoire of extended techniques for the Kingma System alto and bass flute | |
| Shafiei | Extracting Theory from Practice: A Computational Analysis of the Persian Radif | |
| Fremerey | SyncPlayer–a Framework for Content-Based Music Navigation | |
| Hair et al. | The rosegarden codicil: Rehearsing music in nineteen-tone equal temperament | |
| McPherson | Page turning: score automation for musicians | |
| Pustijanac | Spectral Morphology and Space in Fausto Romitelli's Natura morta con fiamme | |
| Bellini et al. | A proposal for the integration of symbolic music notation into multimedia frameworks | |
| Hajdu et al. | SONIFICATION, MUSIFICATION AND DRAMAFICATION OF ASTRONOMI-CAL DATA IN THE MULTIMEDIA PRODUCTION “A SPACE JOURNEY” | |
| Onttonen | The Arranger: Creating a tool for real-time orchestration and notation on mobile devices | |
| Turner | New Approaches to Performance and the Practical Application of Techniques from Non-Western and Electro-acoustic Musics in Compositions for Solo Cello since 1950: A Personal Approach and Two Case Studies | |
| Barate et al. | A web interface for the analysis and performance of aleatory music notation | |
| Li | Applications of multimedia in solfeggio teaching | |
| Schmidt | Meaningful Music Visualizations | |
| Hayes | Scoring the Unknown: Rethinking Fixity and Openness in Western Art Music Notation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518102 No. a819.a821, floor 8, block a, Mingyou procurement center, labor community, Xixiang street, Bao'an District, Shenzhen, Guangdong Applicant after: Shenzhen mango Future Technology Co.,Ltd. Address before: 518102 No. a819.a821, floor 8, block a, Mingyou procurement center, labor community, Xixiang street, Bao'an District, Shenzhen, Guangdong Applicant before: Shenzhen Mango Future Education Technology Co.,Ltd. |
|
| GR01 | Patent grant |