CN110751935A - 乐器演奏点的确定及节奏评分的方法 - Google Patents
乐器演奏点的确定及节奏评分的方法 Download PDFInfo
- Publication number
- CN110751935A CN110751935A CN201910961658.1A CN201910961658A CN110751935A CN 110751935 A CN110751935 A CN 110751935A CN 201910961658 A CN201910961658 A CN 201910961658A CN 110751935 A CN110751935 A CN 110751935A
- Authority
- CN
- China
- Prior art keywords
- bounding box
- playing
- sequence
- point
- musical instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种乐器演奏点的确定及节奏评分的方法，包含步骤：S1、获取音频演奏数据；S2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；S3、将频谱图输入目标检测框架；S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；S5、根据文件名重组边界框序列；S6、设定边界框的两个横坐标为X1和X2，得到用户演奏点的时间序列；S7、将模板音频数据进行步骤S1‑S6操作，得到模板演奏点的时间序列；S8、使用动态规划进行点匹配；S9、进行评分。音频数据在经过短时傅里叶变换后输出的数据使用色彩梯度生成图像，视觉上体现为颜色较深，判断此演奏点是噪音还是乐器演奏音。
Description
技术领域
本发明涉及电子乐器领域，更确切地说，是一种乐器演奏点的确定及节奏评分的方法。
背景技术
现有的乐器演奏点的确定一般采用差值处理和傅里叶变换等方法，这种方法对于节奏较快的片段无法精确得到乐音的演奏点，在较为嘈杂的环境下体验比较差，同时，对于音量较小的演奏点难以检测。
发明内容
本发明主要是解决现有技术所存在的技术问题，从而提供一种乐器演奏点的确定及节奏评分的方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种乐器演奏点的确定方法，包含步骤：
S1、使用硬件设备获取用户的音频演奏数据；
S2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；
S3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；
S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；
S5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；
S6、设定边界框的两个横坐标为X1和X2，,则真实演奏点X3＝
(X1+X2)/2，由此得到用户演奏点的时间序列。
一种乐器演奏点的节奏评分的方法，包含步骤：
S1、使用硬件设备获取用户的音频演奏数据；
S2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；
S3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；
S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；
S5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；
S6、设定边界框的两个横坐标为X1和X2，,则真实演奏点X3＝
(X1+X2)/2，由此得到用户演奏点的时间序列；
S7、将模板音频数据进行步骤S2-S6操作，得到模板演奏点的时间序列；
S8、使用动态规划进行点匹配，寻找用户演奏点与模板演奏点的对应关系；
S9、根据预设的匹配关系进行评分。
本发明的乐器演奏点的确定及节奏评分的方法具有以下优点：由于乐器每一次演奏都会引起频率的变化，音频数据在经过短时傅里叶变换后输出的数据使用色彩梯度生成图像，视觉上体现为这一区域颜色较深。本发明使用目标检测技术确定这一颜色较深的地方，并进行二分类，判断此演奏点是噪音还是乐器演奏音。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的乐器演奏点的确定及节奏评分的方法的流程示意图；
图2为未分割前用户的音频波形图；
图3为图2中的音频按照固定长度分割后局部的音频波形图；
图4为图3中的分割后的音频放大至固定比例后未经过短时傅里叶变换的波形图；
图5为图4中的波形经过短时傅里叶变换后的频谱图；
图6为图5中的波形经过目标检测框架后输出的频谱图；
图7为节凑点匹配示意图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示，该乐器演奏点的确定及节奏评分的方法，包含步骤：
S1、使用硬件设备获取用户的音频演奏数据，如图2所示；
S2、将音频演奏数据分割成固定长度的片段并按照先后顺序命名，如图3所示。接着，进行短时傅里叶变换，得到相应名称的固定比例的频谱图，如图4和图5所示；
S3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数，如图6所示，图6中的每一个方框为一个演奏点；
S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；
S5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；
S6、设定边界框的两个横坐标为X1和X2，,则真实演奏点X3＝
(X1+X2)/2，由此得到用户演奏点的时间序列；
S7、将模板音频数据进行步骤S2-S6操作，得到模板演奏点的时间序列；
S8、使用动态规划进行点匹配，寻找用户演奏点与模板演奏点的对应关系；
S9、根据预设的匹配关系进行评分。
下面对频谱图经过目标检测框架后的输出作进一步的说明。
在图6中，每一个方框为一个演奏点，格式为(X1,Y1,X2,Y2,POINT)，其中，X1和X2分别表示横坐标的起始点和结束点的估计值，Y1和Y2表示演奏力度，那么真实的演奏时间点X3＝(X1+X2)/2，因此，可以得到一个用户演奏点的时间序列u[u1,u2,u3,u4,u5]。同时，将模板数据经过相同的步骤，可以得到一个模板演奏点的时间序列t[t1,t2,t3,t4,t5]。
如图7所示，在进行匹配时，u1匹配t1，u2匹配t2,u3在模板演奏点的时间序列t上没有找到相应的对应点，则u3为用户在u2和u4之间多演奏的音。再看t4，t4在用户演奏点的时间序列u上没有找到对应点，则用户在u4和u5之间少演奏了一个音。最后，用户得到的分数为去掉多演奏的音和少演奏的音后的分数后的平均分，
即
其中，avg为取平均，abs为取绝对值，这里n＝5。
需要说明的是，由于乐器每一次演奏都会引起频率的变化，音频数据在经过短时傅里叶变换后输出的数据使用色彩梯度生成图像，视觉上体现为这一区域颜色较深，比如图5中灰色较深的位置即为演奏点。本发明使用目标检测技术确定这一颜色较深的地方，并进行二分类，判断此演奏点是噪音还是乐器演奏音。
不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (2)
1.一种乐器演奏点的确定方法，包含步骤：
S1、使用硬件设备获取用户的音频演奏数据；
S2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；
S3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；
S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；
S5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；
S6、设定边界框的两个横坐标为X1和X2，,则真实演奏点X3＝(X1+X2)/2，由此得到用户演奏点的时间序列。
2.一种乐器演奏点的节奏评分的方法，包含步骤：
S1、使用硬件设备获取用户的音频演奏数据；
S2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；
S3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；
S4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；
S5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；
S6、设定边界框的两个横坐标为X1和X2，,则真实演奏点X3＝(X1+X2)/2，由此得到用户演奏点的时间序列；
S7、将模板音频数据进行步骤S2-S6操作，得到模板演奏点的时间序列；
S8、使用动态规划进行点匹配，寻找用户演奏点与模板演奏点的对应关系；
S9、根据预设的匹配关系进行评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961658.1A CN110751935A (zh) | 2019-10-11 | 2019-10-11 | 乐器演奏点的确定及节奏评分的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961658.1A CN110751935A (zh) | 2019-10-11 | 2019-10-11 | 乐器演奏点的确定及节奏评分的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110751935A true CN110751935A (zh) | 2020-02-04 |
Family
ID=69277964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910961658.1A Pending CN110751935A (zh) | 2019-10-11 | 2019-10-11 | 乐器演奏点的确定及节奏评分的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110751935A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112711997A (zh) * | 2020-12-24 | 2021-04-27 | 上海寒武纪信息科技有限公司 | 对数据流进行处理的方法和设备 |
| CN113516999A (zh) * | 2021-07-05 | 2021-10-19 | 武汉市景明云乐网络科技有限公司 | 一种器乐指法展示以及智能评分的方法 |
-
2019
- 2019-10-11 CN CN201910961658.1A patent/CN110751935A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112711997A (zh) * | 2020-12-24 | 2021-04-27 | 上海寒武纪信息科技有限公司 | 对数据流进行处理的方法和设备 |
| CN113516999A (zh) * | 2021-07-05 | 2021-10-19 | 武汉市景明云乐网络科技有限公司 | 一种器乐指法展示以及智能评分的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105513583B (zh) | 一种歌曲节奏的显示方法及其系统 | |
| EP2633524B1 (en) | Method, apparatus and machine-readable storage medium for decomposing a multichannel audio signal | |
| US8889976B2 (en) | Musical score position estimating device, musical score position estimating method, and musical score position estimating robot | |
| US8853516B2 (en) | Audio analysis apparatus | |
| JP5732994B2 (ja) | 楽曲検索装置および方法、プログラム、並びに記録媒体 | |
| CN111680187B (zh) | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 | |
| KR102212225B1 (ko) | 오디오 보정 장치 및 이의 오디오 보정 방법 | |
| US8543387B2 (en) | Estimating pitch by modeling audio as a weighted mixture of tone models for harmonic structures | |
| WO2009125489A1 (ja) | テンポ検出装置及びテンポ検出プログラム | |
| CN110751935A (zh) | 乐器演奏点的确定及节奏评分的方法 | |
| CN107210029A (zh) | 用于处理一连串信号以进行复调音符辨识的方法和装置 | |
| JPH07295560A (ja) | Ｍｉｄｉデータ編集装置 | |
| Goldstein et al. | Guitar Music Transcription from Silent Video. | |
| CN113012666A (zh) | 一种检测音乐调性的方法、装置、终端设备及计算机存储介质 | |
| US8750530B2 (en) | Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium | |
| CN109360583B (zh) | 一种音色评定方法和装置 | |
| JP6263383B2 (ja) | 音声信号処理装置、音声信号処理装置の制御方法、プログラム | |
| Bhatia et al. | Analysis of audio features for music representation | |
| JP6307814B2 (ja) | 基音可視化装置、基音可視化方法およびプログラム | |
| CN116246598A (zh) | 一种基于片段式的多阶段自动音准评分方法 | |
| CN110097618A (zh) | 一种音乐动画的控制方法、装置、车辆及存储介质 | |
| CN106847249B (zh) | 一种发音处理方法及系统 | |
| JP2015125238A (ja) | 音声信号処理装置、音声信号処理装置の制御方法、プログラム | |
| Caetano et al. | Independent manipulation of high-level spectral envelope shape features for sound morphing by means of evolutionary computation | |
| US8306828B2 (en) | Method and apparatus for audio signal expansion and compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |