CN111489721B - 一种信号帧矩阵化的音乐信息记录方法 - Google Patents

一种信号帧矩阵化的音乐信息记录方法 Download PDF

Info

Publication number
CN111489721B
CN111489721B CN202010206190.8A CN202010206190A CN111489721B CN 111489721 B CN111489721 B CN 111489721B CN 202010206190 A CN202010206190 A CN 202010206190A CN 111489721 B CN111489721 B CN 111489721B
Authority
CN
China
Prior art keywords
music
signal frame
matrix
frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010206190.8A
Other languages
English (en)
Other versions
CN111489721A (zh
Inventor
李一博
刘明阳
芮小博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010206190.8A priority Critical patent/CN111489721B/zh
Publication of CN111489721A publication Critical patent/CN111489721A/zh
Application granted granted Critical
Publication of CN111489721B publication Critical patent/CN111489721B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments or also rapid repetition of the same note onset
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G11B2020/10555—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account
    • G11B2020/10564—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明涉及一种信号帧矩阵化的音乐信息记录方法，其特征在于：所述方法的步骤为：S1、音乐时域信号及参数的采集；S2、音乐信号的时域及参数分帧；S3、音乐信号帧的频域信号转换；S4、音乐信号帧的频域坐标转换；S5、音乐信号帧频域内频带划分；S6、音乐信号帧各频带权重计算。本发明设计科学合理，用于解决现有的音乐数据记录中的空间浪费与音乐复原度较低的问题，提高音乐信号记录的完整性并同时节约信息存储空间。

Description

一种信号帧矩阵化的音乐信息记录方法
技术领域
本发明属于声音信号处理与音乐信息识别与储存领域，涉及音乐信息记录方法，尤其涉及一种信号帧矩阵化的音乐信息记录方法。
背景技术
随着人类的科学技术的不断发展和上层精神世界的不断丰富，音乐信息检索技术(MIR)的重要性越发的凸显。日常人们听到自己喜欢的音乐时，通常想要立刻获取音乐的相关信息，这时就需要进行音乐的信息检索。音乐信息检索技术的发展同时带来了音乐检索数据库的建立问题。
虽然目前已经存在音乐信息记录与检索的方法，例如MIDI检索。但MIDI检索较为适用于标准电子音乐的检索，因为在MIDI信息中，记录着标准的时长、声音音色、音高等信息，这些信息可以通过音乐接口直接形成音乐，该过程形成了标准的音乐类型。但若该音乐在数据库中无对应的数据，需要通过现有的演唱和音乐录音进行转化时，由于演唱和音乐录音具有较大的随机性和不准确性变化，例如演唱时出现滑音、颤音等装饰音，则无法通过MIDI记录。
因此，该方式记录的MIDI文件对原有的信号的复原度较低，一般应用MIDI的情况为单向输出，对于该情况，又出现了一种完整的记录方法，声音信号频域全信息记录法。该方法对声音信号的每一帧信号的内的整个频谱信息进行记录，以实现声音信号的完整复原。但由于音乐信号在低频区域与高频区域中分布密度区别较大，这就会使该方法在有效信号较为稀疏的高频区域浪费大量的储存空间。
发明内容
本发明的目的在于克服现有技术的不足，提供一种信号帧矩阵化的音乐信息记录方法，用于解决现有的音乐数据记录中的空间浪费与音乐复原度较低的问题，提高音乐信号记录的完整性并同时节约信息存储空间。
本发明解决其技术问题是通过以下技术方案实现的：
一种信号帧矩阵化的音乐信息记录方法，其特征在于：所述方法的步骤为：
S1、音乐时域信号及参数的采集；
S2、音乐信号的时域及参数分帧；
S3、音乐信号帧的频域信号转换；
S4、音乐信号帧的频域坐标转换；
S5、音乐信号帧频域内频带划分；
S6、音乐信号帧各频带权重计算。
而且，所述步骤S1中音乐时域信号及参数的采集采用CD标准音质的44.1kHz、16bits。
而且，所述步骤S2中音乐信号的时域及参数分帧选取矩形窗，窗长为68.03ms，帧移为17ms。
而且，所述步骤S4中音乐信号帧的频域坐标转换采用以
Figure BDA0002421201970000021
为底数的对数坐标。
而且，所述步骤S5中音乐信号帧频域内频带划分使用以f'∈[47.8,155.8]范围内，每间隔1/3个值划分为一个频带的方式。
而且，所述步骤S6中音乐信号帧各频带权重计算使用能量积分并做归一化。
本发明的优点和有益效果为：
1、本发明信号帧矩阵化的音乐信息记录方法，以矩阵化信息记录音乐帧，可以提高声音谐波组成部分的可视性。
2、本发明信号帧矩阵化的音乐信息记录方法，以矩阵化的形式记录音乐帧信息，可以有效的节约大量的存储空间，实现音乐信息的压缩，同时更完整的复原音乐信号。
3、本发明信号帧矩阵化的音乐信息记录方法，对声音频带进行划分估计，再进行整合估计，模拟人耳的听觉场景，更具有准确性和可信性。
附图说明
图1为本发明的声音信号帧频谱频带划分图；
图2是本发明的基于声音信号频谱频带划分后形成的声音帧信息记录的归一化权重矩阵图。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种信号帧矩阵化的音乐信息记录方法，其创新之处在于：该方法的步骤包括以下部分：
S1、音乐时域信号及参数的采集；S2、音乐信号的时域及参数分帧；S3、音乐信号帧的频域信号转换；S4、音乐信号帧的频域坐标转换；S5、音乐信号帧频域内频带划分；S6、音乐信号帧各频带权重计算。
S1、音乐时域信号及参数的采集：基于计算机声卡，采样率为44.1kHz、16bits，为普通CD的音质记录标准。
S2、音乐信号的时域及参数分帧：本发明中，时域信号分帧的作用是将时域信号局部化处理，以便获得一段短时间内的声音分布情况。
本发明中将声音时域信号的截取窗设定为矩形窗，窗长为68.03ms，即为44.1kHz下3000个采样点。选取68.03ms的原因是基于乐谱的基本知识：在音乐演奏中，谱面存在的最快速度为“最急板-prestissimo”，对应的演奏速度为208拍每分钟。又因为在乐谱中一般最多将表示一拍的音符拆解为四分之一拍。与之对应的音符变化速度为832拍每分钟，即每个音符在演奏中可能会出现的最快速度一般不超过832拍每分钟——72.12ms。故选取68.03ms可以保证音符在最快变化情境下可以被完整的记录。选取68.03ms作为帧长的同时，选取帧移为750个采样点——17ms，每个部分的采样点被重复利用四次，以保证时域信号采集的连续性。
S3、音乐信号帧的频域信号转换：在本发明中，每一帧的频域变换利用已经采样得到的3000个采样点进行快速傅里叶变换(FFT)。
S4、音乐信号帧的频域坐标转换：经过快速傅里叶变换后的图像为纵坐标为振幅y，横坐标为线性分布的频率f，将频域分布图像的纵坐标表示为y'＝20*logy，横坐标表示为
Figure BDA0002421201970000032
以此进行频域的坐标转换。
S5、音乐信号帧频域内频带划分：基于上一步中转换完毕的频域图像，在频域图像f'∈[47.8,155.8]范围内，每间隔1/3个值划分为一个频带，共计324个频带，划分方式如图1所示。
S6、音乐信号帧各频带权重计算：采用如下公式进行计算，
Figure BDA0002421201970000031
其中：
Q(m,n)表示小频带(m,n)内的声音能量；
maxmn表示小频带(m,n)的横坐标上限；
minmn表示小频带(m,n)的横坐标下限；
AdB为某个位置的声音分贝数；
计算出所有频带的能量后，进行无关信息过滤运算，计算公式如下：
Figure BDA0002421201970000041
其中：
Qm为横向大频带m的能量总和；
Q(m,i)为(m,j)小频带内的能量总和；
对网格频带内的权重值进行处理：
Figure BDA0002421201970000042
即得到每个频带的Q'(m,n)值，即可得到权重矩阵R如下所示：
Figure BDA0002421201970000043
对权重矩阵进行归一化处理：
Figure BDA0002421201970000044
Figure BDA0002421201970000045
其中：r(i,j)为矩阵R第i行第j列的元素。得到归一化矩阵RN，该操作第一步的目的是将矩阵的所有元素值先进行归一化，找出矩阵内的最大值元素，使矩阵内所有元素都除以该最大值，使矩阵内的所有元素r(i,j)∈[0,1]；第二步的目的是将元素向上取整，使矩阵中的0元素保持为0，介于(0,1)之间的元素全部为1，之前值为1的元素仍然为1，归一化矩阵RN即用以记录音乐信息，如图2所示。
尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (4)

1.一种信号帧矩阵化的音乐信息记录方法，其特征在于：所述方法的步骤为：
S1、音乐时域信号及参数的采集；
S2、音乐信号的时域及参数分帧；
S3、音乐信号帧的频域信号转换；
S4、音乐信号帧的频域坐标转换：经过快速傅里叶变换后的图像为纵坐标为振幅y，横坐标为线性分布的频率f，将频域分布图像的纵坐标表示为y'＝20*logy，横坐标表示为
Figure FDA0003556231690000011
以此进行频域的坐标转换；
S5、音乐信号帧频域内频带划分；
S6、音乐信号帧各频带权重计算：
采用如下公式进行计算，
Figure FDA0003556231690000012
其中：Q(m,n)表示小频带(m,n)内的声音能量；
maxmn表示小频带(m,n)的横坐标上限；
minmn表示小频带(m,n)的横坐标下限；
AdB为某个位置的声音分贝数；
计算出所有频带的能量后，进行无关信息过滤运算，计算公式如下：
Figure FDA0003556231690000013
其中：Qm为横向大频带m的能量总和；
Q(m,i)为(m,j)小频带内的能量总和；
对网格频带内的权重值进行处理：
Figure FDA0003556231690000014
即得到每个频带的Q'(m,n)值，即可得到权重矩阵R如下所示：
Figure FDA0003556231690000021
对权重矩阵进行归一化处理：
Figure FDA0003556231690000022
(i∈1,...9,j∈1,...,36)
Figure FDA0003556231690000023
(i∈1,...,9,j∈1,...,36)
其中：r(i,j)为矩阵R第i行第j列的元素；得到归一化矩阵RN，该操作第一步的目的是将矩阵的所有元素值先进行归一化，找出矩阵内的最大值元素，使矩阵内所有元素都除以该最大值，使矩阵内的所有元素r(i,j)∈[0,1]；第二步的目的是将元素向上取整，使矩阵中的0元素保持为0，介于(0,1)之间的元素全部为1，之前值为1的元素仍然为1，归一化矩阵RN即用以记录音乐信息。
2.根据权利要求1所述的信号帧矩阵化的音乐信息记录方法，其特征在于：所述步骤S1中音乐时域信号及参数的采集采用CD标准音质的44.1kHz、16bits。
3.根据权利要求1所述的信号帧矩阵化的音乐信息记录方法，其特征在于：所述步骤S2中音乐信号的时域及参数分帧选取矩形窗，窗长为68.03ms，帧移为17ms。
4.根据权利要求1所述的信号帧矩阵化的音乐信息记录方法，其特征在于：所述步骤S5中音乐信号帧频域内频带划分使用以f'∈[47.8,155.8]范围内，每间隔1/3个值划分为一个频带的方式。
CN202010206190.8A 2020-03-23 2020-03-23 一种信号帧矩阵化的音乐信息记录方法 Expired - Fee Related CN111489721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206190.8A CN111489721B (zh) 2020-03-23 2020-03-23 一种信号帧矩阵化的音乐信息记录方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206190.8A CN111489721B (zh) 2020-03-23 2020-03-23 一种信号帧矩阵化的音乐信息记录方法

Publications (2)

Publication Number Publication Date
CN111489721A CN111489721A (zh) 2020-08-04
CN111489721B true CN111489721B (zh) 2022-05-03

Family

ID=71797746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206190.8A Expired - Fee Related CN111489721B (zh) 2020-03-23 2020-03-23 一种信号帧矩阵化的音乐信息记录方法

Country Status (1)

Country Link
CN (1) CN111489721B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274221B2 (ja) * 2006-10-02 2009-06-03 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
CN101345726B (zh) * 2007-07-11 2011-09-07 扬智科技股份有限公司 减少存储空间的信道估计方法
US20140325303A1 (en) * 2013-04-30 2014-10-30 Lsi Corporation Systems and Methods for Protected Data Encoding
CN109949819B (zh) * 2019-03-14 2022-03-25 建荣半导体（深圳）有限公司 节省音频处理的程序和数据空间的方法、装置及电子设备
CN110728992B (zh) * 2019-09-12 2022-07-19 北京大米科技有限公司 音频数据的处理方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN111489721A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN110880329B (zh) 一种音频识别方法及设备、存储介质
CA2896096C (en) Audio decoding with supplemental semantic audio recognition and report generation
KR100776495B1 (ko) 오디오 데이터베이스에서의 검색 방법
CN103971689B (zh) 一种音频识别方法及装置
US7577195B2 (en) Method for determining the likelihood of a match between source data and reference data
KR20180088889A (ko) 곡 멜로디 정보 처리 방법, 서버 및 저장 매체
CN109584904B (zh) 应用于基础音乐视唱教育的视唱音频唱名识别建模方法
CN109920446A (zh) 一种音频数据处理方法、装置及计算机存储介质
CN114863937A (zh) 基于深度迁移学习与XGBoost的混合鸟鸣识别方法
Su et al. Multi-timbre chord classification using wavelet transform and self-organized map neural networks
CN111489721B (zh) 一种信号帧矩阵化的音乐信息记录方法
CN106095943B (zh) 演唱歌曲熟识广度检测方法和装置
CN115985331B (zh) 一种用于野外观测的音频自动分析方法
CN117238313A (zh) 基于梅尔谱和深度学习的西瓜成熟度无损检测方法及系统
CN115565507A (zh) 一种基于ai技术的乐器识别以及自动记谱系统
JP2871120B2 (ja) 自動採譜装置
CN114550675A (zh) 一种基于CNN--Bi-LSTM网络的钢琴转录方法
CN113889058A (zh) 一种乐音数据的采集和特征识别方法
CN111292748B (zh) 一种可适应多种频率的语音录入系统
CN107025902A (zh) 数据处理方法及装置
Su Similarity of Musical Timbres Using Fourier Transform
Chen et al. Modified Perceptual Linear Prediction Liftered Cepstrum (MPLPLC) Model for Pop Cover Song Recognition.
CN103236255A (zh) 音频文件转化midi文件
CN117877525B (zh) 一种基于可变粒度特征的音频检索方法和装置
Chenchen et al. Main melody extraction using the auditory scene analysis for the humming music retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220503