CN113168824B - 音响解析方法、音响解析装置以及模型构建方法 - Google Patents
音响解析方法、音响解析装置以及模型构建方法 Download PDFInfo
- Publication number
- CN113168824B CN113168824B CN201980073937.2A CN201980073937A CN113168824B CN 113168824 B CN113168824 B CN 113168824B CN 201980073937 A CN201980073937 A CN 201980073937A CN 113168824 B CN113168824 B CN 113168824B
- Authority
- CN
- China
- Prior art keywords
- boundary
- time series
- boundary data
- continuous section
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 53
- 238000010276 construction Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 12
- 235000021067 refined food Nutrition 0.000 claims 2
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004020 luminiscence type Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
- G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V23/00—Arrangement of electric circuit elements in or on lighting devices
- F21V23/003—Arrangement of electric circuit elements in or on lighting devices the elements being electronics drivers or controllers for operating the light source, e.g. for a LED array
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- General Physics & Mathematics (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
音响解析装置具有:特征取得部,其取得音响信号的特征量的时间序列;以及边界推定模型,其是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的训练好的模型,且针对音响信号的特征量的时间序列的输入而生成边界数据。
Description
技术领域
本发明涉及一种对音响信号进行解析的技术。
背景技术
以往提出有根据表示乐曲的歌唱音或者演奏音等音响的音响信号对和弦(chord)进行推定的技术。例如,在专利文献1中公开了基于从输入乐音的波形数据解析出的频谱而对和弦进行判定的技术。在专利文献2中公开了对输入音的包含在基本频率的概率密度函数观测到峰值的基本频率的构成音在内的和弦进行辨识的技术。在专利文献3中公开了利用进行了机器学习的神经网络而对和弦进行推定的技术。
专利文献1:日本特开2000-298475号公报
专利文献2:日本特开2008-209550号公报
专利文献3:日本特开2017-215520号公报
发明内容
假想要求对在乐曲内相同的和弦持续的区间(以下,称为“连续区间”)进行推定的情形。还可以根据通过专利文献1至专利文献3的技术而推定出的和弦的时间序列对各连续区间进行推定。但是,在基于专利文献1至专利文献3的技术而误推定出和弦的情况下,存在还会误推定出连续区间的问题。本发明的一个方式的目的在于,通过音响信号的解析而高精度地对连续区间进行推定。
为了解决以上的课题,本发明的一个方式涉及的音响解析方法取得音响信号的特征量的时间序列,向对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习(训练)的边界推定模型,输入所述取得的所述特征量的时间序列,由此生成边界数据。
本发明的一个方式涉及的音响解析装置具有:特征取得部,其取得音响信号的特征量的时间序列;以及边界推定模型,其是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习(训练)的训练好的模型,且针对由所述特征取得部所取得的所述特征量的时间序列的输入而生成边界数据。
本发明的一个方式涉及的模型构建方法取得包含特征量的时间序列和表示和弦持续的连续区间的边界的边界数据在内的多个教师数据,通过利用所述多个教师数据的机器学习,构建对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型。
附图说明
图1是例示出第1实施方式涉及的音响解析装置的结构的框图。
图2是例示出音响解析装置的功能性结构的框图。
图3是特征量以及边界数据的说明图。
图4是特征量的说明图。
图5是例示出边界推定处理的具体流程的流程图。
图6是学习处理部的动作的说明图。
图7是例示出通过机器学习而构建边界推定模型的处理的具体流程的流程图。
具体实施方式
A:第1实施方式
图1是例示出第1实施方式涉及的音响解析装置100的结构的框图。音响解析装置100是通过对表示乐曲的歌唱音或者演奏音等音响的音响信号V进行解析,从而对该乐曲中的各连续区间进行推定的信息处理装置。连续区间意味着1个和弦持续的一系列区间。在乐曲内能推定出多个连续区间。
音响解析装置100通过具有控制装置11、存储装置12和处理装置13的计算机系统而实现。例如,移动电话、智能机或者个人计算机等信息终端作为音响解析装置100而利用。处理装置13是执行与对音响信号V进行解析得到的结果相对应的处理的电子设备。处理装置13例如是对根据音响信号V推定出的各连续区间进行显示的显示装置。
控制装置11由对音响解析装置100的各要素进行控制的单个或者多个处理器构成。例如,控制装置11由CPU(Central Processing Unit)、SPU(Sound Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、或者ASIC(Application Specific Integrated Circuit)等1种以上的处理器构成。存储装置12例如是由磁记录介质或者半导体记录介质等公知的记录介质构成的单个或者多个存储器,对控制装置11执行的程序和控制装置11使用的各种数据进行存储。例如,存储装置12对音响信号V进行存储。此外,也可以由多种记录介质的组合构成存储装置12。另外,也可以将相对于音响解析装置100能够拆装的可移动型记录介质、或者能够经由通信网与音响解析装置100进行通信的外部记录介质(例如,网络硬盘)作为存储装置12而利用。
图2是例示出通过由控制装置11执行在存储装置12存储的程序而实现的功能的框图。控制装置11实现特征取得部21、边界推定模型22、学习处理部23和动作控制部24。此外,也可以通过相互分体地构成的多个装置而实现控制装置11的功能。也可以通过专用的电子电路而实现控制装置11的功能的一部分或者全部。
特征取得部21从存储于存储装置12的音响信号V对特征量Y进行提取。如图3所例示的那样,特征量Y针对每个单位期间T(T1,T2,T3,…)进行提取。即,根据音响信号V生成特征量Y的时间序列。单位期间T例如是与乐曲的1拍相当的期间。但是,也可以与乐曲的拍点无关地对固定长度或者可变长度的单位期间T进行划分。
各单位期间T的特征量Y是表示音响信号V中的与该单位期间T内的部分相关的音响的特征的指标。如图4所例示的那样,第1实施方式的特征量Y包含半音阶矢量Q和强度P。半音阶矢量Q是包含与不同的音阶音(具体而言,平均律的12半音)相对应的12个成分强度q1~q12的12维矢量。音阶音是忽略了八度音的差异的音名(音高等级:pitch class)。构成半音阶矢量Q的任意1个成分强度qn(n=1~12)是将在音响信号V中与第n个音阶音相对应的音响成分的强度遍及多个八度音范围相加得到的数值。特征量Y所包含的强度P是遍及音响信号V的整个频带的音量或者功率。
如图2所例示的那样,特征取得部21所生成的特征量Y的时间序列被输入至边界推定模型22。边界推定模型22是对特征量Y的时间序列和边界数据B的关系进行学习(训练)得到的训练好的模型。即,边界推定模型22通过特征量Y的时间序列的输入而输出边界数据B。边界数据B是表示时间轴上的各连续区间的边界的时间序列数据。
如图3所例示的那样,边界数据B由与时间轴上的各单位期间T(T1,T2,T3,…)相对应的单位数据b的时间序列构成。针对各单位期间T的每个特征量Y,从边界推定模型22输出1个单位数据b。与各单位期间T相对应的单位数据b是以2值方式表示与该单位期间T相对应的时间点是否属于连续区间的边界的数据。例如,与任意1个单位期间T相对应的单位数据b在该单位期间T的起点为连续区间的边界的情况下,设定为数值1,在该单位期间T的起点不属于连续区间的边界的情况下,设定为数值0。即,单位数据b的数值1意味着与该单位数据b相对应的单位期间T为连续区间的开头。如根据以上说明所理解的那样,边界推定模型22是根据特征量Y的时间序列对各连续区间的边界进行推定的统计推定模型。另外,第1实施方式的边界数据B是以2值方式表示时间轴上的多个时间点各自是否属于连续区间的边界的时间序列数据。
边界推定模型22通过使控制装置11执行根据特征量Y的时间序列生成边界数据B的运算的程序(例如,构成人工智能软件的程序模块)和应用于该运算的多个系数K的组合而实现。多个系数K通过利用了多个教师数据的机器学习(特别是,深度学习)而设定并存储于存储装置12。例如,适于时间序列数据的处理的长短期记忆(LSTM:Long Short TermMemory)等循环型神经网络(RNN:Recurrent Neural Network)作为边界推定模型22而利用。此外,也可以将卷积神经网络(CNN:Convolutional Neural Network)等其他种类的神经网络作为边界推定模型22而利用。
图2的动作控制部24与从边界推定模型22输出的边界数据B对应地对处理装置13的动作进行控制。例如,动作控制部24使处理装置13对边界数据B所表示的各连续区间进行显示。
图5是例示出根据音响信号V对各连续区间的边界进行推定的处理(以下,称为“边界推定处理”)的具体流程的流程图。例如,以来自利用者的指示为契机而开始进行边界推定处理。如果开始进行边界推定处理,则特征取得部21从存储于存储装置12的音响信号V针对每个单位期间T而对特征量Y进行提取(Sa1)。边界推定模型22根据由特征取得部21所提取的特征量Y的时间序列,生成边界数据B(Sa2)。动作控制部24使处理装置13对从边界推定模型22输出的边界数据B所表示的各连续区间进行显示(Sa3)。此外,表示由边界推定模型22推定的结果的显示画面的内容是任意的。例如,音响信号V所表示的乐曲的乐谱以针对该乐曲内的每个连续区间而不同的方式(例如,色彩)进行显示。
图2的学习处理部23通过机器学习(特别是,深度学习)而对边界推定模型22的多个系数K进行设定。学习处理部23通过利用在存储装置12存储的多个教师数据L的机器学习而对多个系数K进行设定。如图6所例示的那样,多个教师数据L各自由特征量Y的时间序列和边界数据Bx的组合构成。各教师数据L的边界数据Bx相当于该教师数据L的针对特征量Y的时间序列的正解值,由与特征量Y的时间序列相对应的已知的单位数据b的时间序列构成。即,边界数据Bx的多个单位数据b中与各连续区间的开头的单位期间T相对应的单位数据b被设定为数值1,与各连续区间的开头以外的单位期间T相对应的单位数据b被设定为数值0。
图7是例示出学习处理部23构建边界推定模型22的处理的具体流程的流程图。学习处理部23从存储装置12取得多个教师数据L(Sb1)。
学习处理部23通过利用多个教师数据L的机器学习而构建边界推定模型22(Sb2)。具体而言,学习处理部23以减小通过输入教师数据L的特征量Y的时间序列而从临时的边界推定模型22输出的边界数据B、和该教师数据L的边界数据Bx之间的差异的方式,对边界推定模型22的多个系数K进行更新。例如,学习处理部23以使得表示边界数据B和边界数据Bx之间的差异的评价函数最小化的方式,例如通过误差逆传播法反复对多个系数K进行更新。在以上流程中由学习处理部23设定的多个系数K被存储于存储装置12。因此,边界推定模型22基于在多个教师数据L的特征量Y的时间序列和边界数据Bx之间潜在的倾向,输出相对于未知的特征量Y的时间序列而在统计上合理的边界数据B。
如以上所说明的那样,根据第1实施方式,通过向对特征量Y的时间序列和边界数据B的关系进行学习得到的边界推定模型22输入音响信号V的特征量Y而生成边界数据B。即,边界数据B的生成是不需要进行和弦的推定的独立的处理。因此,与根据通过音响信号V的解析而推定出的和弦的时间序列对各连续区间进行确定的结构相比较,能够不受和弦的推定结果的影响而通过音响信号V的解析高精度地对各连续区间进行推定。
另外,在第1实施方式中,将针对每个音阶音而包含成分强度qn的特征量Y用于边界数据B的生成,该成分强度qn对应于音响信号V中的与音阶音相对应的音响成分的强度。根据以上结构,具有如下优点,即,能够利用适当反映出音响信号V所表示的乐曲的和弦的特征量Y而高精度地对各连续区间的边界进行推定。
B:第2实施方式
对第2实施方式进行说明。此外,对于以下的各例示中功能与第1实施方式相同的要素,沿用在第1实施方式的说明中使用的标号,适当地省略各自的详细说明。
在第1实施方式中,例示出边界数据B,该边界数据B以2值的方式表示各单位期间T是否属于连续区间的边界。第2实施方式的边界数据B表示各单位期间T为连续区间的边界的似然度。具体而言,构成边界数据B的多个单位数据b各自设定为大于或等于0且小于或等于1的范围内的数值,多个单位数据b所表示的数值的合计成为规定值(例如1)。与构成边界数据B的多个单位数据b中的数值大的单位数据b相对应的单位期间T被判定为位于连续区间的边界。在第2实施方式中,也实现与第1实施方式相同的效果。
C:变形例
以下例示出对以上所例示的各方式附加的具体变形的方式。也可以将从以下例示中任意选择出的2个以上的方式在相互不矛盾的范围适当进行合并。
(1)在前述的各方式中,例示出具有边界推定模型22和学习处理部23的音响解析装置100,但也可以在与音响解析装置100分体的信息处理装置(以下,称为“机器学习装置”)搭载学习处理部23。应用了由机器学习装置的学习处理部23设定的多个系数K的边界推定模型22被转送至音响解析装置100而用于连续区间的边界的推定。如根据以上说明所理解的那样,从音响解析装置100省略学习处理部23。
(2)也可以通过在与移动电话或者智能机等信息终端之间进行通信的服务器装置而实现音响解析装置100。例如,音响解析装置100通过从信息终端接收到的音响信号V的解析而生成边界数据B,并发送至信息终端。此外,在由信息终端从音响信号V对特征量Y进行提取的结构中,音响解析装置100的特征取得部21从信息终端接收特征量Y的时间序列。边界推定模型22根据特征取得部21所取得的特征量Y的时间序列,生成边界数据B。边界推定模型22所生成的边界数据B被发送至信息终端。如根据以上说明所理解的那样,特征取得部21除了从音响信号V对特征量Y进行提取的要素之外,还包含从信息终端等其他装置接收特征量Y的要素。
(3)在前述的各方式中,例示出包含半音阶矢量Q和强度P的特征量Y,但特征量Y的内容不限定于以上的例示。例如,也可以将半音阶矢量Q单独地作为特征量Y而利用。另外,例如,也可以针对音响信号V的多个频带的各个,分别生成包含半音阶矢量Q和强度P的特征量Y。例如,也可以针对音响信号V中的相对于规定的频率处于低频侧的频带成分和处于高频侧的频带成分,分别生成包含半音阶矢量Q和强度P的特征量Y。
(4)在前述的各方式中显示出边界数据B,但边界推定模型22所生成的边界数据B的用途不限定于以上的例示。具体而言,在通过公知的解析技术而根据音响信号V对和弦的时间序列(以下,称为“和弦系列”)进行推定的结构中,动作控制部24利用由边界推定模型22生成的边界数据B而对和弦系列进行修正。例如,以使得在边界数据B所表示的各连续区间内相同的和弦持续的方式,对根据音响信号V推定出的和弦系列进行修正。
另外,也可以在各种的处理装置13的控制中利用边界数据B。例如,将执行乐曲的自动演奏的自动演奏装置(例如,自动演奏钢琴)设想为处理装置13。自动演奏装置能够变更自动演奏时的演奏风格。动作控制部24对自动演奏装置进行控制,以使得在音响信号V所表示的乐曲的自动演奏时,针对边界数据B所表示的每个连续区间而变更演奏风格。根据以上结构,能够针对乐曲内的每个连续区间而使自动演奏的音乐表情多样地变化。此外,演奏风格例如包含自动演奏的模式或者带音乐表情。带音乐表情例如是音色、效果、音量、强弱或者奏法。
例如,将设置于卡拉OK等音响空间的照明装置设想为处理装置13。动作控制部24对照明装置进行控制,以使得针对边界数据B所表示的每个连续区间而变更照明的条件。照明的条件例如为发光量、发光色或者发光模式等各种特性。根据以上结构,能够针对乐曲内的每个连续区间而使由照明装置进行的照明多样地变化。
(5)前述的各方式涉及的音响解析装置100如在各方式中所例示的那样,通过计算机(具体而言,控制装置11)和程序的协作而实现。前述的各方式涉及的程序能够以储存于计算机可读取的记录介质的方式提供并安装于计算机。记录介质例如是非临时性(non-transitory)的记录介质,优选例为CD-ROM等光学式记录介质(光盘),但也可以包含半导体记录介质或者磁记录介质等公知的任意形式的记录介质。此外,非临时性的记录介质包含除了临时性的传输信号(transitory,propagating signal)的任意的记录介质,并非将易失性的记录介质除外。另外,还可以以经由通信网的传送的方式将程序提供给计算机。
此外,实现边界推定模型22的程序的执行主体不限定于CPU等通用的处理电路。例如,张量处理单元(Tensor Processing Unit)或者神经引擎(Neural Engine)等专用于人工智能的处理电路、或者信号处理用的电子电路(DSP:Digital Signal Processor)也可以执行程序。另外,也可以是从以上的例示选择出的多种主体协作而执行程序。
D:附录
根据以上所例示的方式,例如掌握以下的结构。
本发明的一个方式(第1方式)涉及的音响解析方法取得音响信号的特征量的时间序列,向对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习(训练)的边界推定模型,输入所述取得的所述特征量的时间序列,由此生成边界数据。根据以上方式,向对特征量的时间序列和表示连续区间的边界的边界数据的关系进行了学习的边界推定模型,输入音响信号的特征量,由此生成与音响信号相关的边界数据。即,对于边界数据的生成,不需要和弦的推定。因此,与根据通过音响信号的解析而解析出和弦的结果而对各连续区间进行确定的结构相比较,具有如下优点,即,能够不受和弦的推定结果的影响而通过音响信号的解析高精度地对各连续区间进行推定。
在第1方式的具体例(第2方式)中,所述音响信号的特征量针对每个音阶音而包含成分强度,该成分强度对应于该音响信号中的与音阶音相对应的音响成分的强度。根据以上方式,具有如下优点,即,能够利用适当地反映出音响信号所表示的乐曲的和弦的特征量而高精度地对各连续区间的边界进行推定。
在第1方式或第2方式的具体例(第3方式)中,所述边界数据以2值的方式表示时间轴上的多个时间点各自是否为所述连续区间的边界。另外,在第1方式或第2方式的具体例(第4方式)中,所述边界数据表示时间轴上的多个时间点各自为所述连续区间的边界的似然度。
第1方式至第4方式中任一项所述的具体例(第5方式)涉及的所述音响解析方法还与所述生成的边界数据对应地控制处理装置。根据以上结构,能够与和弦持续的连续区间同步地对处理装置进行控制。
在第5方式的具体例(第6方式)中,所述处理装置为对图像进行显示的显示装置,在所述处理装置的控制中,使所述显示装置对所述生成的边界数据所表示的连续区间进行显示。根据以上方式,利用者能够在视觉上掌握连续区间。
在第5方式的具体例(第7方式)中,所述处理装置为执行乐曲的自动演奏的自动演奏装置,在所述处理装置的控制中,与所述生成的边界数据对应地对由所述自动演奏装置进行的自动演奏进行控制。根据以上方式,例如能够针对每个连续区间而控制由自动演奏装置进行的自动演奏。
在第5方式的具体例(第8方式)中,所述处理装置为照明装置,在所述处理装置的控制中,与所述生成的边界数据对应地控制由所述照明装置进行的照明的条件。根据以上方式,能够针对每个连续区间而控制由照明装置进行的照明的条件。
第1方式至第8方式的具体例(第9方式)涉及的所述音响解析方法还与所述生成的边界数据对应地修正根据所述音响信号推定的和弦系列。在以上的方式中,能够适当地对根据音响信号推定的和弦系列进行修正。
本发明也可以作为执行以上例示出的各方式的音响解析方法的音响解析装置、或者、使计算机执行以上例示出的各方式的音响解析方法的程序而实现。例如,本发明的一个方式涉及的音响解析装置具有边界推定模型,该边界推定模型是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习(训练)的训练好的模型,且针对音响信号的特征量的时间序列的输入而生成边界数据。
本发明的一个方式涉及的模型构建方法取得包含特征量的时间序列和表示和弦持续的连续区间的边界的边界数据在内的多个教师数据,通过利用所述多个教师数据的机器学习,构建对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型。
标号的说明
100…音响解析装置、11…控制装置、12…存储装置、13…处理装置、21…特征提取部、22…边界推定模型、23…学习处理部、24…动作控制部。
Claims (18)
1.一种音响解析方法,其由计算机实现,
取得音响信号的特征量的时间序列,
向对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型,输入所述取得的所述特征量的时间序列,由此生成边界数据,
所述边界数据以2值的方式表示时间轴上的多个时间点各自是否为所述连续区间的边界。
2.一种音响解析方法,其由计算机实现,
取得音响信号的特征量的时间序列,
向对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型,输入所述取得的所述特征量的时间序列,由此生成边界数据,
所述边界数据表示时间轴上的多个时间点各自为所述连续区间的边界的似然度。
3.一种音响解析方法,其由计算机实现,
取得音响信号的特征量的时间序列,
向对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型,输入所述取得的所述特征量的时间序列,由此生成边界数据,
与所述生成的边界数据对应地对根据所述音响信号推定的和弦系列进行修正。
4.根据权利要求1至3中任一项所述的音响解析方法,其中,
所述音响信号包含与不同的音阶音相对应的多个音响成分,
所述音响信号的特征量针对每个音阶音而包含成分强度,该成分强度对应于音响成分的强度。
5.根据权利要求1至3中任一项所述的音响解析方法,其中,
所述音响解析方法还与所述生成的边界数据对应地控制处理装置。
6.根据权利要求5所述的音响解析方法,其中,
所述处理装置为对图像进行显示的显示装置,
在所述处理装置的控制中,使所述显示装置对所述生成的边界数据所表示的连续区间进行显示。
7.根据权利要求5所述的音响解析方法,其中,
所述处理装置为执行乐曲的自动演奏的自动演奏装置,
在所述处理装置的控制中,与所述生成的边界数据对应地控制由所述自动演奏装置进行的自动演奏。
8.根据权利要求5所述的音响解析方法,其中,
所述处理装置为照明装置,
在所述处理装置的控制中,与所述生成的边界数据对应地控制由所述照明装置进行的照明的条件。
9.一种音响解析装置,其具有:
特征取得部,其取得音响信号的特征量的时间序列;以及
边界推定模型,其是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的训练好的模型,且针对由所述特征取得部所取得的所述特征量的时间序列的输入而生成边界数据,
所述边界数据以2值的方式表示时间轴上的多个时间点各自是否为所述连续区间的边界。
10.一种音响解析装置,其具有:
特征取得部,其取得音响信号的特征量的时间序列;以及
边界推定模型,其是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的训练好的模型,且针对由所述特征取得部所取得的所述特征量的时间序列的输入而生成边界数据,
所述边界数据表示时间轴上的多个时间点各自为所述连续区间的边界的似然度。
11.一种音响解析装置,其具有:
特征取得部,其取得音响信号的特征量的时间序列;以及
边界推定模型,其是对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的训练好的模型,且针对由所述特征取得部所取得的所述特征量的时间序列的输入而生成边界数据,
与所述边界推定模型生成的边界数据对应地对根据所述音响信号推定的和弦系列进行修正。
12.根据权利要求9至11中任一项所述的音响解析装置,其中,
所述音响信号的特征量针对每个音阶音而包含成分强度,该成分强度对应于该音响信号中与音阶音相对应的音响成分的强度。
13.根据权利要求9至11中任一项所述的音响解析装置,其中,
所述音响解析装置还具有动作控制部,该动作控制部与由所述边界推定模型生成的边界数据对应地控制处理装置。
14.根据权利要求13所述的音响解析装置,其中,
所述处理装置为对图像进行显示的显示装置,
所述动作控制部使所述显示装置对所述边界推定模型生成的边界数据所表示的连续区间进行显示。
15.根据权利要求13所述的音响解析装置,其中,
所述处理装置为执行所述音响信号所表示的乐曲的自动演奏的自动演奏装置,
所述动作控制部与所述边界推定模型生成的边界数据对应地控制由所述自动演奏装置进行的自动演奏。
16.根据权利要求13所述的音响解析装置,其中,
所述处理装置为照明装置,
所述动作控制部与所述边界推定模型生成的边界数据对应地控制由所述照明装置进行的照明的条件。
17.一种模型构建方法,其中,
取得包含特征量的时间序列和表示和弦持续的连续区间的边界的边界数据在内的多个教师数据,
通过利用所述多个教师数据的机器学习,构建对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型,
所述边界数据以2值的方式表示时间轴上的多个时间点各自是否为所述连续区间的边界。
18.一种模型构建方法,其中,
取得包含特征量的时间序列和表示和弦持续的连续区间的边界的边界数据在内的多个教师数据,
通过利用所述多个教师数据的机器学习,构建对特征量的时间序列和表示和弦持续的连续区间的边界的边界数据的关系进行了学习的边界推定模型,
所述边界数据表示时间轴上的多个时间点各自为所述连续区间的边界的似然度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018223863A JP7230464B2 (ja) | 2018-11-29 | 2018-11-29 | 音響解析方法、音響解析装置、プログラムおよび機械学習方法 |
JP2018-223863 | 2018-11-29 | ||
PCT/JP2019/044522 WO2020110724A1 (ja) | 2018-11-29 | 2019-11-13 | 音響解析方法、音響解析装置、およびモデル構築方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113168824A CN113168824A (zh) | 2021-07-23 |
CN113168824B true CN113168824B (zh) | 2024-02-23 |
Family
ID=70854259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980073937.2A Active CN113168824B (zh) | 2018-11-29 | 2019-11-13 | 音响解析方法、音响解析装置以及模型构建方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11942106B2 (zh) |
JP (1) | JP7230464B2 (zh) |
CN (1) | CN113168824B (zh) |
WO (1) | WO2020110724A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7375302B2 (ja) * | 2019-01-11 | 2023-11-08 | ヤマハ株式会社 | 音響解析方法、音響解析装置およびプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6057502A (en) * | 1999-03-30 | 2000-05-02 | Yamaha Corporation | Apparatus and method for recognizing musical chords |
JP2004163767A (ja) * | 2002-11-14 | 2004-06-10 | Nec Access Technica Ltd | 環境同期制御システム、制御方法及びプログラム |
JP2008102406A (ja) * | 2006-10-20 | 2008-05-01 | Sony Corp | 信号処理装置および方法、プログラム、並びに記録媒体 |
JP2008209550A (ja) * | 2007-02-26 | 2008-09-11 | National Institute Of Advanced Industrial & Technology | 和音判別装置、和音判別方法およびプログラム |
JP2008250008A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 楽音処理装置およびプログラム |
CN101740013A (zh) * | 2008-11-21 | 2010-06-16 | 索尼株式会社 | 信息处理设备、声音分析方法和程序 |
JP2015031738A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社河合楽器製作所 | コード進行推定検出装置及びコード進行推定検出プログラム |
CN105810190A (zh) * | 2015-01-20 | 2016-07-27 | 哈曼国际工业有限公司 | 音乐内容和实时音乐伴奏的自动转录 |
JP2017090848A (ja) * | 2015-11-17 | 2017-05-25 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
JP2018025644A (ja) * | 2016-08-09 | 2018-02-15 | 国立大学法人徳島大学 | 楽曲Key推定装置及び楽曲コード進行推定装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3666577B2 (ja) * | 2000-07-18 | 2005-06-29 | ヤマハ株式会社 | コード進行修正装置、コード進行修正方法及び同装置に適用されるプログラムを記録したコンピュータ読取り可能な記録媒体 |
JP4333700B2 (ja) * | 2006-06-13 | 2009-09-16 | ソニー株式会社 | 和音推定装置及び方法 |
US9310959B2 (en) * | 2009-06-01 | 2016-04-12 | Zya, Inc. | System and method for enhancing audio |
EP2786377B1 (en) * | 2011-11-30 | 2016-03-02 | Dolby International AB | Chroma extraction from an audio codec |
WO2013164661A1 (en) * | 2012-04-30 | 2013-11-07 | Nokia Corporation | Evaluation of beats, chords and downbeats from a musical audio signal |
EP2772904B1 (en) * | 2013-02-27 | 2017-03-29 | Yamaha Corporation | Apparatus and method for detecting music chords and generation of accompaniment. |
WO2017136854A1 (en) * | 2016-02-05 | 2017-08-10 | New Resonance, Llc | Mapping characteristics of music into a visual display |
JP6671245B2 (ja) | 2016-06-01 | 2020-03-25 | 株式会社Nttドコモ | 識別装置 |
JP7243147B2 (ja) * | 2018-02-09 | 2023-03-22 | ヤマハ株式会社 | コード推定方法、コード推定装置およびプログラム |
US10586519B2 (en) * | 2018-02-09 | 2020-03-10 | Yamaha Corporation | Chord estimation method and chord estimation apparatus |
US11024288B2 (en) * | 2018-09-04 | 2021-06-01 | Gracenote, Inc. | Methods and apparatus to segment audio and determine audio segment similarities |
-
2018
- 2018-11-29 JP JP2018223863A patent/JP7230464B2/ja active Active
-
2019
- 2019-11-13 CN CN201980073937.2A patent/CN113168824B/zh active Active
- 2019-11-13 WO PCT/JP2019/044522 patent/WO2020110724A1/ja active Application Filing
-
2021
- 2021-05-27 US US17/332,426 patent/US11942106B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6057502A (en) * | 1999-03-30 | 2000-05-02 | Yamaha Corporation | Apparatus and method for recognizing musical chords |
JP2000298475A (ja) * | 1999-03-30 | 2000-10-24 | Yamaha Corp | 和音判定装置、方法及び記録媒体 |
JP2004163767A (ja) * | 2002-11-14 | 2004-06-10 | Nec Access Technica Ltd | 環境同期制御システム、制御方法及びプログラム |
JP2008102406A (ja) * | 2006-10-20 | 2008-05-01 | Sony Corp | 信号処理装置および方法、プログラム、並びに記録媒体 |
JP2008209550A (ja) * | 2007-02-26 | 2008-09-11 | National Institute Of Advanced Industrial & Technology | 和音判別装置、和音判別方法およびプログラム |
JP2008250008A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 楽音処理装置およびプログラム |
CN101740013A (zh) * | 2008-11-21 | 2010-06-16 | 索尼株式会社 | 信息处理设备、声音分析方法和程序 |
JP2015031738A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社河合楽器製作所 | コード進行推定検出装置及びコード進行推定検出プログラム |
CN105810190A (zh) * | 2015-01-20 | 2016-07-27 | 哈曼国际工业有限公司 | 音乐内容和实时音乐伴奏的自动转录 |
JP2017090848A (ja) * | 2015-11-17 | 2017-05-25 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
JP2018025644A (ja) * | 2016-08-09 | 2018-02-15 | 国立大学法人徳島大学 | 楽曲Key推定装置及び楽曲コード進行推定装置 |
Non-Patent Citations (2)
Title |
---|
丸尾智志 等.音楽音響信号に対する歌声・伴奏音・打楽器音分離に基づくコード認識.情报处理学会 研究报告 音乐情报学科.2015,第1-6页. * |
音楽音響信号に対する歌声・伴奏音・打楽器音分離に基づくコード認識;丸尾智志 等;情报处理学会 研究报告 音乐情报学科;第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
US11942106B2 (en) | 2024-03-26 |
JP2020086289A (ja) | 2020-06-04 |
WO2020110724A1 (ja) | 2020-06-04 |
US20210287695A1 (en) | 2021-09-16 |
JP7230464B2 (ja) | 2023-03-01 |
CN113168824A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166564A (zh) | 为歌词文本生成乐曲的方法、装置及计算机可读存储介质 | |
US11568857B2 (en) | Machine learning method, audio source separation apparatus, and electronic instrument | |
CN111602193B (zh) | 用于处理乐曲的演奏的信息处理方法和装置 | |
US10586519B2 (en) | Chord estimation method and chord estimation apparatus | |
JP7069819B2 (ja) | コード特定方法、コード特定装置およびプログラム | |
US20220383842A1 (en) | Estimation model construction method, performance analysis method, estimation model construction device, and performance analysis device | |
US11875777B2 (en) | Information processing method, estimation model construction method, information processing device, and estimation model constructing device | |
CN113168824B (zh) | 音响解析方法、音响解析装置以及模型构建方法 | |
CN109410972B (zh) | 生成音效参数的方法、装置及存储介质 | |
EP3770906A1 (en) | Sound processing method, sound processing device, and program | |
CN110959172B (zh) | 演奏解析方法、演奏解析装置以及存储介质 | |
JP7343012B2 (ja) | 情報処理装置および情報処理方法 | |
CN113196381B (zh) | 音响解析方法以及音响解析装置 | |
CN116710998A (zh) | 信息处理系统、电子乐器、信息处理方法及程序 | |
CN116189636B (zh) | 基于电子乐器的伴奏生成方法、装置、设备及存储介质 | |
CN114402389A (zh) | 音响解析方法、音响解析装置及程序 | |
US20240087552A1 (en) | Sound generation method and sound generation device using a machine learning model | |
JP2017173644A (ja) | 演奏分析装置及びプログラム | |
JP5262875B2 (ja) | 追従性評価システム,カラオケシステムおよびプログラム | |
Grasso | Machine Learning Based Prediction of MIDI Signals for Networked Music Performance Applications | |
CN117636899A (zh) | 音乐处理方法及装置 | |
JP2024033382A (ja) | 楽器識別方法、楽器識別装置、および、楽器識別プログラム | |
CN116185167A (zh) | 音乐分轨匹配振动的触觉反馈方法、系统及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |