CN101123085B - 和弦名检测装置以及和弦名检测用方法 - Google Patents

和弦名检测装置以及和弦名检测用方法 Download PDF

Info

Publication number
CN101123085B
CN101123085B CN2007101403349A CN200710140334A CN101123085B CN 101123085 B CN101123085 B CN 101123085B CN 2007101403349 A CN2007101403349 A CN 2007101403349A CN 200710140334 A CN200710140334 A CN 200710140334A CN 101123085 B CN101123085 B CN 101123085B
Authority
CN
China
Prior art keywords
intensity
trifle
chord
bat
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101403349A
Other languages
English (en)
Other versions
CN101123085A (zh
Inventor
澄田錬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Publication of CN101123085A publication Critical patent/CN101123085A/zh
Application granted granted Critical
Publication of CN101123085B publication Critical patent/CN101123085B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明提供和弦名检测装置以及和弦名检测用方法，该和弦名检测装置即使在小节内例如具有相同基音而和弦发生变化的情况下也能正确地检测和弦。在由第1小节分割确定部7判定为小节内基音不同的情况下，或是由第2小节分割确定部8判定为小节内的和声的变化程度大的情况下，和弦名确定部9对小节进行分割来检测和弦，使得即使在小节内具有相同基音而和弦发生变化的情况下也能正确地检测和弦。

Description

和弦名检测装置以及和弦名检测用方法
技术领域
本发明涉及和弦名检测装置以及和弦名检测用方法。
背景技术
作为根据音乐CD等的多个乐器声音混合其中的音乐声音信号(声音信号)来检测和弦名(和声名)的和弦检测装置，本申请人已经在先提出了日本特愿2006-1194的专利申请。
在该申请的结构中，作为小节内由多个和弦(和声)构成的情况下的判断方法，使用了基音。即，将小节分割为前半部分和后半部分这两个部分，并分别在两部分检测基音，当检测出其他的基音的情况下，将和弦也分为前半部分和后半部分进行检测。
但在该方法中，当基音相同但和声不同时，例如小节的前半部分为C和弦，后半部分为Cm和弦的情况下，由于基音相同因而无法对小节进行分割，具有以小节整体来检测和弦的问题。
而且在以前开发的设备中，在检测范围整体中检测基音。即，当检测范围为小节的时候，在小节整体中以强音为基音。但在爵士乐那样的基音频繁变化(基音以4分音符等变化)时，无法通过该方法正确检测基音。
发明内容
本发明是鉴于上述问题而提出的，提供即使在小节内例如具有相同基音而发生和弦变化的情况下也能正确地检测和弦的和弦名检测装置以及和弦名检测用程序。
因而，本发明的和弦名检测装置的基本特征在于，该和弦名检测装置具有：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，并根据该表示每个拍子的全体音符的变化程度的值，来检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将它们分别按照强度从强到弱的顺序重新排列，然后根据后续区间的强音中的最强的3个以上的M个音阶音符中是否有C个以上被包含在其之前的区间的强音中的最强的3个以上的N个的音阶音符中，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度，来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度，来确定该小节的和弦名。
在上述结构中，不仅根据基音，还根据和声的变化程度来对小节进行分割。当基音不同、或和声的变化程度大的情况下对小节进行分割来检测和弦。该小节的分割不仅是分割成前半部分和后半部分的2分割，当曲子为4节拍的情况下，还可以再将前半部分和后半部分分别分割成一半，将小节整体分割为4部分，如有需要，还可以进一步分割。关于基音的检测，并非在检测范围全体中进行检测，而是仅在检测范围的开头1拍中进行检测。这是由于即使在基音频繁变动的情况下最初的第1拍也大多弹奏和弦的根音。
关于基音的检测，与以前开发的设备相同。即，以规定的时间间隔(下面称为“帧”)来对输入波形进行FFT运算，根据求出的强度谱来求出各音阶音符的强度，计算该各音阶音符的强度在每一帧中的增量值，在全部音阶音符中对该增量值进行合计而求出每帧的全体音符的变化程度，根据该每帧的全体音符的变化程度来检测拍子(拍子间隔和拍子位置)。当检测出了拍子位置时，按照每个拍子间隔来计算各音阶音符的强度的平均，计算该各音阶音符的强度的平均在每个拍子中的增量值，在全体音阶音符中对该增量值进行合计而求出每个拍子的全体音符的变化程度，根据该每个拍子的全体音符的变化程度来检测节拍和小节线位置。由于这样来检测小节，所以将小节分为前半部分和后半部分这2个部分，在各个部分中检测基音。关于基音，是使用在之前求出的每帧的各音阶音符的强度中的基音域(例如E1～E3)的强度，对该检测范围内的强度进行平均，将平均强度大的作为基音。或者对12个音阶音符进行平均，将最强的音阶音符作为基音。
在以前开发的设备中，对检测范围内的强度进行平均，将平均强度大的作为基音，但在本发明中仅使用检测范围的第1拍来进行检测。其理由如上所述。检测步骤及结构与以前开发的设备相同。
接下来说明作为本发明的主要着眼点的根据和声的变化程度进行的小节的分割。
本发明中，不仅根据上述的基音，还根据和声的变化程度来对小节进行分割。如下计算和声的变化程度。首先设定和弦检测音域。在主要演奏和声的音域中，例如为C3～E6(C4是中央的Do)。
在小节的一半等检测区间对该和弦检测音域的每帧的各音阶音符的强度进行平均。然后再按照每12个音阶音符(C、C#、D、D#、...、B)对平均后的各音阶音符的强度进行累积，除以累积的数目，求出12个音阶音符的平均强度。
在小节的前半部分和后半部分求出该和弦检测音域的12个音阶音符的平均强度，按照强弱顺序对它们进行重新排列。
如图15(a)(b)所示，调查后半部分的强音中的例如最强的3个(将该数设为M)是否包含在前半部分的例如最强的3个(将该数设为N)之中。
当所包含的数量例如在3个(将该数设为C)以上时(即包含全部)，判断为在小节的前半部分和后半部分没有和声的变化，不进行基于和声的变化程度的小节分割。
通过适当设定M、N、C的值，从而可以改变基于该和声的变化程度的小节分割的强度。在之前的例子中M、N、C的值都为3，非常认真地检查了和声的变化，但例如设为M＝3、N＝6、C＝3(后半部分的最强的3个音符是否包含于前半部分的最强的6个音符中)，则只要为某种程度上相似的声音，就能判断为是相同和声。
之前描述了在4节拍的情况下，将前半部分和后半部分再分成一半，将小节整体分割为4部分的情况，但在前半部分和后半部分的分割判断中，设M＝3、N＝3、C＝3，在判断是否进一步将前半部分和后半部分再分成一半的判断中，设M＝3、N＝6、C＝3，从而可以进行适合于实际的一般音乐的更准确的判断。
在本发明的结构中，不仅根据基音，还根据和声的变化程度来对小节进行分割，来检测和声，所以即使基音相同的情况下，当和声的变化程度大时，也对小节进行分割来检测和弦。即，即使在具有例如相同基音的小节内和弦产生变化的情况下也可以准确地检测和弦。关于该小节的分割，可以根据基音的变化程度、和声的变化程度来进行各种分割。
本发明第二方面的结构是使用其他结构来构成本发明第一方面的基于和声的变化程度的小节分割的结构。
即，本发明第二方面的和弦名检测装置构成为具有：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，并根据表示该每帧的全体音符的变化程度的强度增量值的合计，来检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，并根据该表示每个拍子的全体音符的变化程度的值，来检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将这12个音阶音符的平均强度根据强度小的一方的强度来进行归一化，计算各音阶音符的强度的欧几里得距离，根据该欧几里得距离是否超过所有帧的所有音符的强度的平均值×T，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度，来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度，来确定该小节的和弦名。
上述结构与本发明第一方面的结构不同，是通过构成为计算各音阶音符的强度的欧几里得距离，从而检测和声变化的程度，对小节进行分割来检测和弦。
其中，此时在单纯计算欧几里得距离时，由于急剧的音提高(乐曲开始等)或急剧的音衰减(乐曲结束、中断等)而使欧几里得距离成为大的值，有可能虽然和声没有变化但仅根据音符的强弱而对小节进行分割。于是，如图17所示，在计算欧几里得距离之前，将各音阶音符的强度归一化(图17(a)如图17(c)所示进行归一化，并且图17(b)如图17(d)所示进行归一化)。此时，如果不根据强度大的一方而根据强度小的一方(参照图17(a)～(d))，则在急剧的音符变化下欧几里得距离变小，不会错误地进行小节分割。
通过下式16来计算上述各音阶音符的强度的欧几里得距离。
[式16]
Figure GDA0000068113550000071
Figure GDA0000068113550000072
PowerOfNote1：和弦检测范围1的12个音阶音符的平均强度的数组(从C到B的12个)
PowerOfNote2：和弦检测范围2的12个音阶音符的平均强度的数组(从C到B的12个)
例如在该欧几里得距离超过所有帧的所有音符的强度的平均时对小节进行分割。
进一步具体而言，可以在(欧几里得距离＞所有帧的所有音符的强度的平均值×T)时对小节进行分割。如果改变该式的值T，则可以将小节分割的阈值改变(调整)为任意值。
本发明第三方面和第四方面的结构是关于通过由计算机读取并执行，以作为上述本发明第一方面和第二方面的和弦名检测装置的计算机程序的发明。
即，作为用于解决上述课题的结构，公开了使用计算机的结构来执行上述本发明第一方面和第二方面中所规定的和弦名检测装置的各结构中的处理单元的可由该计算机读取并执行的计算机程序。当然这些结构不限于计算机程序，当然也可以作为后述那样的存储了具有同样功能的程序的记录介质的结构被提供。此时，所谓计算机，除了包含中央运算处理装置的结构的通用计算机的结构之外，还可以包含面向特定处理的专用机等，只要是伴随有中央运算处理装置的结构，则没有特别限定。
用于使计算机执行上述各处理的这种程序一旦被计算机读取，则执行与通过本发明第一方面和第二方面中所规定的装置结构中的任一个单元所达成的处理相同的处理。
而且通过使用现有的硬件资源来执行该计算机程序，从而可以容易地通过现有的硬件来执行作为新应用的本发明第一方面和第二方面所规定的和弦名检测装置的结构。而且通过把这种计算机程序记录在上述记录介质中，易于将其作为软件商品进行发布、销售。除此之外，作为记录介质的结构，除了上述形式的情况之外，还可以为RAM和ROM等内部存储装置的结构和硬盘等外部存储装置的结构，如果将这种程序记录于这些存储装置中，则当然也包含在本发明所规定和存储介质中。
而且，执行后述的本发明第三方面和第四方面所述的各单元中的一部分处理的功能是通过组装到计算机内的功能(既可以是以硬件方式组装到计算机中的功能，也可以是通过组装到该计算机中的操作系统和其他应用程序等实现的功能)来实现的，在上述程序中也可以包含调用或链接到可由该计算机达成的功能的命令。
这是因为，通过例如由操作系统等达成的功能中的一部分来代替执行本发明第三方面和第四方面所规定的各单元的一部分，并非直接记录用于实现该功能的程序或模块等，如果调用或者链接到实现这些功能的操作系统的功能的一部分，则实质上成为相同的结构。
上述程序除了成为自身使用的对象之外，还可以如后所述那样记录在记录介质中被发布或销售，还可以通过通信等被发送，从而作为转让的对象。
其中本发明第三方面的结构对应于上述本发明第一方面的结构，作为其具体结构，一种和弦名检测用程序，通过由计算机读取并执行该和弦名检测用程序，从而使该计算机作为如下单元发挥作用：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，并根据表示该每帧的全体音符的变化程度的强度增量值的合计，来检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，并根据该表示每个拍子的全体音符的变化程度的值，来检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将它们分别按照强度从强到弱的顺序重新排列，然后根据后续区间的强音中的最强的3个以上的M个音阶音符中是否有C个以上被包含在其之前的区间的强音中的最强的3个以上的N个的音阶音符中，来判定和声是否产生变化，并根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度，来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度，来确定该小节的和弦名。
并且本发明第四方面的结构是对应于上述第二方面的结构的和弦名检测用计算机程序，作为其具体结构，通过由计算机读取并执行该和弦名检测用程序，从而使该计算机作为如下单元发挥作用：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，并根据该表示每个拍子的全体音符的变化程度的值，来检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将这12个音阶音符的平均强度根据强度小的一方的强度来进行归一化，计算各音阶音符的强度的欧几里得距离，根据该欧几里得距离是否超过所有帧的所有音符的强度的平均值×T，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度，来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度，来确定该小节的和弦名。
根据本发明第一方面至第四方面的和弦名检测装置以及和弦名检测用程序，能获得即使在小节内例如具有相同基音而发生和弦变化的情况下，也能正确地检测和弦的优良效果。
附图说明
图1是以前开发的设备的节奏检测装置的整体框图。
图2是音阶音符强度检测部2的结构的框图。
图3是表示拍子检测部3的处理流程的流程图。
图4是表示某乐曲的一部分的波形与各音阶音符强度、各音阶音符强度增量值的合计的图的图表。
图5是表示自相关性计算的概念的说明图。
图6是说明开头的拍子位置的确定方法的说明图。
图7是表示最开始的拍子位置确定之后的确定其以后的拍子位置的方法的说明图。
图8是表示根据s的值而改变的系数k的分布状态的图表。
图9是表示第2个之后的拍子位置确定方法的说明图。
图10是表示拍子检测结果的确认画面的例子的画面显示图。
图11是表示小节检测结果的确认画面的例子的画面显示图。
图12是本实施例1中的本发明的和弦检测装置的整体框图。
图13是表示乐曲的相同部分的和弦检测用音阶音符强度检测部5所输出的各帧的音阶音符强度的图表。
图14是表示基音检测部6的基音检测结果的显示例的图表。
图15是表示小节前半部分和后半部分的各音阶音符强度的状态的各音阶音符强度示意图。
图16是表示和弦检测结果的确认画面的例子的画面显示图。
图17是表示权利要求2的第2小节分割确定单元中的各音阶音符强度的欧几里得距离的计算方法的概要的说明图。
标号说明
1输入部；2拍子检测用音阶音符强度检测部；3拍子检测部；4小节检测部；5和弦检测用音阶音符强度检测部；6基音检测部；7第1小节分割确定部；8第2小节分割确定部；9和弦名确定部；20波形预处理部；21FFT运算部；22强度检测部；23、30、40、50、60、90缓冲器。
具体实施方式
下面与图示例一并说明本发明的实施方式。
图1是表示本申请人的以前开发的设备中作为该实施例结构表示出的节奏检测装置的主体框图。根据该图，本节奏检测装置的结构具有：输入声音信号的输入部1；根据所输入的声音信号，以规定的时间间隔(帧)来进行FFT运算，并根据求得的强度谱来求出每帧的各音阶音符强度的音阶音符强度检测部2；对所有的音阶音符合计该每帧的各音阶音符强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置的拍子检测部3；计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置的小节检测部4。
输入音乐声音信号的上述输入部1是输入进行节奏检测的对象的音乐声音信号的部分。其既可以通过A/D变换器(未图示)来将从话筒等设备输入的模拟信号变换为数字信号，又可以当为音乐CD等的经过了数字化的音乐数据的情况下，直接作为文件取入(割裂，ripping)，指定该文件来打开。当这样输入的数字信号为立体声的时候，为简化其后的处理而将其变换为单声道。
该数字信号被输入到音阶音符强度检测部2中。该音阶音符强度检测部2由图2的各部分构成。
其中，波形预处理部20构成为将音乐声音信号中来自上述输入部1的声音信号下采样(Down sampling)为适合于今后处理的采样频率。
下采样率是根据用于拍子检测的乐器的音域来确定的。即，为了使铙钹、镲等的高音域的节奏乐器的演奏声音反映到拍子检测上，需要使下采样之后的采样频率为高频，但在主要从基音和大鼓、小鼓等的乐器声音和中音域的乐器声音中进行拍子检测时，无需使下采样之后的采样频率很高。
例如设检测出的最高音为A6(C4为中央的“Do”)时，由于A6的基本频率为大约1760Hz(A4＝440Hz时)，所以下采样之后的采样频率中奈奎斯特频率(Nyquist frequency)大于等于1760Hz，只要大于等于3520Hz即可。由此，当原本的采样频率为44.1kHz(音乐CD)的情况下，下采样率为1/12左右即可。此时，下采样之后的采样频率为3675Hz。
关于下采样处理，通常在通过了使作为下采样之后的采样频率的一半的频率的奈奎斯特频率(此例中为1837.5Hz)以上的分量截止的低通滤波器之后，通过跳读数据(本例中为放弃波形样本的12个中的11个)来执行。
这样进行下采样处理的目的在于，在其后的FFT运算中，通过降低同样为获得频率分解能所需的FFT点数，来减少FFT运算时间。
而且如音乐CD那样已通过固定的采样频率对声源进行了采样的情况下，需要这种下采样，但在音乐声音信号的输入部1通过A/D变换器将从话筒等设备输入的模拟信号变换为数字信号的情况下，当然可以通过将A/D变换器的采样频率设定为下采样之后的采样频率，从而可以省略该波形预处理部。
当这样的波形预处理部20的下采样结束之后，以规定的时间间隔(帧)来通过FFT运算部21对波形预处理部的输出信号进行FFT(快速傅里叶变换)。
设FFT参数(FFT点数和FFT窗口的移位量)为适合于拍子检测的值。即，如果为了提高频率分解能而增大FFT点数，则会增大FFT窗口的尺寸，会用更长时间进行1次FFT，时间分解能会降低，对这种FFT特性必须加以考虑(即，优选在拍子检测时牺牲频率分解能来提高时间分解能)。虽然存在不使用与窗口尺寸相同长度的波形，而通过仅在窗口的一部分上设置波形数据，对剩余部分嵌入0，从而即使增大了FFT点数也不会使时间分解能变差的方法，但为了正确检测低音侧的强度，需要某种程度的波形采样数。
考虑上述情况，本实施例中，设定为FFT点数是512、窗口的移位是32采样(窗口的重叠是15/16)、没有嵌入0。如果用这种设定来进行FFT运算，则时间分解能为大约8.7ms、频率分解能为大约7.2Hz。如果考虑在四分音符＝300的节奏的乐曲中，32分音符的长度为25ms的情况，则可知时间分解能为大约8.7ms这个值是足够的。
这样按照每帧进行FFT运算，根据分别对其实数部和虚数部的平方的值的和的平方根来计算强度，将该结果发送给强度检测部22。
在强度检测部22中，根据在FFT运算部21计算出的强度谱来计算各音阶音符强度。由于FFT只是对将采样频率除以FFT点数得到的值的整数倍的频率的强度进行计算，所以为了根据该强度谱来检测各音阶音符强度，需要进行如下处理。即，对于计算音阶音符的所有音符(C1至A6)，将与该各音符的基本频率的上下50森特(cent)的范围内(100森特为半音符)的频率相当的强度谱内具有最大强度的频谱的强度作为该音阶音符的强度。
当对所有的音阶音符检测完强度时，将其保存在缓冲器内，使波形的读取位置推进规定的时间间隔(1帧；之前的例子中为32个样本)，重复FFT运算部21和强度检测部22的处理直到波形结尾处。
由此，音乐声音信号中输入到输入部1的声音信号中每隔规定时间的各音阶音符强度保存在缓冲器23中。
下面说明图1的拍子检测部3的结构。该拍子检测部3通过图3所示的处理流程来执行。
拍子检测部3以音阶音符强度检测部输出的每帧的各音阶音符强度的变化为基础检测平均的拍子(拍)间隔(即节奏)和拍子位置。为此，拍子检测部3首先计算各音阶音符强度的增量值的合计(用所有的音阶音符来合计与之前帧的强度增量值所得的值。强度比前一帧减少的情况下加0)(步骤S100)。
即，当设帧时间t内的第i个音阶音符强度为Li(t)时，第i个音阶音符强度的增量值Laddi(t)如下式1所示，使用该Laddi(t)，可通过下式2计算帧时间t内的各音阶音符强度的增量值合计L(t)。此处，T为音阶音符的总数。
式1
Figure GDA0000068113550000151
式2
L ( t ) = Σ i = 0 T - 1 L addi ( t )
该合计L(t)值表示每帧的整帧上的音符变化程度。该值在声音开始响起时急剧增大，同时鸣响的声音越多则为越大的值。由于音乐多在拍子位置处开始响起声音，所以该值为较大值的位置很有可能在拍子位置上。
作为例子，图4表示某个乐曲的一部分的波形和各音阶音符强度、各音阶音符强度的增量值的合计的图。上段表示波形，中央以浓淡表示每帧的各音阶音符强度(下为低音、上为高音。该图中为从C1到A6的范围)，下段表示每帧的各音阶音符强度的增量值的合计。该图的各音阶音符强度是从音阶音符强度检测部输出的，所以频率分解能为约7.2Hz，成为无法用G#2以下的一部分音阶音符计算强度的不齐状态，但由于此时目的在于检测拍子，所以即使无法测定低音的一部分音阶音符强度也没有问题。
如该图下段所示，各音阶音符强度的增量值的合计成为定期地具有峰值的形状。该定期的峰值的位置为拍子位置。
为了求出拍子位置，需要在拍子检测部3中首先求出该定期的峰值间隔、即平均的峰值间隔。平均的峰值间隔可以根据该各音阶音符强度的增量值的合计的自相关性来计算出来(图3；步骤S102)。
如果设某帧时间t中的各音阶音符强度的增量值的合计为L(t)，则该自相关性φ(τ)可由下式3计算出来。
式3
φ ( τ ) = Σ t = 0 N - τ - 1 L ( t ) · L ( t + τ ) N - τ
此处，N为总帧数，为时间延迟。
图5表示自相关性计算的示意图。如该图所示，当时间延迟
Figure GDA0000068113550000163
为L(t)的峰值周期的整数倍时，φ(τ)成为较大的值。因此，如果对某范围的计算φ(τ)的最大值，则可以求出乐曲的节奏。
求得自相关性的τ的范围可以根据设想的乐曲的节奏范围而发生改变。例如如果用节拍记号来计算四分音符＝30到300的范围，则计算自相关性的范围为从0.2秒到2秒。由时间(秒)向帧的变换式如下式4所示。
式4
Figure GDA0000068113550000165
虽然可以将该范围的自相关性φ(τ)为最大的τ作为拍子间隔，但由于未必在所有乐曲中自相关性为最大时的τ都为拍子间隔，所以最好根据自相关性为极大值时的τ来求出拍子间隔的候选(图3；步骤S104)，从这些多个候选中由用户确定拍子间隔(图3；步骤S106)。
这样确定了拍子间隔之后(设确定的拍子间隔为τmax)，首先来确定最开头的拍子位置。
使用图6说明开头的拍子位置的确定方法。图6的上段是帧时间t中的各音阶音符强度增量值的合计L(t)，下段M(t)是在确定的拍子间隔τmax的周期中具有值的函数。用数式表示则为下面的式5。
式5
Figure GDA0000068113550000171
一边使该函数M(t)在从0到τmax-1的范围内偏离，一边计算L(t)和M(t)的相互相关性。
相互相关性r(s)可通过上述M(t)的特性来根据下式6来计算。
式6
r ( s ) = Σ j = 0 n - 1 L ( τ max · j + s ) (0≤S＜τmax)
此时的n可以根据最开始的无声部分的长度来适当确定(在图6的例子中，n＝10)。
在s为从0到τmax-1的范围内求出r(s)，只要求出r(s)为最大的s，则该s的帧则为最开始的拍子位置。
一旦确定了最开始的拍子位置，则一个接一个地确定之后的拍子位置(图3；步骤S108)。
使用图7说明该方法。设在图7的三角标记的位置处发现了开头的拍子。设距离该开头的拍子位置为拍子间隔τmax的位置为假设的拍子位置，根据其附近处L(t)和M(t)取得最大相关性的位置来确定第2个拍子位置。即，当开头的拍子位置为b0时，求出使下面的式子中的r(s)为最大的s值。该式的s是距离假设的拍子位置的偏离，是下式7中的范围内的整数。F是摆动的参数，为0.1左右的值是适当的，但在节奏摇摆大的乐曲中，也可以取最大值。N在5左右较好。
K是根据s的值而变化的系数，例如成为图8所示的正态分布。
式7
r ( s ) = Σ j = 1 n k · L ( b o + τ max · j + s ) (-τmax·F  ≤s  ≤τmax·F)
如果求出r(s)为最大的s值，则第2个拍子位置b1通过下式8求出。
式8
b1＝b0+τmax+S
之后还可以同样求出第3个及之后的拍子位置。
在节奏几乎不变化的乐曲中，虽然可以通过该方法来求出拍子位置直到乐曲结尾，但实际的演奏多少会发生节奏变动，经常会一部分一部分地渐渐变慢。
于是，为对应这种节奏的变动，还探讨了如下的方法。
即，使图7的M(t)的函数如图9那样变化。
1)在以往的方法中，如图使各脉冲的间隔为τ1、τ2、τ3、
τ4时，τ1＝τ2＝τ3＝τ4＝τmax。
2)使τ1到τ4均等地增大或减小。
τ1＝τ2＝τ3＝τ4＝τmax+s    (-τmax·F≤s≤τmax·F)
由此可以对应节奏急剧变化的情况。
3)对应rit.(逐渐舒缓、渐渐变慢)或者accel.(渐速、渐渐变快)，如下计算各脉冲间隔。
τ1＝τmax
τ2＝τmax+1·s
τ3＝τmax+2·s    (-τmax·F≤s≤τmax·F)
τ4＝τmax+4·s
1、2、4的系数不过是举例，可以根据节奏变化的大小进行改变。
4)对3)那样的rit.或者accel.的情况下的5个脉冲位置中的哪个位置是欲求当前拍子的位置进行改变。
将它们都组合起来，计算L(t)与M(t)的相关性，从其中最大的值来确定拍子位置，则还可以对节奏变化的乐曲确定拍子位置。而且，在2)和3)的情况下，还是根据s的值来改变计算相关性时的系数k的值。
而且，虽然当前使5个脉冲的大小都相同，但也可以仅增大要求出拍子的位置(图9的假设拍子位置)的脉冲，或者离要求出拍子的位置越远则越减小值，强调求出拍子的位置的各音阶音符强度的增量值的合计[图9的5)]。
如上确定了各拍子的位置之后，也可以将该结果保存在缓冲器30中，并显示检测的结果，请用户确认，修改错误之处。
图10表示拍子检测结果的确认画面的例子。该图的三角形标记的位置是检测出的拍子位置。
如果按下了“再现”按钮，则当前的音乐声音信号经过D/A变换而从扬声器等再现。当前的再现位置如图所示，通过竖线等再现位置指示器来显示，所以可以一边听音乐一边确认拍子检测位置的错误。而且，如果与检测的原波形的再现同时，在拍子位置的定时上再现例如节拍器那样的声音，则不仅可以目视确认还能用声音来确认，能更易于判断错误检测。作为再现该节拍器声音的方法，例如可考虑MIDI设备等。
按下“拍子位置修正”按钮来进行拍子检测位置的修正。一旦按下该按钮，则在画面上显现十字光标，所以在最开始出现拍子检测错误的地方点击正确的拍子位置。从被点击的地方稍微靠前处(例如τmax的一半的位置)起将之后的拍子位置都清除掉，将被点击的地方作为假设的拍子位置，对之后的拍子位置进行再次检测。
下面说明节拍和小节的检测。
由于通过之前的处理已经确定了拍子位置，所以下面求出每个拍子的音符的变化程度。每个拍子的音符的变化程度是根据音阶音符强度检测部2输出的每帧的各音阶音符强度来计算的。
当设第j个拍子的帧数为bj、其前后的拍子的帧为bj-1、bj+1时，第j个拍子的每个拍子的音符的变化程度的计算方法是：计算从帧bj-1到bj-1的帧的各音阶音符强度的平均、和从帧bj到bj+1-1为止的帧的各音阶音符强度的平均，根据其增量值求出各音阶音符的每个拍子的音符的变化程度，用所有的音阶音符来对该变化程度进行合计来计算。
即，当帧时间t中的第i个音阶音符强度为Lj(t)时，第j个拍子的第i个音阶音符强度的平均Lavgi(j)为下式9，所以第j个拍子的第i个音阶音符的每个拍子的音符的变化程度Baddi(j)如下式10所示。
式9
L avgi ( j ) = Σ t = b j b j + 1 - 1 L i ( t ) b j + 1 - b j
式10
因此，第j个拍子的每个拍子的音符的变化程度B(j)如下式11所示。此处T为音阶音符的总数。
式11
B ( j ) = Σ i = 0 T - 1 B addi ( j )
图11的最下段是该每个拍子的音符的变化程度。根据该每个拍子的音符的变化程度求出节拍和第1拍的位置。
节拍是根据每个拍子的音符的变化程度的自相关性求出的。一般由于认为音乐中大多在第1拍上音符发生变化，所以可以根据该每个拍子的音符的变化程度的自相关性求出拍子。例如根据下式12所示的求出自相关性φ(τ)的式子，在延迟τ为从2到4的范围内求得每个拍子的音符的变化程度B(j)的自相关性φ(τ)，将自相关性φ(τ)为最大的延迟τ作为节拍的数。
式12
φ ( τ ) = Σ j = 0 N - τ - 1 B ( j ) · B ( j + τ ) N - τ
N是总拍子数，在τ＝2～4的范围内计算φ(τ)，将φ(τ)为最大的τ作为拍子的数量。
下面求第1拍，将每个拍子的音符的变化程度B(j)最大的位置作为第1拍。即，当设φ(τ)为最大的τ为τmax、下式13的X(k)为最大的k为kmax时，第kmax个的拍子成为最开始的第1拍的位置，之后将满足τmax的拍子位置作为第1拍。
式13
X ( k ) = Σ n = 0 n max B ( τ max · n + k ) n max + 1 (0≤k＜τmax)
nmax是在τmax·n+k＜N的条件下为最大的n。
如上所述，优选在确定了节拍和第1拍的位置(小节线的位置)之后，将该结果保存在缓冲器40中，并对检测结果进行画面显示，由用户进行变更。特别地，变节拍的乐曲无法使用该方法进行处理，所以需要由用户指定变节拍的位置。
通过上述结构可以根据人所演奏的节奏变化的演奏的声音信号来检测乐曲全体的平均节奏和正确的拍子(拍)的位置，以及检测乐曲的节拍和第1拍的位置。
[实施例1]
图12是本发明的和弦检测装置的整体框图。该图中，拍子检测和小节检测的结构与上述结构基本相同，在相同结构中，由于节奏检测用和和弦检测用的结构与上述结构有不同的地方，所以除去算式等，如下重复相同说明。
根据该图，本和弦检测装置构成为具有：输入声音信号的输入部1；根据所输入的声音信号，以规定的时间间隔(帧)使用适合于拍子检测的参数来进行FFT运算，并根据求得的强度谱来求出每帧的各音阶音符强度的拍子检测用音阶音符强度检测部2；对所有的音阶音符合计该每帧的各音阶音符强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置的拍子检测部3；计算该每个拍子的各音阶音符强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置的小节检测部4；根据上述所输入的声音信号，以不同于之前的拍子检测时的时间间隔的其他的规定时间间隔(帧)，使用适合于和弦检测的参数来进行FFT运算，根据求得的强度谱来求出每帧的各音阶音符强度的和弦检测用音阶音符强度检测部5；将检测出的各音阶音符强度中的各小节设定为若干个检测范围，根据各检测范围内相当于第1拍的部分的低音域侧的音阶音符强度，来检测各检测范围的基音的基音检测部6；根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个的第1小节分割确定部7；同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符强度进行累积，用累积后的数来进行除法运算求出12个音阶音符的平均强度，将它们分别按照强度从强到弱的顺序重新排列，根据是否有C个以上的后续区间的强音中的最强的M个(3个以上)音阶音符包含于其之前的区间的强音中的最强的N个(3个以上)的音阶音符之中，来判定和声是否产生变化，根据该和声变化的程度来确定是否可以将小节分割为多个的第2小节分割确定部8；以及当通过第1或第2小节分割确定部7、8确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度来确定各和弦检测范围的和弦名，当通过第1或第2小节分割确定部确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符强度来确定该小节的和弦名的和弦名确定部9。
输入音乐声音信号的上述输入部1是输入进行和弦检测的对象的音乐声音信号的部分，但由于其基本结构与上述结构中的输入部1相同，所以省略其详细说明。其中，当通常定位于中心上的口声(vocal sound)妨碍后面的和弦检测时，也可以通过将右声道的波形和左声道的波形相减来进行口声消除。
该数字信号被输入到拍子检测用音阶音符强度检测部2和和弦检测用音阶音符强度检测部5中。这些音阶音符强度检测部都由上述图2的各部分构成，结构完全相同，所以能够仅改变参数来再次使用相同设备。
而且作为该结构进行使用的波形预处理部20与上述相同地构成，将音乐声音信号中来自上述输入部1的声音信号下采样为适合于今后处理的采样频率。其中，既可以利用拍子检测用和和弦检测用来改变下采样之后的采样频率、即下采样率，也可以为了节约下采样的时间而使其相同。
在拍子检测用时，下采样率是根据用于拍子检测的音域来确定的。为了使铙钹、镲等的高音域的节奏乐器的演奏声音反映到拍子检测上，需要使下采样之后的采样频率为高频，但为了主要从基音和大鼓、小鼓等的乐器声音和中音域的乐器声音中进行拍子检测时，也可以使用与下面的和弦检测时相同的下采样率。
和弦检测用的波形预处理部的下采样率根据和弦检测音域而改变。所谓和弦检测音域是指和弦名确定部在检测和弦时使用的音域。例如设和弦检测音域为从C3到A6(C4为中央的Do)时，由于A6的基本频率为大约1760Hz(A4＝440Hz时)，所以下采样之后的采样频率只要是奈奎斯特频率(Nyquist frequency)大于等于1760Hz的3520Hz以上即可。由此，当原本的采样频率为44.1kHz(音乐CD)的情况下，下采样率为1/12左右即可。此时，下采样之后的采样频率为3675Hz。
通常在通过了将作为下采样之后的采样频率的一半频率的奈奎斯特频率(此例中为1837.5Hz)以上的分量截止的低通滤波器之后，通过跳读数据(本例中为放弃波形样本的12个中的11个)来执行下采样处理。关于这点，基于上述结构中说明的理由相同的理由。
这样结束了波形预处理部20的下采样之后，以规定的时间间隔，通过FFT运算部21来对波形预处理部的输出信号进行FFT(快速傅里叶变换)。
设FFT参数(FFT点数和FFT窗口的移位量)在拍子检测时与和弦检测时为不同的值。这是由于如下的FFT的特性：如果为了提高频率分解能而增大FFT点数，则会增大FFT窗口的尺寸，会用更长时间进行1次FFT，时间分解能会降低，(即，优选在拍子检测时牺牲频率分解能来提高时间分解能)。虽然存在不使用与窗口尺寸相同长度的波形，而通过仅在窗口的一部分上设置波形数据，对窗口的剩余部分嵌入0，从而即使增大了FFT点数也不会使时间分解能变差的方法，但在本实施例的情况下，为了也能正确检测低音侧的强度，需要某种程度的波形样本数。
考虑上述情况，本实施例中，在拍子检测时，设定为FFT点数是512、窗口的移位是32个样本(窗口的重叠是15/16)、没有嵌入0；而在和弦检测时，设定为FFT点数是8192、窗口的移位是128个样本(窗口的重叠是63/64)、在一次FFT中针对波形样本使用1024个样本。如果用这种设定来进行FFT运算，则在拍子检测时，时间分解能大约为8.7ms、频率分解能大约为7.2Hz；而在和弦检测时，时间分解能大约为35ms、频率分解能大约为0.4Hz。由于当前准备求出强度的音阶音符在从C1到A6的范围内，所以和弦检测时的频率分解能约0.4Hz也能应对频率差最小的C1和C#1的基本频率之差、即约1.9Hz。而且，如果考虑四分音符＝300的节奏的乐曲中32分音符的长度为25ms，则可知和弦检测时的时间分解能为约8.7ms是足够的。
这样按照每帧进行FFT运算，根据分别对该实数部分和虚数部进行平方的值的和的平方根来计算强度，将该结果发送给强度检测部22。
在强度检测部22中，根据在FFT运算部21计算出的强度谱来计算各音阶音符强度。由于FFT只是对将采样频率除以FFT点数得到的值的整数倍的频率的强度进行计算，所以为了根据该强度谱来检测各音阶音符的强度，需要进行与上述结构相同的处理。即，对于要计算音阶音符的所有音符(C1至A6)，将与该各音符的基本频率的上下50森特(cent)的范围内(100森特为半音符)的频率相当的强度谱内具有最大强度的频谱的强度作为该音阶音符的强度。
当对所有的音阶音符检测了强度时，将其保存在缓冲器内，使波形的读取位置推进规定的时间间隔(1帧；之前的例子中拍子检测时为32个样本、和弦检测时为128个样本)，重复FFT运算部21和强度检测部22的处理直到波形结尾处。
由此，音乐声音信号中的输入到输入部1的声音信号的每帧的各音阶音符强度被保存在拍子检测用和和弦检测用的两种的缓冲器23和50中。
下面，由于图12的拍子检测部3和小节检测部4的结构与上述结构的拍子检测部3和小节检测部4为相同结构，所以此处省略其详细说明。
由于通过与上述结构相同的结构和步骤来确定小节线的位置(各小节的帧号码)，所以接下来检测各小节的基音。
基音是根据和弦检测用音阶音符强度检测部5所输出的各帧的音阶音符强度来检测的。
图13表示与上述结构的图4相同的乐曲的相同部分的从和弦检测用音阶音符强度检测部5所输出的各帧的音阶音符强度。如该图所示，和弦检测用音阶音符强度检测部5的频率分解能为大约0.4Hz，所以提取出从C1到A6的所有音阶音符强度。
在本申请人以前开发的设备中，由于基音在小节内前半部分和后半部分有可能不同，所以将小节分割为前半部分和后半部分这两个部分，分别在两部分检测基音，当检测出其他的基音的情况下，将和弦也分为前半部分和后半部分进行检测。但在该方法中，当基音相同但和声不同时，例如小节的前半部分为C和弦，后半部分为Cm和弦的情况下，由于基音相同因而存在无法对小节进行分割，在小节整体上来检测和弦的问题。
而且，在上述以前开发的设备中，在检测范围整体中检测基音。即，当检测范围为小节的时候，在小节整体中将强音作为基音。但在爵士乐那样的基音频繁变动(基音以4分音符等变动)时，无法通过该方法正确检测基音。
因此，在本实施例中，构成为首先用基音检测部6来检测基音，但在检测出的各音阶音符强度中将各小节设定为若干个检测范围，根据各检测范围内相当于第1拍的部分的低音域侧的音阶音符强度来检测各检测范围的基音。如上所述，这是由于即使在基音频繁变动的情况下，大多数情况下最初的第1拍都弹奏和弦的根音(root note)。
基音是根据相当于第1拍的检测范围内的部分中的基础检测音域的音阶音符强度的平均强度来求出的。
如果设帧时间t中的第i个音阶音符强度为Li(t)，则从帧fs起的fe的第i个音阶音符的平均强度Lavgi(fs、fe)可通过下式14计算出来。
式14
L avgi ( f s , f e ) = Σ t = f s f e L i ( t ) f e - f s + 1 (fs≤fe)
在基音检测音域、例如从C2到B3的范围内计算该平均强度，基音检测部6将平均强度为最大的音阶音符确定为基音。为了在基音检测音域中不包含音符的乐曲中或者无声部分中不错误地检测基音，也可以设定适当的阈值，当检测出的基音的强度在该阈值以下时不检测基音。而且，当在之后的和弦检测中把基音看得很重要的时候，也可以检查检测出的基音是否在第1拍的基音检测范围中持续保持某强度以上，仅将更可靠的作为基音检测出来。进而，还可以不将基音检测音域中平均强度最大的音阶音符确定为基音，而是按照每12个音符名将该各音符名的平均强度进行平均，将该每个音符名的强度最大的音符名确定为基音名，在具有该音符名的基音检测音域中的音阶音符中，把平均强度最大的音阶音符确定为基音。
确定了基音之后，也可以将该结果保存在缓冲器60中，并对基音检测结果进行画面显示，在有错误的情况下让用户进行修改。而且，由于还考虑到根据乐曲不同基音域发生变化的情况，所以也可以由用户改变基音检测音域。
图14表示基音检测部6的基音检测结果的显示例。
接着通过第1小节分割确定部7根据检测出的基音在各检测范围中是否不同，来判定基音是否存在变化，根据该基音是否存在变化来确定是否可以将小节分割为多个。即，如果检测出的基音在各检测范围中相同，则确定为无需分割该小节。而且如果检测出的基音在各检测范围中不同，则确定为需要分割该小节。此时，也可以重复判断是否还需要对各分割后的一半部分再进行分割。
另一个第2小节分割确定部8的结构中，首先设定和弦检测音域。在主要演奏和声的音域中，例如为C3～E6(C4为中央的Do)。
在小节的一半等检测区间对该和弦检测音域的每帧的各音阶音符强度进行平均。进一步按照每12个音阶音符(C、C#、D、D#、...、B)来累积平均后的各音阶音符的强度，除以累积的数，求出12个音阶音符的平均强度。
在小节的前半部分和后半部分求出该和弦检测音域的12个音阶音符的平均强度，按照强弱顺序对它们进行重新排列。
如上述图15(a)(b)所示，调查在前半部分的例如最强的3个(将该数设为N)音符之中是否包含后半部分的强音内的例如最强的3个(将该数设为M)音符，根据所包含的数量是否在该数字以上，来判定和声是否产生变化。通过该判定，第2小节分割确定部8判定该和声变化的程度，由此确定是否可以将小节分割为多个。
当所包含的数量在例如3个(将该数设为C)以上时(即包含全部)，判断为在小节的前半部分和后半部分没有发生和声的变化，第2小节分割确定部8确定为不进行基于和声的变化程度的小节分割。
通过在第2小节分割确定部8中适当设定该M、N、C的值，从而可以改变基于该和声变化程度的小节分割强度。在之前的例子中该M、N、C全部为3，非常认真地检查和声的变化，但如果例如设为M＝3、N＝6、C＝3(在前半部分的最强的6个音符中是否包含后半部分的最强的3个音符)，则只要为某种程度上相似的声音，就能判断为是相同的和声。
之前描述了在4节拍的情况下，将前半部分和后半部分再分割成一半，将小节全体分割为4部分的情况，但在前半部分和后半部分的分割判断中，设M＝3、N＝3、C＝3，通过在判断是否进一步将前半部分和后半部分再分割成一半的判断中，设M＝3、N＝6、C＝3，从而可以进行适合于实际的一般音乐的更准确的判断。
和弦名确定部9构成为在通过第1或第2小节分割确定部7或者8确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围内的各音阶音符的强度来确定各和弦检测范围的和弦名；在通过第1或第2小节分割确定部7或者8确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符强度，来确定该小节的和弦名。
如下由和弦名确定部9进行实际的和弦名的确定。在本实施例中，设和弦检测范围与基音检测范围相同。计算和弦检测音域、例如从C3到A6的各音阶音符的和弦检测范围的平均强度，依次从具有大的值的音阶音符中检测多个音符名，从该多个音符名和基音的音符名中提取和弦名候选。
此时，由于不一定是强度大的音符为和弦构成音，所以检测多个例如5个音符名的音符，从所有的组合中选出其中的2个以上的组合，根据该选出的组合与基音的音符名提取和弦名候选。
关于和弦也可以不检测平均强度为阈值以下的和弦。而且还可以由用户来改变和弦检测音域。进而，也可以不依次从和弦检测音域中平均强度为最大的音阶音符中提取和弦构成音符候选，而是按照每12个音符名对该和弦检测音域内的各音符名的平均强度进行平均，从该每个音符名的强度最大的音符名中依次提取出和弦构成音符候选。
关于和弦名候选的提取，是通过由和弦名确定部9检索保存了和弦的类型(m、M7等)和距和弦构成音符的根音的音程的和弦名数据库来提取的。即，从检测出的5个音符名中选出所有的2个以上的组合，彻底调查这些音符名间的音程是否与该和弦名数据库的和弦构成音符的音程具有关系，如果是相同音程关系，则根据和弦构成音符中的任一个音符名计算根音，对该根音的音符名赋予和弦类型，确定和弦名。此时，和弦的根音和5度的音有时在演奏和弦的乐器中被省略，所以即使不包含根音和5度的音也作为和弦名候选而提取出来。在检测出基音的情况下，把基音的音符名加在该和弦名候选的和弦名上。即，如果和弦的根音名与基音音符名相同则原样即可，如果不同则作为分数和弦。
在上述方法中，当所提取的和弦名候选过多时，也可以基于基音进行限定。即，在检测出基音时，在和弦名候选之中删除其根音名与基音音符名不同的候选。
在提取出了多个和弦名候选的情况下，为了在其中确定某一个候选，需要通过和弦名确定部9来计算似然度(最相似性)。
似然度是根据和弦检测音域中的所有和弦构成音符的强度的平均和基音检测音域中的和弦的根音的强度的强度来计算的。即，设所提取出的某和弦名候选的所有构成音符在和弦检测范围内的平均强度的平均值为Lavgc、和弦的根音在基音检测范围的平均强度为Lavgr，则如下式15所示，通过该2个的平均来计算似然度。作为计算似然度的其他方法，也可以使用和弦检测音域中的和弦音调(和弦构成音符)和无和弦音调(和弦构成音符之外的音符)的(平均的)强度之比。
式15
Figure GDA0000068113550000291
此时，当和弦检测音域和基音检测音域中含有多个相同音符名的音符时，使用其中平均强度强的音符。或者也可以分别在和弦检测音域和基音检测音域中按照每12个音符名对各音阶音符的平均强度进行平均，使用该每个音符名的平均值。
进而，还可以对该似然度的计算导入音乐知识。例如，在所有帧中对各音阶音符的强度进行平均，按照每12个音符名对其进行平均来计算各音符名的强度，按照该强度分布来检测曲调。然后，考虑对曲调的顺阶和弦(Diatonic Chord)乘以某常数以使其似然度增大，或者使在构成音符中包含曲调的自然音阶(diatonic scale)上的音符之外的音符的和弦根据该之外的音符的数量来减小似然度等。还可以将和弦进行中经常出现的模式(pattern)作为数据库存储，并与之比较，从而乘以某常数以使和弦候选中常使用的进行的和弦的似然度变大。
虽然将似然度最大的确定为和弦名，但也可以将和弦名的候选与似然度一起显示，让用户选择。
无论如何，一旦由和弦名确定部9确定了和弦名，则将该结果保存在缓冲器90中，并且将和弦名进行画面输出。
图16表示和弦名确定部9的和弦检测结果的显示例。不仅对这样检测出来的和弦名进行画面显示，而且优选使用MIDI设备等再现检测出来的和弦和基音。这是由于一般无法仅凭看到和弦名来判断是否正确。
根据上面说明的本实施例结构，即使不是具有特别的音乐知识的专家也能对于音乐CD等多个乐器声音被混入输入的音乐声音信号，不用分别检测音符信息就能从全体的声音中检测和弦名。
而且根据该结构，即使构成音符相同也能进行判别，对于演奏节奏变动的情况或者相反故意打乱节奏进行演奏的声源，也能检测出每个小节的和弦名。
特别是在本实施例结构中，不仅根据基音，还根据和声的变化程度来对小节进行分割，从而来检测和弦，所以即使基音相同的情况下，当和声变化程度大时，也对小节进行分割来检测和弦。即，即使在例如具有相同基音的小节内发生和弦变化的情况下也能正确地检测和弦。关于该小节的分割，可以根据基音的变化程度、和声的变化程度来进行各种分割。
[实施例2]
本实施例结构与实施例1的结构不同，是通过计算各音阶音符强度的欧几里得距离，从而探测和声变化程度，对小节进行分割来检测和弦的结构。
其中，此时如果单纯计算欧几里得距离，则由于急剧的音提高(乐曲开始等)或急剧的音衰减(乐曲结束、中断等)而使欧几里得距离成为大的值，所以有可能虽然和声没有变化但仅根据音的强弱来对小节进行分割。于是，如图17所示，在计算欧几里得距离之前，使各音阶音符的强度归一化(图17(a)如图17(c)所示进行归一化，图17(b)如图17(d)所示进行归一化)。此时，如果不根据值大的一方而根据值小的一方(参照图17(a)～(d))，则在急剧的音的变化下欧几里得距离变小，不会错误地进行小节分割。
上述各音阶音符强度的欧几里得距离可以通过上述式16来计算出来。例如在该欧几里得距离超过了所有帧的所有音符的强度的平均的情况下，通过上述第1小节分割确定部7来确定对小节进行分割。
进而，详细而言，可以在(欧几里得距离＞所有帧的所有音符的强度的平均值×T)的时候对小节进行分割。如果改变该式的值T，则可以将小节分割的阈值改变(调整)为任意值。
并且，本发明的和弦名检测装置以及和弦名检测用程序不仅限于上述图示例，当然可以在不脱离本发明主旨的范围内施加各种变更。
本发明的和弦名检测装置以及和弦名检测用程序可以用于音乐宣传视频的制作等时使视频轨道中的事件与音轨中的拍子的时刻同步的视频编辑处理、通过拍子跟踪来发现拍子位置、切取粘贴音乐的声音信号的波形的音频编辑处理、与人的演奏同步地控制照明的颜色/亮度/方向/特殊效果等要素、或者自动控制观众拍手和助威等的现场舞台的事件控制、与音乐同步的计算机图片等各种领域中。

Claims (4)

1.一种和弦名检测装置，其特征在于，该和弦名检测装置具有：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将它们分别按照强度从强到弱的顺序重新排列，根据后续区间的强音中的最强的3个以上的M个音阶音符中是否有C个以上被包含在其之前的区间的强音中的最强的3个以上的N个的音阶音符中，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度来确定该小节的和弦名。
2.一种和弦名检测装置，其特征在于，该和弦名检测装置具有：
输入单元，其输入声音信号；
第1音阶音符强度检测单元，其根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测单元，其对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测单元，其计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置；
第2音阶音符强度检测单元，其根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测单元，其在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定单元，其根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定单元，其同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将这12个音阶音符的平均强度根据强度小的一方的强度来进行归一化，计算各音阶音符的强度的欧几里得距离，根据该欧几里得距离是否超过所有帧的所有音符的强度的平均值×T，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定单元，其在通过第1或第2小节分割确定单元确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定单元确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度来确定该小节的和弦名。
3.一种和弦名检测用方法，其特征在于，该和弦名检测用方法包括以下步骤：
输入步骤，输入声音信号；
第1音阶音符强度检测步骤，根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测步骤，对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测步骤，计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置；
第2音阶音符强度检测步骤，根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测步骤，在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定步骤，根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定步骤，同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将它们分别按照强度从强到弱的顺序重新排列，根据后续区间的强音中的最强的3个以上的M个音阶音符中是否有C个以上被包含在其之前的区间的强音中的最强的3个以上的N个的音阶音符中，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定步骤，在通过第1或第2小节分割确定步骤确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定步骤确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度来确定该小节的和弦名。
4.一种和弦名检测用方法，其特征在于，该和弦名检测用方法包括以下步骤：
输入步骤，其输入声音信号；
第1音阶音符强度检测步骤，根据所输入的声音信号，以规定的帧间隔使用适合于拍子检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
拍子检测步骤，对所有的音阶音符合计该规定的每帧的各音阶音符的强度的增量值，求出表示每帧的全体音符的变化程度的强度增量值的合计，根据表示该每帧的全体音符的变化程度的强度增量值的合计，检测平均的拍子间隔和各拍子的位置；
小节检测步骤，计算该每个拍子的各音阶音符的强度的平均值，对所有的音阶音符合计该每个拍子的各音阶音符的平均强度的增量值，求出表示每个拍子的全体音符的变化程度的值，根据该表示每个拍子的全体音符的变化程度的值，检测节拍和小节线位置；
第2音阶音符强度检测步骤，根据上述所输入的声音信号，以不同于之前拍子检测时的帧间隔的其他规定的帧间隔，使用适合于和弦检测的参数来进行FFT运算，根据求出的强度谱来求出每帧的各音阶音符的强度；
基音检测步骤，在检测出的各音阶音符的强度中，将各小节设定为若干个检测范围，根据各检测范围内的相当于第1拍的部分的低音域侧的音阶音符的强度来检测各检测范围的基音；
第1小节分割确定步骤，根据所检测出的基音在各检测范围中是否不同，来判定基音是否产生变化，根据该基音是否产生变化来确定是否可以将小节分割为多个；
第2小节分割确定步骤，同样将小节设定为若干个和弦检测区间，在主要被设定为演奏和声的音域的和弦检测音域中，在上述检测区间对每帧的各音阶音符的强度进行平均，再按照每12个音阶音符对这些平均后的各音阶音符的强度进行累积，除以所累积的数目，求出12个音阶音符的平均强度，将这12个音阶音符的平均强度根据强度小的一方的强度来进行归一化，计算各音阶音符的强度的欧几里得距离，根据该欧几里得距离是否超过所有帧的所有音符的强度的平均值×T，来判定和声是否产生变化，根据该和声的变化程度来确定是否可以将小节分割为多个；以及
和弦名确定步骤，在通过第1或第2小节分割确定步骤确定为需要将小节分割为若干个和弦检测范围的情况下，根据基音和各和弦检测范围中的各音阶音符的强度来确定各和弦检测范围的和弦名，并且在通过第1或第2小节分割确定步骤确定为不需要对小节进行分割的情况下，根据基音和该小节的各音阶音符的强度来确定该小节的和弦名。
CN2007101403349A 2006-08-09 2007-08-09 和弦名检测装置以及和弦名检测用方法 Expired - Fee Related CN101123085B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006216361A JP4823804B2 (ja) 2006-08-09 2006-08-09 コード名検出装置及びコード名検出用プログラム
JP2006216361 2006-08-09
JP2006-216361 2006-08-09

Publications (2)

Publication Number Publication Date
CN101123085A CN101123085A (zh) 2008-02-13
CN101123085B true CN101123085B (zh) 2011-10-05

Family

ID=39049278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101403349A Expired - Fee Related CN101123085B (zh) 2006-08-09 2007-08-09 和弦名检测装置以及和弦名检测用方法

Country Status (4)

Country Link
US (1) US7485797B2 (zh)
JP (1) JP4823804B2 (zh)
CN (1) CN101123085B (zh)
DE (1) DE102007034774A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171133A (ja) * 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
US7538265B2 (en) 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
JP4315180B2 (ja) * 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US7932454B2 (en) * 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
WO2008130665A1 (en) 2007-04-19 2008-10-30 Master Key, Llc System and method for audio equalization
US7994409B2 (en) * 2007-04-19 2011-08-09 Master Key, Llc Method and apparatus for editing and mixing sound recordings
WO2008130657A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for computer-generated music
WO2008130660A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Archiving of environmental sounds using visualization components
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
WO2008130663A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for foreign language processing
US8018459B2 (en) * 2007-04-20 2011-09-13 Master Key, Llc Calibration of transmission system using tonal visualization components
US7932455B2 (en) * 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
US7935877B2 (en) * 2007-04-20 2011-05-03 Master Key, Llc System and method for music composition
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US7875787B2 (en) * 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
JP5196550B2 (ja) * 2008-05-26 2013-05-15 株式会社河合楽器製作所 コード検出装置およびコード検出プログラム
JP5153517B2 (ja) * 2008-08-26 2013-02-27 株式会社河合楽器製作所 コード名検出装置及びコード名検出用コンピュータ・プログラム
JP2012506061A (ja) * 2008-10-15 2012-03-08 ムゼーカ ソシエテ アノニム デジタル音楽音響信号の分析方法
US9299362B2 (en) * 2009-06-29 2016-03-29 Mitsubishi Electric Corporation Audio signal processing device
US8269094B2 (en) 2009-07-20 2012-09-18 Apple Inc. System and method to generate and manipulate string-instrument chord grids in a digital audio workstation
WO2011125203A1 (ja) * 2010-04-08 2011-10-13 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム
US8309834B2 (en) * 2010-04-12 2012-11-13 Apple Inc. Polyphonic note detection
US8983082B2 (en) * 2010-04-14 2015-03-17 Apple Inc. Detecting musical structures
JP5659648B2 (ja) * 2010-09-15 2015-01-28 ヤマハ株式会社 コード検出装置およびコード検出方法を実現するためのプログラム
JP2013105085A (ja) * 2011-11-15 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
CN104683933A (zh) * 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
JP6252147B2 (ja) * 2013-12-09 2017-12-27 ヤマハ株式会社 音響信号分析装置及び音響信号分析プログラム
WO2017037920A1 (ja) * 2015-09-03 2017-03-09 Ｐｉｏｎｅｅｒ ＤＪ株式会社 楽曲解析装置、楽曲解析方法、及び楽曲解析プログラム
US10381041B2 (en) * 2016-02-16 2019-08-13 Shimmeo, Inc. System and method for automated video editing
CN107301857A (zh) * 2016-04-15 2017-10-27 青岛海青科创科技发展有限公司 一种给旋律自动配伴奏的方法及系统
JP6500869B2 (ja) * 2016-09-28 2019-04-17 カシオ計算機株式会社 コード解析装置、方法、及びプログラム
WO2019043797A1 (ja) * 2017-08-29 2019-03-07 Ｐｉｏｎｅｅｒ ＤＪ株式会社 楽曲解析装置および楽曲解析プログラム
JP6920445B2 (ja) * 2017-08-29 2021-08-18 ＡｌｐｈａＴｈｅｔａ株式会社 楽曲解析装置および楽曲解析プログラム
CN111052220B (zh) * 2017-09-07 2023-06-27 雅马哈株式会社 和弦信息提取装置、和弦信息提取方法及存储装置
CN108320730B (zh) * 2018-01-09 2020-09-29 广州市百果园信息技术有限公司 音乐分类方法及节拍点检测方法、存储设备及计算机设备
CN109935222B (zh) * 2018-11-23 2021-05-04 咪咕文化科技有限公司 一种构建和弦转换向量的方法、装置及计算机可读存储介质
CN110164473B (zh) * 2019-05-21 2021-03-26 江苏师范大学 一种基于深度学习的和弦排列检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0527751A (ja) * 1991-07-19 1993-02-05 Brother Ind Ltd 自動採譜装置等に用いられるテンポ抽出装置
JP3232112B2 (ja) * 1991-10-11 2001-11-26 ブラザー工業株式会社 小節境界時刻抽出装置
JP2900976B2 (ja) * 1994-04-27 1999-06-02 日本ビクター株式会社 Ｍｉｄｉデータ編集装置
JP3666366B2 (ja) * 1999-11-04 2005-06-29 ヤマハ株式会社 携帯用端末装置
GB0023207D0 (en) * 2000-09-21 2000-11-01 Royal College Of Art Apparatus for acoustically improving an environment
JP3789326B2 (ja) * 2000-07-31 2006-06-21 松下電器産業株式会社 テンポ抽出装置、テンポ抽出方法、テンポ抽出プログラム及び記録媒体
JP2002215195A (ja) * 2000-11-06 2002-07-31 Matsushita Electric Ind Co Ltd 音楽信号処理装置
JP3908649B2 (ja) * 2002-11-14 2007-04-25 Ｎｅｃアクセステクニカ株式会社 環境同期制御システム、制御方法及びプログラム
JP4244133B2 (ja) * 2002-11-29 2009-03-25 パイオニア株式会社 楽曲データ作成装置及び方法
JP4313563B2 (ja) * 2002-12-04 2009-08-12 パイオニア株式会社 楽曲検索装置及び方法
JP4070120B2 (ja) * 2003-05-13 2008-04-02 株式会社河合楽器製作所 自然楽器の楽音判定装置
JP2006195384A (ja) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd 楽曲調性算出装置および選曲装置
JP4672613B2 (ja) * 2006-08-09 2011-04-20 株式会社河合楽器製作所 テンポ検出装置及びテンポ検出用コンピュータプログラム
JP2008090633A (ja) * 2006-10-02 2008-04-17 Sony Corp 動きデータ生成装置、動きデータ生成方法及び動きデータ生成プログラム

Also Published As

Publication number Publication date
DE102007034774A1 (de) 2008-04-10
CN101123085A (zh) 2008-02-13
US20080034947A1 (en) 2008-02-14
JP2008040283A (ja) 2008-02-21
US7485797B2 (en) 2009-02-03
JP4823804B2 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
CN101123085B (zh) 和弦名检测装置以及和弦名检测用方法
CN101123086B (zh) 节奏检测装置
JP4767691B2 (ja) テンポ検出装置、コード名検出装置及びプログラム
US7582824B2 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
Eerola et al. MIDI toolbox: MATLAB tools for music research
US20100126331A1 (en) Method of evaluating vocal performance of singer and karaoke apparatus using the same
US7232948B2 (en) System and method for automatic classification of music
CN101689225B (zh) 生成音乐小样和识别相关的歌曲结构
Bosch et al. Evaluation and combination of pitch estimation methods for melody extraction in symphonic classical music
US20040044487A1 (en) Method for analyzing music using sounds instruments
US10504498B2 (en) Real-time jamming assistance for groups of musicians
US8859872B2 (en) Method for giving feedback on a musical performance
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
JP4932614B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5153517B2 (ja) コード名検出装置及びコード名検出用コンピュータ・プログラム
JP3915428B2 (ja) 楽曲分析装置、及びプログラム
Chuan et al. The KUSC classical music dataset for audio key finding
JP5879813B2 (ja) 複数音源の識別装置および複数音源に連動する情報処理装置
JP2010032809A (ja) 自動演奏装置及び自動演奏用コンピュータ・プログラム
WO2019092780A1 (ja) 評価装置およびプログラム
Kumar et al. Melody extraction from polyphonic music using deep neural network: A literature survey
Müller et al. Music signal processing
Van Oudtshoorn Investigating the feasibility of near real-time music transcription on mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111005

Termination date: 20130809