JP2000250400A - Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded - Google Patents

Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded

Info

Publication number
JP2000250400A
JP2000250400A JP11054753A JP5475399A JP2000250400A JP 2000250400 A JP2000250400 A JP 2000250400A JP 11054753 A JP11054753 A JP 11054753A JP 5475399 A JP5475399 A JP 5475399A JP 2000250400 A JP2000250400 A JP 2000250400A
Authority
JP
Japan
Prior art keywords
information
difference
pattern
user
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11054753A
Other languages
Japanese (ja)
Inventor
Hitoshi Endo
斉 遠藤
Takayuki Otake
孝幸 大竹
Takeshi Nishimura
剛 西村
Ryoji Kataoka
良治 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP11054753A priority Critical patent/JP2000250400A/en
Publication of JP2000250400A publication Critical patent/JP2000250400A/en
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method and device for extracting music information difference and a recording medium where music information difference extracting program is recorded, capable of extracting an erroneous musical interval and a difference of a playing time while allowing a user to play at a free tempo. SOLUTION: This device extracts featured values from performance information inputted from a speech signal input means 1 by a feature pattern extracting means 2 to generate a feature pattern, normalizes the sequence of the feature pattern elements, compares this normalized feature pattern with pre-stored standard pattern to make the feature pattern elements correspond to the standard pattern elements by corresponding means 4, 6, analyzes the feature pattern and the standard pattern made to correspond to each other by a difference extracting means 7 to obtain difference information between performance information of a user and that of the standard pattern, obtains a characteristic of the user from the difference information, and generates advice information to the user's performance based on the difference information and the characteristic of the user to provide the advice information to the user.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、コンピュータを用
いた音楽教育などに利用され、利用者の行った演奏の誤
りを抽出する音楽情報差分抽出方法および装置に関し、
更に具体的には利用者の演奏をお手本の演奏と比較し
て、両演奏間の差分を抽出し、この抽出された差分から
利用者の特性を分析し、利用者の特性に合ったアドバイ
ス情報を提供する音楽情報差分抽出方法および装置と音
楽情報差分抽出プログラムを記録した記録媒体に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a music information difference extraction method and apparatus used for music education and the like using a computer and for extracting an error in a performance performed by a user.
More specifically, the performance of the user is compared with the performance of the model, the difference between the two performances is extracted, the characteristics of the user are analyzed from the extracted difference, and advice information suitable for the characteristics of the user is obtained. The present invention relates to a music information difference extraction method and apparatus for providing music information difference and a recording medium storing a music information difference extraction program.

【０００２】[0002]

【従来の技術】pianoFORTE（ACM Multimedia '95 Proce
edings）の文献に、コンピュータを用いて利用者の演奏
を楽譜通りの演奏と比較し、違いを指摘する方法が示さ
れている。この方法では、まず楽譜の各音に対して実際
の演奏時刻を計算しておく。そしてＭＩＤＩ信号を利用
して利用者の演奏情報を取得し、各音の演奏時刻を求め
る。演奏時刻を基準にして楽譜と利用者の演奏の音を比
較し、音程の誤りや演奏時刻のずれなどを指摘すること
ができる。[Prior Art] pianoFORTE (ACM Multimedia '95 Proce
edings) shows a method of comparing a user's performance with a performance according to a musical score using a computer and pointing out the difference. In this method, first, an actual performance time is calculated for each sound of a musical score. Then, the performance information of the user is acquired using the MIDI signal, and the performance time of each sound is obtained. By comparing the musical score and the sound of the user's performance based on the performance time, it is possible to point out an error in the pitch or a deviation in the performance time.

【０００３】また、市販のコンピュータ音楽教育ソフト
では、次のようにしてリアルタイムに利用者の誤りの判
定を行うものもある。システムは利用者の実際の演奏時
刻に関係なく、演奏する音程の順番に着目する。ＭＩＤ
Ｉ信号を利用して利用者の演奏を１音ずつ取り出し、楽
譜の音と比較する。音程が一致していたら正解とし、次
に進める。音程が一致しなければ、正しい音程の音が入
力されるまで警告を表示する。このようにすることで、
利用者は誤りの指摘を受けることができる。[0003] Some commercially available computer music education software determines a user's error in real time as follows. The system focuses on the order of musical intervals to be played, regardless of the actual playing time of the user. MID
The user's performance is extracted one by one using the I signal, and compared with the sound of the musical score. If the pitches match, the answer is correct and the process proceeds. If the pitches do not match, a warning is displayed until the correct pitch is input. By doing this,
The user can be informed of the error.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、上述し
た２つのシステムのうち、前者は利用者が楽譜とまった
く同じテンポで演奏することを前提としているため、利
用者が自由なテンポで演奏したり、途中でテンポが変わ
ってしまった場合には対応できないという問題がある。
また、テンポの誤りを指摘できないという問題がある。However, of the two systems described above, the former is based on the premise that the user plays at exactly the same tempo as the score, so that the user can play at a free tempo, There is a problem that if the tempo changes on the way, it cannot be handled.
Another problem is that it is not possible to point out an error in the tempo.

【０００５】後者では、利用者が自由なテンポで演奏す
ることを許容するが、誤りが発生するたびに演奏が中断
されてしまうという問題がある。前者と同様にテンポの
誤りを指摘できない。The latter allows the user to play at a free tempo, but there is a problem that the performance is interrupted every time an error occurs. I can't point out the tempo error like the former.

【０００６】本発明は、上記に鑑みてなされたもので、
その目的とするところは、利用者の自由なテンポによる
演奏を許容しつつ音程の誤りや演奏時刻の違い等を抽出
し得る音楽情報差分抽出方法および装置と音楽情報差分
抽出プログラムを記録した記録媒体を提供することにあ
る。[0006] The present invention has been made in view of the above,
The object is to provide a music information difference extraction method and apparatus capable of extracting a pitch error, a difference in performance time, and the like while allowing a user to perform at a free tempo, and a recording medium storing a music information difference extraction program. Is to provide.

【０００７】[0007]

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、利用者の演奏をお手本の
演奏と比較して、両演奏間の差分を抽出し、この抽出さ
れた差分から利用者の特性を分析し、利用者の特性に合
ったアドバイス情報を提供する音楽情報差分抽出方法で
あって、演奏情報を入力する入力ステップと、この入力
された演奏情報から特徴量を抽出し、１つ以上の特徴量
からなる要素および１つ以上の要素から構成される特徴
パターンを作成する特徴パターン抽出ステップと、この
作成された特徴パターンの要素の順序を正規化する順序
正規化ステップと、予め順序を正規化された演奏の特徴
パターンである標準パターンを記憶する標準パターン記
憶ステップと、前記正規化された特徴パターンと前記記
憶された標準パターンとを比較して、特徴パターンが標
準パターンのどの部分に相当するかを分析し、特徴パタ
ーンの要素と標準パターンの要素とを対応付ける対応付
けステップと、この対応付けられた特徴パターンと標準
パターンを分析し、利用者の演奏情報と標準パターンの
演奏情報の差分情報を求める差分抽出ステップとを有す
ることを要旨とする。In order to achieve the above object, according to the present invention, a user's performance is compared with a model performance, and a difference between the two performances is extracted. A music information difference extracting method for analyzing user characteristics from the obtained differences and providing advice information matching the user characteristics, comprising: an input step of inputting performance information; and a feature amount based on the input performance information. A feature pattern extraction step of extracting an element consisting of one or more feature amounts and a feature pattern composed of one or more elements, and an order normalization step for normalizing the order of the elements of the created feature pattern. Standardizing step, a standard pattern storing step of storing a standard pattern which is a characteristic pattern of a performance whose order has been normalized in advance, and the normalized characteristic pattern and the stored standard pattern. And analyzing which part of the standard pattern corresponds to the characteristic pattern, and associating the element of the characteristic pattern with the element of the standard pattern. The gist of the present invention is to include a difference extracting step for analyzing the performance information of the user and obtaining the difference information between the performance information of the standard pattern.

【０００８】請求項１記載の本発明にあっては、入力さ
れた演奏情報から特徴量を抽出し、１つ以上の特徴量か
らなる要素および１つ以上の要素から構成される特徴パ
ターンを作成し、この特徴パターンの要素の順序を正規
化し、この正規化された特徴パターンを予め記憶されて
いる標準パターンと比較して特徴パターンの要素と標準
パターンの要素とを対応付け、この対応付けられた特徴
パターンと標準パターンを分析し、利用者の演奏情報と
標準パターンの演奏情報の差分情報を求めるため、テン
ポの違いを吸収して利用者の自由なテンポでの演奏を許
容しつつテンポの誤りを含む演奏の誤りを指摘し、利用
者の特性に合った適確なアドバイス情報を提供すること
ができる。According to the first aspect of the present invention, a feature amount is extracted from input performance information, and a feature pattern composed of one or more elements and one or more features is created. Then, the order of the elements of the feature pattern is normalized, the normalized feature pattern is compared with a standard pattern stored in advance, and the elements of the feature pattern are associated with the elements of the standard pattern. The characteristic pattern and the standard pattern are analyzed and the difference information between the user's performance information and the standard pattern's performance information is obtained. It is possible to point out an error in the performance including the error, and to provide appropriate advice information suited to the characteristics of the user.

【０００９】また、請求項２記載の本発明は、請求項１
記載の発明において、前記順序正規化ステップが、前記
特徴パターンの要素について同時刻に起こったと見なさ
れる要素をグループ化し、要素内の特定の特徴量をキー
にして順序を並べ替えることを要旨とする。Further, the present invention described in claim 2 is based on claim 1.
In the invention described in the invention, the order normalization step groups elements considered to have occurred at the same time with respect to the elements of the feature pattern, and rearranges the order using a specific feature amount in the elements as a key. .

【００１０】請求項２記載の本発明にあっては、順序正
規化ステップにおいて特徴パターンの要素について同時
刻に起こったと見なされる要素をグループ化し、要素内
の特定の特徴量をキーにして順序を並べ替えるため、演
奏のたびに要素の並び順が異なってしまうことを防止す
ることができる。According to the second aspect of the present invention, in the order normalization step, the elements of the feature pattern which are considered to have occurred at the same time are grouped, and the order is determined by using a specific feature amount in the element as a key. Since the rearrangement is performed, it is possible to prevent the arrangement order of the elements from being changed for each performance.

【００１１】更に、請求項３記載の本発明は、請求項１
記載の発明において、前記対応付けステップが、前記特
徴パターンを非線形に伸縮させて、該特徴パターン間の
包含関係を求めるとともに、該特徴パターン同士の要素
間の対応付けについて不適切な対応付けと重複した対応
付けを認めた粗い対応付けを行う粗対応付けステップを
有することを要旨とする。Further, the present invention according to claim 3 provides the invention according to claim 1.
In the invention described in the above, the associating step expands and contracts the feature pattern non-linearly, obtains an inclusion relationship between the feature patterns, and overlaps with an inappropriate association between elements of the feature pattern. The gist of the present invention is to include a rough matching step of performing a rough matching that recognizes the changed matching.

【００１２】請求項３記載の本発明にあっては、対応付
けステップにおいて特徴パターンを非線形に伸縮させ
て、特徴パターン間の包含関係を求めるとともに、特徴
パターン同士の要素間の対応付けについて不適切な対応
付けと重複した対応付けを認めた粗い対応付けを行う。According to the third aspect of the present invention, in the associating step, the feature patterns are nonlinearly expanded and contracted to determine the inclusion relationship between the feature patterns, and the matching between the elements of the feature patterns is inappropriate. Rough matching is performed, which recognizes a matching that overlaps with the proper matching.

【００１３】請求項４記載の本発明は、請求項３記載の
発明において、前記対応付けステップが、前記粗い対応
付けに続いて、正しく対応付けられた要素と正しく対応
付けられなかった要素を判別し、正しく対応付けられな
かった要素については正しく対応付けられた要素を基準
に詳細な対応付けを行う詳細対応付けステップを有する
ことを要旨とする。According to a fourth aspect of the present invention, in the third aspect of the invention, the associating step determines, following the coarse association, an element that has not been correctly associated with a correctly associated element. The gist of the invention is to include a detailed association step of performing detailed association with respect to an element that has not been correctly associated based on the correctly associated element.

【００１４】請求項４記載の本発明にあっては、対応付
けステップにおいて粗い対応付けに続いて、正しく対応
付けられた要素と正しく対応付けられなかった要素を判
別し、正しく対応付けられなかった要素については正し
く対応付けられた要素を基準に詳細な対応付けを行う。According to the present invention, in the associating step, following the coarse associating, the element which has not been correctly associated with the element which has been correctly associated is determined, and the element is not correctly associated. Detailed association is performed on the elements based on the correctly associated elements.

【００１５】また、請求項５記載の本発明は、請求項１
記載の発明において、前記差分抽出ステップで求めた前
記差分情報を分析し、利用者の特性を求める差分評価ス
テップと、前記差分情報と利用者の特性に基づき利用者
の演奏をお手本の演奏に近づけるためのアドバイス情報
を作成するアドバイス情報作成ステップと、この作成さ
れたアドバイス情報を利用者に提供するアドバイス情報
提供ステップとを更に有することを要旨とする。The present invention according to claim 5 provides the present invention according to claim 1.
In the invention described above, a difference evaluation step of analyzing the difference information obtained in the difference extraction step to obtain a characteristic of the user, and bringing the performance of the user closer to a model performance based on the difference information and the characteristics of the user. The point of the invention is to further include an advice information creating step of creating advice information for the user, and an advice information providing step of providing the created advice information to the user.

【００１６】請求項５記載の本発明にあっては、差分情
報を分析して利用者の特性を求め、この差分情報と利用
者の特性に基づき利用者の演奏をお手本の演奏に近づけ
るためのアドバイス情報を作成して利用者に提供する。According to the fifth aspect of the present invention, the characteristic of the user is obtained by analyzing the difference information, and the performance of the user is approximated to the performance of the model based on the difference information and the characteristic of the user. Create advice information and provide it to users.

【００１７】更に、請求項６記載の本発明は、利用者の
演奏をお手本の演奏と比較して、両演奏間の差分を抽出
し、この抽出された差分から利用者の特性を分析し、利
用者の特性に合ったアドバイス情報を提供する音楽情報
差分抽出装置であって、演奏情報を入力する入力手段
と、この入力された演奏情報から特徴量を抽出し、１つ
以上の特徴量からなる要素および１つ以上の要素から構
成される特徴パターンを作成する特徴パターン抽出手段
と、この作成された特徴パターンの要素の順序を正規化
する順序正規化手段と、予め順序を正規化された演奏の
特徴パターンである標準パターンを記憶する標準パター
ン記憶手段と、前記正規化された特徴パターンと前記記
憶された標準パターンとを比較して、特徴パターンが標
準パターンのどの部分に相当するかを分析し、特徴パタ
ーンの要素と標準パターンの要素とを対応付ける対応付
け手段と、この対応付けられた特徴パターンと標準パタ
ーンを分析し、利用者の演奏情報と標準パターンの演奏
情報の差分情報を求める差分抽出手段とを有することを
要旨とする。Further, according to the present invention, the performance of the user is compared with the performance of the model, a difference between the two performances is extracted, and the characteristic of the user is analyzed from the extracted difference. A music information difference extraction device that provides advice information suitable for the characteristics of a user, comprising: an input unit for inputting performance information; and a feature amount extracted from the input performance information, and a feature amount is extracted from one or more feature amounts. Feature pattern extraction means for creating a feature pattern composed of an element and one or more elements, order normalization means for normalizing the order of the elements of the created feature pattern, and an order normalized in advance. Standard pattern storage means for storing a standard pattern which is a characteristic pattern of the performance; comparing the normalized characteristic pattern with the stored standard pattern; And means for associating the feature pattern with the standard pattern element, and analyzing the associated feature pattern and standard pattern to analyze the performance information of the user and the performance information of the standard pattern. And a difference extracting means for obtaining the difference information.

【００１８】請求項６記載の本発明にあっては、入力さ
れた演奏情報から特徴量を抽出し、１つ以上の特徴量か
らなる要素および１つ以上の要素から構成される特徴パ
ターンを作成し、この特徴パターンの要素の順序を正規
化し、この正規化された特徴パターンを予め記憶されて
いる標準パターンと比較して特徴パターンの要素と標準
パターンの要素とを対応付け、この対応付けられた特徴
パターンと標準パターンを分析し、利用者の演奏情報と
標準パターンの演奏情報の差分情報を求めるため、テン
ポの違いを吸収して利用者の自由なテンポでの演奏を許
容しつつテンポの誤りを含む演奏の誤りを指摘し、利用
者の特性に合った適確なアドバイス情報を提供すること
ができる。According to the sixth aspect of the present invention, a characteristic amount is extracted from the input performance information, and a characteristic pattern composed of one or more elements and one or more elements is created. Then, the order of the elements of the feature pattern is normalized, the normalized feature pattern is compared with a standard pattern stored in advance, and the elements of the feature pattern are associated with the elements of the standard pattern. The characteristic pattern and the standard pattern are analyzed and the difference information between the user's performance information and the standard pattern's performance information is obtained. It is possible to point out an error in the performance including the error, and to provide appropriate advice information suited to the characteristics of the user.

【００１９】請求項７記載の本発明は、請求項６記載の
発明において、前記順序正規化手段が、前記特徴パター
ンの要素について同時刻に起こったと見なされる要素を
グループ化し、要素内の特定の特徴量をキーにして順序
を並べ替えることを要旨とする。According to a seventh aspect of the present invention, in the sixth aspect of the invention, the order normalizing means groups elements considered to have occurred at the same time with respect to the elements of the feature pattern, and The gist is to rearrange the order using the feature amount as a key.

【００２０】請求項７記載の本発明にあっては、順序正
規化処理において特徴パターンの要素について同時刻に
起こったと見なされる要素をグループ化し、要素内の特
定の特徴量をキーにして順序を並べ替えるため、演奏の
たびに要素の並び順が異なってしまうことを防止するこ
とができる。According to the present invention, in the order normalization processing, the elements of the characteristic pattern which are considered to have occurred at the same time are grouped, and the order is determined by using a specific characteristic amount in the element as a key. Since the rearrangement is performed, it is possible to prevent the arrangement order of the elements from being changed for each performance.

【００２１】また、請求項８記載の本発明は、請求項６
記載の発明において、前記対応付け手段が、前記特徴パ
ターンを非線形に伸縮させて、該特徴パターン間の包含
関係を求めるとともに、該特徴パターン同士の要素間の
対応付けについて不適切な対応付けと重複した対応付け
を認めた粗い対応付けを行う粗対応付け手段を有するこ
とを要旨とする。The present invention according to claim 8 provides the present invention according to claim 6.
In the invention described above, the associating means expands and contracts the feature pattern in a non-linear manner to obtain an inclusion relationship between the feature patterns, and an inappropriate association and an overlap between the features of the feature patterns are determined. The gist of the present invention is to include a rough matching unit that performs a rough matching that recognizes the matched.

【００２２】請求項８記載の本発明にあっては、対応付
け処理において特徴パターンを非線形に伸縮させて、特
徴パターン間の包含関係を求めるとともに、特徴パター
ン同士の要素間の対応付けについて不適切な対応付けと
重複した対応付けを認めた粗い対応付けを行う。According to the eighth aspect of the present invention, the feature pattern is nonlinearly expanded and contracted in the associating process to determine the inclusion relation between the feature patterns, and the matching between the feature pattern elements is inappropriate. Rough matching is performed, which recognizes a matching that overlaps with the proper matching.

【００２３】更に、請求項９記載の本発明は、請求項８
記載の発明において、前記対応付け手段が、前記粗い対
応付けに続いて、正しく対応付けられた要素と正しく対
応付けられなかった要素を判別し、正しく対応付けられ
なかった要素については正しく対応付けられた要素を基
準に詳細な対応付けを行う詳細対応付け手段を有するこ
とを要旨とする。Further, the present invention described in claim 9 provides the present invention according to claim 8.
In the invention described, the associating means determines, after the coarse associating, an element that has not been correctly associated with an element that has been correctly associated, and an element that has not been correctly associated is correctly associated. The gist of the present invention is to include a detailed association unit that performs detailed association based on the set elements.

【００２４】請求項９記載の本発明にあっては、対応付
け処理において粗い対応付けに続いて、正しく対応付け
られた要素と正しく対応付けられなかった要素を判別
し、正しく対応付けられなかった要素については正しく
対応付けられた要素を基準に詳細な対応付けを行う。According to the ninth aspect of the present invention, following the rough association in the association processing, the element which has not been correctly associated with the element which has been correctly associated is determined, and the element is not correctly associated. Detailed association is performed on the elements based on the correctly associated elements.

【００２５】請求項１０記載の本発明は、請求項６記載
の発明において、前記差分抽出手段で求めた前記差分情
報を分析し、利用者の特性を求める差分評価手段と、前
記差分情報と利用者の特性に基づき利用者の演奏をお手
本の演奏に近づけるためのアドバイス情報を作成するア
ドバイス情報作成手段と、この作成されたアドバイス情
報を利用者に提供するアドバイス情報提供手段とを更に
有することを要旨とする。According to a tenth aspect of the present invention, in accordance with the sixth aspect of the present invention, the difference information obtained by the difference extracting means is analyzed, and a difference evaluation means for obtaining a characteristic of a user; Advice information creating means for creating advice information for bringing the performance of the user closer to the model performance based on the characteristics of the user, and advice information providing means for providing the created advice information to the user. Make a summary.

【００２６】請求項１０記載の本発明にあっては、差分
情報を分析して利用者の特性を求め、この差分情報と利
用者の特性に基づき利用者の演奏をお手本の演奏に近づ
けるためのアドバイス情報を作成して利用者に提供す
る。According to the tenth aspect of the present invention, the characteristic of the user is obtained by analyzing the difference information, and based on the difference information and the characteristic of the user, the performance of the user is approximated to the performance of the model. Create advice information and provide it to users.

【００２７】また、請求項１１記載の本発明は、利用者
の演奏をお手本の演奏と比較して、両演奏間の差分を抽
出し、この抽出された差分から利用者の特性を分析し、
利用者の特性に合ったアドバイス情報を提供する音楽情
報差分抽出プログラムを記録した記録媒体であって、演
奏情報を入力する入力ステップと、この入力された演奏
情報から特徴量を抽出し、１つ以上の特徴量からなる要
素および１つ以上の要素から構成される特徴パターンを
作成する特徴パターン抽出ステップと、この作成された
特徴パターンの要素の順序を正規化する順序正規化ステ
ップと、予め順序を正規化された演奏の特徴パターンで
ある標準パターンを記憶する標準パターン記憶ステップ
と、前記正規化された特徴パターンと前記記憶された標
準パターンとを比較して、特徴パターンが標準パターン
のどの部分に相当するかを分析し、特徴パターンの要素
と標準パターンの要素とを対応付ける対応付けステップ
と、この対応付けられた特徴パターンと標準パターンを
分析し、利用者の演奏情報と標準パターンの演奏情報の
差分情報を求める差分抽出ステップとを有する音楽情報
差分抽出プログラムを記録媒体に記録することを要旨と
する。According to the present invention, the performance of the user is compared with the performance of the model, a difference between the two performances is extracted, and the characteristic of the user is analyzed from the extracted difference.
A recording medium storing a music information difference extraction program for providing advice information suited to the characteristics of a user, comprising: an input step of inputting performance information; A feature pattern extraction step of creating a feature pattern composed of an element having the above feature amount and one or more elements, an order normalization step of normalizing the order of the created feature pattern elements, A standard pattern storing step of storing a standard pattern that is a characteristic pattern of a normalized performance, and comparing the normalized characteristic pattern with the stored standard pattern, And an associating step of analyzing whether the feature pattern is equivalent to an element of the feature pattern and an element of the standard pattern. Analyzing the feature pattern and the standard patterns, and be required to record music information difference extraction program and a difference extraction step of obtaining difference information of the performance information of the performance information and the standard pattern of the user to the recording medium.

【００２８】請求項１１記載の本発明にあっては、入力
された演奏情報から特徴量を抽出し、１つ以上の特徴量
からなる要素および１つ以上の要素から構成される特徴
パターンを作成し、この特徴パターンの要素の順序を正
規化し、この正規化された特徴パターンを予め記憶され
ている標準パターンと比較して特徴パターンの要素と標
準パターンの要素とを対応付け、この対応付けられた特
徴パターンと標準パターンを分析し、利用者の演奏情報
と標準パターンの演奏情報の差分情報を求める音楽情報
差分抽出プログラムを記録媒体に記録しているため、該
記録媒体を用いて、その流通性を高めることができる。According to the eleventh aspect of the present invention, a characteristic amount is extracted from the input performance information, and a characteristic pattern composed of one or more elements and one or more elements is created. Then, the order of the elements of the feature pattern is normalized, the normalized feature pattern is compared with a standard pattern stored in advance, and the elements of the feature pattern are associated with the elements of the standard pattern. Since the music information difference extraction program that analyzes the characteristic pattern and the standard pattern and obtains the difference information between the performance information of the user and the performance information of the standard pattern is recorded on the recording medium, the distribution program using the recording medium is used. Can be enhanced.

【００２９】更に、請求項１２記載の本発明は、請求項
１１記載の発明において、前記順序正規化ステップが、
前記特徴パターンの要素について同時刻に起こったと見
なされる要素をグループ化し、要素内の特定の特徴量を
キーにして順序を並べ替える音楽情報差分抽出プログラ
ムを記録媒体に記録することを要旨とする。Further, according to the present invention as set forth in claim 12, in the invention as set forth in claim 11, the order normalizing step includes:
The gist of the present invention is to record a music information difference extraction program for grouping elements considered to have occurred at the same time among the elements of the feature pattern and rearranging the music information difference order using a specific feature amount in the element as a key.

【００３０】請求項１２記載の本発明にあっては、順序
正規化ステップにおいて特徴パターンの要素について同
時刻に起こったと見なされる要素をグループ化し、要素
内の特定の特徴量をキーにして順序を並べ替える音楽情
報差分抽出プログラムを記録媒体に記録しているため、
該記録媒体を用いて、その流通性を高めることができ
る。According to the twelfth aspect of the present invention, in the order normalization step, the elements of the feature pattern which are considered to have occurred at the same time are grouped, and the order is determined by using a specific feature amount in the element as a key. Because the music information difference extraction program to be rearranged is recorded on the recording medium,
By using the recording medium, its distribution can be improved.

【００３１】請求項１３記載の本発明は、請求項１１記
載の発明において、前記対応付けステップが、前記特徴
パターンを非線形に伸縮させて、該特徴パターン間の包
含関係を求めるとともに、該特徴パターン同士の要素間
の対応付けについて不適切な対応付けと重複した対応付
けを認めた粗い対応付けを行う粗対応付けステップを有
する音楽情報差分抽出プログラムを記録媒体に記録する
ことを要旨とする。According to a thirteenth aspect of the present invention, in the invention according to the eleventh aspect, the associating step expands and contracts the feature pattern in a non-linear manner to obtain an inclusion relationship between the feature patterns, and The gist of the present invention is to record a music information difference extraction program having a rough matching step of performing a rough matching in which an unsuitable matching and an overlapping matching are recognized with respect to the matching between elements on a recording medium.

【００３２】請求項１３記載の本発明にあっては、対応
付けステップにおいて特徴パターンを非線形に伸縮させ
て、特徴パターン間の包含関係を求めるとともに、特徴
パターン同士の要素間の対応付けについて不適切な対応
付けと重複した対応付けを認めた粗い対応付けを行う音
楽情報差分抽出プログラムを記録媒体に記録しているた
め、該記録媒体を用いて、その流通性を高めることがで
きる。According to the thirteenth aspect of the present invention, in the associating step, the feature pattern is nonlinearly expanded and contracted to determine the inclusion relationship between the feature patterns, and the correspondence between the feature pattern elements is inappropriate. Since the music information difference extraction program that performs coarse matching that recognizes a redundant matching with a proper matching is recorded on the recording medium, the distribution can be improved by using the recording medium.

【００３３】また、請求項１４記載の本発明は、請求項
１３記載の発明において、前記対応付けステップが、前
記粗い対応付けに続いて、正しく対応付けられた要素と
正しく対応付けられなかった要素を判別し、正しく対応
付けられなかった要素については正しく対応付けられた
要素を基準に詳細な対応付けを行う詳細対応付けステッ
プを有する音楽情報差分抽出プログラムを記録媒体に記
録することを要旨とする。According to a fourteenth aspect of the present invention, in the invention according to the thirteenth aspect, the associating step comprises, following the coarse associating, the element that has not been correctly associated with the element that has been correctly associated. The gist of the present invention is to record a music information difference extraction program having a detailed matching step of performing detailed matching based on correctly matched elements for elements that have not been correctly matched on a recording medium. .

【００３４】請求項１４記載の本発明にあっては、対応
付けステップにおいて粗い対応付けに続いて、正しく対
応付けられた要素と正しく対応付けられなかった要素を
判別し、正しく対応付けられなかった要素については正
しく対応付けられた要素を基準に詳細な対応付けを行う
音楽情報差分抽出プログラムを記録媒体に記録している
ため、該記録媒体を用いて、その流通性を高めることが
できる。According to the present invention, in the associating step, following the rough associating, the element which has not been correctly associated with the element which has been correctly associated is discriminated, and the incorrectly associated element is determined. Since the music information difference extraction program for performing detailed association with the elements based on the correctly associated elements is recorded on the recording medium, the distribution of the music information can be improved by using the recording medium.

【００３５】更に、請求項１５記載の本発明は、請求項
１１記載の発明において、前記差分抽出ステップで求め
た前記差分情報を分析し、利用者の特性を求める差分評
価ステップと、前記差分情報と利用者の特性に基づき利
用者の演奏をお手本の演奏に近づけるためのアドバイス
情報を作成するアドバイス情報作成ステップと、この作
成されたアドバイス情報を利用者に提供するアドバイス
情報提供ステップとを更に有する音楽情報差分抽出プロ
グラムを記録媒体に記録することを要旨とする。According to a fifteenth aspect of the present invention, in the eleventh aspect, the difference information obtained in the difference extracting step is analyzed, and a difference evaluation step for obtaining a user characteristic is provided. And an advice information creating step of creating advice information for bringing the performance of the user closer to the model performance based on the characteristics of the user, and an advice information providing step of providing the created advice information to the user. The gist is to record the music information difference extraction program on a recording medium.

【００３６】請求項１５記載の本発明にあっては、差分
情報を分析して利用者の特性を求め、この差分情報と利
用者の特性に基づき利用者の演奏をお手本の演奏に近づ
けるためのアドバイス情報を作成して利用者に提供する
音楽情報差分抽出プログラムを記録媒体に記録している
ため、該記録媒体を用いて、その流通性を高めることが
できる。According to the fifteenth aspect of the present invention, the difference information is analyzed to determine the characteristics of the user, and based on the difference information and the characteristics of the user, the performance of the user approaches the performance of the model. Since the music information difference extraction program that creates the advice information and provides it to the user is recorded on the recording medium, the distribution can be enhanced by using the recording medium.

【００３７】[0037]

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。図１は、本発明の一実施形態
に係る音楽情報差分抽出装置の構成を示すブロック図で
ある。同図に示す音楽情報差分抽出装置は、利用者から
の演奏情報を入力する音声信号入力手段１、この演奏情
報から特徴量を抽出し、１つ以上の特徴量からなる要素
の１つ以上で構成される特徴パターンを作成する特徴パ
ターン抽出手段２、この特徴パターンの要素の順序を正
規化する順序正規化手段３、順序を正規化された演奏の
特徴パターンである標準パターンを予め記憶している標
準パターン記憶手段５、前記正規化された特徴パターン
を非線形に伸縮させて、特徴パターン間の包含関係を求
めるとともに、特徴パターン同士の要素間の対応付けに
ついて不適切な対応付けと重複した対応付けを認めた粗
い対応付けを行う粗対応付け手段４、この粗い対応付け
に続いて、正しく対応付けられた要素と正しく対応付け
られなかった要素を判別し、正しく対応付けられなかっ
た要素については正しく対応付けられた要素を基準に詳
細な対応付けを行う詳細対応付け手段６、この対応付け
られた特徴パターンと標準パターンを分析し、利用者の
演奏情報と標準パターンの演奏情報の差分情報を求める
差分抽出手段７、この差分情報を分析し、利用者の特性
を求める差分評価手段８、差分情報と利用者の特性に基
づき利用者の演奏をお手本の演奏に近づけるためのアド
バイス情報を作成するアドバイス情報作成手段９、およ
びこのアドバイス情報を利用者に提供するアドバイス情
報再生手段１０から構成されている。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a music information difference extraction device according to one embodiment of the present invention. The music information difference extraction device shown in FIG. 1 is a voice signal input means 1 for inputting performance information from a user, extracts a characteristic amount from the performance information, and uses one or more elements composed of one or more characteristic amounts. A characteristic pattern extracting means 2 for creating a composed characteristic pattern; an order normalizing means 3 for normalizing the order of the elements of the characteristic pattern; and a standard pattern which is a characteristic pattern of a performance whose order is normalized is stored in advance. The standard pattern storage means 5 expands and contracts the normalized feature pattern non-linearly to determine the inclusion relationship between the feature patterns, and the correspondence between the feature pattern and the element is inappropriate and overlapping. A rough associating means 4 for performing a rough association that has been recognized, and following this rough association, discriminates between an element that has been correctly associated and an element that has not been correctly associated. Detailed associating means 6 for performing detailed association with respect to elements that have not been correctly associated based on the elements that have been correctly associated; analyzing the associated characteristic pattern and standard pattern; Difference extracting means 7 for obtaining difference information between the performance information of the user and the standard pattern, difference evaluating means 8 for analyzing the difference information and obtaining the characteristics of the user, and performing the user's performance based on the difference information and the characteristics of the user. The system comprises an advice information creating means 9 for creating advice information for approaching a performance, and an advice information reproducing means 10 for providing this advice information to a user.

【００３８】次に、上述したように構成される音楽情報
差分抽出装置の作用について更に具体的に説明する。Next, the operation of the music information difference extracting apparatus configured as described above will be described more specifically.

【００３９】音声信号入力手段１によって入力された利
用者の演奏情報は、特徴パターン抽出手段２に与えられ
る。演奏情報として、例えばＭＩＤＩ信号を用いること
ができるが、これに限定するものではない。The user's performance information input by the audio signal input means 1 is given to the characteristic pattern extracting means 2. As the performance information, for example, a MIDI signal can be used, but the present invention is not limited to this.

【００４０】特徴パターン抽出手段２によって例えば図
２のような１音単位のデータ列に変換されて、順序正規
化手段３に与えられる。図２では、１行が１つの要素を
表し、列は要素内の各特徴量を表している。インデック
スは開始時刻順に要素を並べたときの順番を表してい
る。The data is converted into a data sequence in units of one sound as shown in FIG. In FIG. 2, one row represents one element, and a column represents each feature amount in the element. The index indicates the order when the elements are arranged in order of the start time.

【００４１】順序正規化手段３では、同時に発生したと
見なされる音をグループ化し、図３に示すようにグルー
プ情報を付加し、グループ内でキーとなる要素（ここで
は音程）をもとに順序の統一を行い、１音単位のデータ
列を再編成する。図３の例では、インデックス３，４，
５の要素をグループ化し、音程をキーにグループ内でソ
ートを行っている。The order normalizing means 3 groups sounds regarded as occurring at the same time, adds group information as shown in FIG. 3, and performs ordering based on a key element (a pitch in this case) in the group. And reorganize the data sequence for each sound. In the example of FIG.
The five elements are grouped and sorted within the group using the pitch as a key.

【００４２】再編成された１音単位のデータ列は粗対応
付け手段４に与えられる。粗対応付け手段４には関連し
て標準パターン記憶手段５が設けられており、粗対応付
け手段４は入力演奏の特徴パターンと演奏のお手本とな
る標準パターンとのマッチングを行い、入力演奏がお手
本のどの部分の演奏を行ったかの部分演奏の判定を行
う。部分演奏の判定の際に行われる入力演奏の各１音と
お手本の各１音との粗い対応付けの結果は詳細対応付け
手段６へ与えられる。The re-arranged data sequence in units of one sound is supplied to the rough association means 4. The rough matching means 4 is provided with a standard pattern storage means 5 in association with the rough matching means 4. The rough matching means 4 performs matching between the characteristic pattern of the input performance and the standard pattern serving as a model of the performance, so that the input performance is modeled. Is determined as to which part of the performance has been performed. The result of the rough correspondence between each sound of the input performance and each sound of the model, which is performed at the time of the determination of the partial performance, is given to the detailed correspondence means 6.

【００４３】詳細対応付け手段６では粗対応付け手段４
で得られた粗い対応付けの結果を評価し、適切な対応付
けに再編成するとともに、音程の誤り、余分な音を演奏
してしまう誤り、演奏すべき音を演奏しない誤りの判定
を行う。再編成された対応付けと誤りの判定結果は差分
抽出手段７へ与えられ、差分抽出手段７は再編成された
対応付けと誤りの判定結果を利用して、利用者の演奏の
お手本に対するテンポの違い、リズムの違い、演奏の誤
りなど演奏間の差分を抽出する。In the detailed associating means 6, the coarse associating means 4
The result of the rough matching obtained in step (1) is evaluated and re-arranged to an appropriate one, and an error in pitch, an error in playing an extra sound, and an error in not playing the sound to be played are determined. The rearranged association and the determination result of the error are provided to the difference extracting unit 7, and the difference extraction unit 7 uses the rearranged association and the determination result of the error to determine the tempo of the user's performance model. Extract differences between performances, such as differences, rhythm differences, and performance errors.

【００４４】差分評価手段８では、差分抽出手段７で得
られた演奏間の差分を分析し、利用者の特性を求める。
アドバイス情報作成手段では、差分抽出手段７で得られ
た演奏間の差分と、差分評価手段で得られた利用者の特
性をもとに、利用者の演奏をお手本の演奏に近づけるた
めのアドバイス情報を作成する。アドバイス情報再生手
段１０では、アドバイス情報作成手段で作成されたアド
バイス情報を利用者へ提供する。The difference evaluation means 8 analyzes the difference between the performances obtained by the difference extraction means 7 and obtains the characteristics of the user.
The advice information creating means, based on the difference between the performances obtained by the difference extracting means 7 and the characteristics of the user obtained by the difference evaluation means, provides advice information for bringing the user's performance closer to the model performance. Create The advice information reproducing means 10 provides the user with the advice information created by the advice information creating means.

【００４５】次に、この実施形態のもっとも特徴的な部
分である粗対応付け手段４と詳細対応付け手段６につい
て説明する。Next, a description will be given of the rough associating means 4 and the detailed associating means 6 which are the most characteristic parts of this embodiment.

【００４６】粗対応付け手段４では、音程をキーにして
入力演奏の特徴パターンと演奏のお手本となる標準パタ
ーンとのマッチングを行う。マッチングは、例えば、連
続ＤＰ（文献「連続ＤＰを用いた連続単語認識」日本音
響学会、音研資、1978年を参照）の部分的なパターンに
も対応できる方式を応用して行えばよい。ここでは、連
続ＤＰを応用した方式について具体的に説明する。標準
パターン記憶手段５に格納された特徴パターンと順序正
規化手段３で再編成された１音単位のデータ列のうち、
お手本と入力演奏の音程のデータ列をそれぞれ Ａ＝ａ1 ，ａ2 ，…，ａi ，…，ａI Ｂ＝ｂ1 ，ｂ2 ，…，ｂj ，…，ｂJ と表す。マッチングは図４に示すような時間伸縮関数 Ｆ＝Ｃ1 ，Ｃ2 ，…，Ｃk ，…，ＣK Ｃk ＝（ｉk ，ｊk ） を次に示す距離Ｄが最小になるように定めることによっ
て行う。The coarse associating means 4 performs matching between the characteristic pattern of the input performance and the standard pattern as a model of the performance using the pitch as a key. The matching may be performed by, for example, applying a method capable of coping with a partial pattern of continuous DP (refer to the document “Consecutive Word Recognition Using Continuous DP”, Acoustical Society of Japan, Onkenken, 1978). Here, a method to which the continuous DP is applied will be specifically described. Among the characteristic patterns stored in the standard pattern storage means 5 and the data sequence of one sound unit rearranged by the order normalization means 3,
Role models and input performance pitch of the data sequence, respectively A = a 1, a 2, ..., a, ..., a I B = b 1, b 2, ..., b j, ..., expressed as b J. Matching is performed such that a time expansion / contraction function F = C 1 , C 2 ,..., C k ,..., C K C k = ( ik , j k ) as shown in FIG. It is done by stipulating.

【００４７】[0047]

【数１】 ここで、Ｄ（ｘ，Ｊ）は、（ａx ，ｂJ ）を部分演奏の
終点と見なした場合の距離であり、ｄ（Ｃk ）はａik，
ｂjkの距離、ｗk は正の重み関数である。お手本のすべ
ての点を終点と仮定して距離を計算することによって、
１音ずつの対応付けを行い、部分演奏の判定を行うこと
ができる。ただし、部分演奏の判定のために対応付けを
行っているので、対応付けは複数通り発生したりするな
ど、粗いものとなる。(Equation 1) Here, D (x, J) is the distance when (a x , b J ) is regarded as the end point of the partial performance, and d (C k ) is a ik ,
The distance of b jk and w k is a positive weight function. By calculating the distance assuming all model points are the end points,
The partial performance can be determined by associating one note at a time. However, since the association is performed for the determination of the partial performance, the association is rough, such as occurrence of a plurality of associations.

【００４８】実際のＤ（ｘ，Ｊ）の計算は、次のように
して行う。The actual calculation of D (x, J) is performed as follows.

【００４９】ｗk ＝（ｉk −ｉk-1 ）＋（ｊk −
ｊk-1 ） として、Ｄ（ｘ，Ｊ）を展開する。[0049] w k = (i k -i k -1) + (j k -
jk -1 ) and expand D (x, J).

【００５０】[0050]

【数２】 ｇ（ｉ，ｊ）の計算は、ｉ＝１でかつＤ（ｘ，Ｊ）が最
小になるｉ＝ｘ′まで行う。ｘ′は部分演奏の始点に相
当する。ｄ（ｉ，ｊ）は(Equation 2) The calculation of g (i, j) is performed until i = 1 and i = x ′ at which D (x, J) is minimized. x 'corresponds to the starting point of the partial performance. d (i, j) is

【数３】 を用いる。(Equation 3) Is used.

【００５１】連続ＤＰとの主な違いは、より柔軟にＦを
定められるようにｇ（ｉ，ｊ）をｇ（ｉ，ｊ−１），ｇ
（ｉ−１，ｊ−１），ｇ（ｉ−１，ｊ）から求められる
ように変更したこと（連続ＤＰではｇ（ｉ−２，ｊ−
１），ｇ（ｉ−１，ｊ−１），ｇ（ｉ−１，ｊ−
２））、時間変換関数Ｆを出力すること、入力と標準パ
ターンの関係を入れ替えたことである。連続ＤＰを応用
した方式以外にも、例えば、次に説明するような方式で
同等のことを実現することができる。まず、入力演奏の
特徴パターンを少数個の要素を含んだパッチに分割す
る。個々のパッチについて、パッチ内の要素の特定の特
徴量（例えば音程）が完全一致するような標準パターン
の位置を探索する。一般的に、標準パターンの複数箇所
で完全一致するパッチが存在する。探索結果を分析し、
パッチの位置関係に矛盾が生じないように探索結果を絞
り込む。絞り込んだ結果を元にパッチ内の要素を標準パ
ターンの要素に対応付けることによって大まかな対応付
けを得る。The main difference from the continuous DP is that g (i, j) is changed to g (i, j-1), g so that F can be determined more flexibly.
(I-1, j-1) and g (i-1, j) (in continuous DP, g (i-2, j-
1), g (i-1, j-1), g (i-1, j-
2)), outputting the time conversion function F, and exchanging the relationship between the input and the standard pattern. Other than the method using the continuous DP, for example, the same method can be realized by the method described below. First, the characteristic pattern of the input performance is divided into patches containing a small number of elements. For each patch, a position of a standard pattern in which a specific feature amount (for example, a pitch) of an element in the patch completely matches is searched. Generally, there are patches that completely match at a plurality of locations in the standard pattern. Analyze the search results,
The search results are narrowed so that no inconsistency occurs in the positional relationship between patches. A rough correspondence is obtained by associating the elements in the patch with the elements of the standard pattern based on the narrowed result.

【００５２】詳細対応付け手段６では粗対応付け手段４
から得た粗い対応付けの結果（時間変換関数Ｆ）を評価
して適切な対応付けを再編成し、音の誤りの判定を行
う。音の誤りの判定結果を格納するために判定関数Ｈ Ｈ＝ｈ1 ，ｈ2 ，…，ｈk ，…，ｈK を用いる。In the detailed associating means 6, the coarse associating means 4
The result of the rough association (time conversion function F) obtained from the above is evaluated, and an appropriate association is rearranged to determine a sound error. Judgment function H H = h 1, h 2 for storing the error determination results of the sound, ..., h k, ..., using h K.

【００５３】まず、粗対応付け手段４で正しく対応付け
られた対応付けを判定する。以下の３つの条件をすべて
満たすＣk を正しく対応付けられたと判定し、ｈk に記
録する。First, the correspondence that is correctly associated by the rough association means 4 is determined. It is determined that C k that satisfies all the following three conditions is correctly associated, and is recorded in h k .

【００５４】[0054]

【数４】 (1) ｄ（ｉk ，ｊk ）＝ｄ（ｉk-1 ，ｊk-1 ）＝０ (2) ｉk −ｉk-1 ＝ｊk −ｊk-1 ＝１ (3) 対応付けが１通りしかない。Equation 4] (1) d (i k, j k) = d (i k-1, j k-1) = 0 (2) i k -i k-1 = j k -j k-1 = 1 (3) There is only one correspondence.

【００５５】次に、残りの未判定の部分について判定を
行う。部分演奏の区間の両端の部分を除き、未判定の部
分は正しく対応付けられた音に挟まれている。この未判
定の部分の両端にある正しく対応付けられた音を基準
に、開始時間をキーに未判定の部分の対応付けを行う。
図５を用いて説明を行う。図５（ａ）のような複数の対
応付けの存在する未判定の部分に対して、図５（ｂ）の
ように両端の正しく対応付けられた音が同時刻になるよ
うに一方を線形に伸縮させ、もっとも音の開始時刻に近
い音どうしを対応付ける。対応付けた結果、対になる音
が存在しなかった音に対しては、余分な音を演奏してし
まう誤り、もしくは演奏すべき音を演奏しない誤りと判
定し、ｈk に記録する。また、音程が一致しないものに
ついては音程の誤りと判定し記録する。Next, the remaining undetermined portion is determined. Except for the ends at both ends of the section of the partial performance, the undetermined part is sandwiched between correctly associated sounds. Based on the sound that is correctly associated at both ends of the undetermined part, the undetermined part is associated with the start time as a key.
This will be described with reference to FIG. As shown in FIG. 5B, one of the undetermined portions having a plurality of associations as shown in FIG. Expand and contract, and associate the sounds closest to the start time of the sound. As a result of the association, a sound for which there is no paired sound is determined to be an error of playing an extra sound or an error of not playing a sound to be played, and is recorded in h k . If the pitches do not match, the pitch is determined to be incorrect and recorded.

【００５６】部分演奏の区間の端に未判定の部分がある
場合は、それぞれの演奏の区間の端から定数個の音に対
して、音の個数の単位時間あたりの密度が等しくなるよ
うに一方を線形に伸縮し、もっとも音の開始時刻の近い
音どうしを対応付ける。誤りの判定は先と同様に行う。
このようにしてより適切な対応付けと誤りの判定を実現
する。If there is an undetermined portion at the end of the partial performance section, one end of each of the performance sections is set so that the density of the number of sounds per unit time is equal for a fixed number of sounds. Is linearly expanded and contracted, and the sounds having the closest start time are associated with each other. The determination of the error is performed in the same manner as described above.
In this way, more appropriate association and error determination are realized.

【００５７】上述したように、本実施形態では、特徴パ
ターン抽出手段２は音声信号入力手段１から入力された
音声信号をシステムで扱いやすい形に変換し、順序正規
化手段３では特徴パターン抽出手段２で抽出された特徴
パターンの各要素において同時に起こったと見なされる
要素をグループ化し、順序を正規化することにより演奏
の度に要素の並び順が異なってしまうことを防止してい
る。また、粗対応付け手段４および詳細対応付け手段６
からなる対応付け手段は、順序正規化手段３で正規化さ
れた特徴パターンと標準パターンとを比較し、特徴パタ
ーンが標準パターンのどの部分に相当するかを分析し、
特徴パターンの要素と標準パターンの要素とを対応付け
る処理を前半と後半の２つに分けて実行し、前半の粗対
応付け手段４では開始時刻を無視し、要素の並び順に着
目して対応付けを行うことによりテンポの違いを吸収
し、後半の詳細対応付け手段６では前半の結果に開始時
刻の情報を加えて再評価して対応付けを再編成すること
により対応付けを行っている。更に、差分抽出手段７で
は得られた対応付けに基づいて演奏間の違いを抽出し、
差分評価手段８とアドバイス情報作成手段９では得られ
た差分情報を評価して利用者の特性に合ったアドバイス
情報を作成して提供している。As described above, in the present embodiment, the characteristic pattern extracting means 2 converts the audio signal input from the audio signal input means 1 into a form which can be easily handled by the system. Elements that are considered to have occurred simultaneously in each element of the feature pattern extracted in step 2 are grouped and the order is normalized to prevent the order of elements from being changed every time a performance is performed. The rough associating means 4 and the detailed associating means 6
Is compared with the standard pattern and the characteristic pattern normalized by the order normalizing unit 3 to analyze which part of the standard pattern corresponds to the characteristic pattern,
The process of associating the elements of the characteristic pattern with the elements of the standard pattern is performed in the first half and the second half separately, and the rough association means 4 in the first half ignores the start time and focuses on the arrangement order of the elements to perform the association. By doing so, the difference in tempo is absorbed, and the detailed association unit 6 in the second half performs the reassessment by adding the information of the start time to the result of the first half and reassembles the association to perform the association. Further, the difference extracting means 7 extracts the difference between the performances based on the obtained association,
The difference evaluation means 8 and the advice information creation means 9 evaluate the obtained difference information and create and provide advice information suitable for the characteristics of the user.

【００５８】なお、上記実施形態の処理をプログラムと
して記録媒体に記録することにより該記録媒体を用い
て、その流通性を高めることができる。Note that by recording the processing of the above embodiment as a program on a recording medium, it is possible to use the recording medium to enhance its circulation.

【００５９】[0059]

【発明の効果】以上説明したように、本発明によれば、
入力された演奏情報から特徴量を抽出し、１つ以上の特
徴量からなる要素の１つ以上から構成される特徴パター
ンを作成し、この特徴パターンの要素の順序を正規化
し、この正規化特徴パターンを予め記憶されている標準
パターンと比較して特徴パターンの要素と標準パターン
の要素とを対応付け、この対応付けられた特徴パターン
と標準パターンを分析し、利用者の演奏情報と標準パタ
ーンの演奏情報の差分情報を求めるので、テンポの違い
を吸収して利用者の自由なテンポでの演奏を許容しつつ
テンポの誤りを含む演奏の誤りを指摘し、利用者の特性
に合った適確なアドバイス情報を提供することができ
る。As described above, according to the present invention,
A feature amount is extracted from the input performance information, a feature pattern composed of one or more elements composed of one or more feature amounts is created, and the order of the elements of the feature pattern is normalized. The pattern is compared with a pre-stored standard pattern to associate elements of the characteristic pattern with elements of the standard pattern, analyze the associated characteristic pattern and standard pattern, and analyze the performance information of the user and the standard pattern. Since difference information of performance information is obtained, differences in tempo are absorbed to allow the user to perform at their own free tempo, and performance errors including tempo errors are pointed out, and appropriate performance that matches the user's characteristics is pointed out. Advice information can be provided.

【００６０】また、本発明によれば、順序正規化処理に
おいては特徴パターンの要素について同時刻に起こった
と見なされる要素をグループ化し、要素内の特定の特徴
量をキーにして順序を並べ替えるので、演奏のたびに要
素の並び順が異なってしまうことを防止することができ
る。According to the present invention, in the order normalization processing, the elements of a feature pattern which are considered to have occurred at the same time are grouped, and the order is rearranged using a specific feature amount in the element as a key. In addition, it is possible to prevent the arrangement order of the elements from being changed for each performance.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施形態に係る音楽情報差分抽出装
置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a music information difference extraction device according to an embodiment of the present invention.

【図２】図１の実施形態に使用されている特徴パターン
抽出手段から出力される特徴パターンの例を示す図であ
る。FIG. 2 is a diagram showing an example of a feature pattern output from a feature pattern extraction unit used in the embodiment of FIG.

【図３】図１の実施形態に使用されている順序正規化手
段で再編成された特徴パターンの例を示す図である。FIG. 3 is a diagram showing an example of a feature pattern reorganized by an order normalizing means used in the embodiment of FIG. 1;

【図４】図１の実施形態に使用されている粗対応付け手
段における対応付け方法の例を示す図であり、横軸が標
準パターンを表し、縦軸が入力された特徴パターンを表
し、対応付けられた点を結んだものが時間伸縮関数Ｆを
示している。FIG. 4 is a diagram showing an example of a matching method in a rough matching unit used in the embodiment of FIG. 1, in which a horizontal axis represents a standard pattern, a vertical axis represents an input feature pattern, What connects the attached points indicates the time expansion / contraction function F.

【図５】図１の実施形態に使用されている詳細対応付け
手段において正しく対応付けが取れなかった要素に対す
る対応付けの方法を示す図であり、水平方向に時間の経
過を示し、上段が標準パターンの要素を示し、下段が入
力特徴パターンの要素を示し、矢印が標準パターンと入
力特徴パターン間の要素の対応付けを示している。FIG. 5 is a diagram illustrating a method of associating elements that have not been correctly associated by the detailed associating means used in the embodiment of FIG. 1; The elements of the pattern are shown, the lower row shows the elements of the input feature pattern, and the arrows show the correspondence of the elements between the standard pattern and the input feature pattern.

【符号の説明】[Explanation of symbols]

１ 音声信号入力手段 ２ 特徴パターン抽出手段 ３ 順序正規化手段 ４ 粗対応付け手段 ５ 標準パターン記憶手段 ６ 詳細対応付け手段 ７ 差分抽出手段 ８ 差分評価手段 ９ アドバイス情報作成手段 １０ アドバイス情報再生手段 DESCRIPTION OF SYMBOLS 1 Audio signal input means 2 Feature pattern extraction means 3 Order normalization means 4 Rough association means 5 Standard pattern storage means 6 Detailed association means 7 Difference extraction means 8 Difference evaluation means 9 Advice information creation means 10 Advice information reproduction means

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西村 剛 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 片岡 良治 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B075 ND14 NK06 PP07 PQ34 5D015 HH03 HH04 5D378 AD62 NN16 NN18 9A001 HH17 HH21 JJ74 KK09 KK43 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Tsuyoshi Nishimura 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Inside Nippon Telegraph and Telephone Corporation (72) Ryoharu Kataoka 3-192-1, Nishishinjuku, Shinjuku-ku, Tokyo No. Nippon Telegraph and Telephone Corporation F term (reference) 5B075 ND14 NK06 PP07 PQ34 5D015 HH03 HH04 5D378 AD62 NN16 NN18 9A001 HH17 HH21 JJ74 KK09 KK43

Claims (15)

【特許請求の範囲】[Claims] 【請求項１】 利用者の演奏をお手本の演奏と比較し
て、両演奏間の差分を抽出し、この抽出された差分から
利用者の特性を分析し、利用者の特性に合ったアドバイ
ス情報を提供する音楽情報差分抽出方法であって、 演奏情報を入力する入力ステップと、 この入力された演奏情報から特徴量を抽出し、１つ以上
の特徴量からなる要素および１つ以上の要素から構成さ
れる特徴パターンを作成する特徴パターン抽出ステップ
と、 この作成された特徴パターンの要素の順序を正規化する
順序正規化ステップと、 予め順序を正規化された演奏の特徴パターンである標準
パターンを記憶する標準パターン記憶ステップと、 前記正規化された特徴パターンと前記記憶された標準パ
ターンとを比較して、特徴パターンが標準パターンのど
の部分に相当するかを分析し、特徴パターンの要素と標
準パターンの要素とを対応付ける対応付けステップと、 この対応付けられた特徴パターンと標準パターンを分析
し、利用者の演奏情報と標準パターンの演奏情報の差分
情報を求める差分抽出ステップとを有することを特徴と
する音楽情報差分抽出方法。1. A user's performance is compared with a model performance, a difference between the two performances is extracted, a characteristic of the user is analyzed from the extracted difference, and advice information suitable for the characteristic of the user is obtained. A music information difference extraction method for inputting performance information, extracting a feature amount from the input performance information, and extracting a feature amount from one or more feature elements and one or more elements. A feature pattern extraction step of creating a feature pattern to be composed; an order normalization step of normalizing the order of elements of the created feature pattern; and a standard pattern which is a feature pattern of a performance whose order has been normalized in advance. Storing the standard pattern to be stored; comparing the normalized feature pattern with the stored standard pattern; And an associating step of associating the element of the characteristic pattern with the element of the standard pattern, and analyzing the associated characteristic pattern and standard pattern to obtain difference information between the performance information of the user and the performance information of the standard pattern. A music information difference extraction method, comprising: 【請求項２】 前記順序正規化ステップは、前記特徴パ
ターンの要素について同時刻に起こったと見なされる要
素をグループ化し、要素内の特定の特徴量をキーにして
順序を並べ替えることを特徴とする請求項１記載の音楽
情報差分抽出方法。2. The method according to claim 1, wherein, in the order normalizing step, elements considered as occurring at the same time with respect to the elements of the feature pattern are grouped, and the order is rearranged using a specific feature amount in the elements as a key. The music information difference extraction method according to claim 1. 【請求項３】 前記対応付けステップは、前記特徴パタ
ーンを非線形に伸縮させて、該特徴パターン間の包含関
係を求めるとともに、該特徴パターン同士の要素間の対
応付けについて不適切な対応付けと重複した対応付けを
認めた粗い対応付けを行う粗対応付けステップを有する
ことを特徴とする請求項１記載の音楽情報差分抽出方
法。3. The associating step includes: expanding and contracting the feature pattern in a non-linear manner to determine an inclusion relationship between the feature patterns; 2. The music information difference extracting method according to claim 1, further comprising a rough matching step of performing a rough matching that recognizes the changed matching. 【請求項４】 前記対応付けステップは、前記粗い対応
付けに続いて、正しく対応付けられた要素と正しく対応
付けられなかった要素を判別し、正しく対応付けられな
かった要素については正しく対応付けられた要素を基準
に詳細な対応付けを行う詳細対応付けステップを有する
ことを特徴とする請求項３記載の音楽情報差分抽出方
法。4. The associating step, following the coarse associating, determines a correctly associated element and an element that has not been correctly associated, and an element that has not been correctly associated is correctly associated. 4. The music information difference extracting method according to claim 3, further comprising a detailed associating step of performing detailed associating on the basis of the set elements. 【請求項５】 前記差分抽出ステップで求めた前記差分
情報を分析し、利用者の特性を求める差分評価ステップ
と、前記差分情報と利用者の特性に基づき利用者の演奏
をお手本の演奏に近づけるためのアドバイス情報を作成
するアドバイス情報作成ステップと、この作成されたア
ドバイス情報を利用者に提供するアドバイス情報提供ス
テップとを更に有することを特徴とする請求項１記載の
音楽情報差分抽出方法。5. A difference evaluation step for analyzing the difference information obtained in the difference extraction step to obtain a user characteristic, and bringing the performance of the user closer to a model performance based on the difference information and the characteristics of the user. The music information difference extraction method according to claim 1, further comprising: an advice information creating step of creating advice information for providing the advice information; and an advice information providing step of providing the created advice information to a user. 【請求項６】 利用者の演奏をお手本の演奏と比較し
て、両演奏間の差分を抽出し、この抽出された差分から
利用者の特性を分析し、利用者の特性に合ったアドバイ
ス情報を提供する音楽情報差分抽出装置であって、 演奏情報を入力する入力手段と、 この入力された演奏情報から特徴量を抽出し、１つ以上
の特徴量からなる要素および１つ以上の要素から構成さ
れる特徴パターンを作成する特徴パターン抽出手段と、 この作成された特徴パターンの要素の順序を正規化する
順序正規化手段と、 予め順序を正規化された演奏の特徴パターンである標準
パターンを記憶する標準パターン記憶手段と、 前記正規化された特徴パターンと前記記憶された標準パ
ターンとを比較して、特徴パターンが標準パターンのど
の部分に相当するかを分析し、特徴パターンの要素と標
準パターンの要素とを対応付ける対応付け手段と、 この対応付けられた特徴パターンと標準パターンを分析
し、利用者の演奏情報と標準パターンの演奏情報の差分
情報を求める差分抽出手段とを有することを特徴とする
音楽情報差分抽出装置。6. A user's performance is compared with a model performance, a difference between the two performances is extracted, characteristics of the user are analyzed from the extracted difference, and advice information matching the characteristics of the user is obtained. Information input device for inputting performance information, and extracting a feature amount from the input performance information, and extracting the feature amount from one or more feature elements and one or more elements. Feature pattern extracting means for creating a composed feature pattern; order normalizing means for normalizing the order of the elements of the created feature pattern; and a standard pattern which is a feature pattern of a performance whose order has been normalized in advance. Standard pattern storage means for storing; comparing the normalized feature pattern with the stored standard pattern; analyzing which part of the standard pattern the feature pattern corresponds to; Associating means for associating pattern elements with standard pattern elements; difference extracting means for analyzing the associated feature patterns and standard patterns to obtain difference information between performance information of the user and performance information of the standard patterns; A music information difference extraction device comprising: 【請求項７】 前記順序正規化手段は、前記特徴パター
ンの要素について同時刻に起こったと見なされる要素を
グループ化し、要素内の特定の特徴量をキーにして順序
を並べ替えることを特徴とする請求項６記載の音楽情報
差分抽出装置。7. The method according to claim 1, wherein the order normalizing unit groups elements considered to have occurred at the same time with respect to the elements of the feature pattern, and rearranges the order using a specific feature amount in the elements as a key. The music information difference extracting device according to claim 6. 【請求項８】 前記対応付け手段は、前記特徴パターン
を非線形に伸縮させて、該特徴パターン間の包含関係を
求めるとともに、該特徴パターン同士の要素間の対応付
けについて不適切な対応付けと重複した対応付けを認め
た粗い対応付けを行う粗対応付け手段を有することを特
徴とする請求項６記載の音楽情報差分抽出装置。8. The associating means expands and contracts the feature pattern in a non-linear manner to determine an inclusion relationship between the feature patterns, and finds an inappropriate association and an incorrect association between elements of the feature pattern. 7. The music information difference extracting device according to claim 6, further comprising a rough matching unit that performs a rough matching that recognizes the matched. 【請求項９】 前記対応付け手段は、前記粗い対応付け
に続いて、正しく対応付けられた要素と正しく対応付け
られなかった要素を判別し、正しく対応付けられなかっ
た要素については正しく対応付けられた要素を基準に詳
細な対応付けを行う詳細対応付け手段を有することを特
徴とする請求項８記載の音楽情報差分抽出装置。9. The associating means determines, following the coarse associating, an element which has not been correctly associated with an element which has been correctly associated, and an element which has not been correctly associated is correctly associated. 9. The music information difference extracting apparatus according to claim 8, further comprising: a detailed association unit that performs detailed association based on the set elements. 【請求項１０】 前記差分抽出手段で求めた前記差分情
報を分析し、利用者の特性を求める差分評価手段と、前
記差分情報と利用者の特性に基づき利用者の演奏をお手
本の演奏に近づけるためのアドバイス情報を作成するア
ドバイス情報作成手段と、この作成されたアドバイス情
報を利用者に提供するアドバイス情報提供手段とを更に
有することを特徴とする請求項６記載の音楽情報差分抽
出装置。10. A difference evaluation means for analyzing the difference information obtained by the difference extraction means to obtain a characteristic of the user, and bringing the performance of the user closer to a model performance based on the difference information and the characteristics of the user. 7. The music information difference extracting apparatus according to claim 6, further comprising: advice information creating means for creating advice information for the user; and advice information providing means for providing the created advice information to a user. 【請求項１１】 利用者の演奏をお手本の演奏と比較し
て、両演奏間の差分を抽出し、この抽出された差分から
利用者の特性を分析し、利用者の特性に合ったアドバイ
ス情報を提供する音楽情報差分抽出プログラムを記録し
た記録媒体であって、 演奏情報を入力する入力ステップと、 この入力された演奏情報から特徴量を抽出し、１つ以上
の特徴量からなる要素および１つ以上の要素から構成さ
れる特徴パターンを作成する特徴パターン抽出ステップ
と、 この作成された特徴パターンの要素の順序を正規化する
順序正規化ステップと、 予め順序を正規化された演奏の特徴パターンである標準
パターンを記憶する標準パターン記憶ステップと、 前記正規化された特徴パターンと前記記憶された標準パ
ターンとを比較して、特徴パターンが標準パターンのど
の部分に相当するかを分析し、特徴パターンの要素と標
準パターンの要素とを対応付ける対応付けステップと、 この対応付けられた特徴パターンと標準パターンを分析
し、利用者の演奏情報と標準パターンの演奏情報の差分
情報を求める差分抽出ステップとを有することを特徴と
する音楽情報差分抽出プログラムを記録した記録媒体。11. A performance of a user is compared with a performance of a model, a difference between the two performances is extracted, characteristics of the user are analyzed from the extracted difference, and advice information suitable for the characteristics of the user is obtained. A music information difference extraction program for providing performance information, comprising: an input step of inputting performance information; extracting a feature amount from the input performance information; A feature pattern extraction step of creating a feature pattern composed of one or more elements; an order normalization step of normalizing the order of the elements of the created feature pattern; a performance feature pattern whose order is normalized in advance. A standard pattern storing step of storing a standard pattern, and comparing the normalized feature pattern with the stored standard pattern, Analyzing which part of the turn corresponds to, and associating the element of the characteristic pattern with the element of the standard pattern; analyzing the associated characteristic pattern and standard pattern; A difference extraction step for obtaining difference information of the performance information of the pattern. 【請求項１２】 前記順序正規化ステップは、前記特徴
パターンの要素について同時刻に起こったと見なされる
要素をグループ化し、要素内の特定の特徴量をキーにし
て順序を並べ替えることを特徴とする請求項１１記載の
音楽情報差分抽出プログラムを記録した記録媒体。12. The order normalizing step is characterized by grouping elements considered to have occurred at the same time with respect to the elements of the feature pattern, and rearranging the order using a specific feature amount in the elements as a key. A recording medium on which the music information difference extraction program according to claim 11 is recorded. 【請求項１３】 前記対応付けステップは、前記特徴パ
ターンを非線形に伸縮させて、該特徴パターン間の包含
関係を求めるとともに、該特徴パターン同士の要素間の
対応付けについて不適切な対応付けと重複した対応付け
を認めた粗い対応付けを行う粗対応付けステップを有す
ることを特徴とする請求項１１記載の音楽情報差分抽出
プログラムを記録した記録媒体。13. The associating step includes: expanding and contracting the feature pattern in a non-linear manner to determine an inclusion relationship between the feature patterns; 12. A recording medium storing a music information difference extraction program according to claim 11, further comprising a rough matching step of performing a rough matching that recognizes the changed matching. 【請求項１４】 前記対応付けステップは、前記粗い対
応付けに続いて、正しく対応付けられた要素と正しく対
応付けられなかった要素を判別し、正しく対応付けられ
なかった要素については正しく対応付けられた要素を基
準に詳細な対応付けを行う詳細対応付けステップを有す
ることを特徴とする請求項１３記載の音楽情報差分抽出
プログラムを記録した記録媒体。14. The associating step, following the coarse associating, determines a correctly associated element and an element that has not been correctly associated, and an element that has not been correctly associated is correctly associated. 14. A recording medium storing a music information difference extraction program according to claim 13, further comprising a detailed association step of performing detailed association based on the set elements. 【請求項１５】 前記差分抽出ステップで求めた前記差
分情報を分析し、利用者の特性を求める差分評価ステッ
プと、前記差分情報と利用者の特性に基づき利用者の演
奏をお手本の演奏に近づけるためのアドバイス情報を作
成するアドバイス情報作成ステップと、この作成された
アドバイス情報を利用者に提供するアドバイス情報提供
ステップとを更に有することを特徴とする請求項１１記
載の音楽情報差分抽出プログラムを記録した記録媒体。15. A difference evaluation step of analyzing the difference information obtained in the difference extraction step to obtain a user characteristic, and bringing the user's performance closer to a model performance based on the difference information and the user's characteristics. 12. A music information difference extraction program according to claim 11, further comprising: an advice information creating step of creating advice information for providing the user with the advice information providing step of providing the created advice information to a user. Recording medium.
JP11054753A 1999-03-02 1999-03-02 Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded Pending JP2000250400A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11054753A JP2000250400A (en) 1999-03-02 1999-03-02 Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11054753A JP2000250400A (en) 1999-03-02 1999-03-02 Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded

Publications (1)

Publication Number Publication Date
JP2000250400A true JP2000250400A (en) 2000-09-14

Family

ID=12979543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11054753A Pending JP2000250400A (en) 1999-03-02 1999-03-02 Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded

Country Status (1)

Country Link
JP (1) JP2000250400A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113539015A (en) * 2021-07-22 2021-10-22 宿州学院 Music theory learning device convenient for colleges and universities

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113539015A (en) * 2021-07-22 2021-10-22 宿州学院 Music theory learning device convenient for colleges and universities

Similar Documents

Publication Publication Date Title
Raphael Automatic segmentation of acoustic musical signals using hidden Markov models
US6188010B1 (en) Music search by melody input
CN101647021B (en) Speech data retrieval apparatus, speech data retrieval method, speech data retrieval program and computer usable medium having computer readable speech data retrieval program embodied therein
US6633845B1 (en) Music summarization system and method
US7788279B2 (en) System and method for storing and retrieving non-text-based information
JP2717652B2 (en) Continuous speech recognition system
JP4274221B2 (en) Information processing apparatus and method, program, and recording medium
Zhang et al. ATEPP: A dataset of automatically transcribed expressive piano performance
CN109360550A (en) Test method, device, equipment and the storage medium of voice interactive system
JP5753769B2 (en) Voice data retrieval system and program therefor
WO2020151150A1 (en) Dcgan-based music generation method, and music generation apparatus
KR20180066472A (en) Method for processing audio signal using machine learning
KR102128153B1 (en) Apparatus and method for searching music source using machine learning
JP4644250B2 (en) Apparatus and method for determining the type of chords inherent in a test signal
JP2001290474A (en) Device and method for analyzing musical information and recording medium with musical information analyzing program
Wang et al. Identifying missing and extra notes in piano recordings using score-informed dictionary learning
Putri et al. Music information retrieval using Query-by-humming based on the dynamic time warping
JP2000250400A (en) Method and device for extracting music information difference, and recording medium where music information difference extracting program is recorded
KR102560394B1 (en) Chord generation system based on music score chord ai discrimination algorithm
JP2004348552A (en) Voice document search device, method, and program
KR101238113B1 (en) System for Composing and Searching Accomplished Music Using Analysis of the Input Voice
JP2008293098A (en) Response score information generation device, dialogue processing device
CN115331648A (en) Audio data processing method, device, equipment, storage medium and product
Dobrišek et al. An edit-distance model for the approximate matching of timed strings
Chuan An active learning approach to audio-to-score alignment using dynamic time warping