JP2015045731A - 音響信号のアライメント装置 - Google Patents
音響信号のアライメント装置 Download PDFInfo
- Publication number
- JP2015045731A JP2015045731A JP2013176659A JP2013176659A JP2015045731A JP 2015045731 A JP2015045731 A JP 2015045731A JP 2013176659 A JP2013176659 A JP 2013176659A JP 2013176659 A JP2013176659 A JP 2013176659A JP 2015045731 A JP2015045731 A JP 2015045731A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- spectrum
- evaluation value
- spectra
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
【解決手段】アライメント装置は、第2の演奏のスペクトルXm(tm)が第1の演奏のスペクトルXp(tp)を超える周波数成分を有するとき第1の重みが付され、第2の演奏のスペクトルXm(tm)が第1の演奏のスペクトルXp(tp)に包含されるとき前記第1の重みよりも小さな第2の重みが付されるように設定された尺度を用いて一組のスペクトルの類似性に関する評価値を計算する評価値計算手段と、前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定する。
【選択図】図5A
Description
本発明の第1実施形態に係るアライメント装置10について説明する。アライメント装置10は、以下説明するように、楽曲の演奏をそれぞれ表わす2つの音響データd1及び音響データd2を用いて各演奏を再生する際にそれらを同期させることができるように、各演奏を構成する各楽音の再生タイミングを対応づける。なお、音響データd1,d2は同一の楽譜に記載された1つ又は複数の演奏パートを演奏することにより発生された音をそれぞれ表わす音響信号をディジタルデータとしてそれぞれ記録したものである。音響データd1は前記楽曲の全演奏パートの演奏(以下第1の演奏と呼ぶ)を含み、音響データd2は、前記全演奏パートのうちの一部の演奏パートの演奏(以下第2の演奏と呼ぶ)のみを含む(図1参照)。図1の例では、分析対象とする音響データd1は、所定の楽曲の全演奏パートを演奏して発生された音響信号を記録したデータである。一方、音響データd2は、前記所定の楽曲のバイオリンの演奏パートのみを演奏して発生された音響信号を記録したデータである。
次に、本発明の第2実施形態に係るアライメント装置20について説明する。アライメント装置20の構成は、アライメント装置10の構成と同様であるので、その説明を省略する。アライメント装置20の動作は、第1実施形態とは異なる。すなわち、第2実施形態では、実行されるプログラムが第1実施形態とは異なる。一般に、「X」から見た「Y」の板倉斎藤距離の最小化は、期待値が「X」である指数分布において「Y」を観測したときのYの最尤推定と等価であることが知られている。そこで、第2実施形態では、スペクトルXp(tp)が、スペクトルXm(tm)を平均とする指数分布に従うものとする。そして、スペクトルXp(tp)とスペクトルXm(tm)との組み合わせで分類された状態の系列(すなわち、時刻tpと時刻tmとの対応付けの系列)として表わされた隠れマルコフモデルHMMのうち、観測値としての時刻tmの系列に対する尤度が所定の基準を満たすモデルを選択することにより、アライメントを計算する。
Claims (4)
- 楽曲を構成する複数の演奏パートを演奏した第1の演奏、及び前記複数の演奏パートのうちの一部の演奏パートを演奏した第2の演奏をそれぞれ表わす音響信号をそれぞれ記録した第1及び第2の音響データを分析して、前記第1及び第2の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント装置であって、
前記第2の演奏のスペクトログラムを構成する複数のスペクトルのうちの1つのスペクトルと前記第1の演奏のスペクトログラムを構成する複数のスペクトルのうちの1つのスペクトルとからなる一組のスペクトルのうちの第2の演奏のスペクトルが第1の演奏のスペクトルを超える周波数成分を有するとき第1の重みが付され、前記一組のスペクトルのうちの第2の演奏のスペクトルが第1の演奏のスペクトルに包含されるとき前記第1の重みよりも小さな第2の重みが付されるように設定された尺度を用いて前記一組のスペクトルの類似性に関する評価値を計算する評価値計算手段と、
前記類似性に関する評価値を用いて前記一組のスペクトルの系列の評価値を計算するとともに、前記一組のスペクトルの系列の評価値が所定の基準を満たす前記一組のスペクトルの系列を推定することにより、前記第1及び第2の演奏をそれぞれ構成する各楽音の発音タイミングを対応付けるアライメント計算手段と、
を備えたことを特徴とするアライメント装置。 - 請求項1に記載のアライメント装置において、
前記評価値計算手段は、
前記一組のスペクトルのうちの第1の演奏のスペクトル及び第2の演奏のスペクトルのうちの一方の各周波数成分を他方の各周波数成分に対して相対的に周波数軸方向にシフトさせるピッチシフト手段と、
前記各周波数成分のシフト量に応じた評価値を前記一組のスペクトルの類似性に関する評価値に加算する加算手段と、をさらに備えたことを特徴とするアライメント装置。 - 請求項1又は2に記載のアライメント装置において、
前記一組のスペクトルの類似性に関する評価値は、前記一組のスペクトルの距離であり、
前記尺度は、前記一組のスペクトルのうちの第2の演奏のスペクトルが第1の演奏のスペクトルを超える周波数成分を有するとき、前記第1の演奏のスペクトルから見た前記第2の演奏のスペクトルの距離が、前記第2の演奏のスペクトルから見た前記第1の演奏のスペクトルの距離よりも大きくなり、前記一組のスペクトルのうちの第2の演奏のスペクトルが第1の演奏のスペクトルに包含されるとき、前記第1の演奏のスペクトルから見た前記第2の演奏のスペクトルの距離が、前記第2の演奏のスペクトルから見た前記第1の演奏のスペクトルの距離よりも小さくなる非対称の距離尺度であり、
前記一組のスペクトルの系列の評価値は、前記距離の総和であることを特徴とするアライメント装置。 - 請求項1又は2に記載のアライメント装置において、
前記一組のスペクトルの類似性に関する評価値は、前記尺度に対応する確率分布における前記第2の演奏のスペクトルの観測尤度であり、
前記一組のスペクトルの系列の評価値は、前記第1の演奏のスペクトルと前記第2の演奏のスペクトルの組み合わせによって分類された状態の系列として記述された確率モデルの尤度であることを特徴とするアライメント装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176659A JP6281211B2 (ja) | 2013-08-28 | 2013-08-28 | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176659A JP6281211B2 (ja) | 2013-08-28 | 2013-08-28 | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015045731A true JP2015045731A (ja) | 2015-03-12 |
JP2015045731A5 JP2015045731A5 (ja) | 2017-03-30 |
JP6281211B2 JP6281211B2 (ja) | 2018-02-21 |
Family
ID=52671292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013176659A Expired - Fee Related JP6281211B2 (ja) | 2013-08-28 | 2013-08-28 | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6281211B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106212A (ja) * | 2018-04-10 | 2018-07-05 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
US10665216B2 (en) | 2016-07-22 | 2020-05-26 | Yamaha Corporation | Control method and controller |
CN113657184A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
US11869465B2 (en) | 2018-03-23 | 2024-01-09 | Yamaha Corporation | Musical performance analysis method and musical performance analysis apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117582A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | 音声処理装置およびカラオケ装置 |
JP2008040259A (ja) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
JP2009031486A (ja) * | 2007-07-26 | 2009-02-12 | Yamaha Corp | 演奏音の類似度を評価する方法、装置およびプログラム |
JP2009186687A (ja) * | 2008-02-05 | 2009-08-20 | National Institute Of Advanced Industrial & Technology | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 |
-
2013
- 2013-08-28 JP JP2013176659A patent/JP6281211B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117582A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | 音声処理装置およびカラオケ装置 |
JP2008040259A (ja) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
JP2009031486A (ja) * | 2007-07-26 | 2009-02-12 | Yamaha Corp | 演奏音の類似度を評価する方法、装置およびプログラム |
JP2009186687A (ja) * | 2008-02-05 | 2009-08-20 | National Institute Of Advanced Industrial & Technology | 音楽音響信号と歌詞の時間的対応付けを自動で行うシステム及び方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10665216B2 (en) | 2016-07-22 | 2020-05-26 | Yamaha Corporation | Control method and controller |
US11869465B2 (en) | 2018-03-23 | 2024-01-09 | Yamaha Corporation | Musical performance analysis method and musical performance analysis apparatus |
JP2018106212A (ja) * | 2018-04-10 | 2018-07-05 | ヤマハ株式会社 | 音響解析方法および音響解析装置 |
CN113657184A (zh) * | 2021-07-26 | 2021-11-16 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
CN113657184B (zh) * | 2021-07-26 | 2023-11-07 | 广东科学技术职业学院 | 一种钢琴弹奏指法的评估方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6281211B2 (ja) | 2018-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6187132B2 (ja) | スコアアライメント装置及びスコアアライメントプログラム | |
JP4672613B2 (ja) | テンポ検出装置及びテンポ検出用コンピュータプログラム | |
JP4823804B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP4767691B2 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
US20110247480A1 (en) | Polyphonic note detection | |
WO2007010637A1 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
JP2009031486A (ja) | 演奏音の類似度を評価する方法、装置およびプログラム | |
JP2008275975A (ja) | リズム検出装置及びリズム検出用コンピュータ・プログラム | |
US7411125B2 (en) | Chord estimation apparatus and method | |
JP6252147B2 (ja) | 音響信号分析装置及び音響信号分析プログラム | |
JP6281211B2 (ja) | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム | |
JP6123574B2 (ja) | コード抽出装置、方法、およびプログラム | |
WO2021166531A1 (ja) | 推定モデル構築方法、演奏解析方法、推定モデル構築装置、および演奏解析装置 | |
JP6296221B2 (ja) | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム | |
JP2007298607A (ja) | 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム | |
JP5092589B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP6733487B2 (ja) | 音響解析方法および音響解析装置 | |
JP5678935B2 (ja) | 楽器演奏評価装置、楽器演奏評価システム | |
WO2020137829A1 (ja) | 演奏補正方法および演奏補正装置 | |
JP6788560B2 (ja) | 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置 | |
CN112632401A (zh) | 推荐装置、信息提供系统、推荐方法及存储介质 | |
JP5669646B2 (ja) | 演奏評価装置、電子楽器及びプログラム | |
JP2020038252A (ja) | 情報処理方法および情報処理装置 | |
JP7176114B2 (ja) | 楽曲解析装置、プログラムおよび楽曲解析方法 | |
JP2015001587A (ja) | 弦楽器演奏評価装置及び弦楽器演奏評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6281211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |