JP2003029760A - 楽音合成方法、装置、そのプログラム及びその記録媒体 - Google Patents
楽音合成方法、装置、そのプログラム及びその記録媒体Info
- Publication number
- JP2003029760A JP2003029760A JP2001213083A JP2001213083A JP2003029760A JP 2003029760 A JP2003029760 A JP 2003029760A JP 2001213083 A JP2001213083 A JP 2001213083A JP 2001213083 A JP2001213083 A JP 2001213083A JP 2003029760 A JP2003029760 A JP 2003029760A
- Authority
- JP
- Japan
- Prior art keywords
- information
- musical
- musical instrument
- performance
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
(57)【要約】
【課題】 任意の楽器、特に非打鍵楽器の楽音の合成を
可能にする。 【解決手段】 楽器を演奏行動の方法を基準に複数の類
に分類し、その類毎に演奏行動の物理モデルに基づいた
演奏情報の表現形式を演奏行動情報202として設定
し、これと、その類の識別情報201で演奏情報200
とし、楽器の類の識別情報101とその楽器の物理モデ
ル情報102で楽器情報100とし、楽器の類の識別情
報が一致している演奏情報200の演奏行動情報と楽器
情報100の物理モデル情報とにより物理シミュレーシ
ョン計算を行って楽音を合成する。
可能にする。 【解決手段】 楽器を演奏行動の方法を基準に複数の類
に分類し、その類毎に演奏行動の物理モデルに基づいた
演奏情報の表現形式を演奏行動情報202として設定
し、これと、その類の識別情報201で演奏情報200
とし、楽器の類の識別情報101とその楽器の物理モデ
ル情報102で楽器情報100とし、楽器の類の識別情
報が一致している演奏情報200の演奏行動情報と楽器
情報100の物理モデル情報とにより物理シミュレーシ
ョン計算を行って楽音を合成する。
Description
【0001】
【発明の属する技術分野】この発明は、物理モデル音源
方式を用いて、演奏情報と楽器情報とから楽音を合成す
る楽音合成方法、その装置、そのプログラム及びその記
録媒体に関する。
方式を用いて、演奏情報と楽器情報とから楽音を合成す
る楽音合成方法、その装置、そのプログラム及びその記
録媒体に関する。
【0002】
【従来の技術】電子計算機や電子楽器における音楽情報
の入出力に、MIDI(Musical Instrument Ditital I
nterface)[リットーミュージック出版編集部編:「M
IDIバイブル<1>MIDI1.0規格基礎編」,リ
ットーミュージック,1997]が利用されている。M
IDIは、図7に示すように、イベント欄に、演奏楽器
を指定するプログラムチェンジ番号、各音符の生起、停
止がその各時刻がMIDIクロック欄に、音高及びヴェ
ロシティ(音の強さ)がそれぞれ音高欄、ヴェロシティ
欄にそれぞれ記録された譜面情報を有し、MIDI規格
に対応した演奏装置は当該情報に基づいて楽音を合成
し、楽曲を演奏する。
の入出力に、MIDI(Musical Instrument Ditital I
nterface)[リットーミュージック出版編集部編:「M
IDIバイブル<1>MIDI1.0規格基礎編」,リ
ットーミュージック,1997]が利用されている。M
IDIは、図7に示すように、イベント欄に、演奏楽器
を指定するプログラムチェンジ番号、各音符の生起、停
止がその各時刻がMIDIクロック欄に、音高及びヴェ
ロシティ(音の強さ)がそれぞれ音高欄、ヴェロシティ
欄にそれぞれ記録された譜面情報を有し、MIDI規格
に対応した演奏装置は当該情報に基づいて楽音を合成
し、楽曲を演奏する。
【0003】MIDIはこのような情報であるから、M
IDIデータを加工することにより、楽曲の加工が可能
である。すなわち、各音符の生起時刻等を編集すること
によりメロディー等の加工が可能であり、プログラムチ
ェンジ番号を編集することで同一のメロディーを種々の
楽音で演奏することが可能である。特に、MIDI規格
に対応した任意の演奏装置が内蔵する任意の楽音を用い
た演奏が可能である。MIDI規格に対応した電子楽器
の音源方式には、PCM(Pulse Code Moduration)音
源方式、減算合成方式、加算合成方式、物理モデル音源
方式がある[安斎直宗:「シンセサイザーの全知識」,
リットーミュージック,1996]。PCM音源方式で
は、メモリ中に各楽音の波形情報を格納し、演奏情報に
応じて当該波形情報が読み出され、楽音が合成される。
減算合成方式及び加算合成方式では、正弦波等の単純な
波形に種々の加工を施し、楽音を合成する。物理モデル
音源方式では、メモリ中に各楽器の物理モデルを格納
し、物理シミュレーション計算によって楽音が合成され
る。
IDIデータを加工することにより、楽曲の加工が可能
である。すなわち、各音符の生起時刻等を編集すること
によりメロディー等の加工が可能であり、プログラムチ
ェンジ番号を編集することで同一のメロディーを種々の
楽音で演奏することが可能である。特に、MIDI規格
に対応した任意の演奏装置が内蔵する任意の楽音を用い
た演奏が可能である。MIDI規格に対応した電子楽器
の音源方式には、PCM(Pulse Code Moduration)音
源方式、減算合成方式、加算合成方式、物理モデル音源
方式がある[安斎直宗:「シンセサイザーの全知識」,
リットーミュージック,1996]。PCM音源方式で
は、メモリ中に各楽音の波形情報を格納し、演奏情報に
応じて当該波形情報が読み出され、楽音が合成される。
減算合成方式及び加算合成方式では、正弦波等の単純な
波形に種々の加工を施し、楽音を合成する。物理モデル
音源方式では、メモリ中に各楽器の物理モデルを格納
し、物理シミュレーション計算によって楽音が合成され
る。
【0004】楽器の物理モデルのパラメータは可変であ
り、パラメータの操作によって物理モデルに基づいた楽
音の加工が可能である。物理モデル音源方式の電子楽器
の入力インターフェースには、MIDIによるものの他
に、各楽器の演奏方法の特性に基づいた表現形式による
入出力規格を各電子楽器毎に設定し、当該規格に対応し
た専用の入力装置を用いた演奏が可能であるものもあ
る。MIDIではピアノ等の鍵盤楽器の演奏行動の方法
をモデルとした演奏情報の表現形式が採用されている。
すなわち、楽曲の各音符の音高、音の大きさ、音の長さ
等による表現形式により演奏情報を示す。そのため、M
IDIを出力インターフェースとする電子鍵盤楽器より
出力されるMIDI信号を、MIDIを入力インターフ
ェースとする電子楽器に入力することによって演奏する
場合は、鍵盤楽器の特徴に適したMIDIによる演奏情
報の入出力処理が行われ、鍵盤楽器の特徴を有する演奏
が実現される。なお一般にはMIDIを出力インターフ
ェースとする電子鍵盤楽器により演奏し、その電子鍵盤
楽器の出力演奏情報(MIDI信号)を例えばファイル
に記録し、そのファイルから演奏情報(MIDI信号)
を読み出してMIDIを入力とする電子楽器に入力し
て、その電子楽器による演奏が行われる。しかし前記M
IDIを出力インターフェースとする電子鍵盤楽器より
の出力演奏情報を、MIDIを入力インターフェースと
する電子楽器に直接入力して実時間で演奏を行ってもよ
い。
り、パラメータの操作によって物理モデルに基づいた楽
音の加工が可能である。物理モデル音源方式の電子楽器
の入力インターフェースには、MIDIによるものの他
に、各楽器の演奏方法の特性に基づいた表現形式による
入出力規格を各電子楽器毎に設定し、当該規格に対応し
た専用の入力装置を用いた演奏が可能であるものもあ
る。MIDIではピアノ等の鍵盤楽器の演奏行動の方法
をモデルとした演奏情報の表現形式が採用されている。
すなわち、楽曲の各音符の音高、音の大きさ、音の長さ
等による表現形式により演奏情報を示す。そのため、M
IDIを出力インターフェースとする電子鍵盤楽器より
出力されるMIDI信号を、MIDIを入力インターフ
ェースとする電子楽器に入力することによって演奏する
場合は、鍵盤楽器の特徴に適したMIDIによる演奏情
報の入出力処理が行われ、鍵盤楽器の特徴を有する演奏
が実現される。なお一般にはMIDIを出力インターフ
ェースとする電子鍵盤楽器により演奏し、その電子鍵盤
楽器の出力演奏情報(MIDI信号)を例えばファイル
に記録し、そのファイルから演奏情報(MIDI信号)
を読み出してMIDIを入力とする電子楽器に入力し
て、その電子楽器による演奏が行われる。しかし前記M
IDIを出力インターフェースとする電子鍵盤楽器より
の出力演奏情報を、MIDIを入力インターフェースと
する電子楽器に直接入力して実時間で演奏を行ってもよ
い。
【0005】一方、MIDIを入力インターフェースと
する電子楽器に、ギター等の非鍵盤楽器の出力演奏情報
を入力して演奏する場合は、当該楽器の出力演奏情報を
MIDIへ変換する必要がある。この時、楽器毎の特性
の相違によって、各楽器毎に演奏情報の最適な表現形式
に相違が存在するために、非鍵盤楽器の特徴を有する演
奏情報を、鍵盤楽器をモデルとするMIDIで表現する
ことは困難である。そのため、非鍵盤楽器の演奏情報を
MIDIへ変換する際に、演奏情報の損失が生じ、当該
楽器の特徴を有する自然な演奏が実現されない。
する電子楽器に、ギター等の非鍵盤楽器の出力演奏情報
を入力して演奏する場合は、当該楽器の出力演奏情報を
MIDIへ変換する必要がある。この時、楽器毎の特性
の相違によって、各楽器毎に演奏情報の最適な表現形式
に相違が存在するために、非鍵盤楽器の特徴を有する演
奏情報を、鍵盤楽器をモデルとするMIDIで表現する
ことは困難である。そのため、非鍵盤楽器の演奏情報を
MIDIへ変換する際に、演奏情報の損失が生じ、当該
楽器の特徴を有する自然な演奏が実現されない。
【0006】PCM音源方式はメモリ上の波形の読み出
しによる合成を行うので、楽器の演奏方法の差異のよう
な演奏行動の特性に基づいた楽音の加工が困難である。
減算合成方式及び加算合成方式では、種々のパラメータ
による楽音の加工が可能であるが、パラメータはフィル
タの遮断周波数など、信号処理機構に基づいて設定され
たものであり、楽器の演奏方法の差異のような演奏行動
の特性に基づいたパラメータによる加工は困難である。
物理モデル音源方式では、楽器の物理モデルに基づいた
パラメータによる楽音の加工が可能である。しかし、M
IDIを入力とする場合はMIDIが鍵盤楽器の演奏行
動の方法をモデルとしているため、非鍵盤楽器の特徴を
有する演奏が困難である。一方、MIDIを入力としな
い場合は、各電子楽器独自の規格による入力装置を用い
る必要がある。すなわち、特定の演奏情報は、当該演奏
情報に対応した専用の演奏装置以外の演奏装置では演奏
が不可能である。このため、物理モデル音源方式による
演奏を想定した音楽コンテンツの流通は現実的でない。
しによる合成を行うので、楽器の演奏方法の差異のよう
な演奏行動の特性に基づいた楽音の加工が困難である。
減算合成方式及び加算合成方式では、種々のパラメータ
による楽音の加工が可能であるが、パラメータはフィル
タの遮断周波数など、信号処理機構に基づいて設定され
たものであり、楽器の演奏方法の差異のような演奏行動
の特性に基づいたパラメータによる加工は困難である。
物理モデル音源方式では、楽器の物理モデルに基づいた
パラメータによる楽音の加工が可能である。しかし、M
IDIを入力とする場合はMIDIが鍵盤楽器の演奏行
動の方法をモデルとしているため、非鍵盤楽器の特徴を
有する演奏が困難である。一方、MIDIを入力としな
い場合は、各電子楽器独自の規格による入力装置を用い
る必要がある。すなわち、特定の演奏情報は、当該演奏
情報に対応した専用の演奏装置以外の演奏装置では演奏
が不可能である。このため、物理モデル音源方式による
演奏を想定した音楽コンテンツの流通は現実的でない。
【0007】
【発明が解決しようとする課題】この発明の目的は、任
意の楽器による演奏情報を入力として、その楽器の特徴
をもって楽音合成することが可能な楽器合成方法、その
装置、そのプログラム及びその記録媒体を提供すること
にある。
意の楽器による演奏情報を入力として、その楽器の特徴
をもって楽音合成することが可能な楽器合成方法、その
装置、そのプログラム及びその記録媒体を提供すること
にある。
【0008】
【課題を解決するための手段】この発明では楽器を演奏
行動の方法を基準に複数の類に分類し、各類毎にその楽
器の物理モデルに基づいた演奏行動の物理量を演奏行動
情報とし、この演奏行動情報と楽器の類の識別情報とを
有する演奏情報と、楽器の物理モデル情報と楽器の類の
識別情報とを有する楽器情報とから、これらの楽器の類
の識別情報を参照して、楽器の類の整合をとり、その物
理モデル情報に対しその演奏行動情報を物理シミュレー
ション計算して楽音合成を行う。
行動の方法を基準に複数の類に分類し、各類毎にその楽
器の物理モデルに基づいた演奏行動の物理量を演奏行動
情報とし、この演奏行動情報と楽器の類の識別情報とを
有する演奏情報と、楽器の物理モデル情報と楽器の類の
識別情報とを有する楽器情報とから、これらの楽器の類
の識別情報を参照して、楽器の類の整合をとり、その物
理モデル情報に対しその演奏行動情報を物理シミュレー
ション計算して楽音合成を行う。
【0009】
【発明の実施の形態】この発明では楽器を演奏行動の方
法に基づいて複数の類に分類する。例えば、図1に示す
ようにギターには様々な材質、形状等を有するものが種
々のメーカにより提供されているが、演奏行動の方法は
ピックを用いる演奏行動の方法と、ピックを用いない演
奏行動の方法があり、それぞれの演奏行動の方法は楽器
の材質、形状、メーカ等によらず同一である。すなわ
ち、ピックを用いる演奏行動の方法を想定した楽器であ
れば、同一の演奏行動の方法によって演奏可能である。
そこで、ピックを用いる演奏行動の方法を想定する楽
器、ストラトタイプエレキギター、エレアコなどを、同
一の類、ピック使用6弦ギターと分類する。同様に、ピ
ックを用いない演奏行動の方法を想定する楽器、クラシ
ックギター、ガットギターなどを、同一の類、ピック不
使用6弦ギターと分類する。また、プレシジョンベー
ス、ジャズベースなどのエレキベースギターはギターと
演奏行動の方法が異なるので、別の類に分類する。同一
ギターを、ピックを使用して演奏する場合と、ピックを
使用しないで指先で演奏する場合のように、複数の演奏
行動の方法を想定した楽器は、対応する複数の楽器の類
に属してもよい。また、類を楽器の構造、発音方式等に
基づいて更に階層的に分類して、楽器の類を細かく分類
してもよい。
法に基づいて複数の類に分類する。例えば、図1に示す
ようにギターには様々な材質、形状等を有するものが種
々のメーカにより提供されているが、演奏行動の方法は
ピックを用いる演奏行動の方法と、ピックを用いない演
奏行動の方法があり、それぞれの演奏行動の方法は楽器
の材質、形状、メーカ等によらず同一である。すなわ
ち、ピックを用いる演奏行動の方法を想定した楽器であ
れば、同一の演奏行動の方法によって演奏可能である。
そこで、ピックを用いる演奏行動の方法を想定する楽
器、ストラトタイプエレキギター、エレアコなどを、同
一の類、ピック使用6弦ギターと分類する。同様に、ピ
ックを用いない演奏行動の方法を想定する楽器、クラシ
ックギター、ガットギターなどを、同一の類、ピック不
使用6弦ギターと分類する。また、プレシジョンベー
ス、ジャズベースなどのエレキベースギターはギターと
演奏行動の方法が異なるので、別の類に分類する。同一
ギターを、ピックを使用して演奏する場合と、ピックを
使用しないで指先で演奏する場合のように、複数の演奏
行動の方法を想定した楽器は、対応する複数の楽器の類
に属してもよい。また、類を楽器の構造、発音方式等に
基づいて更に階層的に分類して、楽器の類を細かく分類
してもよい。
【0010】この発明では楽音の合成に楽器情報と演奏
情報を用いるが、楽器情報の実施例を図2Aを用いて説
明する。楽器情報100は、当該楽器の類を示す識別情
報101とその楽器の物理モデル情報102とを有す。
この発明の1実施例では楽器情報データベースを用いる
が、このデータベースは複数の楽器に対する楽器情報が
格納され、楽器の類の識別情報を検索条件とする検索が
可能なものとする。以下、ピック使用6弦ギターの楽器
情報100の実施例を説明する。楽器の類の識別情報1
01として、楽器名「ピック使用6弦ギター」、或いは
予め設定された楽器の類の識別番号等が使用される。楽
器の物理モデル情報102は、ピック使用6弦ギターの
各弦の長さ、張力、太さやボデーの形状、材質等の情報
を有し、各弦へのピッキング行動等の物理的な演奏行動
情報が与えられると物理シミュレーション計算により当
該楽器が生成する楽音(音響信号)を規定することがで
きるものとする。楽器の物理モデル情報102は、楽器
市場での楽器の多様性に対応したパラメータ等によって
可変であり、例えば、弦の太さや材質などをその可変パ
ラメータとする。また、歌声を扱う場合は、識別語「歌
声」又は識別番号等を楽器の類の識別情報とし、音韻情
報等を楽器の物理モデル情報とし、これらよりなる楽器
情報として同様に扱ってもよい。
情報を用いるが、楽器情報の実施例を図2Aを用いて説
明する。楽器情報100は、当該楽器の類を示す識別情
報101とその楽器の物理モデル情報102とを有す。
この発明の1実施例では楽器情報データベースを用いる
が、このデータベースは複数の楽器に対する楽器情報が
格納され、楽器の類の識別情報を検索条件とする検索が
可能なものとする。以下、ピック使用6弦ギターの楽器
情報100の実施例を説明する。楽器の類の識別情報1
01として、楽器名「ピック使用6弦ギター」、或いは
予め設定された楽器の類の識別番号等が使用される。楽
器の物理モデル情報102は、ピック使用6弦ギターの
各弦の長さ、張力、太さやボデーの形状、材質等の情報
を有し、各弦へのピッキング行動等の物理的な演奏行動
情報が与えられると物理シミュレーション計算により当
該楽器が生成する楽音(音響信号)を規定することがで
きるものとする。楽器の物理モデル情報102は、楽器
市場での楽器の多様性に対応したパラメータ等によって
可変であり、例えば、弦の太さや材質などをその可変パ
ラメータとする。また、歌声を扱う場合は、識別語「歌
声」又は識別番号等を楽器の類の識別情報とし、音韻情
報等を楽器の物理モデル情報とし、これらよりなる楽器
情報として同様に扱ってもよい。
【0011】次にこの発明で用いる演奏情報の実施例を
図2Bを用いて説明する。演奏情報200は、楽器の類
の識別情報201と、当該類の演奏行動の方法をモデル
として設定された表現形式による演奏行動情報202と
を有す。以下、楽器の類がピック使用6弦ギターの場合
の実施例を示す。ピック使用6弦ギターに対応する楽器
の類の識別情報201として、楽器名「ピック使用6弦
ギター」、或いは予め設定された楽器の類の識別番号等
が使用される。ピック使用6弦ギターの演奏行動の方法
は、左手の指先で弦をフレット上に押し当て、右手でつ
まんだピックで弦を弾くというものである。当該方法に
基づいて演奏行動情報202の表現形式を設定する。例
えば、左手の形(どの指で弦をどの位置で押したかを示
す形)とギターのネックを基準とする相対位置、ギター
の各弦を基準とするピックの角度、ピッキングの深さ、
ピッキングの強さ、前記相対位置の時間変化等の各情報
を、実際に演奏を行った際に、当該楽器に内蔵されたセ
ンサ装置等により抽出したものをピック使用6弦ギター
の類の演奏行動情報の表現形式とする。ただし、当該表
現形式は当該楽器の物理モデル情報を用いた音響信号合
成処理において十分に詳細な情報を提供するものとす
る。つまりこの演奏行動情報はその楽器の物理モデルと
対応した演奏行動の物理量であって、この物理量を前記
物理モデルに与えて物理シミュレーション計算して楽音
を生成することができるものである。
図2Bを用いて説明する。演奏情報200は、楽器の類
の識別情報201と、当該類の演奏行動の方法をモデル
として設定された表現形式による演奏行動情報202と
を有す。以下、楽器の類がピック使用6弦ギターの場合
の実施例を示す。ピック使用6弦ギターに対応する楽器
の類の識別情報201として、楽器名「ピック使用6弦
ギター」、或いは予め設定された楽器の類の識別番号等
が使用される。ピック使用6弦ギターの演奏行動の方法
は、左手の指先で弦をフレット上に押し当て、右手でつ
まんだピックで弦を弾くというものである。当該方法に
基づいて演奏行動情報202の表現形式を設定する。例
えば、左手の形(どの指で弦をどの位置で押したかを示
す形)とギターのネックを基準とする相対位置、ギター
の各弦を基準とするピックの角度、ピッキングの深さ、
ピッキングの強さ、前記相対位置の時間変化等の各情報
を、実際に演奏を行った際に、当該楽器に内蔵されたセ
ンサ装置等により抽出したものをピック使用6弦ギター
の類の演奏行動情報の表現形式とする。ただし、当該表
現形式は当該楽器の物理モデル情報を用いた音響信号合
成処理において十分に詳細な情報を提供するものとす
る。つまりこの演奏行動情報はその楽器の物理モデルと
対応した演奏行動の物理量であって、この物理量を前記
物理モデルに与えて物理シミュレーション計算して楽音
を生成することができるものである。
【0012】また、各弦の振動の情報等をセンサにより
求め、これら情報と前記演奏行動情報の各表現形式との
関係を予め求めておき、演奏時の前記弦の振動情報など
から演奏行動情報を推定したものを演奏行動情報として
扱ってもよい。また、歌声を扱う場合は、識別語「歌
声」、識別番号等を楽器の類の識別情報とし、歌詞、発
声方法、音高等を演奏行動情報として演奏情報と同様に
扱ってもよい。この発明の楽音合成方法の一実施例を図
3の流れ図を用いて説明する。演奏情報入力処理300
では、演奏情報を入力部を介してファイル等で楽音合成
装置に入力する。つまり演奏楽器についての、図2Bを
参照して説明した一連の演奏情報がファイル等に記録さ
れてあり、この記録が読み出されて入力される。楽器情
報入力処理301では、演奏に用いる楽器に対する図2
Aを参照して説明した楽器情報を入力部を介してファイ
ル等で入力する。ここで、演奏情報入力処理300と楽
器情報入力処理301の順序は任意でよい。またこの例
では楽音合成装置の利用者は、前記演奏情報が記憶され
たファイルなど、また前記楽器情報が記録されたファイ
ルなどを例えば所有して利用できる状態にある。
求め、これら情報と前記演奏行動情報の各表現形式との
関係を予め求めておき、演奏時の前記弦の振動情報など
から演奏行動情報を推定したものを演奏行動情報として
扱ってもよい。また、歌声を扱う場合は、識別語「歌
声」、識別番号等を楽器の類の識別情報とし、歌詞、発
声方法、音高等を演奏行動情報として演奏情報と同様に
扱ってもよい。この発明の楽音合成方法の一実施例を図
3の流れ図を用いて説明する。演奏情報入力処理300
では、演奏情報を入力部を介してファイル等で楽音合成
装置に入力する。つまり演奏楽器についての、図2Bを
参照して説明した一連の演奏情報がファイル等に記録さ
れてあり、この記録が読み出されて入力される。楽器情
報入力処理301では、演奏に用いる楽器に対する図2
Aを参照して説明した楽器情報を入力部を介してファイ
ル等で入力する。ここで、演奏情報入力処理300と楽
器情報入力処理301の順序は任意でよい。またこの例
では楽音合成装置の利用者は、前記演奏情報が記憶され
たファイルなど、また前記楽器情報が記録されたファイ
ルなどを例えば所有して利用できる状態にある。
【0013】楽器の類の識別情報抽出処理302では、
演奏情報入力処理300で得られた演奏情報と、楽器情
報入力処理301で得られた楽器情報から楽器の類の識
別情報をそれぞれ抽出する。次に、楽器の類の識別情報
抽出処理302で得られた両楽器の類の識別情報を比較
し(303)、同一でなければ他の楽器情報を用いて楽
器情報入力処理301から再処理を行う。この場合は利
用者は複数の楽器情報ファイルを利用でき、これらから
選択して楽器情報の再入力を行う。また、利用者が複数
の演奏情報ファイルを利用できる場合は他の演奏情報を
用いて演奏情報入力処理300から再処理を行ってもよ
い。また、利用者が複数の楽器情報ファイル及び複数の
演奏情報ファイルを利用できる場合は他の楽器情報と他
の演奏情報を用いて演奏情報入力処理300から再処理
を行ってもよい。
演奏情報入力処理300で得られた演奏情報と、楽器情
報入力処理301で得られた楽器情報から楽器の類の識
別情報をそれぞれ抽出する。次に、楽器の類の識別情報
抽出処理302で得られた両楽器の類の識別情報を比較
し(303)、同一でなければ他の楽器情報を用いて楽
器情報入力処理301から再処理を行う。この場合は利
用者は複数の楽器情報ファイルを利用でき、これらから
選択して楽器情報の再入力を行う。また、利用者が複数
の演奏情報ファイルを利用できる場合は他の演奏情報を
用いて演奏情報入力処理300から再処理を行ってもよ
い。また、利用者が複数の楽器情報ファイル及び複数の
演奏情報ファイルを利用できる場合は他の楽器情報と他
の演奏情報を用いて演奏情報入力処理300から再処理
を行ってもよい。
【0014】一方、識別情報比較処理303において識
別情報が同一であれば入力された演奏情報から演奏行動
情報を抽出する演奏行動情報抽出処理304と、入力さ
れた楽器情報から楽器の物理モデル情報を抽出する楽器
の物理モデル情報抽出処理305を行う。ここで、演奏
行動情報抽出処理304と物理モデル情報抽出処理30
5の順序は任意でよい。音響信号合成処理306では、
演奏行動情報抽出処理304で得られた演奏行動情報
と、楽器の物理モデル情報抽出処理305で得られた楽
器情報の楽器の物理モデル情報とを用いて物理シミュレ
ーション計算によって音響信号合成処理を行い、楽音の
音響信号を得る。また、演奏情報と楽器情報が歌声を扱
うものである場合は、規則音声合成による歌声合成方法
(特開平11−184490)による音響信号の合成が
可能である。
別情報が同一であれば入力された演奏情報から演奏行動
情報を抽出する演奏行動情報抽出処理304と、入力さ
れた楽器情報から楽器の物理モデル情報を抽出する楽器
の物理モデル情報抽出処理305を行う。ここで、演奏
行動情報抽出処理304と物理モデル情報抽出処理30
5の順序は任意でよい。音響信号合成処理306では、
演奏行動情報抽出処理304で得られた演奏行動情報
と、楽器の物理モデル情報抽出処理305で得られた楽
器情報の楽器の物理モデル情報とを用いて物理シミュレ
ーション計算によって音響信号合成処理を行い、楽音の
音響信号を得る。また、演奏情報と楽器情報が歌声を扱
うものである場合は、規則音声合成による歌声合成方法
(特開平11−184490)による音響信号の合成が
可能である。
【0015】なお楽器の類が同一かを調べる比較処理3
03において同一でないと判定されると、図3中に破線
で示すように楽器の類が不一致であると不一致報知処理
307で表わす可聴的又は/及び可視的報知を利用者に
対して行うようにしてもよい。この報知により利用者に
他の楽器情報又は/及び演奏情報の入力を促すようにし
てもよい。この図3に示した楽器合成方法を実行する装
置の実施例を図4に示す。入力部501を通じて例えば
ファイルから演奏情報と楽器情報が入力されると、演奏
情報は演奏情報記憶部502に、楽器情報は楽器情報記
憶部503にそれぞれ格納される。記憶部502と50
3にそれぞれ記憶された演奏情報中の楽器の類の識別情
報と、楽器情報中の楽器の類の識別情報とが比較部50
4に入力されて比較される。その比較結果が不一致であ
ればその出力により不一致報知部505が駆動されて楽
器の類が不一致であったことが可聴的又は/及び可視的
に報知される。
03において同一でないと判定されると、図3中に破線
で示すように楽器の類が不一致であると不一致報知処理
307で表わす可聴的又は/及び可視的報知を利用者に
対して行うようにしてもよい。この報知により利用者に
他の楽器情報又は/及び演奏情報の入力を促すようにし
てもよい。この図3に示した楽器合成方法を実行する装
置の実施例を図4に示す。入力部501を通じて例えば
ファイルから演奏情報と楽器情報が入力されると、演奏
情報は演奏情報記憶部502に、楽器情報は楽器情報記
憶部503にそれぞれ格納される。記憶部502と50
3にそれぞれ記憶された演奏情報中の楽器の類の識別情
報と、楽器情報中の楽器の類の識別情報とが比較部50
4に入力されて比較される。その比較結果が不一致であ
ればその出力により不一致報知部505が駆動されて楽
器の類が不一致であったことが可聴的又は/及び可視的
に報知される。
【0016】比較部504からの比較結果一致出力によ
り物理シミュレーション計算部506が駆動され、記憶
部502及び503内の演奏情報中の演奏行動情報と楽
器情報中の物理モデル情報とが入力され、これらについ
て物理シミュレーション計算を行って楽音が合成され、
その信号が出力部507より電気信号又は音響信号とし
て外部へ出力される。これら各部における処理は制御部
508の制御のもとに行われる。この発明の楽音合成方
法の他の実施例を図5の流れ図を用いて説明する。
り物理シミュレーション計算部506が駆動され、記憶
部502及び503内の演奏情報中の演奏行動情報と楽
器情報中の物理モデル情報とが入力され、これらについ
て物理シミュレーション計算を行って楽音が合成され、
その信号が出力部507より電気信号又は音響信号とし
て外部へ出力される。これら各部における処理は制御部
508の制御のもとに行われる。この発明の楽音合成方
法の他の実施例を図5の流れ図を用いて説明する。
【0017】演奏情報入力処理400では、楽曲に対す
る一連の演奏情報を楽音合成装置の入力部を介して例え
ばファイル等で入力する。楽器の類の識別情報抽出処理
401では、演奏情報入力処理400で得られた演奏情
報から楽器の類の情報を抽出する。楽器情報データベー
ス検索処理402では、楽器の類の識別情報抽出処理4
01で得られた楽器の類の識別情報を検索のキーとし
て、楽器情報データベースから該当する楽器に対応する
楽器情報を検索して、楽器情報を得る。
る一連の演奏情報を楽音合成装置の入力部を介して例え
ばファイル等で入力する。楽器の類の識別情報抽出処理
401では、演奏情報入力処理400で得られた演奏情
報から楽器の類の情報を抽出する。楽器情報データベー
ス検索処理402では、楽器の類の識別情報抽出処理4
01で得られた楽器の類の識別情報を検索のキーとし
て、楽器情報データベースから該当する楽器に対応する
楽器情報を検索して、楽器情報を得る。
【0018】楽器の物理モデル情報抽出処理403で
は、楽器情報データベース検索処理402で得られた楽
器情報から楽器の物理モデル情報を抽出する。演奏行動
情報抽出処理404では、演奏情報入力処理400で得
られた演奏情報から演奏行動情報を抽出する。ここで、
演奏行動情報抽出処理404は、演奏情報入力処理40
0と音響信号合成処理405の間の任意の時点で行って
もよい。音響信号合成処理405では、楽器の物理モデ
ル情報抽出処理403で得られた楽器情報の楽器の物理
モデル情報と、演奏行動情報抽出処理404で得られた
演奏行動情報とを用いて物理シミュレーション計算によ
って音響信号合成処理を行い、楽音の音響信号を得る。
は、楽器情報データベース検索処理402で得られた楽
器情報から楽器の物理モデル情報を抽出する。演奏行動
情報抽出処理404では、演奏情報入力処理400で得
られた演奏情報から演奏行動情報を抽出する。ここで、
演奏行動情報抽出処理404は、演奏情報入力処理40
0と音響信号合成処理405の間の任意の時点で行って
もよい。音響信号合成処理405では、楽器の物理モデ
ル情報抽出処理403で得られた楽器情報の楽器の物理
モデル情報と、演奏行動情報抽出処理404で得られた
演奏行動情報とを用いて物理シミュレーション計算によ
って音響信号合成処理を行い、楽音の音響信号を得る。
【0019】楽器情報データベース検索処理402にお
いて、検索条件に合致する楽器情報が複数存在する場合
は、図5中に破線で示すように楽器情報選択処理406
で利用者へこれらを表示して問い合わせなどの方法によ
り特定の楽器情報を選択させるようにすることもでき
る。検索過程で最初に検出した楽器情報を用いてもよ
い。図5に示した楽音合成方法を実行する装置の実施例
を図6に示す。この例ではコンピュータにより構成した
場合で、入力部601、表示部602、出力部603、
楽器情報データベース604、演奏情報記憶部605、
物理モデル情報記憶部606、物理モデル計算部60
7、検索部608、CPU609、プログラムメモリ6
10がバス611に接続されている。
いて、検索条件に合致する楽器情報が複数存在する場合
は、図5中に破線で示すように楽器情報選択処理406
で利用者へこれらを表示して問い合わせなどの方法によ
り特定の楽器情報を選択させるようにすることもでき
る。検索過程で最初に検出した楽器情報を用いてもよ
い。図5に示した楽音合成方法を実行する装置の実施例
を図6に示す。この例ではコンピュータにより構成した
場合で、入力部601、表示部602、出力部603、
楽器情報データベース604、演奏情報記憶部605、
物理モデル情報記憶部606、物理モデル計算部60
7、検索部608、CPU609、プログラムメモリ6
10がバス611に接続されている。
【0020】入力部601に演奏情報が入力されると、
演奏情報記憶部605に格納され、その演奏情報中の楽
器の類の識別情報に基づき、検索部608により楽器情
報データベース604に対する検索が行われ、楽器の類
の識別情報と一致した楽器情報が取出され、その物理モ
デル情報が物理モデル情報記憶部606に格納される。
この際、検索条件に合った楽器情報が複数得られた場合
はこれらを表示部602に表示して、利用者にその1つ
を選択させる。記憶部605内の演奏行動情報により、
記憶部606内の物理モデル情報に対し、物理シミュレ
ーション計算を物理シミュレーション計算部607で行
い、その計算結果である合成楽音信号を出力部603か
ら外部へ出力する。これら各部における処理を、CPU
609がプログラムメモリ610内の楽音合成プログラ
ムを実行することにより行わせる。なお、物理モデルシ
ミュレーション計算部607や検索部608は楽音合成
プログラムの主プログラム又はサブルーチンとして処理
され、ハードウェアとして設けられるものでない。
演奏情報記憶部605に格納され、その演奏情報中の楽
器の類の識別情報に基づき、検索部608により楽器情
報データベース604に対する検索が行われ、楽器の類
の識別情報と一致した楽器情報が取出され、その物理モ
デル情報が物理モデル情報記憶部606に格納される。
この際、検索条件に合った楽器情報が複数得られた場合
はこれらを表示部602に表示して、利用者にその1つ
を選択させる。記憶部605内の演奏行動情報により、
記憶部606内の物理モデル情報に対し、物理シミュレ
ーション計算を物理シミュレーション計算部607で行
い、その計算結果である合成楽音信号を出力部603か
ら外部へ出力する。これら各部における処理を、CPU
609がプログラムメモリ610内の楽音合成プログラ
ムを実行することにより行わせる。なお、物理モデルシ
ミュレーション計算部607や検索部608は楽音合成
プログラムの主プログラム又はサブルーチンとして処理
され、ハードウェアとして設けられるものでない。
【0021】この図6に示した装置をコンピュータを用
いることなく、図4に示した装置と同様に各部を構成し
てもよく、また図4に示した装置を図6に示した装置の
ようにコンピュータにより構成してもよい。コンピュー
タにより構成する場合は、楽音合成プログラムを、プロ
グラムメモリ610に対しCD−ROM、可撓性磁気デ
ィスクなどからインストールし又は通信回線を介してダ
ウンロードして実行することになる。上述においては演
奏情報をファイルなどから入力したが、実際に演奏して
いる楽器から演奏行動情報を生成し、更に演奏情報を作
り、これを実時間で入力部に入力してもよい。
いることなく、図4に示した装置と同様に各部を構成し
てもよく、また図4に示した装置を図6に示した装置の
ようにコンピュータにより構成してもよい。コンピュー
タにより構成する場合は、楽音合成プログラムを、プロ
グラムメモリ610に対しCD−ROM、可撓性磁気デ
ィスクなどからインストールし又は通信回線を介してダ
ウンロードして実行することになる。上述においては演
奏情報をファイルなどから入力したが、実際に演奏して
いる楽器から演奏行動情報を生成し、更に演奏情報を作
り、これを実時間で入力部に入力してもよい。
【0022】以上述べた各実施例によれば、楽器の類の
識別情報の利用により、任意の演奏行動の方法を想定す
る楽器の楽音合成が可能である。このことは、音楽コン
テンツの流通の媒体として必要な条件である。さらに、
楽器の演奏行動の方法に基づいた演奏情報の表現形式の
採用により、当該楽器の特徴を有する演奏が得られる。
これにより、音楽性豊かな楽曲の演奏が実現される。さ
らに、演奏行動の方法に基づいた演奏情報(演奏行動情
報)の加工が可能である。これにより、楽器の演奏の練
習教材等への応用が可能となる。
識別情報の利用により、任意の演奏行動の方法を想定す
る楽器の楽音合成が可能である。このことは、音楽コン
テンツの流通の媒体として必要な条件である。さらに、
楽器の演奏行動の方法に基づいた演奏情報の表現形式の
採用により、当該楽器の特徴を有する演奏が得られる。
これにより、音楽性豊かな楽曲の演奏が実現される。さ
らに、演奏行動の方法に基づいた演奏情報(演奏行動情
報)の加工が可能である。これにより、楽器の演奏の練
習教材等への応用が可能となる。
【0023】さらに、物理音源モデルの採用により、楽
器の物理モデルに基づいた楽音の加工が可能である。さ
らに、特定の楽器の類に対応する楽器情報が複数存在す
る場合は、当該楽器による演奏情報を、種々の楽器情報
を用いて楽音合成を行うことができる。
器の物理モデルに基づいた楽音の加工が可能である。さ
らに、特定の楽器の類に対応する楽器情報が複数存在す
る場合は、当該楽器による演奏情報を、種々の楽器情報
を用いて楽音合成を行うことができる。
【0024】
【発明の効果】以上述べたようにこの発明によれば、楽
器の演奏行動の方法を基準に分類した楽器の類の識別情
報を利用することにより、任意の演奏行動の方法を想定
する楽器、つまり任意の楽器、特に非打鍵楽器の楽音
を、その楽器の特徴をもって合成することが可能であ
る。
器の演奏行動の方法を基準に分類した楽器の類の識別情
報を利用することにより、任意の演奏行動の方法を想定
する楽器、つまり任意の楽器、特に非打鍵楽器の楽音
を、その楽器の特徴をもって合成することが可能であ
る。
【図1】この発明で用いる楽器の類の分類の一実施例を
示す図。
示す図。
【図2】Aはこの発明で用いる楽器情報の一実施例を示
す図、Bはこの発明で用いる演奏情報の一実施例を示す
図である。
す図、Bはこの発明で用いる演奏情報の一実施例を示す
図である。
【図3】この発明の方法の一実施例を示す処理の流れ
図。
図。
【図4】図3に示した処理を実行するこの発明装置の実
施例を示す図。
施例を示す図。
【図5】この発明の方法の他の実施例を示す処理の流れ
図。
図。
【図6】図5に示した処理を実行するこの発明装置の実
施例を示す図。
施例を示す図。
【図7】MIDI信号の譜面情報の例を示す図。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 児島 治彦
東京都千代田区大手町二丁目3番1号 日
本電信電話株式会社内
Fターム(参考) 5D378 AE09
Claims (8)
- 【請求項1】 楽器の演奏行動の方法を基準にして分類
された楽器の類の識別情報とその楽器の物理モデルと対
応した演奏行動の物理量(以下演奏行動情報と記す)を
演奏情報として入力し、 楽器の類の識別情報とその楽器の物理モデル情報を含む
楽器情報を入力し、 上記入力された演奏情報中の類の識別情報と上記楽器情
報の類の識別情報が一致するかを調べ、 一致すると上記楽器情報の物理モデル情報に対して上記
演奏行動情報を用いて物理シミュレーション計算を行っ
て楽音を合成することを特徴とする楽音合成方法。 - 【請求項2】 上記類の識別情報が不一致の場合は、演
奏情報及び楽器情報の少くとも一方の他の情報を入力さ
せることを特徴とする請求項1記載の楽音合成方法。 - 【請求項3】 楽器の演奏行動の方法を基準にして分類
された楽器の類の識別情報とその楽器の物理モデルと対
応した演奏行動の物理量(以下演奏行動情報と記す)を
演奏情報として入力し、 上記入力された演奏情報中の類の識別情報と一致する類
の識別情報の楽器情報を楽器情報データベースから取得
し、 その楽器情報中の楽器の物理モデル情報に対して上記演
奏行動情報を用いて物理シミュレーション計算を行って
楽音を合成することを特徴とする楽音合成方法。 - 【請求項4】 楽器の演奏行動の方法を基準にして分類
された楽器の類の識別情報とその楽器の物理モデルと対
応した演奏行動の物理量(以下演奏行動情報と記す)を
含む演奏情報と、楽器の類の識別情報及びその楽器の物
理モデル情報を含む楽器情報とが入力される入力手段
と、 上記入力された演奏情報中の類の識別情報と上記入力さ
れた楽器情報の類の識別情報とを比較する比較手段と、 上記比較手段よりの一致出力により動作し、上記楽器情
報の物理モデル情報に対し上記演奏情報の演奏行動情報
を用いて物理シミュレーション計算を行って楽音を合成
する物理シミュレーション計算手段と、 を具備する楽音合成装置。 - 【請求項5】 上記比較手段の不一致出力により動作
し、そのことを報知する不一致報知手段を備えることを
特徴とする請求項4記載の楽音合成装置。 - 【請求項6】 楽器の演奏行動の方法を基準にして分類
された楽器の類の識別情報とその楽器の物理モデル情報
を含む楽器情報の各種のものが格納された楽器情報デー
タベースと、 楽器の類の識別情報とその楽器の物理モデルと対応した
演奏行動の物理量(以下演奏行動情報と記す)を含む演
奏情報が入力される入力手段と、 上記入力された演奏情報の楽器の類と一致する楽器の類
を有する楽器情報を上記楽器情報データベースから検索
する検索手段と、 上記検索された楽器情報の物理モデル情報に対し、上記
演奏情報の演奏行動情報を用いて物理シミュレーション
計算を行って楽音を合成する物理シミュレーション計算
手段と、 を具備する楽音合成装置。 - 【請求項7】 請求項1乃至3の何れかに記載の方法を
コンピュータに実行させるための楽音合成プログラム。 - 【請求項8】 請求項7記載の楽音合成プログラムを記
録したコンピュータ読み出し可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001213083A JP2003029760A (ja) | 2001-07-13 | 2001-07-13 | 楽音合成方法、装置、そのプログラム及びその記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001213083A JP2003029760A (ja) | 2001-07-13 | 2001-07-13 | 楽音合成方法、装置、そのプログラム及びその記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003029760A true JP2003029760A (ja) | 2003-01-31 |
Family
ID=19048129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001213083A Pending JP2003029760A (ja) | 2001-07-13 | 2001-07-13 | 楽音合成方法、装置、そのプログラム及びその記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003029760A (ja) |
-
2001
- 2001-07-13 JP JP2001213083A patent/JP2003029760A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7838755B2 (en) | Music-based search engine | |
JP3907587B2 (ja) | 演奏楽器の音情報を用いた音響分析方法 | |
US6528715B1 (en) | Music search by interactive graphical specification with audio feedback | |
JP5329968B2 (ja) | 非テキストベースの情報を記憶し、検索する方法 | |
Schwarz | A system for data-driven concatenative sound synthesis | |
US20090306797A1 (en) | Music analysis | |
US20220223125A1 (en) | Song generation based on a text input | |
Klapuri | Introduction to music transcription | |
CN102760426A (zh) | 使用表示乐音生成模式的演奏数据搜索 | |
EP3489946A1 (en) | Real-time jamming assistance for groups of musicians | |
JPH09293083A (ja) | 楽曲検索装置および検索方法 | |
Lindemann | Music synthesis with reconstructive phrase modeling | |
Su et al. | Sparse modeling of magnitude and phase-derived spectra for playing technique classification | |
Heydarian | Automatic recognition of Persian musical modes in audio musical signals | |
JP3716725B2 (ja) | 音声処理装置、音声処理方法および情報記録媒体 | |
Foulon et al. | Automatic classification of guitar playing modes | |
JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
Duggan | Machine annotation of traditional Irish dance music | |
JP2003029760A (ja) | 楽音合成方法、装置、そのプログラム及びその記録媒体 | |
Vincent et al. | A roadmap towards versatile MIR | |
Velankar et al. | Feature engineering and generation for music audio data | |
Burlet | Automatic guitar tablature transcription online | |
JP2002244691A (ja) | 音響信号の符号化方法 | |
JP4760348B2 (ja) | 楽曲選択装置および楽曲選択用コンピュータプログラム | |
JP2000163064A (ja) | 楽曲生成装置および楽曲生成プログラムを記録した記録媒体 |