JP2002123296A

JP2002123296A - 音響信号の符号化方法および分離方法

Info

Publication number: JP2002123296A
Application number: JP2000319175A
Authority: JP
Inventors: Toshio Motegi; 敏雄茂出木
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2000-10-19
Filing date: 2000-10-19
Publication date: 2002-04-26

Abstract

(57)【要約】【課題】複数音源による演奏から得られる音響信号に
ついても、忠実に再現することが可能な音響信号の符号
化方法および分離方法を提供する。【解決手段】時系列の音響信号に対して単位区間を設定
し、単位区間ごとに信号解析を行って、各単位区間につ
いて周波数、信号強度の集合であるスペクトルを作成す
る（ａ）。このスペクトルに現れる複数の山の各ピーク
位置における標準偏差を算出し、この標準偏差の値にし
たがって、音響信号を分離する（ｂ）（ｃ）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、放送メディア（ラジ
オ、テレビ）、通信メディア（ＣＳ映像・音声配信、イ
ンターネット音楽配信、通信カラオケ）、パッケージメ
ディア（ＣＤ、ＭＤ、カセット、ビデオ、ＬＤ、ＣＤ−
ＲＯＭ、ゲームカセット、携帯音楽プレーヤ向け固体メ
モリ媒体）などで提供する各種オーディオコンテンツの
制作、並びに、専用携帯音楽プレーヤ、携帯電話・ＰＨ
Ｓ・ポケベルなどに向けたボーカルを含む音楽コンテン
ツ、歌舞伎・能・読経・詩歌など文芸作品の音声素材ま
たは語学教育音声教材のＭＩＤＩ伝送に利用するのに好
適な音響信号の符号化技術に関する。

【０００２】

【従来の技術】音響信号に代表される時系列信号には、
その構成要素として複数の周期信号が含まれている。こ
のため、与えられた時系列信号にどのような周期信号が
含まれているかを解析する手法は、古くから知られてい
る。例えば、フーリエ解析は、与えられた時系列信号に
含まれる周波数成分を解析するための方法として広く利
用されている。

【０００３】このような時系列信号の解析方法を利用す
れば、音響信号を符号化することも可能である。コンピ
ュータの普及により、原音となるアナログ音響信号を所
定のサンプリング周波数でサンプリングし、各サンプリ
ング時の信号強度を量子化してデジタルデータとして取
り込むことが容易にできるようになってきており、こう
して取り込んだデジタルデータに対してフーリエ解析な
どの手法を適用し、原音信号に含まれていた周波数成分
を抽出すれば、各周波数成分を示す符号によって原音信
号の符号化が可能になる。

【０００４】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたＭＩＤＩ（Musical Instrume
nt Digital Interface）規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このＭＩＤＩ規格による符号データ（以下、ＭＩＤ
Ｉデータという）は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このＭＩＤＩデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したＭＩ
ＤＩ音源が別途必要になるが、その符号化効率の高さが
注目を集めており、ＭＩＤＩ規格による符号化および復
号化の技術は、現在、パーソナルコンピュータを用いて
楽器演奏、楽器練習、作曲などを行うソフトウェアに広
く採り入れられている。

【０００５】そこで、音響信号に代表される時系列信号
に対して、所定の手法で解析を行うことにより、その構
成要素となる周期信号を抽出し、抽出した周期信号をＭ
ＩＤＩデータを用いて符号化しようとする提案がなされ
ている。例えば、特開平１０−２４７０９９号公報、特
開平１１−７３１９９号公報、特開平１１−７３２００
号公報、特開平１１−９５７５３号公報、特開２０００
−９９００９号公報、特開２０００−９９０９２号公
報、特開平２０００−９９０９３号公報、特願平１１−
５８４３１号明細書、特願平１１−１７７８７５号明細
書、特願平１１−３２９２９７号明細書には、任意の時
系列信号について、構成要素となる周波数を解析し、そ
の解析結果からＭＩＤＩデータを作成することができる
種々の方法が提案されている。

【０００６】

【発明が解決しようとする課題】上記各公報または明細
書において提案してきたＭＩＤＩ符号化方式により、演
奏録音等から得られる音響信号の効率的な符号化が可能
になった。しかしながら、従来の符号化方式では、単一
音源による演奏から得られる音響信号の再現性は高い
が、複数音源による演奏から得られる音響信号を再現す
ることは困難である。

【０００７】上記のような点に鑑み、本発明は、複数音
源による演奏から得られる音響信号についても、忠実に
再現することが可能な音響信号の符号化方法を提供する
ことを課題とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明では、与えられた音響信号に対して、標準周
波数を有する複数の標準周期関数との相関を求めること
により、各標準周波数に対応した信号強度の周波数成分
からなるスペクトル集合を算出し、各標準周波数につい
て、その標準周波数の近傍の標準周波数との間に複数の
微細周波数を各々設定し、微細周波数を有する複数の微
細周期関数との相関を求め、この相関値を基に各微細周
波数に対応した信号強度の分布形状パラメータを各標準
周波数ごとに算出し、算出された分布形状パラメータに
したがって、スペクトル集合を構成する周波数成分を複
数のグループに分類する分類し、各グループに分類され
た各周波数成分に対して、各々が属するグループの識別
符号を含めて符号化するようにしたことを特徴とする。
本発明によれば、上記のような手順により元の音響信号
に混在する複数の音源から発せられる音響信号成分の特
徴を、その分布形状パラメータを調べることにより分離
するようにしたので、複数音源による演奏から得られる
音響信号が与えられた場合であっても、元のそれぞれの
音源に対応する音響信号を抽出することが可能となる。

【０００９】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。

【００１０】（音響信号符号化方法の基本原理）はじめ
に、本発明に係る音響信号の符号化方法の基本原理を述
べておく。この基本原理は、前掲の各公報あるいは明細
書に開示されているので、ここではその概要のみを簡単
に述べることにする。

【００１１】図１（ａ）に示すように、時系列信号とし
てアナログ音響信号が与えられたものとする。図１の例
では、横軸に時間ｔ、縦軸に振幅（強度）をとって、こ
の音響信号を示している。ここでは、まずこのアナログ
音響信号を、デジタルの音響データとして取り込む処理
を行う。これは、従来の一般的なＰＣＭの手法を用い、
所定のサンプリング周波数でこのアナログ音響信号をサ
ンプリングし、振幅を所定の量子化ビット数を用いてデ
ジタルデータに変換する処理を行えば良い。ここでは、
説明の便宜上、ＰＣＭの手法でデジタル化した音響デー
タの波形も図１（ａ）のアナログ音響信号と同一の波形
で示すことにする。

【００１２】続いて、この解析対象となる音響信号の時
間軸上に、複数の単位区間を設定する。図１（ａ）に示
す例では、時間軸ｔ上に等間隔に６つの時刻ｔ１〜ｔ６
が定義され、これら各時刻を始点および終点とする５つ
の単位区間ｄ１〜ｄ５が設定されている。図１の例で
は、全て同一の区間長をもった単位区間が設定されてい
るが、個々の単位区間ごとに区間長を変えるようにして
もかまわない。あるいは、隣接する単位区間が時間軸上
で部分的に重なり合うような区間設定を行ってもかまわ
ない。

【００１３】こうして単位区間が設定されたら、各単位
区間ごとの音響信号（以下、区間信号と呼ぶことにす
る）について、それぞれ代表周波数を選出する。各区間
信号には、通常、様々な周波数成分が含まれているが、
例えば、その中で成分の強度割合の大きな周波数成分を
代表周波数として選出すれば良い。ここで、代表周波数
とはいわゆる基本周波数が一般的であるが、音声のフォ
ルマント周波数などの倍音周波数や、ノイズ音源のピー
ク周波数も代表周波数として扱うことがある。代表周波
数は１つだけ選出しても良いが、音響信号によっては複
数の代表周波数を選出した方が、より精度の高い符号化
が可能になる。図１（ｂ）には、個々の単位区間ごとに
それぞれ３つの代表周波数を選出し、１つの代表周波数
を１つの代表符号（図では便宜上、音符として示してあ
る）として符号化した例が示されている。ここでは、代
表符号（音符）を収容するために３つのトラックＴ１，
Ｔ２，Ｔ３が設けられているが、これは個々の単位区間
ごとに選出された３つずつの代表符号を、それぞれ異な
るトラックに収容するためである。

【００１４】例えば、単位区間ｄ１について選出された
代表符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，
３）は、それぞれトラックＴ１，Ｔ２，Ｔ３に収容され
ている。ここで、各符号ｎ（ｄ１，１），ｎ（ｄ１，
２），ｎ（ｄ１，３）は、ＭＩＤＩ符号におけるノート
ナンバーを示す符号である。ＭＩＤＩ符号におけるノー
トナンバーは、０〜１２７までの１２８通りの値をと
り、それぞれピアノの鍵盤の１つのキーを示すことにな
る。具体的には、例えば、代表周波数として４４０Ｈｚ
が選出された場合、この周波数はノートナンバーｎ＝６
９（ピアノの鍵盤中央の「ラ音（Ａ３音）」に対応）に
相当するので、代表符号としては、ｎ＝６９が選出され
ることになる。もっとも、図１（ｂ）は、上述の方法に
よって得られる代表符号を音符の形式で示した概念図で
あり、実際には、各音符にはそれぞれ強度に関するデー
タも付加されている。例えば、トラックＴ１には、ノー
トナンバーｎ（ｄ１，１），ｎ（ｄ２，１）・・・なる
音高を示すデータとともに、ｅ（ｄ１，１），ｅ（ｄ
２，１）・・・なる強度を示すデータが収容されること
になる。この強度を示すデータは、各代表周波数の成分
が、元の区間信号にどの程度の度合いで含まれていたか
によって決定される。具体的には、各代表周波数をもっ
た周期関数の区間信号に対する相関値に基づいて強度を
示すデータが決定されることになる。また、図１（ｂ）
に示す概念図では、音符の横方向の位置によって、個々
の単位区間の時間軸上での位置が示されているが、実際
には、この時間軸上での位置を正確に数値として示すデ
ータが各音符に付加されていることになる。

【００１５】音響信号を符号化する形式としては、必ず
しもＭＩＤＩ形式を採用する必要はないが、この種の符
号化形式としてはＭＩＤＩ形式が最も普及しているた
め、実用上はＭＩＤＩ形式の符号データを用いるのが好
ましい。ＭＩＤＩ形式では、「ノートオン」データもし
くは「ノートオフ」データが、「デルタタイム」データ
を介在させながら存在する。「ノートオン」データは、
特定のノートナンバーＮとベロシティーＶを指定して特
定の音の演奏開始を指示するデータであり、「ノートオ
フ」データは、特定のノートナンバーＮとベロシティー
Ｖを指定して特定の音の演奏終了を指示するデータであ
る。また、「デルタタイム」データは、所定の時間間隔
を示すデータである。ベロシティーＶは、例えば、ピア
ノの鍵盤などを押し下げる速度（ノートオン時のベロシ
ティー）および鍵盤から指を離す速度（ノートオフ時の
ベロシティー）を示すパラメータであり、特定の音の演
奏開始操作もしくは演奏終了操作の強さを示すことにな
る。

【００１６】前述の方法では、第ｉ番目の単位区間ｄｉ
について、代表符号としてＪ個のノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）が
得られ、このそれぞれについて強度ｅ（ｄｉ，１），ｅ
（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）が得られる。そ
こで、次のような手法により、ＭＩＤＩ形式の符号デー
タを作成することができる。まず、「ノートオン」デー
タもしくは「ノートオフ」データの中で記述するノート
ナンバーＮとしては、得られたノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）を
そのまま用いれば良い。一方、「ノートオン」データも
しくは「ノートオフ」データの中で記述するベロシティ
ーＶとしては、得られた強度ｅ（ｄｉ，１），ｅ（ｄ
ｉ，２），・・・，ｅ（ｄｉ，Ｊ）を所定の方法で規格
化した値を用いれば良い。また、「デルタタイム」デー
タは、各単位区間の長さに応じて設定すれば良い。

【００１７】（周期関数との相関を求める具体的な方
法）上述した基本原理の基づく方法では、区間信号に対
して、１つまたは複数の代表周波数が選出され、この代
表周波数をもった周期信号によって、当該区間信号が表
現されることになる。ここで、選出される代表周波数
は、文字どおり、当該単位区間内の信号成分を代表する
周波数である。この代表周波数を選出する具体的な方法
には、後述するように、短時間フーリエ変換を利用する
方法と、一般化調和解析の手法を利用する方法とがあ
る。いずれの方法も、基本的な考え方は同じであり、あ
らかじめ周波数の異なる複数の周期関数を用意してお
き、これら複数の周期関数の中から、当該単位区間内の
区間信号に対する相関が高い周期関数を見つけ出し、こ
の相関の高い周期関数の周波数を代表周波数として選出
する、という手法を採ることになる。すなわち、代表周
波数を選出する際には、あらかじめ用意された複数の周
期関数と、単位区間内の区間信号との相関を求める演算
を行うことになる。そこで、ここでは、周期関数との相
関を求める具体的な方法を述べておく。

【００１８】複数の周期関数として、図２に示すような
三角関数が用意されているものとする。これらの三角関
数は、同一周波数をもった正弦関数と余弦関数との対か
ら構成されており、１２８通りの標準周波数ｆ（０）〜
ｆ（１２７）のそれぞれについて、正弦関数および余弦
関数の対が定義されていることになる。ここでは、同一
の周波数をもった正弦関数および余弦関数からなる一対
の関数を、当該周波数についての周期関数として定義す
ることにする。すなわち、ある特定の周波数についての
周期関数は、一対の正弦関数および余弦関数によって構
成されることになる。このように、一対の正弦関数と余
弦関数とにより周期関数を定義するのは、信号に対する
周期関数の相関値を求める際に、相関値が位相の影響を
受ける事を考慮するためである。なお、図２に示す各三
角関数内の変数Ｆおよびｋは、区間信号Ｘについてのサ
ンプリング周波数Ｆおよびサンプル番号ｋに相当する変
数である。例えば、周波数ｆ（０）についての正弦波
は、ｓｉｎ（２πｆ（０）ｋ／Ｆ）で示され、任意のサ
ンプル番号ｋを与えると、区間信号を構成する第ｋ番目
のサンプルと同一時間位置における周期関数の振幅値が
得られる。

【００１９】ここでは、１２８通りの標準周波数ｆ
（０）〜ｆ（１２７）を図３に示すような式で定義した
例を示すことにする。すなわち、第ｎ番目（０≦ｎ≦１
２７）の標準周波数ｆ（ｎ）は、以下の（数式１）で定
義されることになる。

【００２０】（数式１）ｆ（ｎ）＝４４０×２^γ ⁽ⁿ⁾ γ（ｎ）＝（ｎ−６９）／１２

【００２１】このような式によって標準周波数を定義し
ておくと、最終的にＭＩＤＩデータを用いた符号化を行
う際に便利である。なぜなら、このような定義によって
設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２
７）は、等比級数をなす周波数値をとることになり、Ｍ
ＩＤＩデータで利用されるノートナンバーに対応した周
波数になるからである。したがって、図２に示す１２８
通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度
で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単
位）に設定した周波数ということになる。このため、本
願では、図に掲載するグラフにおけるノートナンバー軸
を、いずれも対数尺度で示すことにする。

【００２２】続いて、任意の区間の区間信号に対する各
周期関数の相関の求め方について、具体的な説明を行
う。例えば、図４に示すように、ある単位区間ｄについ
て区間信号Ｘが与えられていたとする。ここでは、区間
長Ｌをもった単位区間ｄについて、サンプリング周波数
Ｆでサンプリングが行なわれており、全部でｗ個のサン
プル値が得られているものとし、サンプル番号を図示の
ように、０，１，２，３，・・・，ｋ，・・・，ｗ−
２，ｗ−１とする（白丸で示す第ｗ番目のサンプルは、
右に隣接する次の単位区間の先頭に含まれるサンプルと
する）。この場合、任意のサンプル番号ｋについては、
Ｘ（ｋ）なる振幅値がデジタルデータとして与えられて
いることになる。短時間フーリエ変換においては、Ｘ
（ｋ）に対して各サンプルごとに中央の重みが１に近
く、両端の重みが０に近くなるような窓関数Ｗ（ｋ）を
乗ずることが通常である。すなわち、Ｘ（ｋ）×Ｗ
（ｋ）をＸ（ｋ）と扱って以下のような相関計算を行う
もので、窓関数の形状としては余弦波形状のハミング窓
が一般に用いられている。ここで、ｗは以下の記述にお
いても定数のような記載をしているが、一般にはｎの値
に応じて変化させ、区間長Ｌを超えない範囲で最大とな
るＦ／ｆ（ｎ）の整数倍の値に設定することが望まし
い。

【００２３】このような区間信号Ｘに対して、第ｎ番目
の標準周波数ｆ（ｎ）をもった正弦関数Ｒｎとの相関値
を求める原理を示す。両者の相関値Ａ（ｎ）は、図５の
第１の演算式によって定義することができる。ここで、
Ｘ（ｋ）は、図４に示すように、区間信号Ｘにおけるサ
ンプル番号ｋの振幅値であり、ｓｉｎ（２πｆ（ｎ）ｋ
／Ｆ）は、時間軸上での同位置における正弦関数Ｒｎの
振幅値である。この第１の演算式は、単位区間ｄ内の全
サンプル番号ｋ＝０〜ｗ−１の次元について、それぞれ
区間信号Ｘの振幅値と正弦関数Ｒｎの振幅ベクトルの内
積を求める式ということができる。

【００２４】同様に、図５の第２の演算式は、区間信号
Ｘと、第ｎ番目の標準周波数ｆ（ｎ）をもった余弦関数
との相関値を求める式であり、両者の相関値はＢ（ｎ）
で与えられる。なお、相関値Ａ（ｎ）を求めるための第
１の演算式も、相関値Ｂ（ｎ）を求めるための第２の演
算式も、最終的に２／ｗが乗ぜられているが、これは相
関値を規格化するためのものでり、前述のとおりｗはｎ
に依存して変化させるのが一般的であるため、この係数
もｎに依存する変数である。

【００２５】区間信号Ｘと標準周波数ｆ（ｎ）をもった
標準周期関数との相関実効値は、図５の第３の演算式に
示すように、正弦関数との相関値Ａ（ｎ）と余弦関数と
の相関値Ｂ（ｎ）との二乗和平方根値Ｅ（ｎ）によって
示すことができる。この相関実効値の大きな標準周期関
数の周波数を代表周波数として選出すれば、この代表周
波数を用いて区間信号Ｘを符号化することができる。

【００２６】すなわち、この相関値Ｅ（ｎ）が所定の基
準以上の大きさとなる１つまたは複数の標準周波数を代
表周波数として選出すれば良い。なお、ここで「相関値
Ｅ（ｎ）が所定の基準以上の大きさとなる」という選出
条件は、例えば、何らかの閾値を設定しておき、相関値
Ｅ（ｎ）がこの閾値を超えるような標準周波数ｆ（ｎ）
をすべて代表周波数として選出する、という絶対的な選
出条件を設定しても良いが、例えば、相関値Ｅ（ｎ）の
大きさの順にＱ番目までを選出する、というような相対
的な選出条件を設定しても良い。

【００２７】（一般化調和解析の手法）ここでは、本発
明に係る音響信号の符号化を行う際に有用な一般化調和
解析の手法について説明する。既に説明したように、音
響信号を符号化する場合、個々の単位区間内の区間信号
について、相関値の高いいくつかの代表周波数を選出す
ることになる。一般化調和解析は、より高い精度で代表
周波数の選出を可能にする手法であり、その基本原理は
次の通りである。

【００２８】図６（ａ）に示すような単位区間ｄについ
て、信号Ｓ（ｊ）なるものが存在するとする。ここで、
ｊは後述するように、繰り返し処理のためのパラメータ
である（ｊ＝１〜Ｊ）。まず、この信号Ｓ（ｊ）に対し
て、図２に示すような１２８通りの周期関数すべてにつ
いての相関値を求める。そして、最大の相関値が得られ
た１つの周期関数の周波数を代表周波数として選出し、
当該代表周波数をもった周期関数を要素関数として抽出
する。続いて、図６（ｂ）に示すような含有信号Ｇ
（ｊ）を定義する。この含有信号Ｇ（ｊ）は、抽出され
た要素関数に、その振幅として、当該要素関数の信号Ｓ
（ｊ）に対する相関値を乗じることにより得られる信号
である。例えば、周期関数として図２に示すように、一
対の正弦関数と余弦関数とを用い、周波数ｆ（ｎ）が代
表周波数として選出された場合、振幅Ａ（ｎ）をもった
正弦関数Ａ（ｎ）ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）と、振
幅Ｂ（ｎ）をもった余弦関数Ｂ（ｎ）ｃｏｓ（２πｆ
（ｎ）ｋ／Ｆ）との和からなる信号が含有信号Ｇ（ｊ）
ということになる（図６（ｂ）では、図示の便宜上、一
方の関数しか示していない）。ここで、Ａ（ｎ），Ｂ
（ｎ）は、図５の式で得られる規格化された相関値であ
るから、結局、含有信号Ｇ（ｊ）は、信号Ｓ（ｊ）内に
含まれている周波数ｆ（ｎ）をもった信号成分というこ
とができる。

【００２９】こうして、含有信号Ｇ（ｊ）が求まった
ら、信号Ｓ（ｊ）から含有信号Ｇ（ｊ）を減じることに
より、差分信号Ｓ（ｊ＋１）を求める。図６（ｃ）は、
このようにして求まった差分信号Ｓ（ｊ＋１）を示して
いる。この差分信号Ｓ（ｊ＋１）は、もとの信号Ｓ
（ｊ）の中から、周波数ｆ（ｎ）をもった信号成分を取
り去った残りの信号成分からなる信号ということができ
る。そこで、パラメータｊを１だけ増加させることによ
り、この差分信号Ｓ（ｊ＋１）を新たな信号Ｓ（ｊ）と
して取り扱い、同様の処理を、パラメータｊをｊ＝１〜
Ｊまで１ずつ増やしながらＪ回繰り返し実行すれば、Ｊ
個の代表周波数を選出することができる。

【００３０】このような相関計算の結果として出力され
るＪ個の含有信号Ｇ（１）〜Ｇ（Ｊ）は、もとの区間信
号Ｘの構成要素となる信号であり、もとの区間信号Ｘを
符号化する場合には、これらＪ個の含有信号の周波数を
示す情報および振幅（強度）を示す情報を符号データと
して用いるようにすれば良い。尚、Ｊは代表周波数の個
数であると説明してきたが、標準周波数ｆ（ｎ）の個数
と同一すなわちＪ＝１２８であってもよく、周波数スペ
クトルを求める目的においてはそのように行うのが通例
である。

【００３１】こうして、各単位区間について、所定数の
周波数群が選出されたら、この周波数群の各周波数に対
応する「音の高さを示す情報」、選出された各周波数の
信号強度に対応する「音の強さを示す情報」、当該単位
区間の始点に対応する「音の発音開始時刻を示す情
報」、当該単位区間に後続する単位区間の始点に対応す
る「音の発音終了時刻を示す情報」、の４つの情報を含
む所定数の符号データを作成すれば、当該単位区間内の
区間信号Ｘを所定数の符号データにより符号化すること
ができる。符号データとして、ＭＩＤＩデータを作成す
るのであれば、「音の高さを示す情報」としてノートナ
ンバーを用い、「音の強さを示す情報」としてベロシテ
ィーを用い、「音の発音開始時刻を示す情報」としてノ
ートオン時刻を用い、「音の発音終了時刻を示す情報」
としてノートオフ時刻を用いるようにすれば良い。

【００３２】（本発明に係る音響信号の符号化方法）続
いて、本発明に係る音響信号の符号化方法について、図
７のフローチャートを用いて詳細に説明する。まず、与
えられた音響信号に対しては、単位区間を設定し、各単
位区間に対して図７のような処理を行い、各単位区間ご
とに得られた符号データを時系列に連結するような処理
を行うが、ここでは単位区間に対して行われる処理につ
いて述べる。与えられた（単位区間の）音響信号に対し
て短時間フーリエ変換または一般化調和解析等を利用し
て周波数解析を行う（ステップＳ１）。本実施形態で
は、このステップＳ１において、図２に示したように１
２８個の標準周期関数を用意し、１２８個の標準周波数
ｆ（ｎ）全てについての強度情報、すなわちスペクトル
を得るようにする。この標準周波数に基づいて得られる
スペクトルを標準スペクトルと呼ぶことにする。

【００３３】各単位区間について、１２８個の標準周波
数に対する強度情報が得られるが、最終的な符号長を削
減しステップ２以降の処理を軽減するため、このステッ
プＳ１において１６個程度の代表周波数を選別すること
がある。代表周波数の選出は、強度情報が大きい方から
１６個程度抽出するのが一般的であるが、対象とする音
響信号が音声信号の場合、特開２０００−９９０９３号
公報に開示されているようなフォルマント抽出方法を用
いても良い。この段階で代表周波数の選別が行なわれた
場合、ステップＳ２以降における標準周波数や周波数成
分は、特に代表周波数と明記はしないが、選別された代
表周波数に対応する標準周波数や周波数成分に限定され
るものとする。

【００３４】次に、より細かい周波数間隔で周期関数を
用意して、これらの周期関数を用いて、各標準周波数に
ついて、その標準周波数の近傍の標準周波数との範囲内
で周波数解析を行う（ステップＳ２）。本実施形態で
は、各標準周波数間に１２種の周波数を有する周期関数
を用意するようにする。このステップＳ２で用いられる
周波数および周期関数を、微細周波数および微細周期関
数と呼ぶことにする。微細周波数を設定する範囲を、対
象とする標準周波数の直前と直後の標準周波数間に限定
すれば、各標準周波数について、１２×２＋１種の微細
周波数およびそれらに対応する強度情報、すなわちスペ
クトルが得られることになる。ここで得られたスペクト
ルを微細スペクトルと呼ぶことにする。

【００３５】さらにステップＳ２では、得られた微細ス
ペクトルの分布形状パラメータの算出を行う。分布形状
パラメータとは、微細スペクトルを構成する周波数成分
の分布を表す数値である。本実施形態では、この分布形
状パラメータとして標準偏差を用いる。具体的には、対
象とする標準周波数に対応するノートナンバーをＮｐ、
その±１半音分に含まれるノートナンバーをＮｐ＋ｉ／
１３（ｉは−１２≦ｉ≦１２を満たす整数）、ノートナ
ンバーＮｐ＋ｉ／１３に対応するスペクトル強度をＩ
（Ｎｐ＋ｉ／１３）として、以下の（数式２）を用いて
算出する。

【００３６】（数式２） σp＝［Σ_i{(ｉ／１３)²×Ｉ(Ｎｐ＋ｉ／１３)}／Σ_iＩ
(Ｎｐ＋ｉ／１３)］^1/2

【００３７】すなわち、この（数式２）においては、対
象とする標準周波数に対応するノートナンバーＮｐに対
して±１半音分のスペクトル分布を解析し、その標準偏
差σpを得ていることになる。

【００３８】続いて、算出された標準偏差σpにしたが
って、各周波数を複数のグループに分類する（ステップ
Ｓ３）。符号データとしてＭＩＤＩデータを作成する場
合は、このグループは、ＭＩＤＩデータのチャンネルに
対応する。具体的な処理としては、閾値をあらかじめ定
めておき、標準偏差σpがこの閾値より高いか低いかに
より分類を行う。例えば、ノートナンバーＮｐに対応す
る標準周波数について求めた標準偏差σpが閾値より高
い場合、その標準周波数成分をチャンネル１に格納する
データとし、標準偏差σpが閾値より低い場合、その標
準周波数成分をチャンネル２に格納するデータとして分
離する。これにより、図８（ａ）に示したような微細ス
ペクトルで表現される音響データが図８（ｂ）、図８
（ｃ）に示すような微細スペクトルで表現される２つの
音響データに分離されることになる。

【００３９】続いて、分類された音響データを符号化し
て、それぞれのチャンネルに記録する（ステップＳ
４）。例えば、図１３の例では、この単位区間につい
て、チャンネル１には、ノートナンバーＮｐとそれに対
応する強度の組が４組記録されることになり、チャンネ
ル２には、３組記録されることになる。

【００４０】ステップＳ１〜ステップＳ４の処理を全単
位区間に対して行うことにより、２つのチャンネルを有
する符号データが得られる。この段階での符号データ
は、各単位区間について、所定数の標準周波数が選出さ
れ、各標準周波数に対応する「音の高さを示す情報」、
各標準周波数の信号強度に対応する「音の強さを示す情
報」、当該単位区間の始点に対応する「音の発音開始時
刻を示す情報」、当該単位区間に後続する単位区間の始
点に対応する「音の発音終了時刻を示す情報」、の４つ
の情報を含む形式となっている。この形式のままでも符
号データとして扱うことはできるが、このままではデー
タ量が多くなるため、符号データの統合を行うことが好
ましい。符号データの統合処理としては、特開平１１−
９５７５３号公報に開示したような処理が行われる。具
体的には、同じ音の高さ（音高）を示す音符が複数連続
して配置されていた場合には、この複数の音符を１つの
音符に統合するようにする。言い換えれば、複数の単位
区間にまたがった音符によって、個々の単位区間ごとの
音符を置換するとも言える。

【００４１】また、統合対象とする音符は、必ずしも同
じ音高の音符とする必要はなく、ある程度の類似性をも
った音符を統合対象としても良い。例えば、互いに平均
律の半音階にて１半音音程の差しかない一連の音符を統
合対象として１つの音符に置換することもできる。この
場合は、例えば、一連の音符の中で音高の低い方の音符
によって置換すれば良い。一般的に拡張すれば、隣接す
る複数の単位区間について、所定の条件下で互いに類似
する符号データがある場合、これら類似する符号データ
を、複数の単位区間にまたがった統合符号データに置換
することにより、音符数を削減することが可能となる。

【００４２】なお、上記の符号化処理によって作成され
る符号データには、それぞれ強度を示すデータ（ＭＩＤ
Ｉデータの場合はベロシティー）が付加されている。し
たがって、符号データを統合した場合、強度を示すデー
タも統合する必要がある。ここで、統合対象となる符号
データに、それぞれ異なる強度データが定義されていた
場合には、例えば、最も大きな強度データを統合後の符
号データについての強度データと定めるようにすれば良
い。ただ、ＭＩＤＩデータの場合、２つの符号データを
統合する際に、先行する符号データの強度に比べて、後
続する符号データの強度がかなり大きい場合、これら２
つの符号データを統合すると不自然になる。これは、通
常のＭＩＤＩ音源の再生音は、楽器の演奏音から構成さ
れており、音の強度が時間と共に減衰していくのが一般
的だからである。したがって、先行する符号データの強
度に比べて、後続する符号データの強度が小さい場合に
は、１つの統合符号データに置換しても不自然さは生じ
ないが、逆の場合には、不自然さが生じることになる。
そこで、２つの符号データの強度差が所定の基準以上で
あり、かつ、先行する符号データの強度に比べて、後続
する符号データの強度が大きい場合には、統合を行わな
い。このようにして統合処理が行われた符号データは、
記録媒体に記録されるか、またはネットワークを介する
などして流通されることになる。

【００４３】符号データを復号化して音響信号として再
生する場合には、ＭＩＤＩ音源装置等を用いて行う。通
常、ＭＩＤＩ音源装置では、どの音源を使用するかが指
定され、入力された符号データを読み取って、先頭部で
指定されているバンク番号、プログラム番号に応じて、
音源である波形が選別されて再生が行われている。しか
しながら、音源を識別するコード番号を指定しなくて
も、音響符号データの周波数の分布状態により、音源が
特定できることが知られている。この周波数分布により
音源を特定する情報を、ＭＩＤＩ音源装置に登録してお
けば、本実施形態で符号化した符号データを読み取った
際に、チャンネル１、チャンネル２それぞれに対して音
源を特定して再生することが可能になる。

【００４４】（本発明に係る音響信号の分離方法）上述
のような音響信号の符号化方法を利用することにより、
符号化を行わずに単に音響信号の分離を行うことができ
る。次に、このような音響信号の分離方法について説明
する。本発明に係る音響信号の分離方法では、与えられ
た音響信号に対して単位区間を設定し、各単位区間に対
して図９に示したフローチャートに従った処理を行い、
各単位区間ごとに得られた波形信号を時系列に接続する
ような処理を行うことになる。ここでは単位区間に対し
て行われる処理について図９を用いて説明する。

【００４５】まず、与えられた音響信号に対して単位区
間の設定が行われた後、各単位区間に対して、標準周波
数解析（ステップＳ１１）、微細周波数解析（ステップ
Ｓ１２）、分類（ステップＳ１３）の各処理が行われ
る。これらは、図７に示したステップＳ１〜ステップＳ
３の処理と各々全く同様な処理であるため、説明を省略
する。

【００４６】ステップＳ１３において分類が行われた
ら、各グループの標準周波数成分に対応する周波数およ
び振幅をもつ標準周期関数の標準信号波形を発生させ、
発生された標準信号波形をグループごとに１つの複合波
形に合成する（ステップＳ１４）。例えば、２つのグル
ープに分類された場合には、２つの複合波形が得られる
ことになる。ステップＳ１１〜ステップＳ１４の処理を
全単位区間に対して行うことにより、全単位区間につい
て２つのチャンネルに分離された複合波形が得られる。

【００４７】続いて、各グループごとに時系列方向に連
結を行い、音響信号の開始時刻から終了信号まで連続す
る２つの複合波形を作成する。この具体的な例を、図１
０を用いて説明する。単位区間Ａ、単位区間Ｂが時間軸
上で若干オーバーラップして存在する場合に、単位区間
Ａ、単位区間Ｂに対して上記ステップＳ１１〜ステップ
Ｓ１４までの処理を行い、それぞれ図１０（ａ）、
（ｂ）に示すような複合波形ａ、複合波形ｂが得られた
とする。この場合、図１０（ｃ）に示すように連結処理
が行われる。図１０（ｃ）においては、各単位区間の複
合波形を時系列方向に連結するだけでなく、徐々に振幅
が大きくなるような立ち上がり制御、徐々に振幅が小さ
くなるような立ち下がり制御を行う。図１０（ｃ）で
は、単位区間Ａ、単位区間Ｂのどちらにおいても、区間
開始時刻から徐々に振幅が大きくなっており、区間終了
時刻を過ぎると、徐々に振幅が小さくなっていることが
わかる。このようにして、元の音響信号は、２つの音源
に対応した複合波形（音響信号）に分離されることにな
る。

【００４８】

【発明の効果】以上、説明したように本発明によれば、
与えられた音響信号に対して、標準周波数を有する複数
の標準周期関数との相関を求めることにより、各標準周
波数に対応した信号強度の周波数成分からなるスペクト
ル集合を算出し、各標準周波数について、その標準周波
数の近傍の標準周波数との間に複数の微細周波数を各々
設定し、微細周波数を有する複数の微細周期関数との相
関を求め、この相関値を基に各微細周波数に対応した信
号強度の分布形状パラメータを各標準周波数ごとに算出
し、算出された分布形状パラメータにしたがって、スペ
クトル集合を構成する周波数成分を複数のグループに分
類する分類し、各グループに分類された各周波数成分に
対して、各々が属するグループの識別符号を含めて符号
化するようにしたので、複数音源による演奏から得られ
る音響信号が与えられた場合であっても、元のそれぞれ
の音源に対応する音響信号を抽出することが可能になる
という効果を奏する。

【図面の簡単な説明】

【図１】本発明の音響信号の符号化方法の基本原理を示
す図である。

【図２】本発明で利用される周期関数の一例を示す図で
ある。

【図３】図２に示す各周期関数の周波数とＭＩＤＩノー
トナンバーｎとの関係式を示す図である。

【図４】解析対象となる信号と周期信号との相関計算の
手法を示す図である。

【図５】図４に示す相関計算を行うための計算式を示す
図である。

【図６】一般化調和解析の基本的な手法を示す図であ
る。

【図７】本発明に係る音響信号の符号化方法を示すフロ
ーチャートである。

【図８】音響データをそのスペクトル特性により分類す
る様子を示す図である。

【図９】本発明に係る音響信号の分離方法を示すフロー
チャートである。

【図１０】単位区間ごとの複合波形を連結する様子を示
す図である。

【符号の説明】

Ａ（ｎ），Ｂ（ｎ）・・・相関値ｄ，ｄ１〜ｄ５・・・単位区間Ｅ（ｎ）・・・相関値Ｇ（ｊ）・・・含有信号ｎ，ｎ１〜ｎ６・・・ノートナンバーＳ（ｊ），Ｓ（ｊ＋１）・・・差分信号Ｘ，Ｘ（ｋ）・・・区間信号

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ１０Ｌ 101:027 Ｇ１０Ｌ 3/00 ５３１Ｎ 101:14 7/04 Ｆ

Claims

【特許請求の範囲】

【請求項１】与えられた音響信号に対して、標準周波数
を有する複数の標準周期関数との相関を求めることによ
り、各標準周波数に対応した信号強度の周波数成分から
なるスペクトル集合を算出する標準周波数解析段階と、前記各標準周波数について、当該標準周波数の近傍の標
準周波数との間に複数の微細周波数を各々設定し、前記
微細周波数を有する複数の微細周期関数との相関を求
め、この相関値を基に各微細周波数に対応した信号強度
の分布形状パラメータを各標準周波数ごとに算出する微
細周波数解析段階と、前記算出された分布形状パラメータにしたがって、前記
スペクトル集合を構成する周波数成分を複数のグループ
に分類する分類段階と、前記各グループに分類された各周波数成分に対して、各
々が属するグループの識別符号を含めて符号化する符号
化段階と、を有することを特徴とする音響信号の符号化方法。
【請求項２】前記標準周波数解析段階において、算出さ
れた信号強度に応じて代表周波数を選別し、前記スペク
トル集合の部分集合として選別された代表周波数に対応
する周波数成分を要素にもつ部分スペクトル集合を生成
し、前記微細周波数解析段階、前記分類段階、前記符号
化段階は前記代表周波数の周波数成分に限定してなされ
るようにしていることを特徴とする請求項１記載の音響
信号の符号化方法。
【請求項３】与えられた音響信号に対して、標準周波数
を有する複数の標準周期関数との相関を求めることによ
り、各標準周波数に対応した信号強度の周波数成分から
なるスペクトル集合を算出する標準周波数解析段階と、前記各標準周波数について、当該標準周波数の前後に隣
接する標準周波数との間に複数の微細周波数を各々設定
し、前記微細周波数を有する複数の微細周期関数との相
関を求め、この相関値を基に各微細周波数に対応した信
号強度の分布形状パラメータを各標準周波数ごとに算出
する微細周波数解析段階と、前記算出された分布形状パラメータにしたがって、前記
スペクトル集合を構成する周波数成分を複数のグループ
に分類する分類段階と、前記各グループに分類された各周波数成分に基づき、標
準周期関数の標準信号波形を複数発生させ、それらを合
成することにより１つの複合波形を生成し、グループに
対応した複数の複合波形を得る波形合成段階と、を有することを特徴とする音響信号の分離方法。