JP2002244691A - 音響信号の符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の音源からの音が混在した音響信号を、
各音源ごとに分離することが可能な音響信号の符号化方
法を提供する。 【解決手段】音色パターンを登録した音色データベース
を用意しておく。時系列の音響信号に対して単位区間を
設定し（Ｓ１）、単位区間ごとに信号解析を行って、周
波数、強度値、区間開始時刻、区間終了時刻からなる音
素データを作成し（Ｓ２）、強度値が信号レベルに達し
ないものについては削除する（Ｓ３）。残った音素デー
タのうち、周波数が同一であって、時間方向に連続する
ものを統合して連結音素データを作成する（Ｓ４）。こ
の連結音素データからエンベロープデータ、スペクトル
データを作成し、音色データベース内の各音色パターン
のエンベロープデータ、スペクトルデータと照合し（Ｓ
５、Ｓ６）、この照合結果に基づいて対応する音色グル
ープを決定し（Ｓ７）、その音色グループのＩＤを連結
音素データに付与する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、放送メディア（ラジ
オ、テレビ）、通信メディア（ＣＳ映像・音声配信、イ
ンターネット音楽配信、通信カラオケ）、パッケージメ
ディア（ＣＤ、ＭＤ、カセット、ビデオ、ＬＤ、ＣＤ−
ＲＯＭ、ゲームカセット、携帯音楽プレーヤ向け固体メ
モリ媒体）などで提供する各種オーディオコンテンツの
制作、並びに、専用携帯音楽プレーヤ、携帯電話・ＰＨ
Ｓ・ポケベルなどに向けたボーカルを含む音楽コンテン
ツ、歌舞伎・能・読経・詩歌など文芸作品の音声素材ま
たは語学教育音声教材のＭＩＤＩ伝送に利用するのに好
適な音響信号の符号化技術に関する。

【０００２】

【従来の技術】音響信号に代表される時系列信号には、
その構成要素として複数の周期信号が含まれている。こ
のため、与えられた時系列信号にどのような周期信号が
含まれているかを解析する手法は、古くから知られてい
る。例えば、フーリエ解析は、与えられた時系列信号に
含まれる周波数成分を解析するための方法として広く利
用されている。

【０００３】このような時系列信号の解析方法を利用す
れば、音響信号を符号化することも可能である。コンピ
ュータの普及により、原音となるアナログ音響信号を所
定のサンプリング周波数でサンプリングし、各サンプリ
ング時の信号強度を量子化してデジタルデータとして取
り込むことが容易にできるようになってきており、こう
して取り込んだデジタルデータに対してフーリエ解析な
どの手法を適用し、原音信号に含まれていた周波数成分
を抽出すれば、各周波数成分を示す符号によって原音信
号の符号化が可能になる。

【０００４】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたＭＩＤＩ（Musical Instrume
nt Digital Interface）規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このＭＩＤＩ規格による符号データ（以下、ＭＩＤ
Ｉデータという）は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このＭＩＤＩデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したＭＩ
ＤＩ音源が別途必要になるが、その符号化効率の高さが
注目を集めており、ＭＩＤＩ規格による符号化および復
号化の技術は、現在、パーソナルコンピュータを用いて
楽器演奏、楽器練習、作曲などを行うソフトウェアに広
く採り入れられている。

【０００５】そこで、音響信号に代表される時系列信号
に対して、所定の手法で解析を行うことにより、その構
成要素となる周期信号を抽出し、抽出した周期信号をＭ
ＩＤＩデータを用いて符号化しようとする提案がなされ
ている。例えば、特開平１０−２４７０９９号公報、特
開平１１−７３１９９号公報、特開平１１−７３２００
号公報、特開平１１−９５７５３号公報、特開２０００
−９９００９号公報、特開２０００−９９０９２号公
報、特開２０００−９９０９３号公報、特開２０００−
２６１３２２号公報、特願平１１−１７７８７５号明細
書、特願平１１−３２９２９７号明細書には、任意の時
系列信号について、構成要素となる周波数を解析し、そ
の解析結果からＭＩＤＩデータを作成することができる
種々の方法が提案されている。

【０００６】

【発明が解決しようとする課題】上記各公報または明細
書において提案してきたＭＩＤＩ符号化方式により、演
奏録音等から得られる音響信号の効率的な符号化が可能
になった。しかしながら、上記従来の符号化手法では、
人の音声や楽器音などが混在した音響信号を符号化して
も、各音源からの音は混在したままであり、各音源ごと
に符号化することは困難である。

【０００７】上記のような点に鑑み、本発明は、複数の
音源からの音が混在した音響信号を、各音源ごとに分離
することが可能な音響信号の符号化方法を提供すること
を課題とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明では、与えられた音響信号に対して、時間軸
上に複数の単位区間を設定し、設定された単位区間にお
ける音響信号と複数の周期関数との相関を求めることに
より、各周期関数に対応した強度値を算出して、各周期
関数が有する周波数と、前記各周期関数に対応した強度
値と、単位区間の始点に対応する区間開始時刻と、単位
区間の終点に対応する区間終了時刻で構成される音素デ
ータを算出し、音素データ算出の処理を全単位区間に対
して行うことにより得られる全音素データから、強度値
が所定値に達していないものを削除し、残りの音素デー
タに対して、周波数が同一であって、区間が連続するも
のを連結して連結音素データとし、連結音素データの属
性として、強度値は構成する音素データの最大強度値を
与え、開始時刻は先頭の音素データの区間開始時刻を与
え、終了時刻は最後尾の音素データの区間終了時刻を与
え、連結音素データに対して構成する音素データの強度
値と時間との関係を時系列強度配列（以降エンベロープ
データと記す）とすると共に、前記連結音素データに対
して時間的に重複する他の連結音素データを探索し、前
記連結音素データの周波数と最大強度値を含み、探索さ
れた連結音素データの周波数と最大強度値に基づいて得
られる、周波数と最大強度値の関係を周波数強度配列
（以降スペクトルデータと記す）とし、各音色パターン
について周波数・強度値・時間の三次元で定義された音
色データベースを検索することにより前記連結音素デー
タに対して、音色パターンが属する音色グループのＩＤ
を付与し、この音色グループＩＤの付与処理を全連結音
素データに対して行うことにより各連結音素データを複
数の音色グループに分類された状態で符号化するように
したことを特徴とする。

【０００９】本発明によれば、各音色パターンについて
周波数・強度値・時間の三次元で定義された音色データ
ベースを、各音色パターンを複数の音色グループのいず
れかに所属する形式で用意しておき、符号化対象となる
音響信号から単位区間ごとの音素データを算出し、さら
に時間方向に連結することにより得られる連結音素デー
タを基にエンベロープデータ、前記連結音素データに対
して時間的に重複する他の連結音素データの最大強度値
を当該連結音素データの最大強度値を含めて周波数に基
づいて配列させることにより得られるスペクトルデータ
を算出し、これら各データと、音色データベースに登録
された音色パターンが有するエンベロープデータ、スペ
クトルデータを照合してその類似度を求めることによ
り、各連結音素データがどの音色グループに所属するも
のであるかを決定するようにして符号化を行うようにし
たので、複数の音源（音色）からの音が混在した音響信
号を、各音源ごとに分類した状態で符号化することが可
能となり、分類された符号データをそれぞれ抽出するこ
とにより、音源ごとの符号データに分離することが可能
となる。

【００１０】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。

【００１１】（音響信号符号化方法の基本原理）はじめ
に、本発明に係る音響信号の符号化方法の基本原理を述
べておく。この基本原理は、前掲の各公報あるいは明細
書に開示されているので、ここではその概要のみを簡単
に述べることにする。

【００１２】図１（ａ）に示すように、時系列信号とし
てアナログ音響信号が与えられたものとする。図１の例
では、横軸に時間ｔ、縦軸に振幅（強度）をとって、こ
の音響信号を示している。ここでは、まずこのアナログ
音響信号を、デジタルの音響データとして取り込む処理
を行う。これは、従来の一般的なＰＣＭの手法を用い、
所定のサンプリング周波数でこのアナログ音響信号をサ
ンプリングし、振幅を所定の量子化ビット数を用いてデ
ジタルデータに変換する処理を行えば良い。ここでは、
説明の便宜上、ＰＣＭの手法でデジタル化した音響デー
タの波形も図１（ａ）のアナログ音響信号と同一の波形
で示すことにする。

【００１３】続いて、この解析対象となる音響信号の時
間軸上に、複数の単位区間を設定する。図１（ａ）に示
す例では、時間軸ｔ上に等間隔に６つの時刻ｔ１〜ｔ６
が定義され、これら各時刻を始点および終点とする５つ
の単位区間ｄ１〜ｄ５が設定されている。図１の例で
は、全て同一の区間長をもった単位区間が設定されてい
るが、個々の単位区間ごとに区間長を変えるようにして
もかまわない。あるいは、隣接する単位区間が時間軸上
で部分的に重なり合うような区間設定を行ってもかまわ
ない。

【００１４】こうして単位区間が設定されたら、各単位
区間ごとの音響信号（以下、区間信号と呼ぶことにす
る）について、それぞれ代表周波数を選出する。各区間
信号には、通常、様々な周波数成分が含まれているが、
例えば、その中で成分の強度割合の大きな周波数成分を
代表周波数として選出すれば良い。ここで、代表周波数
とはいわゆる基本周波数が一般的であるが、音声のフォ
ルマント周波数などの倍音周波数や、ノイズ音源のピー
ク周波数も代表周波数として扱うことがある。代表周波
数は１つだけ選出しても良いが、音響信号によっては複
数の代表周波数を選出した方が、より精度の高い符号化
が可能になる。図１（ｂ）には、個々の単位区間ごとに
それぞれ３つの代表周波数を選出し、１つの代表周波数
を１つの代表符号（図では便宜上、音符として示してあ
る）として符号化した例が示されている。ここでは、代
表符号（音符）を収容するために３つのトラックＴ１，
Ｔ２，Ｔ３が設けられているが、これは個々の単位区間
ごとに選出された３つずつの代表符号を、それぞれ異な
るトラックに収容するためである。

【００１５】例えば、単位区間ｄ１について選出された
代表符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，
３）は、それぞれトラックＴ１，Ｔ２，Ｔ３に収容され
ている。ここで、各符号ｎ（ｄ１，１），ｎ（ｄ１，
２），ｎ（ｄ１，３）は、ＭＩＤＩ符号におけるノート
ナンバーを示す符号である。ＭＩＤＩ符号におけるノー
トナンバーは、０〜１２７までの１２８通りの値をと
り、それぞれピアノの鍵盤の１つのキーを示すことにな
る。具体的には、例えば、代表周波数として４４０Ｈｚ
が選出された場合、この周波数はノートナンバーｎ＝６
９（ピアノの鍵盤中央の「ラ音（Ａ３音）」に対応）に
相当するので、代表符号としては、ｎ＝６９が選出され
ることになる。もっとも、図１（ｂ）は、上述の方法に
よって得られる代表符号を音符の形式で示した概念図で
あり、実際には、各音符にはそれぞれ強度に関するデー
タも付加されている。例えば、トラックＴ１には、ノー
トナンバーｎ（ｄ１，１），ｎ（ｄ２，１）・・・なる
音高を示すデータとともに、ｅ（ｄ１，１），ｅ（ｄ
２，１）・・・なる強度を示すデータが収容されること
になる。この強度を示すデータは、各代表周波数の成分
が、元の区間信号にどの程度の度合いで含まれていたか
によって決定される。具体的には、各代表周波数をもっ
た周期関数の区間信号に対する相関値に基づいて強度を
示すデータが決定されることになる。また、図１（ｂ）
に示す概念図では、音符の横方向の位置によって、個々
の単位区間の時間軸上での位置が示されているが、実際
には、この時間軸上での位置を正確に数値として示すデ
ータが各音符に付加されていることになる。

【００１６】音響信号を符号化する形式としては、必ず
しもＭＩＤＩ形式を採用する必要はないが、この種の符
号化形式としてはＭＩＤＩ形式が最も普及しているた
め、実用上はＭＩＤＩ形式の符号データを用いるのが好
ましい。ＭＩＤＩ形式では、「ノートオン」データもし
くは「ノートオフ」データが、「デルタタイム」データ
を介在させながら存在する。「ノートオン」データは、
特定のノートナンバーＮとベロシティーＶを指定して特
定の音の演奏開始を指示するデータであり、「ノートオ
フ」データは、特定のノートナンバーＮとベロシティー
Ｖを指定して特定の音の演奏終了を指示するデータであ
る。また、「デルタタイム」データは、所定の時間間隔
を示すデータである。ベロシティーＶは、例えば、ピア
ノの鍵盤などを押し下げる速度（ノートオン時のベロシ
ティー）および鍵盤から指を離す速度（ノートオフ時の
ベロシティー）を示すパラメータであり、特定の音の演
奏開始操作もしくは演奏終了操作の強さを示すことにな
る。

【００１７】前述の方法では、第ｉ番目の単位区間ｄｉ
について、代表符号としてＪ個のノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）が
得られ、このそれぞれについて強度ｅ（ｄｉ，１），ｅ
（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）が得られる。そ
こで、次のような手法により、ＭＩＤＩ形式の符号デー
タを作成することができる。まず、「ノートオン」デー
タもしくは「ノートオフ」データの中で記述するノート
ナンバーＮとしては、得られたノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）を
そのまま用いれば良い。一方、「ノートオン」データも
しくは「ノートオフ」データの中で記述するベロシティ
ーＶとしては、得られた強度ｅ（ｄｉ，１），ｅ（ｄ
ｉ，２），・・・，ｅ（ｄｉ，Ｊ）を所定の方法で規格
化した値を用いれば良い。また、「デルタタイム」デー
タは、各単位区間の長さに応じて設定すれば良い。

【００１８】（周期関数との相関を求める具体的な方
法）上述した基本原理の基づく方法では、区間信号に対
して、１つまたは複数の代表周波数が選出され、この代
表周波数をもった周期信号によって、当該区間信号が表
現されることになる。ここで、選出される代表周波数
は、文字どおり、当該単位区間内の信号成分を代表する
周波数である。この代表周波数を選出する具体的な方法
には、後述するように、短時間フーリエ変換を利用する
方法と、一般化調和解析の手法を利用する方法とがあ
る。いずれの方法も、基本的な考え方は同じであり、あ
らかじめ周波数の異なる複数の周期関数を用意してお
き、これら複数の周期関数の中から、当該単位区間内の
区間信号に対する相関が高い周期関数を見つけ出し、こ
の相関の高い周期関数の周波数を代表周波数として選出
する、という手法を採ることになる。すなわち、代表周
波数を選出する際には、あらかじめ用意された複数の周
期関数と、単位区間内の区間信号との相関を求める演算
を行うことになる。そこで、ここでは、周期関数との相
関を求める具体的な方法を述べておく。

【００１９】複数の周期関数として、図２に示すような
三角関数が用意されているものとする。これらの三角関
数は、同一周波数をもった正弦関数と余弦関数との対か
ら構成されており、１２８通りの標準周波数ｆ（０）〜
ｆ（１２７）のそれぞれについて、正弦関数および余弦
関数の対が定義されていることになる。ここでは、同一
の周波数をもった正弦関数および余弦関数からなる一対
の関数を、当該周波数についての周期関数として定義す
ることにする。すなわち、ある特定の周波数についての
周期関数は、一対の正弦関数および余弦関数によって構
成されることになる。このように、一対の正弦関数と余
弦関数とにより周期関数を定義するのは、信号に対する
周期関数の相関値を求める際に、相関値が位相の影響を
受ける事を考慮するためである。なお、図２に示す各三
角関数内の変数Ｆおよびｋは、区間信号Ｘについてのサ
ンプリング周波数Ｆおよびサンプル番号ｋに相当する変
数である。例えば、周波数ｆ（０）についての正弦波
は、ｓｉｎ（２πｆ（０）ｋ／Ｆ）で示され、任意のサ
ンプル番号ｋを与えると、区間信号を構成する第ｋ番目
のサンプルと同一時間位置における周期関数の振幅値が
得られる。

【００２０】ここでは、１２８通りの標準周波数ｆ
（０）〜ｆ（１２７）を図３に示すような式で定義した
例を示すことにする。すなわち、第ｎ番目（０≦ｎ≦１
２７）の標準周波数ｆ（ｎ）は、以下に示す（数式１）
で定義されることになる。

【００２１】（数式１）ｆ（ｎ）＝４４０×２^γ(n) γ（ｎ）＝（ｎ−６９）／１２

【００２２】このような式によって標準周波数を定義し
ておくと、最終的にＭＩＤＩデータを用いた符号化を行
う際に便利である。なぜなら、このような定義によって
設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２
７）は、等比級数をなす周波数値をとることになり、Ｍ
ＩＤＩデータで利用されるノートナンバーに対応した周
波数になるからである。したがって、図２に示す１２８
通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度
で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単
位）に設定した周波数ということになる。

【００２３】続いて、任意の区間の区間信号に対する各
周期関数の相関の求め方について、具体的な説明を行
う。例えば、図４に示すように、ある単位区間ｄについ
て区間信号Ｘが与えられていたとする。ここでは、区間
長Ｌをもった単位区間ｄについて、サンプリング周波数
Ｆでサンプリングが行なわれており、全部でｗ個のサン
プル値が得られているものとし、サンプル番号を図示の
ように、０，１，２，３，・・・，ｋ，・・・，ｗ−
２，ｗ−１とする（白丸で示す第ｗ番目のサンプルは、
右に隣接する次の単位区間の先頭に含まれるサンプルと
する）。この場合、任意のサンプル番号ｋについては、
Ｘ（ｋ）なる振幅値がデジタルデータとして与えられて
いることになる。短時間フーリエ変換においては、Ｘ
（ｋ）に対して各サンプルごとに中央の重みが１に近
く、両端の重みが０に近くなるような窓関数Ｗ（ｋ）を
乗ずることが通常である。すなわち、Ｘ（ｋ）×Ｗ
（ｋ）をＸ（ｋ）と扱って以下のような相関計算を行う
もので、窓関数の形状としては余弦波形状のハミング窓
が一般に用いられている。ここで、ｗは以下の記述にお
いても定数のような記載をしているが、一般にはｎの値
に応じて変化させ、区間長Ｌを超えない範囲で最大とな
るＦ／ｆ（ｎ）の整数倍の値に設定することが望まし
い。

【００２４】このような区間信号Ｘに対して、第ｎ番目
の標準周波数ｆ（ｎ）をもった正弦関数Ｒｎとの相関値
を求める原理を示す。両者の相関値Ａ（ｎ）は、図５の
第１の演算式によって定義することができる。ここで、
Ｘ（ｋ）は、図４に示すように、区間信号Ｘにおけるサ
ンプル番号ｋの振幅値であり、ｓｉｎ（２πｆ（ｎ）ｋ
／Ｆ）は、時間軸上での同位置における正弦関数Ｒｎの
振幅値である。この第１の演算式は、単位区間ｄ内の全
サンプル番号ｋ＝０〜ｗ−１の次元について、それぞれ
区間信号Ｘの振幅値と正弦関数Ｒｎの振幅ベクトルの内
積を求める式ということができる。

【００２５】同様に、図５の第２の演算式は、区間信号
Ｘと、第ｎ番目の標準周波数ｆ（ｎ）をもった余弦関数
との相関値を求める式であり、両者の相関値はＢ（ｎ）
で与えられる。なお、相関値Ａ（ｎ）を求めるための第
１の演算式も、相関値Ｂ（ｎ）を求めるための第２の演
算式も、最終的に２／ｗが乗ぜられているが、これは相
関値を規格化するためのものでり、前述のとおりｗはｎ
に依存して変化させるのが一般的であるため、この係数
もｎに依存する変数である。

【００２６】区間信号Ｘと標準周波数ｆ（ｎ）をもった
標準周期関数との相関実効値は、図５の第３の演算式に
示すように、正弦関数との相関値Ａ（ｎ）と余弦関数と
の相関値Ｂ（ｎ）との二乗和平方根値Ｅ（ｎ）によって
示すことができる。この相関実効値の大きな標準周期関
数の周波数を代表周波数として選出すれば、この代表周
波数を用いて区間信号Ｘを符号化することができる。

【００２７】すなわち、この相関値Ｅ（ｎ）が所定の基
準以上の大きさとなる１つまたは複数の標準周波数を代
表周波数として選出すれば良い。なお、ここで「相関値
Ｅ（ｎ）が所定の基準以上の大きさとなる」という選出
条件は、例えば、何らかの閾値を設定しておき、相関値
Ｅ（ｎ）がこの閾値を超えるような標準周波数ｆ（ｎ）
をすべて代表周波数として選出する、という絶対的な選
出条件を設定しても良いが、例えば、相関値Ｅ（ｎ）の
大きさの順にＱ番目までを選出する、というような相対
的な選出条件を設定しても良い。

【００２８】（一般化調和解析の手法）ここでは、本発
明に係る音響信号の符号化を行う際に有用な一般化調和
解析の手法について説明する。既に説明したように、音
響信号を符号化する場合、個々の単位区間内の区間信号
について、相関値の高いいくつかの代表周波数を選出す
ることになる。一般化調和解析は、より高い精度で代表
周波数の選出を可能にする手法であり、その基本原理は
次の通りである。

【００２９】図６（ａ）に示すような単位区間ｄについ
て、信号Ｓ（ｊ）なるものが存在するとする。ここで、
ｊは後述するように、繰り返し処理のためのパラメータ
である（ｊ＝１〜Ｊ）。まず、この信号Ｓ（ｊ）に対し
て、図２に示すような１２８通りの周期関数すべてにつ
いての相関値を求める。そして、最大の相関値が得られ
た１つの周期関数の周波数を代表周波数として選出し、
当該代表周波数をもった周期関数を要素関数として抽出
する。続いて、図６（ｂ）に示すような含有信号Ｇ
（ｊ）を定義する。この含有信号Ｇ（ｊ）は、抽出され
た要素関数に、その振幅として、当該要素関数の信号Ｓ
（ｊ）に対する相関値を乗じることにより得られる信号
である。例えば、周期関数として図２に示すように、一
対の正弦関数と余弦関数とを用い、周波数ｆ（ｎ）が代
表周波数として選出された場合、振幅Ａ（ｎ）をもった
正弦関数Ａ（ｎ）ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）と、振
幅Ｂ（ｎ）をもった余弦関数Ｂ（ｎ）ｃｏｓ（２πｆ
（ｎ）ｋ／Ｆ）との和からなる信号が含有信号Ｇ（ｊ）
ということになる（図６（ｂ）では、図示の便宜上、一
方の関数しか示していない）。ここで、Ａ（ｎ），Ｂ
（ｎ）は、図５の式で得られる規格化された相関値であ
るから、結局、含有信号Ｇ（ｊ）は、信号Ｓ（ｊ）内に
含まれている周波数ｆ（ｎ）をもった信号成分というこ
とができる。

【００３０】こうして、含有信号Ｇ（ｊ）が求まった
ら、信号Ｓ（ｊ）から含有信号Ｇ（ｊ）を減じることに
より、差分信号Ｓ（ｊ＋１）を求める。図６（ｃ）は、
このようにして求まった差分信号Ｓ（ｊ＋１）を示して
いる。この差分信号Ｓ（ｊ＋１）は、もとの信号Ｓ
（ｊ）の中から、周波数ｆ（ｎ）をもった信号成分を取
り去った残りの信号成分からなる信号ということができ
る。そこで、パラメータｊを１だけ増加させることによ
り、この差分信号Ｓ（ｊ＋１）を新たな信号Ｓ（ｊ）と
して取り扱い、同様の処理を、パラメータｊをｊ＝１〜
Ｊまで１ずつ増やしながらＪ回繰り返し実行すれば、Ｊ
個の代表周波数を選出することができる。

【００３１】このような相関計算の結果として出力され
るＪ個の含有信号Ｇ（１）〜Ｇ（Ｊ）は、もとの区間信
号Ｘの構成要素となる信号であり、もとの区間信号Ｘを
符号化する場合には、これらＪ個の含有信号の周波数を
示す情報および振幅（強度）を示す情報を符号データと
して用いるようにすれば良い。尚、Ｊは代表周波数の個
数であると説明してきたが、標準周波数ｆ（ｎ）の個数
と同一すなわちＪ＝１２８であってもよく、周波数スペ
クトルを求める目的においてはそのように行うのが通例
である。

【００３２】こうして、各単位区間について、所定数の
周波数群が選出されたら、この周波数群の各周波数に対
応する「音の高さを示す情報」、選出された各周波数の
信号強度に対応する「音の強さを示す情報」、当該単位
区間の始点に対応する「音の発音開始時刻を示す情
報」、当該単位区間に後続する単位区間の始点に対応す
る「音の発音終了時刻を示す情報」、の４つの情報を含
む所定数の符号データを作成すれば、当該単位区間内の
区間信号Ｘを所定数の符号データにより符号化すること
ができる。符号データとして、ＭＩＤＩデータを作成す
るのであれば、「音の高さを示す情報」としてノートナ
ンバーを用い、「音の強さを示す情報」としてベロシテ
ィーを用い、「音の発音開始時刻を示す情報」としてノ
ートオン時刻を用い、「音の発音終了時刻を示す情報」
としてノートオフ時刻を用いるようにすれば良い。

【００３３】（本発明に係る音響信号の符号化方法）こ
こまでに説明した従来技術とも共通する本発明の基本原
理を要約すると、原音響信号に単位区間を設定し、単位
区間ごとに複数の周波数に対応する信号強度を算出し、
得られた信号強度を基に用意された周期関数を利用して
１つまたは複数の代表周波数を選出し、選出された代表
周波数に対応する音の高さ情報と、選出された代表周波
数の強度に対応する音の強さ情報と、単位区間の始点に
対応する発音開始時刻と、単位区間の終点に対応する発
音終了時刻で構成される符号データを作成することによ
り、音響信号の符号化が行われていることになる。

【００３４】本発明の音響信号符号化方法においては、
あらかじめ多数の音色パターンを登録した音色データベ
ースを用意し、符号化しようとする音響信号の符号化の
過程において、この音色データベースを参照することに
より、音源の特定を可能とするものである。音色データ
ベースに登録される音色パターンは、各音色を演奏録音
した音響信号を上記基本原理において説明した手法によ
り、符号化したものである。すなわち、本発明において
は、上記音響信号符号化の基本原理は、音色データベー
スの作成、および音響信号の符号化の両方において利用
されていることになる。

【００３５】（音色データベース）ここで、まず音色デ
ータベースについて説明しておく。音色データベースに
蓄積される音色パターンは、以下のようにして作成され
る。まず、各音色の音響信号を取得する。例えば、ピア
ノであれば、８８鍵ある鍵を１つずつ弾き、それを録音
する。また、例えば、日本人男性に五十音を含む７６音
を１音ずつ発生してもらい、それを録音する。このよう
にして得られる各音色の音響信号を上記基本原理を利用
して符号化する。上記基本原理で説明したように、符号
化により得られる符号データは、周波数、強度、開始時
刻、終了時刻の４つの情報を１つの単位とする符号コー
ドの集合となる。開始時刻〜終了時刻の間の１点をその
符号コードの時間として代表させれば、各音色パターン
は周波数（音高）・強度・時間の３つの属性により表現
することができる。

【００３６】図７に音色データベースの一例を示す。図
７の左上に示す直方体はデータベースの蓄積形態をイメ
ージで示したものである。各音色パターンは、このよう
な周波数（音高）・強度・時間で定義される直方体に登
録される。すなわち、音色データベース内では、周波数
・強度値・時間の三次元的関係で表現したスペクトログ
ラムで記録されていることになる。この音色パターンに
おいて、周波数（音高）を特定した場合の、時間と強度
の関係をエンベロープデータ、時間を特定した場合の、
周波数と強度の関係をスペクトルデータとすると、それ
ぞれ図７右側のグラフで表現される。図７右側のグラフ
のうち、上側のグラフは、音名Ｃ３に対応する周波数に
おける時間（time）−強度（intensity）分布、すなわ
ちエンベロープデータであり、下側のグラフは、時刻
（time）７６msec における周波数（frequency）−強度
（intensity）分布、すなわちスペクトルデータであ
る。本実施形態においては、各音色パターンについて、
その音色パターンを代表するエンベロープデータおよび
スペクトルデータが抽出されるようになっている。エン
ベロープデータは、その音色パターンのスペクトログラ
ム、すなわち図７に示した直方体において最大の強度値
を記録した周波数に固定して抽出するようにし、スペク
トルデータは、その音色パターンのスペクトログラムに
おいて最大の強度値を記録した時刻に固定して抽出する
ようにする。本実施形態では、このような音色パターン
が、ピアノ音８８鍵分、日本人音声７６音、日本人女声
７６音、心音５５種類の４グループ計２９５パターン分
登録されている。また、登録された各音色パターンに
は、音色パターンを特定するためのＩＤが付与される。
さらに、各音色パターンは１つの音色グループに所属し
ているため、その音色グループのＩＤも付与されてい
る。例えば、日本人の男性が発音した「あ」の音色パタ
ーンの場合、日本人男声「あ」であることを特定する音
色パターンＩＤと、日本人男声のグループであることを
特定する音色グループＩＤが付与されていることにな
る。

【００３７】上記のようにして、音色データベースを用
意した後、この音色データベースを利用して音響信号の
符号化を行う。本発明の音響信号符号化方法では、上記
基本原理において、得られた信号強度を基に、用意され
た周期関数に対応する周波数を全て利用し、これら各周
波数と、各周波数の強度と、単位区間の始点に対応する
区間開始時刻と、単位区間の終点に対応する区間終了時
刻で構成されるデータを「音素データ」と定義し、この
音素データをさらに加工することにより最終的な符号デ
ータを得るようにしたものである。

【００３８】ここからは、本発明の音響信号符号化方法
について、図８に示すフローチャートを用いて説明す
る。まず、音響信号の時間軸上の全区間に渡って単位区
間を設定する（ステップＳ１）。このステップＳ１にお
ける手法は、上記基本原理において、図１（ａ）を用い
て説明した通りである。

【００３９】続いて、各単位区間ごとの音響信号、すな
わち区間信号について、周波数解析を行って各周波数に
対応する強度値を算出し、周波数、強度値、単位区間の
始点、終点の４つの情報からなる音素データを算出する
（ステップＳ２）。具体的には、図２に示したような１
２８種の周期関数に対して区間信号の相関強度を求め、
その周期関数の周波数、求めた相関強度、単位区間の始
点、終点の４つの情報を音素データと定義する。ただ
し、本実施形態では、上記基本原理で説明した場合のよ
うに代表周波数を選出するのではなく、用意した周期関
数全てに対応する音素データを取得する。このステップ
Ｓ２の処理を全単位区間に対して行うことにより、音素
データ[ｍ，ｎ]（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１）群
が得られる。ここで、Ｎは周期関数の総数（上述の例で
はＮ＝１２８）、Ｍは音響信号において設定された単位
区間の総数である。つまり、Ｍ×Ｎ個の音素データから
なる音素データ群が得られることになる。

【００４０】音素データ群が得られたら、この音素デー
タ群のうち、その強度値が所定値に達していない音素デ
ータを、無効な音素データとみなして削除する（ステッ
プＳ３）。このステップＳ３において、強度値が所定値
に達しない音素データを削除するのは、信号レベルがほ
とんど０であって、実際には音が存在していないと判断
される音素を削除するためである。そのため、この所定
値としては、音が実際に存在しないレベルとみなされる
値が設定される。

【００４１】このようにして無効な音素データが削除さ
れたら、残った音素データのうち、同一周波数で時系列
方向に連続する複数の音素データを１つの連結音素デー
タとして連結する（ステップＳ４）。図９は音素データ
の連結を説明するための概念図である。図９（ａ）は連
結前の音素データ群の様子を示す図である。図９（ａ）
において、格子状に仕切られた各矩形は音素データを示
しており、網掛けがされている矩形は、上記ステップＳ
３において強度値が所定値に達しないために削除された
音素データであり、その他の矩形は残っている音素デー
タを示す。ステップＳ４においては、同一周波数（同一
ノートナンバー）で時間ｔ方向に連続する音素データを
連結するため、図９（ａ）に示す音素データ群に対して
連結処理を実行すると、図９（ｂ）に示すような連結音
素データ群が得られる。例えば、図９（ａ）に示した音
素データＡ１、Ａ２、Ａ３は連結されて、図９（ｂ）に
示すような連結音素データＡが得られることになる。こ
のとき、新たに得られる連結音素データＡの周波数とし
ては、音素データＡ１、Ａ２、Ａ３に共通の周波数が与
えられ、強度値としては、音素データＡ１、Ａ２、Ａ３
の強度値のうち最大のものが与えられ、開始時刻として
は、先頭の音素データＡ１の区間開始時刻ｔ１が与えら
れ、終了時刻としては、最後尾の音素データＡ３の区間
終了時刻ｔ４が与えられる。音素データ、連結音素デー
タ共に、周波数（ノートナンバー）、強度値、開始時
刻、終了時刻の４つの情報で構成されるため、３つの音
素データが１つの連結音素データに統合されることによ
り、データ量は３分の１に削減される。このことは、最
終的にＭＩＤＩ符号化される場合には、短い音符３つで
はなく、長い音符１つとして表現されることを意味して
いる。

【００４２】上記のようにして連結音素データ群が得ら
れたら、連結音素データごとに、その連結音素データを
構成する基となった音素データの、時間による強度の変
移、すなわちエンベロープデータを求める。そして、こ
のエンベロープデータと、音色データベースに登録され
た各音色パターンのエンベロープデータとを照合する
（ステップＳ５）。具体的には、両者のエンベロープデ
ータのパターンの類似度を所定の規則により計算し、類
似度が高いもの程、高い得点を付与する。このようなパ
ターン同士の類似度としては上述した周波数解析におい
て対象区間音響信号と周期関数との相関を求める方法と
同様な相関係数を用いるのが適当であり繰り返しになる
ため、ここでは詳細な説明は省略する。上述のように本
実施形態では、２９５パターンが登録されているので、
１つの連結音素データについて２９５個の音色パターン
との照合が行われることになる。また、得点について
は、各音色パターンごとに付与することもできるが、各
グループにおいて最も高い得点をそのグループの得点と
することもできる。本実施形態では、音源の分離を行う
ことが目的であるため、グループ単位で得点を付与す
る。すなわち、１つの連結音素データについて、２９５
パターンとの照合が行われるが、類似度を示す得点が４
グループについてのみ得られることになる。このステッ
プＳ５における照合処理は、全連結音素データについて
行われる。

【００４３】全連結音素データについて音色データベー
スの全音色パターンとの照合が行われたら、次に、各連
結音素データに着目し、その連結音素データの開始時刻
から終了時刻の範囲と少なくとも一部が時間的に重複す
る開始時刻と終了時刻をもつ他の連結音素データと当該
連結音素データを含めた連結音素データ群の周波数によ
る強度の分布、すなわちスペクトルデータを求める。そ
して、このスペクトルデータと、音色データベースに登
録された各音色パターンのスペクトルデータとを照合す
る（ステップＳ６）。ここでもステップＳ５の場合と同
様に、両者のスペクトルデータのパターンの類似度を所
定の規則により計算し、類似度が高いもの程、高い得点
を付与する。また、得点についても、ステップＳ５の場
合と同様に、各音色パターンごとに付与することもでき
るが、本実施形態では、各グループにおいて最も高い得
点をそのグループの得点とする。ステップＳ６の処理も
全連結音素データについて行われる。

【００４４】このようにして全連結音素データについ
て、各音色グループとのエンベロープデータ類似度に関
する得点、各音色グループとのスペクトルデータ類似度
に関する得点が得られたら、両得点の和を求め、その値
が最も高いグループを、その連結音素データの音色グル
ープとして決定する（ステップＳ７）。決定された音色
グループのＩＤは、周波数・強度・開始時刻・終了時刻
に続く５番目の属性として連結音素データに付与され
る。このようにして付与された音色グループのＩＤに基
づいて、異なる記録領域に記録する（例えば、ＭＩＤＩ
の場合、異なるチャンネルに記録）ようにすれば、音源
ごとに分類された符号データが得られることになる。こ
のような符号データから１つの記録領域（ＭＩＤＩの場
合、１つのチャンネル）を抽出すれば、１つの音源のデ
ータだけを取り出すことが可能となる。

【００４５】（装置構成）次に、本発明に係る音響信号
符号化方法を実現するための装置構成について説明す
る。図１０は、このような装置構成の一例を示す機能ブ
ロック図である。図１０において、１は区間設定手段、
２は音素データ算出手段、３は音素データ連結手段、４
は音色データベース、５はデータ抽出手段、６はデータ
照合手段、７は音色グループ決定手段、８は符号データ
出力手段である。

【００４６】区間設定手段１は、入力手段（図示せず）
より入力された音響信号に対して上記図８のフローチャ
ートのステップＳ１の処理を実行する機能を有する。音
素データ算出手段２は、上記ステップＳ２の処理を実行
する機能を有する。音素データ連結手段３は、上記ステ
ップＳ３、ステップＳ４の処理を実行する機能を有す
る。音色データベース４は、図７に示したような、多数
の音色パターンを周波数・強度・時間の三次元の要素を
用いて登録したデータベースである。データ抽出手段５
は、音色データベース４に登録された全音色パターンか
らエンベロープデータ、スペクトルデータを抽出する機
能を有する。データ照合手段６は、上記ステップＳ５、
ステップＳ６の処理、すなわち連結音素データから抽出
されたエンベロープデータ、スペクトルデータと、デー
タ抽出手段５により抽出されたエンベロープデータ、ス
ペクトルデータを照合する処理を実行する機能を有す
る。音色グループ決定手段７は、上記ステップＳ７の処
理を実行する機能を有する。符号データ出力手段８は、
上記処理により符号化されたデータをＭＩＤＩ等の所定
のフォーマットで出力する機能を有する。

【００４７】図１０に示した区間設定手段１、音素デー
タ算出手段２、音素データ連結手段３、データ抽出手段
５、データ照合手段６、音色グループ決定手段７、符号
データ出力手段８は、現実には、コンピュータおよびコ
ンピュータに搭載された専用のプログラムで実現され
る。また、音色データベース４は、ハードディスク等の
大容量記憶装置で実現される。

【００４８】整理すると、本発明による音響信号の符号
化方法は、図８のフローチャートに示したようなステッ
プを上記手順で実行するためのプログラムをコンピュー
タに搭載した、図１０のような機能ブロック図で表わさ
れる装置を利用して実行される。そして、音響信号をＰ
ＣＭ方式等でデジタル化した後、コンピュータに取り込
み、ステップＳ１〜ステップＳ７の処理を行った後、Ｍ
ＩＤＩ形式等の符号データをコンピュータより出力す
る。出力された符号データは、例えば、ＭＩＤＩデータ
の場合、ＭＩＤＩシーケンサ、ＭＩＤＩ音源を用いて音
声として再生される。

【００４９】最後に、本発明による音響信号の符号化方
法の概略を、図１１の概念図を用いて説明する。図１１
において、左側は符号化における流れ、右側は音色デー
タベース内の各音色グループ、中央は照合の様子であ
る。音響信号に対して、ステップＳ２の音素データ算出
（図中「周波数解析」）を行った結果、音素データ（図
中「解析音素」）が得られる。図中「解析音素」「連結
音素」「多重音素」は下向きの三角形で表現されている
が、この三角形の上下方向の位置が周波数、三角形の高
さが強度値、三角形の左端が開始時刻、三角形の右端が
終了時刻を示している。その後、ステップＳ４の音素デ
ータ連結段階（図中「時間軸音素連結」）により連結音
素データが得られる。続いて、得られた連結音素データ
のエンベロープデータ（図中「時間軸分布パターン」）
と音色パターンのエンベロープデータの照合を行う。さ
らに、連結音素データと時間的に重複する他の連結音素
データと当該連結音素データの各周波数と強度値の関係
からスペクトルデータ（図中「周波数分布パターン」）
を算出し、音色パターンのスペクトルデータとの照合を
行う。そして、２種の照合結果に基づいて、対象となる
連結音素データがどの音色グループに属するかを決定す
る。

【００５０】

【発明の効果】以上、説明したように本発明によれば、
与えられた音響信号に対して、時間軸上に複数の単位区
間を設定し、設定された単位区間における音響信号と複
数の周期関数との相関を求めることにより、各周期関数
に対応した強度値を算出して、各周期関数が有する周波
数と、前記各周期関数に対応した強度値と、単位区間の
始点に対応する区間開始時刻と、単位区間の終点に対応
する区間終了時刻で構成される音素データを算出し、音
素データ算出の処理を全単位区間に対して行うことによ
り得られる全音素データから、強度値が所定値に達して
いないものを削除し、残りの音素データに対して、周波
数が同一であって、区間が連続するものを連結して連結
音素データとし、連結音素データの属性として、強度値
は構成する音素データの最大強度値を与え、開始時刻は
先頭の音素データの区間開始時刻を与え、終了時刻は最
後尾の音素データの区間終了時刻を与え、連結音素デー
タに対して構成する音素データの強度値と時間との関係
をエンベロープデータとすると共に、前記連結音素デー
タに対して時間的に重複する他の連結音素データを探索
し、前記連結音素データと探索された連結音素データに
基づいて得られる周波数と強度値の関係をスペクトルデ
ータとし、各音色パターンについて周波数・強度値・時
間の三次元で定義された音色データベースを検索するこ
とにより前記連結音素データに対して、音色パターンが
属する音色グループのＩＤを付与し、この音色グループ
ＩＤの付与処理を全連結音素データに対して行うことに
より各連結音素データを複数の音色グループに分類され
た状態で符号化するようにしたので、複数の音源（音
色）からの音が混在した音響信号を、各音源ごとに分類
した状態で符号化することが可能となり、分類された符
号データをそれぞれ抽出することにより、音源ごとの符
号データに分離することが可能となるという効果を奏す
る。

【図面の簡単な説明】

【図１】本発明の音響信号の符号化方法の基本原理を示
す図である。

【図２】本発明で利用される周期関数の一例を示す図で
ある。

【図３】図２に示す各周期関数の周波数とＭＩＤＩノー
トナンバーｎとの関係式を示す図である。

【図４】解析対象となる信号と周期信号との相関計算の
手法を示す図である。

【図５】図４に示す相関計算を行うための計算式を示す
図である。

【図６】一般化調和解析の基本的な手法を示す図であ
る。

【図７】本発明による音色データベースの一例を示す図
である。

【図８】本発明に係る音響信号符号化方法のフローチャ
ートである。

【図９】音素データの連結を説明するための概念図であ
る。

【図１０】本発明の音響信号符号化方法を実現するため
の装置構成の一例を示す機能ブロック図である。

【図１１】本発明による音響信号の符号化方法の概略を
示す概念図である。

【符号の説明】

１・・・区間設定手段 ２・・・音素データ算出手段 ３・・・音素データ連結手段 ４・・・音色データベース ５・・・データ抽出手段 ６・・・データ照合手段 ７・・・音色グループ決定手段 ８・・・符号データ出力手段

Claims (5)

【特許請求の範囲】
1. 【請求項１】与えられた音響信号に対して、 開始時刻、終了時刻、周波数、および開始時刻と終了時
   刻の間の強度値を時系列に収めた時系列強度配列で構成
   される音素データに分解する周波数解析段階と、 前記音素データの時系列強度配列と、前記音素データに
   対して時間的に重複する他の音素データを探索し、前記
   音素データを含め探索された前記全ての音素データの周
   波数と時系列強度配列の関係を配列させた周波数強度配
   列とにより、各音色パターンについて周波数・強度値・
   時間の三次元で定義された音色データベースから、前記
   時系列強度配列と前記周波数強度配列が類似している音
   色パターンが最も含まれる音色グループを決定する音色
   グループ決定段階と、を有し、 前記音色グループ決定段階の処理を全音素データに対し
   て行うことにより各音素データを複数の音色グループに
   分類された状態で符号化することを特徴とする音響信号
   の符号化方法。
2. 【請求項２】前記音色グループ決定段階は、前記音素デ
   ータより得られる時系列強度配列と、前記音色データベ
   ースに登録された各音色パターンから最大強度を有する
   周波数に基づいて抽出される時系列強度配列を照合し
   て、その類似度に応じて当該音色パターンが属する音色
   グループの得点を算出する段階と、 前記音素データと時間的に重複する他の音素データより
   得られる周波数強度配列と、前記音色データベースに登
   録された各音色パターンから最大強度を有する時間に基
   づいて抽出される周波数強度配列を照合して、その類似
   度に応じて当該音色パターンが属する音色グループの得
   点を算出する段階と、 前記各得点に基づいて、当該音素データに付与すべき音
   色グループ属性を決定する段階と、 を有するものであることを特徴とする請求項１に記載の
   音響信号の符号化方法。
3. 【請求項３】音色を表現した音響信号に対して、時間軸
   上に複数の単位区間を設定し、設定された前記単位区間
   における音響信号と複数の周期関数との相関を求めるこ
   とにより、各周期関数に対応した強度値を算出し、各周
   期関数が有する周波数と、前記各周期関数に対応した強
   度値と、単位区間を代表する区間時刻で構成される音色
   パターンを算出する音色パターン算出段階と、 前記算出された音色パターンを周波数・強度値・時間の
   三次元的関係で表現したスペクトログラムを当該音色パ
   ターンを特定するための音色パターンＩＤおよび当該音
   色パターンが分類される音色グループを特定するための
   音色グループＩＤと共に音色データベースに登録する音
   色パターン蓄積段階と、 を有することを特徴とする音色データベース作成方法。
4. 【請求項４】音色を表現した音色パターンを周波数・強
   度値・時間の三次元的関係で表現したスペクトログラム
   が、当該音色パターンを特定するための音色パターンＩ
   Ｄおよび当該音色パターンが分類される音色グループを
   特定するための音色グループＩＤと対応付けて登録され
   ていることを特徴とする音色データベース。
5. 【請求項５】コンピュータに、与えられた音響信号に対
   して、時間軸上に複数の単位区間を設定する区間設定段
   階、前記単位区間における音響信号と複数の周期関数と
   の相関を求めることにより、各周期関数に対応した強度
   値を算出し、各周期関数が有する周波数と、前記各周期
   関数に対応した強度値と、単位区間の始点に対応する区
   間開始時刻と、単位区間の終点に対応する区間終了時刻
   で構成される音素データを算出する周波数解析段階、前
   記周波数解析段階の処理を全単位区間に対して行うこと
   により得られる全音素データから、強度値が所定値に達
   していないものを削除する音素データ削除段階、残りの
   音素データに対して、周波数が同一であって、区間が連
   続するものを連結して連結音素データとし、連結音素デ
   ータの属性として、強度値は構成する音素データの最大
   強度値を与え、開始時刻は先頭の音素データの区間開始
   時刻を与え、終了時刻は最後尾の音素データの区間終了
   時刻を与える音素データ連結段階、前記連結音素データ
   に対して構成する音素データの強度値と時間との関係を
   時系列強度配列とすると共に、前記連結音素データに対
   して時間的に重複する他の連結音素データを探索し、前
   記連結音素データと探索された連結音素データに基づい
   て得られる周波数と強度値の関係を周波数強度配列と
   し、各音色パターンについて周波数・強度値・時間の三
   次元で定義された音色データベースを検索することによ
   り前記連結音素データに対して、音色パターンが属する
   音色グループのＩＤを付与する音色グループ決定段階、
   前記音色グループ決定段階の処理を全連結音素データに
   対して行うことにより各連結音素データを複数の音色グ
   ループに分類された状態で符号化を行う符号化段階、を
   実行させるためのプログラム。