JP2002372968A

JP2002372968A - 音響信号の比較評価方法および装置

Info

Publication number: JP2002372968A
Application number: JP2001179839A
Authority: JP
Inventors: Toshio Motegi; 敏雄茂出木
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2001-06-14
Filing date: 2001-06-14
Publication date: 2002-12-26

Abstract

(57)【要約】（修正有）【課題】ＭＩＤＩ符号化のような波形データを持たな
い符号データであっても、原音信号との客観的な比較が
可能な音響信号の比較評価方法および装置を提供する。【解決手段】互いに比較対象とする原音響信号、この
原音響信号を基に符号化した符号データを復号した復号
音響信号を入力し（Ｓ１ａ・Ｓ１ｂ）、入力された２つ
の音響信号それぞれに対して時間軸上に複数の単位区間
を設定し（Ｓ２ａ・Ｓ２ｂ）、設定された単位区間ごと
に周波数解析を行なって、各音響信号について、時系列
に複数のスペクトルデータを算出する（Ｓ３ａ・Ｓ３
ｂ）。算出された複数のスペクトルデータを時系列に積
算していくことにより、各音響信号について、積算スペ
クトルデータを算出し（Ｓ４）、算出された２つの積算
スペクトルデータの合致度を算出する（Ｓ５）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音響信号の符号化研究
における品質評価、特にＭＩＤＩ再生音と原音との関係
のように互いに非同期の関係にある信号の比較評価技術
に関する。

【０００２】

【従来の技術】音響信号に代表される時系列信号には、
その構成要素として複数の周期信号が含まれている。こ
のため、与えられた時系列信号にどのような周期信号が
含まれているかを解析する手法は、古くから知られてい
る。例えば、フーリエ解析は、与えられた時系列信号に
含まれる周波数成分を解析するための方法として広く利
用されている。

【０００３】このような時系列信号の解析方法を利用す
れば、音響信号を符号化することも可能である。コンピ
ュータの普及により、原音となるアナログ音響信号を所
定のサンプリング周波数でサンプリングし、各サンプリ
ング時の信号強度を量子化してデジタルデータとして取
り込むことが容易にできるようになってきており、こう
して取り込んだデジタルデータに対してフーリエ解析な
どの手法を適用し、原音信号に含まれていた周波数成分
を抽出すれば、各周波数成分を示す符号によって原音信
号の符号化が可能になる。

【０００４】また、電子楽器による楽器音を符号化しよ
うという発想から生まれたＭＩＤＩ（Musical Instrume
nt Digital Interface）規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このＭＩＤＩ規格による符号データ（以下、ＭＩＤ
Ｉデータという）は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このＭＩＤＩデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したＭＩ
ＤＩ音源が別途必要になるが、その符号化効率の高さが
注目を集めており、ＭＩＤＩ規格による符号化および復
号化の技術は、現在、パーソナルコンピュータを用いて
楽器演奏、楽器練習、作曲などを行うソフトウェアに広
く採り入れられている。

【０００５】そこで、音響信号に代表される時系列信号
に対して、所定の手法で解析を行うことにより、その構
成要素となる周期信号を抽出し、抽出した周期信号をＭ
ＩＤＩデータを用いて符号化しようとする提案がなされ
ている。例えば、特開平１０−２４７０９９号公報、特
開平１１−７３１９９号公報、特開平１１−７３２００
号公報、特開平１１−９５７５３号公報、特開２０００
−９９００９号公報、特開２０００−９９０９２号公
報、特開２０００−９９０９３号公報、特開２０００−
２６１３２２号公報、特開２００１−５４５０号公報、
特開２００１−１４８６３３号公報には、任意の時系列
信号について、構成要素となる周波数を解析し、その解
析結果からＭＩＤＩデータを作成することができる種々
の方法が提案されている。

【０００６】このようにして、符号化されたデータは、
製品として販売する前にその精度を評価する必要があ
る。ＭＰＥＧ方式などを代表とする波形符号化方式にお
いては、原音響信号の波形データを基に類似の波形デー
タで符号化する方式であるため、符号データを復号化し
た波形データと原音波形データとをコンピュータの演算
により比較照合すれば、客観的な評価が可能となってい
る。

【０００７】

【発明が解決しようとする課題】しかしながら、上記各
公報において提案してきたＭＩＤＩ符号化方式により符
号化したデータの品質精度を評価しようとする場合、原
音響信号との同期をとることが難しく、客観的な評価が
できない。これは、上述のようにＭＩＤＩデータ自身に
は、実際の音の波形は含まれていないためであり、評価
を行う場合は、ＭＩＤＩ音源を利用して再生した音を、
人間が自分の耳で聞き、原音と聞き比べて主観的な評価
を行うしかない。

【０００８】上記のような点に鑑み、本発明は、ＭＩＤ
Ｉ符号化のような波形データを持たない符号データであ
っても、原音信号との客観的な比較が可能な音響信号の
比較評価方法および装置を提供することを課題とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明では、互いに比較対象とする第１の音響信号
と第２の音響信号を入力し、入力された２つの音響信号
それぞれに対して時間軸上に複数の単位区間を設定し、
設定された単位区間ごとに周波数解析を行なって、各音
響信号について、時系列に複数のスペクトルデータを算
出し、算出された複数のスペクトルデータを時系列に積
算していくことにより、各音響信号について積算スペク
トルデータを算出し、算出された複数のスペクトルデー
タの各単位区間ごとに強度値を積算することにより、各
音響信号についてエンベロープデータを算出し、算出さ
れた２つの積算スペクトルデータの合致度を算出すると
共に、算出された２つのエンベロープデータの合致度を
算出するようにしたことを特徴とする。

【００１０】本発明によれば、２つの音響信号、それぞ
れについて周波数解析を行なってスペクトルデータを得
た後、このスペクトルデータに基づいて積算スペクトル
データ、エンベロープデータを算出し、両音響信号から
得られた積算スペクトルデータの類似性、エンベロープ
データの類似性を判定するようにしたので、符号化の方
式に関わらず、再生された音響信号から、両音響信号の
類似性を判断することが可能となる。

【００１１】また、本発明では、第１の音響信号および
第２の音響信号として、それぞれ原音響信号、および原
音響信号を基に符号化した符号データを復号した復号音
響信号とすることにより、音響信号の符号化の精度を評
価することが可能となる。

【００１２】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。

【００１３】（音響信号符号化の基本原理）はじめに、
本発明に係る音響信号の比較評価方法の評価対象となる
符号データの作成、および音響信号の比較評価方法の基
本原理を述べておく。この基本原理は、前掲の各公報に
開示されているので、ここではその概要のみを簡単に述
べることにする。

【００１４】図１（ａ）に示すように、時系列信号とし
てアナログ音響信号が与えられたものとする。図１の例
では、横軸に時間ｔ、縦軸に振幅（強度）をとって、こ
の音響信号を示している。ここでは、まずこのアナログ
音響信号を、デジタルの音響データとして取り込む処理
を行う。これは、従来の一般的なＰＣＭの手法を用い、
所定のサンプリング周波数でこのアナログ音響信号をサ
ンプリングし、振幅を所定の量子化ビット数を用いてデ
ジタルデータに変換する処理を行えば良い。ここでは、
説明の便宜上、ＰＣＭの手法でデジタル化した音響デー
タの波形も図１（ａ）のアナログ音響信号と同一の波形
で示すことにする。

【００１５】続いて、この解析対象となる音響信号の時
間軸上に、複数の単位区間を設定する。図１（ａ）に示
す例では、時間軸ｔ上に等間隔に６つの時刻ｔ１〜ｔ６
が定義され、これら各時刻を始点および終点とする５つ
の単位区間ｄ１〜ｄ５が設定されている。図１の例で
は、全て同一の区間長をもった単位区間が設定されてい
るが、個々の単位区間ごとに区間長を変えるようにして
もかまわない。あるいは、隣接する単位区間が時間軸上
で部分的に重なり合うような区間設定を行ってもかまわ
ない。

【００１６】こうして単位区間が設定されたら、各単位
区間ごとの音響信号（以下、区間信号と呼ぶことにす
る）について、それぞれ代表周波数を選出する。各区間
信号には、通常、様々な周波数成分が含まれているが、
例えば、その中で成分の強度割合の大きな周波数成分を
代表周波数として選出すれば良い。ここで、代表周波数
とはいわゆる基本周波数が一般的であるが、音声のフォ
ルマント周波数などの倍音周波数や、ノイズ音源のピー
ク周波数も代表周波数として扱うことがある。代表周波
数は１つだけ選出しても良いが、音響信号によっては複
数の代表周波数を選出した方が、より精度の高い符号化
が可能になる。図１（ｂ）には、個々の単位区間ごとに
それぞれ３つの代表周波数を選出し、１つの代表周波数
を１つの代表符号（図では便宜上、音符として示してあ
る）として符号化した例が示されている。ここでは、代
表符号（音符）を収容するために３つのトラックＴ１，
Ｔ２，Ｔ３が設けられているが、これは個々の単位区間
ごとに選出された３つずつの代表符号を、それぞれ異な
るトラックに収容するためである。

【００１７】例えば、単位区間ｄ１について選出された
代表符号ｎ（ｄ１，１），ｎ（ｄ１，２），ｎ（ｄ１，
３）は、それぞれトラックＴ１，Ｔ２，Ｔ３に収容され
ている。ここで、各符号ｎ（ｄ１，１），ｎ（ｄ１，
２），ｎ（ｄ１，３）は、ＭＩＤＩ符号におけるノート
ナンバーを示す符号である。ＭＩＤＩ符号におけるノー
トナンバーは、０〜１２７までの１２８通りの値をと
り、それぞれピアノの鍵盤の１つのキーを示すことにな
る。具体的には、例えば、代表周波数として４４０Ｈｚ
が選出された場合、この周波数はノートナンバーｎ＝６
９（ピアノの鍵盤中央の「ラ音（Ａ３音）」に対応）に
相当するので、代表符号としては、ｎ＝６９が選出され
ることになる。もっとも、図１（ｂ）は、上述の方法に
よって得られる代表符号を音符の形式で示した概念図で
あり、実際には、各音符にはそれぞれ強度に関するデー
タも付加されている。例えば、トラックＴ１には、ノー
トナンバーｎ（ｄ１，１），ｎ（ｄ２，１）・・・なる
音高を示すデータとともに、ｅ（ｄ１，１），ｅ（ｄ
２，１）・・・なる強度を示すデータが収容されること
になる。この強度を示すデータは、各代表周波数の成分
が、元の区間信号にどの程度の度合いで含まれていたか
によって決定される。具体的には、各代表周波数をもっ
た周期関数の区間信号に対する相関値に基づいて強度を
示すデータが決定されることになる。また、図１（ｂ）
に示す概念図では、音符の横方向の位置によって、個々
の単位区間の時間軸上での位置が示されているが、実際
には、この時間軸上での位置を正確に数値として示すデ
ータが各音符に付加されていることになる。

【００１８】音響信号を符号化する形式としては、必ず
しもＭＩＤＩ形式を採用する必要はないが、この種の符
号化形式としてはＭＩＤＩ形式が最も普及しているた
め、実用上はＭＩＤＩ形式の符号データを用いるのが好
ましい。ＭＩＤＩ形式では、「ノートオン」データもし
くは「ノートオフ」データが、「デルタタイム」データ
を介在させながら存在する。「ノートオン」データは、
特定のノートナンバーＮとベロシティーＶを指定して特
定の音の演奏開始を指示するデータであり、「ノートオ
フ」データは、特定のノートナンバーＮとベロシティー
Ｖを指定して特定の音の演奏終了を指示するデータであ
る。また、「デルタタイム」データは、所定の時間間隔
を示すデータである。ベロシティーＶは、例えば、ピア
ノの鍵盤などを押し下げる速度（ノートオン時のベロシ
ティー）および鍵盤から指を離す速度（ノートオフ時の
ベロシティー）を示すパラメータであり、特定の音の演
奏開始操作もしくは演奏終了操作の強さを示すことにな
る。

【００１９】前述の方法では、第ｉ番目の単位区間ｄｉ
について、代表符号としてＪ個のノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）が
得られ、このそれぞれについて強度ｅ（ｄｉ，１），ｅ
（ｄｉ，２），・・・，ｅ（ｄｉ，Ｊ）が得られる。そ
こで、次のような手法により、ＭＩＤＩ形式の符号デー
タを作成することができる。まず、「ノートオン」デー
タもしくは「ノートオフ」データの中で記述するノート
ナンバーＮとしては、得られたノートナンバーｎ（ｄ
ｉ，１），ｎ（ｄｉ，２），・・・，ｎ（ｄｉ，Ｊ）を
そのまま用いれば良い。一方、「ノートオン」データも
しくは「ノートオフ」データの中で記述するベロシティ
ーＶとしては、得られた強度ｅ（ｄｉ，１），ｅ（ｄ
ｉ，２），・・・，ｅ（ｄｉ，Ｊ）を所定の方法で規格
化した値を用いれば良い。また、「デルタタイム」デー
タは、各単位区間の長さに応じて設定すれば良い。

【００２０】（周期関数との相関を求める具体的な方
法）上述した基本原理の基づく方法では、区間信号に対
して、１つまたは複数の代表周波数が選出され、この代
表周波数をもった周期信号によって、当該区間信号が表
現されることになる。ここで、選出される代表周波数
は、文字どおり、当該単位区間内の信号成分を代表する
周波数である。この代表周波数を選出する具体的な方法
には、後述するように、短時間フーリエ変換を利用する
方法と、一般化調和解析の手法を利用する方法とがあ
る。いずれの方法も、基本的な考え方は同じであり、あ
らかじめ周波数の異なる複数の周期関数を用意してお
き、これら複数の周期関数の中から、当該単位区間内の
区間信号に対する相関が高い周期関数を見つけ出し、こ
の相関の高い周期関数の周波数を代表周波数として選出
する、という手法を採ることになる。すなわち、代表周
波数を選出する際には、あらかじめ用意された複数の周
期関数と、単位区間内の区間信号との相関を求める演算
を行うことになる。そこで、ここでは、周期関数との相
関を求める具体的な方法を述べておく。

【００２１】複数の周期関数として、図２に示すような
三角関数が用意されているものとする。これらの三角関
数は、同一周波数をもった正弦関数と余弦関数との対か
ら構成されており、１２８通りの標準周波数ｆ（０）〜
ｆ（１２７）のそれぞれについて、正弦関数および余弦
関数の対が定義されていることになる。ここでは、同一
の周波数をもった正弦関数および余弦関数からなる一対
の関数を、当該周波数についての周期関数として定義す
ることにする。すなわち、ある特定の周波数についての
周期関数は、一対の正弦関数および余弦関数によって構
成されることになる。このように、一対の正弦関数と余
弦関数とにより周期関数を定義するのは、信号に対する
周期関数の相関値を求める際に、相関値が位相の影響を
受ける事を考慮するためである。なお、図２に示す各三
角関数内の変数Ｆおよびｋは、区間信号Ｘについてのサ
ンプリング周波数Ｆおよびサンプル番号ｋに相当する変
数である。例えば、周波数ｆ（０）についての正弦波
は、ｓｉｎ（２πｆ（０）ｋ／Ｆ）で示され、任意のサ
ンプル番号ｋを与えると、区間信号を構成する第ｋ番目
のサンプルと同一時間位置における周期関数の振幅値が
得られる。

【００２２】ここでは、１２８通りの標準周波数ｆ
（０）〜ｆ（１２７）を図３に示すような式で定義した
例を示すことにする。すなわち、第ｎ番目（０≦ｎ≦１
２７）の標準周波数ｆ（ｎ）は、以下に示す〔数式１〕
で定義されることになる。

【００２３】〔数式１〕ｆ（ｎ）＝４４０×２^γ ⁽ⁿ⁾ γ（ｎ）＝（ｎ−６９）／１２

【００２４】このような式によって標準周波数を定義し
ておくと、最終的にＭＩＤＩデータを用いた符号化を行
う際に便利である。なぜなら、このような定義によって
設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２
７）は、等比級数をなす周波数値をとることになり、Ｍ
ＩＤＩデータで利用されるノートナンバーに対応した周
波数になるからである。したがって、図２に示す１２８
通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度
で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単
位）に設定した周波数ということになる。

【００２５】続いて、任意の区間の区間信号に対する各
周期関数の相関の求め方について、具体的な説明を行
う。例えば、図４に示すように、ある単位区間ｄについ
て区間信号Ｘが与えられていたとする。ここでは、区間
長Ｌをもった単位区間ｄについて、サンプリング周波数
Ｆでサンプリングが行なわれており、全部でｗ個のサン
プル値が得られているものとし、サンプル番号を図示の
ように、０，１，２，３，・・・，ｋ，・・・，ｗ−
２，ｗ−１とする（白丸で示す第ｗ番目のサンプルは、
右に隣接する次の単位区間の先頭に含まれるサンプルと
する）。この場合、任意のサンプル番号ｋについては、
Ｘ（ｋ）なる振幅値がデジタルデータとして与えられて
いることになる。短時間フーリエ変換においては、Ｘ
（ｋ）に対して各サンプルごとに中央の重みが１に近
く、両端の重みが０に近くなるような窓関数Ｗ（ｋ）を
乗ずることが通常である。すなわち、Ｘ（ｋ）×Ｗ
（ｋ）をＸ（ｋ）と扱って以下のような相関計算を行う
もので、窓関数の形状としては余弦波形状のハミング窓
が一般に用いられている。ここで、ｗは以下の記述にお
いても定数のような記載をしているが、一般にはｎの値
に応じて変化させ、区間長Ｌを超えない範囲で最大とな
るＦ／ｆ（ｎ）の整数倍の値に設定することが望まし
い。

【００２６】このような区間信号Ｘに対して、第ｎ番目
の標準周波数ｆ（ｎ）をもった正弦関数Ｒｎとの相関値
を求める原理を示す。両者の相関値Ａ（ｎ）は、図５の
第１の演算式によって定義することができる。ここで、
Ｘ（ｋ）は、図４に示すように、区間信号Ｘにおけるサ
ンプル番号ｋの振幅値であり、ｓｉｎ（２πｆ（ｎ）ｋ
／Ｆ）は、時間軸上での同位置における正弦関数Ｒｎの
振幅値である。この第１の演算式は、単位区間ｄ内の全
サンプル番号ｋ＝０〜ｗ−１の次元について、それぞれ
区間信号Ｘの振幅値と正弦関数Ｒｎの振幅ベクトルの内
積を求める式ということができる。

【００２７】同様に、図５の第２の演算式は、区間信号
Ｘと、第ｎ番目の標準周波数ｆ（ｎ）をもった余弦関数
との相関値を求める式であり、両者の相関値はＢ（ｎ）
で与えられる。なお、相関値Ａ（ｎ）を求めるための第
１の演算式も、相関値Ｂ（ｎ）を求めるための第２の演
算式も、最終的に２／ｗが乗ぜられているが、これは相
関値を規格化するためのものでり、前述のとおりｗはｎ
に依存して変化させるのが一般的であるため、この係数
もｎに依存する変数である。

【００２８】区間信号Ｘと標準周波数ｆ（ｎ）をもった
標準周期関数との相関実効値は、図５の第３の演算式に
示すように、正弦関数との相関値Ａ（ｎ）と余弦関数と
の相関値Ｂ（ｎ）との二乗和平方根値Ｅ（ｎ）によって
示すことができる。この相関実効値の大きな標準周期関
数の周波数を代表周波数として選出すれば、この代表周
波数を用いて区間信号Ｘを符号化することができる。

【００２９】すなわち、この相関値Ｅ（ｎ）が所定の基
準以上の大きさとなる１つまたは複数の標準周波数を代
表周波数として選出すれば良い。なお、ここで「相関値
Ｅ（ｎ）が所定の基準以上の大きさとなる」という選出
条件は、例えば、何らかの閾値を設定しておき、相関値
Ｅ（ｎ）がこの閾値を超えるような標準周波数ｆ（ｎ）
をすべて代表周波数として選出する、という絶対的な選
出条件を設定しても良いが、例えば、相関値Ｅ（ｎ）の
大きさの順にＱ番目までを選出する、というような相対
的な選出条件を設定しても良い。

【００３０】（一般化調和解析の手法）ここでは、本発
明に係る音響信号の符号化を行う際に有用な一般化調和
解析の手法について説明する。既に説明したように、音
響信号を符号化する場合、個々の単位区間内の区間信号
について、相関値の高いいくつかの代表周波数を選出す
ることになる。一般化調和解析は、より高い精度で代表
周波数の選出を可能にする手法であり、その基本原理は
次の通りである。

【００３１】図６（ａ）に示すような単位区間ｄについ
て、信号Ｓ（ｊ）なるものが存在するとする。ここで、
ｊは後述するように、繰り返し処理のためのパラメータ
である（ｊ＝１〜Ｊ）。まず、この信号Ｓ（ｊ）に対し
て、図２に示すような１２８通りの周期関数すべてにつ
いての相関値を求める。そして、最大の相関値が得られ
た１つの周期関数の周波数を代表周波数として選出し、
当該代表周波数をもった周期関数を要素関数として抽出
する。続いて、図６（ｂ）に示すような含有信号Ｇ
（ｊ）を定義する。この含有信号Ｇ（ｊ）は、抽出され
た要素関数に、その振幅として、当該要素関数の信号Ｓ
（ｊ）に対する相関値を乗じることにより得られる信号
である。例えば、周期関数として図２に示すように、一
対の正弦関数と余弦関数とを用い、周波数ｆ（ｎ）が代
表周波数として選出された場合、振幅Ａ（ｎ）をもった
正弦関数Ａ（ｎ）ｓｉｎ（２πｆ（ｎ）ｋ／Ｆ）と、振
幅Ｂ（ｎ）をもった余弦関数Ｂ（ｎ）ｃｏｓ（２πｆ
（ｎ）ｋ／Ｆ）との和からなる信号が含有信号Ｇ（ｊ）
ということになる（図６（ｂ）では、図示の便宜上、一
方の関数しか示していない）。ここで、Ａ（ｎ），Ｂ
（ｎ）は、図５の式で得られる規格化された相関値であ
るから、結局、含有信号Ｇ（ｊ）は、信号Ｓ（ｊ）内に
含まれている周波数ｆ（ｎ）をもった信号成分というこ
とができる。

【００３２】こうして、含有信号Ｇ（ｊ）が求まった
ら、信号Ｓ（ｊ）から含有信号Ｇ（ｊ）を減じることに
より、差分信号Ｓ（ｊ＋１）を求める。図６（ｃ）は、
このようにして求まった差分信号Ｓ（ｊ＋１）を示して
いる。この差分信号Ｓ（ｊ＋１）は、もとの信号Ｓ
（ｊ）の中から、周波数ｆ（ｎ）をもった信号成分を取
り去った残りの信号成分からなる信号ということができ
る。そこで、パラメータｊを１だけ増加させることによ
り、この差分信号Ｓ（ｊ＋１）を新たな信号Ｓ（ｊ）と
して取り扱い、同様の処理を、パラメータｊをｊ＝１〜
Ｊまで１ずつ増やしながらＪ回繰り返し実行すれば、Ｊ
個の代表周波数を選出することができる。

【００３３】このような相関計算の結果として出力され
るＪ個の含有信号Ｇ（１）〜Ｇ（Ｊ）は、もとの区間信
号Ｘの構成要素となる信号であり、もとの区間信号Ｘを
符号化する場合には、これらＪ個の含有信号の周波数を
示す情報および振幅（強度）を示す情報を符号データと
して用いるようにすれば良い。尚、Ｊは代表周波数の個
数であると説明してきたが、標準周波数ｆ（ｎ）の個数
と同一すなわちＪ＝１２８であってもよく、周波数スペ
クトルを求める目的においてはそのように行うのが通例
である。

【００３４】以上のような処理により、各単位区間につ
いて、各周波数に対する強度値の集合であるスペクトル
データが得られることになる。以上のような手法は、後
述するような比較対象とする２つの音響信号それぞれの
スペクトルデータの算出にも利用される。さて、ＭＩＤ
Ｉ等の符号データ作成についても上記の手法が用いら
れ、上述のようにして所定数の周波数群が選出された
ら、この周波数群の各周波数に対応する「音の高さを示
す情報」、選出された各周波数の信号強度に対応する
「音の強さを示す情報」、当該単位区間の始点に対応す
る「音の発音開始時刻を示す情報」、当該単位区間に後
続する単位区間の始点に対応する「音の発音終了時刻を
示す情報」、の４つの情報を含む所定数の符号データを
作成すれば、当該単位区間内の区間信号Ｘを所定数の符
号データにより符号化することができる。符号データと
して、ＭＩＤＩデータを作成するのであれば、「音の高
さを示す情報」としてノートナンバーを用い、「音の強
さを示す情報」としてベロシティーを用い、「音の発音
開始時刻を示す情報」としてノートオン時刻を用い、
「音の発音終了時刻を示す情報」としてノートオフ時刻
を用いるようにすれば良い。

【００３５】（本発明に係る音響信号の比較評価方法）
ここからは、本発明の音響信号比較評価方法について、
図７に示すフローチャートを用いて説明する。ここで
は、原音響信号と、この原音響信号を上記符号化方法に
よりＭＩＤＩ符号化したＭＩＤＩデータの比較を行っ
て、このＭＩＤＩデータの符号化精度を評価するもので
ある。まず、前準備として、原音響信号をＭＩＤＩ化し
たＭＩＤＩデータを実際にＭＩＤＩ音源を用いて再生
し、この再生音を録音してＰＣＭ化することにより音響
信号（この音響信号を、以下、復号音響信号という。）
を得る。前準備が終わったら、原音響信号と復号音響信
号をそれぞれ入力する（ステップＳ１）。

【００３６】続いて、各音響信号について、その時間軸
上の全区間に渡って単位区間を設定する（ステップＳ
２：図中、Ｓ２ａ・Ｓ２ｂとして図示）。このステップ
Ｓ２における手法は、上記基本原理において、図１
（ａ）を用いて説明した通りである。

【００３７】続いて、各単位区間ごとの音響信号、すな
わち区間信号について、周波数解析を行って各周波数に
対応する強度値を求めることにより、スペクトルデータ
を算出する（ステップＳ３：図中、Ｓ３ａ・Ｓ３ｂとし
て図示）。具体的には、図２に示したような１２８種の
周期関数に対して区間信号の相関強度を求め、その周期
関数の周波数、求めた相関強度がここでのスペクトルデ
ータとなる。ただし、本実施形態では、上記基本原理で
説明した場合のように、代表周波数を選出するのではな
く、用意した周期関数全てに対応する相関強度を取得す
る。

【００３８】続いて、算出された各単位区間ごとのスペ
クトルデータを時系列にしたがって積算する（ステップ
Ｓ４）。具体的には、各単位区間ｔにおける各ノートナ
ンバーｎに対応する強度値Ｅｔ（ｎ）を全単位区間につ
いて積算することにより、各ノートナンバーｎにおける
積算値ΣｔＥｔ（ｎ）を算出する。この積算値ΣｔＥｔ
（ｎ）の集合が積算スペクトルデータである。

【００３９】続いて、比較対象となる２つの音響信号か
ら得られたそれぞれの積算スペクトルデータの類似度を
判定する（ステップＳ５）。具体的には、原音響信号か
ら得られた積算値ΣｔＥ1t（ｎ）、復号音響信号から得
られた積算値ΣｔＥ2t（ｎ）を用いて以下の〔数式２〕
により積算スペクトルデータの合致度ＳＭを算出する。

【００４０】〔数式２〕ＳＭ＝［Σｎ｛Ｓ2(n)−Ｓ1(n)｝²］^1/2 ／｛ΣｎＳ1
(n)²｝^1/2 ただし、Ｓ1(n)＝｛ΣtＥ1t(n) ｝／Ｅmax1 Ｓ2(n)＝｛ΣtＥ2t(n) ｝／Ｅmax2 また、Ｅmax1は積算値ΣtＥ1t(n)のうち、ｎを変化さ
せたとき最大のものＥmax2は積算値ΣtＥ2t(n)のうち、ｎを変化させたと
き最大のもの、である。

【００４１】なお、本実施形態において、「Σｎ」は、
ｎを０〜１２７まで変化させたときの総和を意味し、
「Σｔ」は、ｔ、すなわち単位区間を、音響信号の開始
時刻から終了時刻まで変化させたときの総和を意味す
る。上記〔数式２〕においては、両積算スペクトルデー
タの各ノードナンバーにおける差分に基づいて、合致度
ＳＭの算出を行っており、この合致度ＳＭが小さいほ
ど、両音響信号は類似していると判断される。すなわ
ち、各ノートナンバーにおける積算スペクトルデータの
差分が小さいほど両音響信号は類似していることにな
る。なお、両音響信号から得られた積算値ΣtＥ1t(n)、
ΣtＥ2t(n)をそれぞれ最大積算強度値Ｅmax1、Ｅmax2で
割るのは、両音響信号の信号レベルが異なる場合にも、
両者を比較可能な強度値に正規化するためである。この
ような積算スペクトルデータの合致度ＳＭを算出するの
は、両音響信号が非同期であっても、両音響信号の類似
性の判断を可能とするためである。さらに、合致度とし
て、１００−１００×ＳＭなどの値を算出しておき、こ
れを出力するようにすると、数値が１００を示したとき
に完全に一致するものとなり、よりわかりやすい形で類
似度の提示を行うことが可能となる。

【００４２】また、ステップＳ４、Ｓ５の処理と平行し
て、算出された各単位区間ごとのスペクトルデータにつ
いて、各単位区間ごとに全周波数の強度値を積算する
（ステップＳ６）。具体的には、各単位区間ｔにおける
各ノートナンバーｎに対応する強度値Ｅｔ（ｎ）を全ノ
ートナンバーについて積算することにより、各単位区間
ｔにおける積算値ΣｎＥｔ（ｎ）を算出する。このΣｎ
Ｅｔ（ｎ）の集合がエンベロープデータである。

【００４３】続いて、比較対象となる２つの音響信号か
ら得られたそれぞれのエンベロープデータの類似度を判
定する（ステップＳ７）。具体的には、原音響信号から
得られた積算値ΣnＥ1t（ｎ）、復号音響信号から得ら
れた積算値ΣnＥ2t（ｎ）を用いて以下の〔数式３〕に
よりエンベロープデータの合致度ＥＭを算出する。

【００４４】〔数式３〕ＥＭ＝［Σｔ｛Ｓ1(t) × Ｓ2(t) ｝］／ ΣｔＳ
1(t)² ただし、Ｓ1(t)＝｛ΣnＥ1t(n) ｝／Ｅmax1 Ｓ2(n)＝｛ΣnＥ2t(n) ｝／Ｅmax2 また、Ｅmax1は積算値ΣnＥ1t(n)のうち、ｔを変化さ
せたとき最大のものＥmax2は積算値ΣnＥ2t(n)のうち、ｔを変化させたとき
最大のもの、である。

【００４５】上記〔数式３〕においては、両エンベロー
プデータの各単位区間における積算強度値の乗算値に基
づいて、合致度ＥＭの算出を行っており、この合致度Ｅ
Ｍが１に近付くほど、両音響信号は類似していると判断
される。すなわち、各単位区間における積算強度値の値
が近いほど両音響信号は類似していることになる。な
お、両音響信号から得られた積算値ΣnＥ1t(n)、ΣnＥ2
t(n)をそれぞれ最大積算強度値Ｅmax1、Ｅmax2で割るの
は、〔数式２〕の場合と同様、両音響信号の信号レベル
が異なる場合にも、両者を比較可能な強度値に正規化す
るためである。このようなエンベロープデータの合致度
ＥＭだけでも、両音響信号の類似性を判断することは可
能であるが、両音響信号が非同期である場合に、的確な
合致度が得られないことがある。そこで、上述のような
積算スペクトルデータの合致度ＳＭも算出し、両合致度
の値から判断するようにしているのである。さらに、合
致度として、１００×ＥＭなどの値を算出しておき、こ
れを出力するようにすると、数値が１００を示したとき
に完全に一致するものとなり、よりわかりやすい形で類
似度の提示を行うことが可能となる。

【００４６】続いて、算出された積算スペクトルデータ
の合致度ＳＭ、およびエンベロープデータの合致度ＥＭ
を出力する（ステップＳ８：図中、Ｓ８ａ・Ｓ８ｂとし
て示す）。これらを表示・印字等で出力することによ
り、入力した両音響信号が類似しているかどうか、すな
わち、ＭＩＤＩ符号化した符号データが、どの程度の精
度で原音響信号を再現しているかを確認することができ
る。

【００４７】（装置構成）続いて、上記音響信号の比較
評価方法を実行するための比較評価装置の装置構成につ
いて説明する。図８は、本発明に係る音響信号比較評価
装置の構成図である。図８において、音響信号入力手段
１は、上記ステップＳ１に対応する処理、すなわち、音
響信号をＰＣＭ等のデジタルデータの形式で入力するた
めのものであり、電子記録媒体の読取り装置等により実
現される。本実施形態では、原音響信号および復号音響
信号を入力するために利用される。

【００４８】周波数解析手段２は、上記ステップＳ２お
よびステップＳ３に対応する処理、すなわち、音響信号
入力手段１から入力された音響信号に複数の単位区間を
設定し、各単位区間ごとに周波数解析を行って、各単位
区間におけるスペクトルデータを算出するためのもので
あり、本実施形態では、原音響信号、復号音響信号それ
ぞれに対して、周波数解析を行なう。

【００４９】スペクトル積算手段３は、上記ステップＳ
４に対応する処理、すなわち、音響信号から得られた各
単位区間ごとのスペクトルデータを全単位区間について
積算し、各周波数と、各周波数に対応する積算強度値の
関係を示す積算スペクトルデータを算出する機能を有す
る。本実施形態では、原音響信号、復号音響信号それぞ
れから得られたスペクトルデータに対して積算処理を行
う。

【００５０】エンベロープ算出手段４は、上記ステップ
Ｓ６に対応する処理、すなわち、音響信号から得られた
各単位区間ごとのスペクトルデータを全周波数について
積算し、各単位区間と、各単位区間に対応する積算強度
値の関係を示すエンベロープデータを算出する機能を有
する。本実施形態では、原音響信号、復号音響信号それ
ぞれから得られたスペクトルデータに対してエンベロー
プ算出処理を行う。

【００５１】積算スペクトル照合手段５は、上記ステッ
プＳ５に対応する処理、すなわち、２つの音響信号から
得られた積算スペクトルデータの照合を行う機能を有す
る。このスペクトルデータの照合は、上記のように〔数
式２〕を利用して合致度ＳＭを算出することにより行わ
れる。本実施形態では、原音響信号、復号音響信号それ
ぞれから得られた積算スペクトルデータに対して照合処
理を行う。

【００５２】エンベロープ照合手段６は、上記ステップ
Ｓ７に対応する処理、すなわち、２つの音響信号から得
られたエンベロープデータの照合を行う機能を有する。
このエンベロープデータの照合は、上記のように〔数式
３〕を利用して合致度ＥＭを算出することにより行われ
る。本実施形態では、原音響信号、復号音響信号それぞ
れから得られたエンベロープデータに対して照合処理を
行う。

【００５３】出力手段７は、上記ステップＳ８に対応す
る処理、すなわち、積算スペクトルデータの合致度Ｓ
Ｍ、およびエンベロープデータの合致度ＥＭを出力する
機能を有する。出力手段としては、ディスプレイ装置等
の表示出力手段、あるいはプリンタ等の印字出力手段が
適用できる。なお、図１中、周波数解析手段２、スペク
トル積算手段３、エンベロープ算出手段４、積算スペク
トル照合手段５、エンベロープ照合手段６は、コンピュ
ータ本体、コンピュータに搭載された専用ソフトウェ
ア、およびコンピュータに接続された周辺機器等で実現
される。

【００５４】

【発明の効果】以上、説明したように本発明によれば、
互いに比較対象とする第１の音響信号と第２の音響信号
を入力し、入力された２つの音響信号それぞれに対して
時間軸上に複数の単位区間を設定し、設定された単位区
間ごとに周波数解析を行なって、各音響信号について、
時系列に複数のスペクトルデータを算出し、算出された
複数のスペクトルデータを時系列に積算していくことに
より、各音響信号について積算スペクトルデータを算出
し、算出された複数のスペクトルデータの各単位区間ご
とに強度値を積算することにより、各音響信号について
エンベロープデータを算出し、算出された２つの積算ス
ペクトルデータの合致度を算出すると共に、算出された
２つのエンベロープデータの合致度を算出するようにし
たので、符号化の方式に関わらず、再生された音響信号
から、両音響信号の類似性を判断することが可能となる
という効果を奏する。

【００５５】さらに、第１の音響信号および第２の音響
信号として、それぞれ原音響信号、および原音響信号を
基に符号化した符号データを復号した復号音響信号とす
ることにより、音響信号の符号化の精度を評価すること
が可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一部として利用される音響信号符号化
の基本原理を示す図である。

【図２】本発明で利用される周期関数の一例を示す図で
ある。

【図３】図２に示す各周期関数の周波数とＭＩＤＩノー
トナンバーｎとの関係式を示す図である。

【図４】解析対象となる信号と周期信号との相関計算の
手法を示す図である。

【図５】図４に示す相関計算を行うための計算式を示す
図である。

【図６】一般化調和解析の基本的な手法を示す図であ
る。

【図７】本発明に係る音響信号比較評価方法のフローチ
ャートである。

【図８】本発明に係る音響信号比較評価装置の構成図で
ある。

【符号の説明】

１・・・音響信号入力手段２・・・周波数解析手段３・・・スペクトル積算手段４・・・エンベロープ算出手段５・・・積算スペクトル照合手段６・・・エンベロープ照合手段７・・・出力手段

Claims

【特許請求の範囲】

【請求項１】互いに比較対象とする第１の音響信号と第
２の音響信号を入力する段階と、前記入力された２つの音響信号それぞれに対して時間軸
上に複数の単位区間を設定し、前記単位区間ごとに周波
数解析を行なって、前記各音響信号について、時系列に
複数のスペクトルデータを算出する段階と、前記算出された複数のスペクトルデータを時系列に積算
していくことにより、前記各音響信号について、積算ス
ペクトルデータを算出する段階と、前記算出された複数のスペクトルデータの各単位区間ご
とに強度値を積算することにより、前記各音響信号につ
いて、エンベロープデータを算出する段階と、前記算出された２つの積算スペクトルデータの合致度を
算出する段階と、前記算出された２つのエンベロープデータの合致度を算
出する段階と、を有することを特徴とする音響信号の比較評価方法。
【請求項２】前記第１の音響信号および第２の音響信号
は、それぞれ原音響信号、および原音響信号を基に符号
化した符号データを復号した復号音響信号であり、前記
積算スペクトルデータの合致度、エンベロープデータの
合致度を算出することにより、符号化の精度を評価する
ものであることを特徴とする請求項１に記載の音響信号
の比較評価方法。
【請求項３】音響信号を入力する音響信号入力手段と、前記音響信号入力手段により入力された音響信号に対し
て時間軸上に複数の単位区間を設定し、前記単位区間ご
とに周波数解析を行なって時系列に複数のスペクトルデ
ータを算出する周波数解析手段と、前記周波数解析手段により算出された複数のスペクトル
データを時系列に積算していくことにより、積算スペク
トルデータを算出するスペクトル積算手段と、前記周波数解析手段により算出された複数のスペクトル
データを各単位区間ごとに強度値を積算することによ
り、エンベロープデータを算出するエンベロープ算出手
段と、前記スペクトル積算手段により算出された２つの積算ス
ペクトルデータの類似性を判定する積算スペクトル照合
手段と、前記エンベロープ算出手段により算出された２つのエン
ベロープデータの類似性を判定するエンベロープ照合手
段と、前記積算スペクトル照合手段、および前記エンベロープ
照合手段による照合結果を出力する出力手段と、を有することを特徴とする音響信号の比較評価装置。
【請求項４】前記スペクトルデータがＭＩＤＩ規格のノ
ートナンバーに対応する周波数における強度配列から構
成されていることを特徴とする請求項３に記載の音響信
号の比較評価装置。
【請求項５】前記第１の音響信号と前記第２の音響信号
は互いに非同期で入力されることを特徴とする請求項３
または請求項４に記載の音響信号の比較評価装置。
【請求項６】コンピュータに、互いに比較対象とする第
１の音響信号と第２の音響信号それぞれに対して時間軸
上に複数の単位区間を設定し、前記単位区間ごとに周波
数解析を行なって、前記各音響信号について、時系列に
複数のスペクトルデータを算出する段階、前記算出され
た複数のスペクトルデータを時系列に積算していくこと
により、前記各音響信号について、積算スペクトルデー
タを算出する段階、前記算出された複数のスペクトルデ
ータの各単位区間ごとに強度値を積算することにより、
前記各音響信号について、エンベロープデータを算出す
る段階、前記算出された２つの積算スペクトルデータの
合致度を算出する段階、前記算出された２つのエンベロ
ープデータの合致度を算出する段階、を実行させるため
のプログラム。