JP2000250569A - 圧縮オーディオ信号補正器、および圧縮オーディオ信号再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 人間の聴覚特性を利用したあらゆる圧縮オー
ディオ信号再生装置および圧縮オーディオ信号補正器に
おいて、圧縮オーディオ信号を分析することで圧縮符号
化する際に除去された周波数成分を推定／挿入する。 【構成】 入力された圧縮オーディオ信号Ｄ１は第１の
変換部２で、周波数領域のスペクトルオーディオ信号Ｄ
２に変換され、さらにスペクトルオーディオ信号分析部
３でスペクトルオーディオ信号Ｄ２の倍音構造の分析お
よび分析された特性データＤ３の検出を行う。倍音主音
成分推定／挿入部４では、この分析された特性データＤ
３に基づいてデータベース６に蓄積されている様々な特
性データＤ６を参照しながら、圧縮符号化する際に除去
されたであろう成分を推定し作成してこれを再び挿入す
る。また、ゆらぎ成分推定／挿入部５では倍音主音成分
が付加されたスペクトルオーディオ信号Ｄ５に、データ
ベース６に蓄積されている様々な特性データＤ７を参照
して圧縮符号化する際に除去されたであろうゆらぎ成分
を推定し作成してこれを再び挿入する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ミニディスク（以
下、ＭＤ）再生装置、デジタル・コンパクト・カセット
（以下、ＤＣＣ）再生装置、ＤＶＤ再生装置（以下、Ｄ
ＶＤ）をはじめとする、人間の聴覚特性（聴感特性、聴
覚心理）を利用した全ての圧縮オーディオ信号補正器、
および圧縮オーディオ信号再生装置に関する。

【０００２】

【従来の技術】少なくとも最小可聴限特性（等ラウドネ
ス特性）およびマスキング効果特性（聴覚マスキング効
果特性）を含む人間の聴覚特性（聴感特性、聴覚心理）
を利用することによってデジタルオーディオ信号を圧縮
符号化する、心理的オーディオ信号圧縮技術がある。こ
こでいう最小可聴限（ヒアリング・スレッショルド）と
は、人間の耳で聴き取ることのできる限界の音圧レベ
ル、すなわち、その音圧レベルよりも小さな音圧レベル
の音は人間の耳に聞こえないというものを意味してい
る。この最小可聴限は各周波数によって異なり、各個人
によっても異なるが、各周波数に対して平均的な耳を有
する人間の最小可聴限を表したものを最小可聴限特性と
いう。また、マスキング効果とは、ある音圧レベルを有
する周波数の音に対して、その周波数周辺に存在する他
の周波数の音の音圧レベルが相対的に小さい場合、音圧
レベルが相対的に小さい音が人間の耳には聞こえなくな
る（このことを、"マスクされる"と言う。）という効果
であり、これは音圧レベルの相対的に大きい音がその周
波数周辺の最小可聴限を引き上げるために起こる。この
心理的オーディオ信号圧縮技術は現在、ＭＤ、ＤＣＣさ
らにはＤＶＤ等のデジタルオーディオ信号の記録再生に
おける分野を中心として幅広く用いられている。

【０００３】人間の聴覚特性を利用したデジタルオーデ
ィオ信号の圧縮符号化は、一般に以下のような手順で行
われる。入力されるデジタルオーディオ信号（原オーデ
ィオ信号）を変形離散コサイン変換処理や複数のバンド
・パスフィルタを用いて、時間領域のデータから周波数
領域のデータに変換する。次に、変換された各周波数領
域の信号を量子化すると共に、前述の人間の聴覚特性を
利用して、人間の耳には聞こえないとみなされた各周波
数における最小可聴限よりも小さな音圧レベルの周波数
成分の音を除去し、情報量を小さくした上で、かつ効果
的にビット割り当てを行い、そして所定の記録フォーマ
ットでこのビット信号を記録媒体に記録することで圧縮
オーディオ信号が得られる。このような心理的オーディ
オ信号圧縮技術を使用することによって、コンパクト・
ディスク(以下、ＣＤ)やデジタル・オーディオ・テープ
・レコーダ(以下、ＤＡＴ)に記憶されているデジタルオ
ーディオ信号のデータ量の数分の１のデータ量に圧縮で
きる。

【０００４】

【発明が解決しようとする課題】前述のように、心理的
オーディオ信号圧縮技術により得られた圧縮オーディオ
信号は、少なくとも最小可聴限特性およびマスキング効
果特性を含む人間の聴覚特性を利用して、人間の耳には
聞こえないであろう周波数成分が除去されている。この
ため、圧縮オーディオ信号を大音量で再生して音楽を楽
しむ場合や圧縮オーディオ信号を再生中に装置外部から
騒音が入る場合、圧縮オーディオ信号の再生時の音量を
大きくした時および装置外部の騒音の音圧レベルが比較
的短時間に低下する時などでは、耳の肥えたリスナーの
みならず平均的な聴覚を持ったリスナーにとっても圧縮
オーディオ信号を再生した音が不自然に聞こえることが
ある。通常、音量を上げたり騒音の音圧レベルが低下す
ると、それまで聞こえなかった音が聞こえるように感じ
られることがあるが、これは、圧縮オーディオ信号では
ほとんど聞こえないであろう音が除去されているため
に、このような状態では本来聞こえてくるはずの音が聞
こえず、それが不自然に感じられるためである。また、
圧縮オーディオ信号再生装置からカセットテープやＤＡ
Ｔ等の媒体へ録音したものを再生する場合にも、上記と
同様な問題点が生じていた。このように、心理的オーデ
ィオ信号圧縮技術はデータ量を大幅に減少させることが
できる一方、基本的に前述のような問題点を抱えてい
る。本発明はこの問題の点に鑑みて、圧縮オーディオ信
号を再生する場合に、できるだけ圧縮符号化する前のデ
ジタルオーディオ信号に近い音で再生が可能な、圧縮オ
ーディオ信号補正器、および圧縮オーディオ信号再生装
置を提供することにある。

【０００５】

【課題を解決するための手段】前述の目的を達成するた
め、本発明の圧縮オーディオ信号補正器は、人間の聴覚
特性を利用して原オーディオ信号から人間の耳には聞こ
えないとみなされた周波数成分を除去することにより圧
縮されてなる圧縮オーディオ信号を入力する圧縮オーデ
ィオ信号入力手段と、前記圧縮オーディオ信号入力手段
により入力された前記圧縮オーディオ信号を周波数領域
のスペクトルオーディオ信号に変換する第１の変換手段
と、前記第１の変換手段により変換された前記周波数領
域のスペクトルオーディオ信号の特性を分析することに
よりこのスペクトルオーディオ信号の特性データを検出
するスペクトルオーディオ信号分析手段と、前記スペク
トルオーディオ信号の特性データに基づいて、前記原オ
ーディオ信号が圧縮される際に除去された周波数成分の
うちの少なくとも１つの除去された周波数成分を推定
し、この推定された周波数成分を前記周波数領域のスペ
クトルオーディオ信号に挿入する推定／挿入手段とを具
備している。これにより、圧縮する際に除去された周波
数成分は、推定／挿入手段によって推定され、推定され
た周波数成分が圧縮オーディオ信号に挿入されるので、
圧縮される前の原音に近い音で圧縮オーディオ信号を再
生することが可能になり、圧縮オーディオ信号を再生中
に音量を上げても、不自然に聞こえることはなく、リス
ナーにとって自然な音で再生することが可能となる。

【０００６】本発明の圧縮オーディオ信号補正器は、前
記スペクトルオーディオ信号分析手段によって分析され
る前記周波数領域のスペクトルオーディオ信号の特性は
前記周波数領域のスペクトルオーディオ信号上に存在す
る周波数成分の周波数と音圧レベルであることを特徴と
している。

【０００７】本発明の圧縮オーディオ信号補正器は、少
なくとも最小可聴限特性あるいはマスキング効果特性を
含む人間の聴覚特性に関する特性データおよび楽器から
発生される音のスペクトルに関する特性データを蓄積す
るデータベースをさらに具備し、前記推定／挿入手段は
前記データベースに蓄積されている人間の聴覚特性に関
する特性データおよび楽器から発生される音のスペクト
ルに関する特性データのうち少なくともいずれか１つを
参照することにより前記少なくとも１つの除去された周
波数成分を推定することを特徴としている。これによ
り、データベースの特性データを参照することで、的確
な周波数成分を推定／挿入することが可能となるので、
圧縮前のオーディオ信号に近い音で再生することが可能
となる。

【０００８】本発明の圧縮オーディオ信号補正器は、前
記除去されたと推定される周波数成分は倍音成分および
主音成分のうち少なくともいずれか一方であることを特
徴としている。

【０００９】本発明の圧縮オーディオ信号補正器は、前
記除去されたと推定される周波数成分はゆらぎ成分であ
ることを特徴としている。

【００１０】本発明の圧縮オーディオ信号補正器は、外
部の騒音のレベルを検出し、この騒音のレベルに応じた
騒音レベル情報を前記推定／挿入手段に伝送する騒音レ
ベル検出手段をさらに具備し、前記推定／挿入手段は前
記少なくとも１つの除去された周波数成分を推定する際
に、前記騒音レベル検出手段から伝送された前記騒音レ
ベル情報に基づいて前記除去されたと推定される周波数
成分の音圧レベルを制御することを特徴としている。こ
れにより、再生時の外部の騒音のレベルに応じて周波数
成分を推定および挿入することが可能となる。

【００１１】本発明の圧縮オーディオ信号補正器は、再
生すべきオーディオ信号の再生音量についての音量制御
情報を入力し、入力された音量制御情報を推定／挿入手
段に伝送する音量制御情報入力手段をさらに具備し、前
記推定／挿入手段は前記少なくとも１つの除去された周
波数成分を推定する際に、前記音量制御情報入力手段か
ら伝送された前記音量制御情報に基づいて前記除去され
たと推定される周波数成分の音圧レベルを制御すること
を特徴としている。これにより、再生時の音量に応じて
周波数成分を推定および挿入することが可能となる。

【００１２】本発明の圧縮オーディオ信号補正器は、外
部の騒音を騒音信号として入力する騒音信号入力手段
と、この騒音信号入力手段により入力された前記騒音信
号を周波数領域の騒音スペクトルに変換する第２の変換
手段と、この第２の変換手段により変換された前記騒音
スペクトルを基に前記外部の騒音により生じるマスキン
グ曲線に応じたマスキング曲線データを推定するマスキ
ング曲線推定手段と、前記マスキング曲線推定手段で推
定された前記マスキング曲線データに基づいて、前記推
定／挿入手段により前記除去されたと推定される周波数
成分が挿入されたスペクトルオーディオ信号の前記マス
キング曲線データを下回る周波数成分に対して、この周
波数成分の音圧レベルが前記マスキング曲線データを上
回るように補正処理を行う補正処理手段とをさらに具備
する。これによって、外部の騒音により、再生されてい
る音が聞こえなくなることはなくなり、リスナーにとっ
て快適な圧縮オーディオ信号補正器を提供することがで
きる。

【００１３】本発明の圧縮オーディオ信号補正器は、前
述の圧縮オーディオ信号はデジタル信号であることを特
徴としている。

【００１４】本発明の圧縮オーディオ信号再生装置は、
前述の圧縮オーディオ信号補正器を具備していることを
特徴としている。

【００１５】

【発明の実施の形態】以下、本発明の好適な実施形態を
図面を参照して説明する。かかる例は、本発明の実施の
形態の一態様を示すものであり、この発明を限定するも
のではないとともに、この発明の意図する範囲で任意に
変更可能である。まず、第１の実施形態について説明す
る。

【００１６】図１は、本発明に係わる圧縮オーディオ信
号補正器１００の全体の基本的な構成例を示すブロック
図である。圧縮オーディオ信号補正器１００は、圧縮オ
ーディオ信号Ｄ１が入力される圧縮オーディオ信号入力
部１と、入力された圧縮オーディオ信号Ｄ１からスペク
トルオーディオ信号Ｄ２へ変換を行う第１の変換部２
と、スペクトルオーディオ信号Ｄ２上に存在する各周波
数成分について分析を行い、この分析から得られた各周
波数成分の周波数および音圧レベル等の特性データＤ
３、各周波数成分のゆらぎに関する特性データＤ４の検
出を行うスペクトルオーディオ信号分析部３と、圧縮符
号化する際に除去された倍音主音成分を推定し、推定し
た倍音主音成分をスペクトルオーディオ信号Ｄ２に挿入
する倍音主音成分推定／挿入部４と、圧縮符号化する際
に除去されたゆらぎ成分を推定し、推定したゆらぎ成分
を倍音主音成分が付加されたスペクトルオーディオ信号
Ｄ５に挿入するゆらぎ成分推定／挿入部５と、周波数成
分を推定／挿入する際に参照する人間の聴覚特性等の特
性データが蓄積されたデータベース６と、倍音主音成分
およびゆらぎ成分が付加されたスペクトルオーディオ信
号Ｄ８から時間領域のデジタルオーディオ信号Ｄ９に逆
変換処理を行う逆変換部７と、時間領域のデジタルオー
ディオ信号Ｄ９を出力するオーディオ信号出力部８とを
有している。

【００１７】以上のように構成された圧縮オーディオ信
号補正器１００の動作について説明する。圧縮オーディ
オ信号入力部１には、従来手法を含む種々の心理的圧縮
手法で圧縮された圧縮オーディオ信号が入力され、第１
の変換部２に供給される。第１の変換部２では入力され
た圧縮オーディオ信号Ｄ１に対して、通常の圧縮オーデ
ィオ信号再生装置内の処理方法と同様な復号化（デコー
ド）処理を行い、時間領域のデジタルオーディオ信号を
生成し、生成されたデジタルオーディオ信号に対して高
速フーリエ変換、離散フーリエ変換、コサイン変換、変
形離散コサイン変換等の変換処理を施し、周波数領域の
スペクトルオーディオ信号Ｄ２を得る。

【００１８】なお、第１の変換部２においてスペクトル
オーディオ信号Ｄ２を得る別の方法として、入力された
圧縮オーディオ信号Ｄ１から、時間領域のオーディオ信
号を生成しこれを再生してからスペクトルオーディオ信
号Ｄ２に変換するのではなく、符号化されている圧縮オ
ーディオ信号Ｄ１が周波数領域の情報であることを利用
して、入力される圧縮オーディオ信号Ｄ１を直接的に全
帯域のスペクトルに復元し、スペクトルオーディオ信号
Ｄ２を作成するようにしてもよい。

【００１９】次に、スペクトルオーディオ信号分析部３
において、第１の変換部２で得られたスペクトルオーデ
ィオ信号Ｄ２上に存在する各周波数成分の分析および分
析された特性データの検出を行う。以下に、その具体的
な分析および検出の例を示す。

【００２０】まず、スペクトルオーディオ信号Ｄ２上の
全周波数成分の中で、最も低い周波数の周波数成分を主
音成分とみなし、その周波数成分の周波数、音圧レベル
について分析を行い、分析された特性データを得る。そ
の後、その主音成分の周波数の整数倍に相当する周波数
に存在する倍音成分を検索し、倍音成分の周波数、音圧
レベルについて分析を行い、分析された特性データを得
る。倍音成分の検索が終わると、まだ特性データが分析
されていない周波数成分の中で最も低い周波数の周波数
成分を主音成分とみなし、同様の処理を繰り返す。そし
て、この処理から得られた特性データの中から、主音成
分と倍音成分とがほぼ正しく関係づけられているものの
みを、正しい主音成分および倍音成分として検出する。
正しく関係づけられていないものについては、その特性
データを削除する。

【００２１】上記の分析例とは別の方法として、スペク
トルオーディオ信号Ｄ２上に存在する全ての周波数成分
に対し、周波数、音圧レベルについて分析を行い、その
結果得られた全周波数成分の特性データを検出してもよ
い。この場合は、分析された全周波数成分の周波数の特
性データから主音倍音の関係を推定し、各周波数成分の
周波数、音圧レベルの特性データを主音倍音の関係にあ
る周波数成分ごとにそれぞれグループ分けをする。これ
によって、スペクトルオーディオ信号Ｄ２上に存在する
全ての周波数成分について特性データを検出することが
できる。

【００２２】スペクトルオーディオ信号分析部３では、
さらに、倍音主音成分推定／挿入部４およびゆらぎ成分
推定／挿入部５においてより正確な周波数成分を推定／
挿入することを目的として、各周波数成分の周波数、音
圧レベルを分析および検出することに加え、ゆらぎに関
する特性データについて分析を行い、その特性データを
検出してもよい。

【００２３】倍音主音成分推定／挿入部４には、スペク
トルオーディオ信号分析部３で検出された各周波数成分
に関する特性データＤ３（周波数、音圧レベル）とスペ
クトルオーディオ信号Ｄ２が伝送される。倍音主音成分
推定／挿入部４では、除去された倍音主音成分を推定
し、データベース６に蓄積された人間の聴覚特性に関す
る特性データを参照して挿入すべき倍音主音成分をスペ
クトルオーディオ信号Ｄ２に挿入する。スペクトルオー
ディオ信号分析部３でゆらぎに関する特性データＤ４が
検出された場合は、この特性データＤ４を直接ゆらぎ成
分推定／挿入部５に伝送する。もちろんゆらぎに関する
特性データＤ４は、各周波数成分に関する特性データＤ
３とスペクトルオーディオ信号Ｄ２と共に倍音主音成分
推定／挿入部４に伝送され、その後倍音主音成分推定／
挿入部４からゆらぎ成分推定／挿入部５に伝送してもよ
い。

【００２４】データベース６には、少なくとも最小可聴
限特性やマスキング効果特性を含む人間の聴覚特性に関
する平均的な特性データや多種類の楽器音のそれぞれ特
徴的なスペクトルの特性データ（倍音主音成分の音圧レ
ベル分布、ゆらぎパターン等）等が蓄積されており、倍
音主音成分やゆらぎ成分を推定／挿入するに際して、必
要となる特性データを倍音主音成分推定／挿入部４およ
びゆらぎ成分推定／挿入部５に伝送する役割を果たす。

【００２５】以下に、倍音主音成分の推定方法の具体例
を挙げる。図５に示すように、音圧レベルが最小可聴限
曲線を上回る周波数成分が周波数ｆ_１に主音成分Ｔ_１、
周波数２ｆ_１に２倍音成分Ｔ_２として存在する場合を考
える。ここで図５のグラフの横軸は周波数（単位はヘル
ツ）を示し、この場合はリニアスケールで記載してい
る。縦軸は音圧レベル（単位はデシベル）を示してい
る。図６から図８のグラフの各軸についても同様に示し
ている。図５の場合はＴ_１、Ｔ_２の音圧レベルの値
Ｐ_１、Ｐ_２の２点を基に直線的な近似を行い、周波数３
ｆ_１、４ｆ_１に、さらに高次の倍音成分Ｔ_３、Ｔ_４の音
圧レベルの値Ｐ_３、Ｐ_４を推定する。図６に示すよう
に、音圧レベルが最小可聴限曲線を上回る周波数成分が
３つ以上存在する場合は、各周波数の各音圧レベルの値
を基に補間処理を行い、推定すべき倍音成分の音圧レベ
ルの値が補間処理から得られた補間曲線上に乗るように
推定する。音圧レベルが最小可聴限曲線を上回る周波数
成分が周波数ｆ_１、３ｆ_１、５ｆ _１ にＴ_１、Ｔ_３、Ｔ
_５と奇数次のみの倍音成分として存在する場合は、各ピ
ークの各音圧レベルの値Ｐ_１、Ｐ_３、Ｐ_５を基に補間処
理を行い、補間処理から得られた補間曲線上に乗るよう
にＴ_７、Ｔ_９・・・といったさらに奇数次で高次の倍音
成分の音圧レベルを推定する。

【００２６】また、図７に示すように、本来現れるべき
倍音成分Ｔ_２が別の音を起源とする音圧レベルの大きな
スペクトルＴ_ｍによってマスクされた場合、この場合も
同様に、存在している周波数成分の音圧レベルＰ_１、Ｐ
_３、Ｐ_４を基に補間処理を行い、現れるべき倍音Ｔ_２の
音圧レベルＰ_２を補間曲線上に推定する。

【００２７】また、主音成分が除去され、その主音成分
の倍音にあたる倍音成分だけがスペクトルオーディオ信
号Ｄ２上に存在している場合でかつ、スペクトルオーデ
ィオ信号分析部３において前述のような全ての周波数成
分について特性データを検出した場合には、存在してい
る倍音成分からその主音成分およびさらに高次の倍音成
分の音圧レベルを推定する。

【００２８】他の倍音主音成分の推定方法として、デー
タベース６に蓄積された特性データを参照して推定を行
う方法がある。各周波数成分に関する特性データＤ３に
基づいて、まず楽器音の種類（例えば、ピアノ音、バイ
オリン音等）を推定し、その後データベース６に蓄積さ
れたその楽器音に該当する特性データを参照しつつ倍音
主音成分を推定する方法である。例えば、各周波数成分
に関する特性データＤ３の倍音主音成分音圧レベル分布
の特徴をデータベース６に蓄積されている少なくとも一
つの楽器音の倍音主音成分の音圧レベル分布の特性デー
タ（例えば、ピアノ音の音圧レベル分布パターン、バイ
オリン音の音圧レベル分布パターン等）と比較し、互い
の音圧レベル分布の特徴が似ている場合、データベース
６に蓄積された倍音主音成分の音圧レベル分布データを
参照して、推定すべき倍音主音成分の音圧レベルの推定
を行う。この方法によって、再生音により適当な倍音主
音の推定が可能となる。さらに、データベース６に楽器
音に特徴的なスペクトルの特性データをあらかじめ数多
く蓄積させておけば、色々な音楽に対応して倍音主音成
分を推定することが可能となる。

【００２９】また、文字情報の入力が可能な記録媒体
（例えば、ＭＤ）の場合であれば、倍音主音成分の推定
として別の方法が利用できる。すなわち、記録媒体に入
力された文字情報を判別し、再生されている楽器音の種
別（例えば、ピアノソロ、バイオリンソロ）を決定し、
そのデータベース６に蓄積されている楽器音に特徴的な
スペクトルの特性データを参照して推定し、倍音主音成
分の音圧レベルを決定する方法である。この場合、デー
タベース６にはあらかじめ、数多くの曲についての文字
情報と参照すべき楽器音の情報を蓄積しておく必要があ
る。より具体的に述べれば、圧縮オーディオ信号の再生
を行う際に、まずデータベース６を用いて、記録媒体に
記録された文字情報と同一の文字情報の検索が行われ
る。同一の文字情報がサーチされると、その曲の楽器音
の情報データに基づいて、推定すべき楽器音に特徴的な
スペクトルの特性データを参照し倍音主音成分を推定で
きるわけである。例えば、文字情報"エリーゼのために"
の場合はその曲の参照すべき楽器音の情報として"ピア
ノソロ"と、あらかじめデータベース６に記録されてい
るとする。この場合、文字情報に"エリーゼのために"と
入力されているＭＤを再生すれば、データベース６に蓄
積されたデータ中から文字情報 "エリーゼのために"が
検索され、それに従ってピアノ音の音圧レベル分布デー
タを参照し推定すべき倍音主音成分を推定するように制
御される。

【００３０】推定された倍音主音成分を挿入するに際
し、挿入すべき音がリスナーにとってどの程度の感覚で
聞こえるのかを決定するために、やはりデータベース６
に蓄積されている人間の聴覚特性に関する特性データが
参照される。例えば、リスナーにほとんど聞こえない程
度に倍音主音成分を挿入するのであれば、挿入すべき倍
音主音成分の全ての音圧レベルが最小可聴限曲線および
マスキング曲線を下回るように、挿入すべき倍音主音成
分全ての音圧レベルに対し０以上１未満の実数倍をす
る。あるいは、リスナーに少し聞こえる程度に倍音主音
成分を挿入したいのであれば、挿入すべき倍音主音成分
の全てあるいは一部の音圧レベルが最小可聴限曲線およ
びマスキング曲線を少し上回るように、挿入すべき倍音
主音成分全ての音圧レベルに対し１以上の実数倍をす
る。

【００３１】以上のような工程を経た後、生成された挿
入すべき倍音主音成分はスペクトルオーディオ信号Ｄ２
に挿入される。倍音主音成分が付加されたスペクトルオ
ーディオ信号Ｄ５はゆらぎ成分推定／挿入部５に伝送さ
れる。

【００３２】ゆらぎ成分推定／挿入部５では、圧縮する
際に除去された各周波数成分におけるゆらぎ成分を推定
し、データベース６に蓄積された人間の聴覚特性に関す
る特性データを参照して挿入すべきゆらぎ成分をスペク
トルオーディオ信号Ｄ５に挿入する。ゆらぎ成分の挿入
は、圧縮する際にゆらぎ成分の全てあるいは一部が除去
された周波数成分や倍音主音成分推定／挿入部４で付加
された倍音主音成分に対し行われる。

【００３３】以下に、ゆらぎ成分の推定方法の具体例を
挙げる。その一つとして、データベース６に蓄積された
自然の法則の特性データ（例えば、ｆ分の１ゆらぎ）を
参照してゆらぎ成分を推定する方法がある。ｆ分の１ゆ
らぎとは、スペクトルの音圧レベルが周波数の逆数に比
例するように分布するゆらぎのことであり、人が心地よ
く感じることのできるゆらぎと言われている。この方法
は、ゆらぎ成分を推定するあらゆる場合に適用すること
が可能である。

【００３４】また倍音主音成分推定／挿入部４におい
て、前述のような、倍音主音成分の推定を各周波数成分
に関する特性データＤ３から楽器音の種類を推定する方
法で行った場合は、データベース６に蓄積されているそ
の楽器音に該当するゆらぎパターンの特性データを参照
してゆらぎ成分の挿入を行う。これにより、再生音に適
したゆらぎ成分を挿入することが可能となる。

【００３５】また、スペクトルオーディオ信号分析部３
において各周波数成分の実際のゆらぎに関する特性デー
タＤ４が検出された場合は、この特性データＤ４をゆら
ぎ成分の推定に用いる。

【００３６】この方法は、例えば以下のような場合に用
いると効果的である。図８に示すように、ある周波数ｆ
_ｍに存在する主音成分Ｔ_ｍの音圧レベルが大きく、その
ゆらぎ成分が比較的広い周波数領域に広がっている場
合、周波数ｆ_ｍ近傍の周波数領域に分布しているゆらぎ
成分は除去されずに伝送されるが、周波数ｆ_ｍから相対
的に離れた周波数領域にまで広がったゆらぎ成分は主音
成分Ｔ_ｍによるマスキング効果により感知されにくくな
ることが多い。この場合は、検出されたゆらぎ成分に基
づいてマスクされたゆらぎ成分の推定を行う。もちろん
倍音成分で同様な現象が起きた場合にも、この推定方法
は適用できる。

【００３７】また、倍音主音成分推定／挿入部４におい
て付加された倍音主音成分にはゆらぎ成分は含まれてい
ないので、そのゆらぎ成分の推定に付加された倍音主音
成分と倍音主音の関係にある周波数成分のゆらぎに関す
る特性データＤ４を用いれば効果的である。

【００３８】倍音主音成分の推定方法の１つとして文字
情報を利用する手法を前述したが、これと同様に、ゆら
ぎ成分の推定にも記録媒体に入力された文字情報を利用
することができる。すなわち前述と同様に、入力された
文字情報によって再生されている楽器音の種別が指定さ
れ、その指定された楽器音のスペクトルの特性データを
参照して推定すべきゆらぎ成分を推定する。

【００３９】以上のように推定されたゆらぎ成分は、倍
音主音成分が付加されたスペクトルオーディオ信号Ｄ５
に挿入される。その後、倍音主音成分とゆらぎ成分が付
加されたスペクトルオーディオ信号Ｄ８は逆変換部７に
伝送される。

【００４０】この倍音主音成分およびゆらぎ成分が付加
されたスペクトルオーディオ信号Ｄ８は、逆変換部７で
逆高速フーリエ変換、逆離散フーリエ変換、逆コサイン
変換、逆変形離散コサイン変換等を用いて逆変換処理が
施され、再び時間領域のデジタルオーディオ信号Ｄ９へ
と変換される。そして、変換された時間領域のデジタル
オーディオ信号Ｄ９はオーディオ信号出力部８へ伝送さ
れ、さらにオーディオ信号出力部８から出力される。

【００４１】以上説明した、第１の実施形態において
は、第１の変換部は高速フーリエ変換、離散フーリエ変
換、コサイン変換、変形離散コサイン変換等を用いて変
換処理を行うとしたが、これ以外にも第１の変換部にお
いて時間領域のオーディオ信号に変換後、複数のバンド
・パスフィルタを用いて帯域分割し、サブバンド信号を
生成して、第１の実施形態と同様な処理をし、逆変換部
７で各帯域のサブバンド信号を合成する方法も考えられ
る。

【００４２】次に、本発明の第２の実施形態について説
明する。本実施形態は、倍音主音成分およびゆらぎ成分
を推定する際に、リスナーの指定に基づき、データベー
ス６に蓄積されている特性データを選択的に参照できる
ようにしたものである。その構成を図２に示す。第１の
実施形態と共通する部分には同一の符号を付してその説
明を省略する。この実施形態に相当する圧縮オーディオ
信号補正器２００の構成において、第１の実施形態の圧
縮オーディオ信号補正器１００と異なる点は楽器音の種
類を選択指定操作でき、選択指定操作に応じた音種別入
力コマンドＤ１０をデータベース６に伝送する音種別選
択入力部９と、リスナーの聴覚特性を選択指定操作で
き、選択指定操作に応じたリスナー聴覚入力コマンドＤ
１１をデータベース６に伝送するリスナー聴覚選択部１
０を設けている点である。

【００４３】音種別選択入力部９では、リスナーが再生
している楽器音の種類（例えば、ピアノ音、バイオリン
音） をリスナーが直接的に選択指定操作できる。その
選択指定操作に応じた音種別入力コマンドＤ１０がデー
タベース６に伝送され、音種別入力コマンドＤ１０に応
じた楽器音に特徴的なスペクトルの特性データを倍音主
音成分推定／挿入部４およびゆらぎ成分推定／挿入部５
に伝送することができる。

【００４４】これによれば、人間の聴覚特性は人間の年
齢によって変化し異なることに対応できる。すなわち、
リスナーがリスナー聴覚選択入力部１０で、リスナーの
聴覚特性（例えば、男性、女性、子供、若者、中年、お
年寄りで区別）を選択指定操作できる。これにより選択
指定されたリスナーの聴覚特性に基づき、リスナーの聴
覚に適した倍音主音成分、ゆらぎ成分を挿入する事が可
能となる。その選択指定操作に応じたリスナー聴覚入力
コマンドＤ１１がデータベース６に伝送され、データベ
ース６に入力されたリスナー聴覚入力コマンドＤ１１に
相当する人間の聴覚特性に関する特性データを倍音主音
成分推定／挿入部４およびゆらぎ成分推定／挿入部５に
与えることができる。

【００４５】次に本発明の第３の実施形態について説明
する。本実施形態は倍音主音成分およびゆらぎ成分を推
定する際に、圧縮オーディオ信号を再生するその場の騒
音や再生時の音量を検出し、その場その時に適した倍音
主音成分およびゆらぎ成分を推定するようにしたもので
ある。図３に示すように、本実施形態の圧縮オーディオ
信号補正器３００の構成は、第１の実施形態の構成に、
騒音レベルを検出し騒音レベル情報Ｄ１２を倍音主音成
分推定／挿入部４およびゆらぎ成分推定／挿入部５に伝
送する騒音レベル検出部１１、音量を検出し音量制御情
報Ｄ１３を倍音主音成分推定／挿入部４およびゆらぎ成
分推定／挿入部５に伝送する音量制御情報入力部１２を
加えたものである。第１の実施形態と共通する部分には
同一の符号を付してその説明を省略する。もちろん、第
２の実施形態の構成に騒音レベル検出部１１、音量制御
情報入力部１２を付加した形態にしても構わない。ま
た、倍音主音成分推定／挿入部４に騒音レベル情報Ｄ１
２、音量制御情報Ｄ１３を伝送し、その後倍音主音成分
推定／挿入部４からゆらぎ成分推定／挿入部５に騒音レ
ベル情報Ｄ１２、音量制御情報Ｄ１３を伝送する構成に
しても構わない。

【００４６】このように、構成された圧縮オーディオ信
号補正器３００の動作を説明する。騒音レベル検出部１
１では、装置外部の騒音のレベルあるいはリスナーの周
囲に存在する存在する音のレベルを例えばマイクロホン
（図示せず）等で検出し、その騒音レベルから騒音レベ
ル情報Ｄ１２を生成し、その騒音レベル情報Ｄ１２を倍
音主音成分推定／挿入部４およびゆらぎ成分推定／挿入
部５に伝送する。倍音主音成分推定／挿入部４では、伝
送された騒音レベル情報Ｄ１２に基づいて倍音主音成分
を推定する。また、同様にゆらぎ成分推定／挿入部５で
は、伝送された騒音レベル情報Ｄ１２に基づいてゆらぎ
成分を推定する。例えば、外部の騒音レベルが低下する
場合、低下するにつれて挿入すべき倍音主音成分および
ゆらぎ成分の音圧レベルを所定のレベルにまで徐々に大
きくし、逆に外部の騒音レベルが増大する場合は、増大
するにつれて、挿入すべき倍音主音成分およびゆらぎ成
分の音圧レベルを徐々に小さくする。あるいは、外部の
騒音レベルが低下して、リスナーに再生音が不自然に感
じられるであろう時のみに、倍音主音成分およびゆらぎ
成分の推定を行うことも考えられる。また、再生中に所
定の音圧レベルよりも大きな音圧レベルの非常に大きな
騒音が入り、その騒音により再生されている音がマスク
されリスナーに聞こえないと判断された場合は、倍音主
音成分およびゆらぎ成分の推定を一切行わないことも考
えられる。

【００４７】音量制御情報入力部１２では、再生時の音
量制御情報Ｄ１３を入力し、その音量制御情報Ｄ１３を
倍音主音成分推定／挿入部４およびゆらぎ成分推定／挿
入部５に伝送する。倍音主音成分推定／挿入部４では、
音量制御情報Ｄ１２に基づいて倍音主音成分を推定す
る。また、同様にゆらぎ成分推定／挿入部５でも、音量
制御情報Ｄ１２に基づいてゆらぎ成分を推定する。例え
ば、音量を上げていくにつれ、挿入すべき倍音主音成分
およびゆらぎ成分の全ての音圧レベルを徐々に大きくし
ていくという方法がある。あるいは、圧縮オーディオ信
号を所定の音圧レベルよりも大きな音量で再生し、リス
ナーにとって圧縮オーディオ信号の再生音が不自然に感
じられるであろう場合のみに、倍音主音成分およびゆら
ぎ成分の推定を行う方法もある。また、所定の音圧レベ
ルよりも小さな音量で再生していて、仮に推定した倍音
主音成分およびゆらぎ成分を挿入してもリスナーには絶
対に聞こえないと判断された場合は倍音主音成分および
ゆらぎ成分を一切推定することは行わないという方法も
ある。

【００４８】次に、本発明の第４の実施形態について説
明する。本実施形態は、倍音主音成分およびゆらぎ成分
が挿入された圧縮オーディオ信号を再生している際に、
検出された外部の騒音に対して周波数分析を行い、騒音
によるマスキング効果の影響をマスキング曲線データと
して推定し、推定されたマスキング曲線データを基にマ
スクされた周波数成分を推定し、その周波数成分の各音
圧レベルを人間の耳に聞こえるレベルに引き上げるよう
にしたものである。図４に示すように、本実施形態の圧
縮オーディオ信号補正器４００の構成は、第１の実施形
態の構成に、外部騒音を標本化処理およびＡ／Ｄ変換処
理によってデジタルデータの騒音信号Ｄ１４に変換して
入力し、その騒音信号Ｄ１４を第２の変換部１４に伝送
する騒音信号入力部１３と、騒音信号Ｄ１４を騒音スペ
クトルＤ１５に変換し騒音スペクトルＤ１５をマスキン
グ曲線推定手段１５に伝送する第２の変換部１４と、デ
ータベース６中の人間の聴覚特性に関する特性データを
参照しながら騒音スペクトルＤ１５からマスキング曲線
データＤ１６を推定し、そのマスキング曲線データＤ１
６を補正処理部１６に伝送するマスキング曲線推定部１
５と、倍音主音成分とゆらぎ成分が付加されたスペクト
ルオーディオ信号Ｄ８とマスキング曲線データＤ１６に
基づき、マスクされた周波数成分がマスキング曲線を上
回るように補正処理を行い、補正処理後のスペクトルオ
ーディオ信号Ｄ１７を逆変換部７に伝送する補正処理部
１６を加えたものである。第１の実施形態と共通する部
分には同一の符号を付してその説明を省略する。もちろ
ん第２、第３の実施形態の構成にこれらを加えた構成に
しても構わない。

【００４９】このように構成された圧縮オーディオ信号
補正器４００の動作を説明する。騒音信号入力部１３で
は、外部の騒音に対して標本化処理およびＡ／Ｄ変換処
理を行い、これらの処理によって得られたデジタルデー
タの騒音信号Ｄ１４が入力され、その騒音信号Ｄ１４は
第２の変換部１４に伝送される。第２の変換部１４で
は、高速フーリエ変換、離散フーリエ変換等の変換処理
あるいは複数のバンド・パスフィルタを用いることによ
って時間領域の騒音信号Ｄ１４から周波数領域の騒音信
号（騒音スペクトルＤ１５）に変換され、変換された騒
音スペクトルＤ１５はマスキング曲線推定部１５に伝送
される。このマスキング曲線推定部１５では、データベ
ース６から伝送される人間の聴覚特性に関する特性デー
タＤ１８を参照しながら、伝送された騒音スペクトルＤ
１５からマスキング曲線データＤ１６を推定し、推定さ
れたマスキング曲線データＤ１６を補正処理部１６へと
伝送する。補正処理部１６では、推定されたマスキング
曲線データＤ１６を基にして、倍音主音成分とゆらぎ成
分が付加されたスペクトルオーディオ信号Ｄ８のマスキ
ング曲線を下回りマスクされた周波数成分に対して、マ
スキング曲線を上回るように音圧レベルを引き上げて補
正処理を行う。この補正処理が終了した補正処理後のス
ペクトルオーディオ信号Ｄ１７は逆変換部７へと伝送さ
れる。以上の構成により、再生されている音が外部騒音
によって聞こえなくなることはなくなる。

【００５０】

【発明の効果】以上説明したように、この発明の圧縮オ
ーディオ信号補正器および圧縮オーディオ信号再生装置
を用いて圧縮オーディオ信号を処理することにより、圧
縮時に除去され失われた倍音主音成分およびゆらぎ成分
が再び推定されて圧縮オーディオ信号に付加される。こ
れによって、圧縮前のデジタルオーディオ信号を再生し
た音に近い音で圧縮オーディオ信号を再生することが可
能となるので、音量を上げたような場合に不自然な音に
聞こえるという従来の問題点が改善される。

【００５１】また、この発明の圧縮オーディオ信号補正
器および圧縮オーディオ信号再生装置を用いて圧縮オー
ディオ信号を処理することにより、リスナーが再生して
いる楽器音の種類とリスナーの聴覚に適した聴覚特性を
選択して、圧縮時に除去された倍音主音成分およびゆら
ぎ成分が推定／挿入され、リスナーは再生している音の
楽器音を指定することができるので、その再生音とは異
なった楽器音の倍音主音成分およびゆらぎ成分を推定／
挿入することを防ぐことができ、再生音により適した倍
音主音成分およびゆらぎ成分を推定／挿入することがで
きる。また、リスナー個人に適した聴覚特性を選択でき
ることによって、リスナーに適した倍音主音成分および
ゆらぎ成分を挿入することができる。このように、リス
ナー一人一人に優しい圧縮オーディオ信号補正器および
圧縮オーディオ信号再生装置を提供することができる。

【００５２】また、この発明の圧縮オーディオ信号補正
器および圧縮オーディオ信号再生装置を用いて圧縮オー
ディオ信号を処理することにより、その場その時の騒音
レベル情報と音量制御情報を検出し、それらの情報に基
づき圧縮時に除去された倍音主音成分およびゆらぎ成分
が推定され、再生時の騒音レベル、音量に適した倍音主
音成分およびゆらぎ成分を推定することが可能となる。
さらに、再生中に音圧レベルの非常に大きな騒音が入っ
て、リスナーに再生されている音が全く聞こえないと判
断された場合や非常に小さな音量で再生を行っている場
合に倍音主音成分およびゆらぎ成分の推定を行わなこと
で無駄な消費電力の削減が可能となる。

【００５３】また、この発明の圧縮オーディオ信号補正
器および圧縮オーディオ信号再生装置を用いて圧縮オー
ディオ信号を処理することにより、騒音信号に基づき作
成されたマスキング曲線データから、マスクされたであ
ろう周波数成分を推定し、それらの周波数成分の音圧レ
ベルを人間の耳に聞こえるレベルにまで引き上げること
ができ、これにより、外部の騒音により再生されている
音が聞こえなくなるというようなことがなくなり、リス
ナーにとって快適な圧縮オーディオ信号補正器および圧
縮オーディオ信号再生装置を提供することができる。

【００５４】そして、圧縮オーディオ信号再生装置から
カセットテープやＤＡＴ等の記録媒体へ録音する際に、
この発明の圧縮オーディオ信号補正器および圧縮オーデ
ィオ信号再生装置を用いれば、圧縮前のデジタルオーデ
ィオ信号を再生した音に近い音で媒体に録音することが
可能となる。

【図面の簡単な説明】

【図１】 第１の実施形態の構成を説明するための圧縮
オーディオ信号補正器１００のブロック図である。

【図２】 第２の実施形態の構成を説明するための圧縮
オーディオ信号補正器２００のブロック図である。

【図３】 第３の実施形態の構成を説明するための圧縮
オーディオ信号補正器３００のブロック図である。

【図４】 第４の実施形態の構成を説明するための圧縮
オーディオ信号補正器４００のブロック図である。

【図５】 この図は、音圧レベルが最小可聴限を上回る
周波数成分が２つ存在する場合のスペクトル分布図を表
している。

【図６】 この図は、音圧レベルが最小可聴限を上回る
周波数成分が３つ存在する場合のスペクトル分布図を表
している。

【図７】 この図は、本来現れるべき倍音Ｔ_２が別の音
を起源とするスペクトルＴ_ｊでマスクされている場合の
スペクトル分布図を表している。

【図８】 この図は、周波数ｆ_ｍに存在する主音成分Ｔ
_ｍの音圧レベルが大きく、そのゆらぎ成分が比較的広い
周波数領域に広がっている場合の図を示す。

【符号の説明】

１…圧縮オーディオ信号入力部、２…第１の変換部、３
…スペクトルオーディオ信号分析部、４…倍音主音成分
推定／挿入部、５…ゆらぎ成分推定／挿入部、６…デー
タベース、７…逆変換部、８…オーディオ信号出力部、
９…音種別選択入力部、１０…リスナー聴覚選択入力
部、１１…騒音レベル検出部、１２…音量制御情報入力
部、１３…騒音信号入力部、１４…第２の変換部、１５
…マスキング曲線推定部、１６…補正処理部、Ｄ１…圧
縮オーディオ信号、Ｄ２…スペクトルオーディオ信号、
Ｄ３…スペクトルオーディオ信号を分析した結果得られ
た各周波数成分の周波数および音圧レベル等の特性デー
タ、Ｄ４…スペクトルオーディオ信号を分析した結果得
られた各周波数成分のゆらぎに関する特性データ、Ｄ５
…倍音主音成分が付加されたスペクトルオーディオ信
号、Ｄ６…音の音圧レベル分布データと人間の聴覚特性
に関する特性データ、Ｄ７…自然の法則に関する特性デ
ータあるいは音のゆらぎに関する特性データと人間の聴
覚特性に関する特性データ、Ｄ８…倍音主音成分とゆら
ぎ成分が付加されたスペクトルオーディオ信号、Ｄ９…
時間領域の信号に逆変換されたデジタルオーディオ信
号、Ｄ１０…音種別入力コマンド、Ｄ１１…リスナー聴
覚入力コマンド、Ｄ１２…騒音レベル情報、Ｄ１３…音
量制御情報、Ｄ１４…騒音信号、Ｄ１５…騒音スペクト
ル、Ｄ１６…マスキング曲線データ、Ｄ１７…補正処理
後のスペクトルオーディオ信号、Ｄ１８…人間の聴覚特
性に関する特性データ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 人間の聴覚特性を利用して原オーディオ
   信号から人間の耳には聞こえないとみなされた周波数成
   分を除去することにより圧縮されてなる圧縮オーディオ
   信号を入力する圧縮オーディオ信号入力手段と、 前記圧縮オーディオ信号入力手段により入力された前記
   圧縮オーディオ信号を周波数領域のスペクトルオーディ
   オ信号に変換する第１の変換手段と、 前記第１の変換手段により変換された前記周波数領域の
   スペクトルオーディオ信号の特性を分析することにより
   このスペクトルオーディオ信号の特性データを検出する
   スペクトルオーディオ信号分析手段と、 前記スペクトルオーディオ信号の特性データに基づい
   て、前記原オーディオ信号が圧縮される際に除去された
   周波数成分のうちの少なくとも１つの除去された周波数
   成分を推定し、この推定された周波数成分を前記周波数
   領域のスペクトルオーディオ信号に挿入する推定／挿入
   手段とを具備する圧縮オーディオ信号補正器。
2. 【請求項２】 前記スペクトルオーディオ信号分析手段
   によって分析される前記周波数領域のスペクトルオーデ
   ィオ信号の特性は前記周波数領域のスペクトルオーディ
   オ信号上に存在する周波数成分の周波数と音圧レベルで
   あることを特徴とする請求項１記載の圧縮オーディオ信
   号補正器。
3. 【請求項３】 少なくとも最小可聴限特性あるいはマス
   キング効果特性を含む人間の聴覚特性に関する特性デー
   タおよび楽器から発生される音のスペクトルに関する特
   性データを蓄積するデータベースを具備し、 前記推定／挿入手段は前記データベースに蓄積されてい
   る人間の聴覚特性に関する特性データおよび楽器から発
   生される音のスペクトルに関する特性データのうち少な
   くともいずれか１つを参照することにより前記少なくと
   も１つの除去された周波数成分を推定することを特徴と
   する請求項１乃至２記載の圧縮オーディオ信号補正器。
4. 【請求項４】 前記除去されたと推定される周波数成分
   は倍音成分および主音成分のうち少なくともいずれか一
   方であることを特徴とする請求項１乃至３記載の圧縮オ
   ーディオ信号補正器。
5. 【請求項５】 前記除去されたと推定される周波数成分
   はゆらぎ成分であることを特徴とする請求項１乃至３記
   載の圧縮オーディオ信号補正器。
6. 【請求項６】 外部の騒音のレベルを検出し、この騒音
   のレベルに応じた騒音レベル情報を前記推定／挿入手段
   に伝送する騒音レベル検出手段を具備し、前記推定／挿
   入手段は前記少なくとも１つの除去された周波数成分を
   推定する際に、前記騒音レベル検出手段から伝送された
   前記騒音レベル情報に基づいて前記除去されたと推定さ
   れる周波数成分の音圧レベルを制御することを特徴とす
   る請求項１乃至３記載の圧縮オーディオ信号補正器。
7. 【請求項７】 再生すべきオーディオ信号の再生音量に
   ついての音量制御情報を入力し、入力された音量制御情
   報を推定／挿入手段に伝送する音量制御情報入力手段を
   具備し、 前記推定／挿入手段は前記少なくとも１つの除去された
   周波数成分を推定する際に、前記音量制御情報入力手段
   から伝送された前記音量制御情報に基づいて前記除去さ
   れたと推定される周波数成分の音圧レベルを制御するこ
   とを特徴とする請求項１乃至３記載の圧縮オーディオ信
   号補正器。
8. 【請求項８】 外部の騒音を騒音信号として入力する騒
   音信号入力手段と、 この騒音信号入力手段により入力された前記騒音信号を
   周波数領域の騒音スペクトルに変換する第２の変換手段
   と、 この第２の変換手段により変換された前記騒音スペクト
   ルを基に前記外部の騒音により生じるマスキング曲線に
   応じたマスキング曲線データを推定するマスキング曲線
   推定手段と、 前記マスキング曲線推定手段で推定された前記マスキン
   グ曲線データに基づいて、前記推定／挿入手段により前
   記除去されたと推定される周波数成分が挿入されたスペ
   クトルオーディオ信号の前記マスキング曲線データを下
   回る周波数成分に対して、この周波数成分の音圧レベル
   が前記マスキング曲線データを上回るように補正処理を
   行う補正処理手段とを具備する請求項１乃至３記載の圧
   縮オーディオ信号補正器。
9. 【請求項９】 前記圧縮オーディオ信号はデジタル信号
   であることを特徴とする請求項１乃至８記載の圧縮オー
   ディオ信号補正器。
10. 【請求項１０】 請求項１乃至９記載の圧縮オーディオ
    信号補正器を具備してなることを特徴とする圧縮オーデ
    ィオ信号再生装置。