JP2008033211A - 付加信号生成装置、信号変換された信号の復元装置、付加信号生成方法、信号変換された信号の復元方法および付加信号生成プログラム - Google Patents

Abstract

【課題】信号変換処理された変換後信号から信号変換処理時の除去分を補うために必要な情報を生成して当該変換後信号とは別個独立に管理し、必要に応じて利用できるようにする。
【解決手段】変換後信号から、当該変換後信号の信号変換処理時において除去された高域部分の信号を付加信号として生成し、また、当該付加信号についての固有情報からなるプロファイル情報を生成する。そして、管理テーブル作成処理部２２３により、変換後信号と、対応する付加信号とプロファイル情報とを関連付けする管理テーブルを作成する。これら付加信号、プロファイル情報、管理テーブルのそれぞれを、対応する付加信号記録部、プロファイル情報記録部、管理テーブル記録部を通じて記録媒体に記録する。
【選択図】図１

Description

この発明は、例えば、周波数相関符号化等の不可逆圧縮方式が用いられて圧縮符号化処理等の信号変換処理時において除去された信号分を補うために必要な情報を生成して管理する装置、方法、プログラム、及び、信号変換処理されて形成されや信号を復元処理する装置、方法に関する。

音声信号の圧縮処理は、「量子化（ＰＣＭ（Pulse Code Modulation）信号）」、音声信号の時間的連続性を用いた「時間相関符号化」、人間の聴覚特性を用いた「周波数相関符号化」、これらの符号化から得られた符号の発生確率の偏りを用いた「エントロピー符号化」を組み合わせることで実現する。

これらの圧縮手法は、ＭＰＥＧ（Moving Picture Expert Group）方式、ＡＴＲＡＣ（Adaptive Transform Acoustic Coding（登録商標））方式、ＡＣ−３（Audio Code Number 3（登録商標））方式、ＷＭＡ（Windows Media Audio（登録商標））方式などで規格化され、その符号化音声信号は、現在、デジタル放送、ネットワークオーディオプレーヤー、携帯電話、Ｗｅｂストリーミングなど広範囲で使用されている。

圧縮処理の中でも、「周波数相関符号化」は、圧縮率や音質に大きな影響を与える符号化処理である。「周波数相関符号化」とは、量子化されたＰＣＭ信号を、時間領域から周波数領域に直交変換し、周波数領域における信号エネルギーの偏差を求め、この偏差を用いて符号化することで符号化効率を高めるようにしているものである。

また、「周波数相関符号化」においては、直交変換後の信号に対して、心理聴覚特性を用いて、周波数帯域をいくつかの帯域に分け、より人間に知覚されやすい帯域の信号劣化を最小とするように、ある種の重み付けを行って量子化することにより、全体的な符号化品質を改善することができるようにしている。

ここで、心理聴覚特性を用いた符号化は、絶対可聴閾値と、マスキング効果で定まる相対可聴閾値を用いて、補正可聴閾値を求める。この補正可聴閾値に基づいて、分割された帯域ごとに符号化を行う。補正可聴閾値以下の音圧を持つ周波数成分に関しては、人間は知覚できない音として、符号化の際に除去（カット）される。また、絶対可聴閾値は高周波数帯域（以下、高域）でその振幅値が上昇するため、低周波数帯域（以下、低域）に比べて高域の周波数成分はより多くカットされてしまうことになる。

この心理聴覚特性を用いた音声信号の圧縮方法はＭＰＥＧ方式で積極的に取り入られている。音声信号の符号化は各エンコーダーメーカーの技術力により、その傾向が決められるものではあるが、ＭＰＥＧ方式が採用されているデジタル放送の音声信号においては、上述した符号化処理により、ある周波数を境にそれ以降の高域信号が全てカットされたり、可聴帯域内においても、ある分割帯域の信号が全てカットされてしまうといった現状も確認されている。特に、音声信号を低ビットレートで圧縮する場合、符号化に使用できるビット数が少ないため、上述した方法により多くの信号がカットされてしまう。

このような圧縮符号化における信号劣化により、音質が低下する問題を解決するための先行技術はいくつか存在する。例えば、特許文献１（「信号補間装置、信号補間方法及び記録媒体」（特開２００２−１７１５８８号公報））には、既存の音声信号（被補間信号）を使って高域成分を補間する方法についての技術が開示されている。

具体的には、被補間信号のうち第１の帯域内の成分を可変ＢＰＦ（Band Pass Filter）で抽出し、これに可変周波数発振器からの局部発振信号を混合することによって、被補間信号が占める帯域よりも高周波側の第２の帯域の補間信号を形成し、この補間信号と被補間信号との和信号を出力信号とするものである。

また、特許文献２「周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体」（特開２００２−０７３０９６号公報））には、符号化時において、欠落した信号の情報を予め記録しておき、復号時にそれを用いて音質を保ちながら復号する方法についての技術が開示されている。

これら特許文献１、特許文献２に記載の技術は、圧縮符号化における信号劣化により、音質が低下する問題を解決するための技術として有効なものである。なお、上述した特許文献１、特許文献２は以下の通りである。
特開２００２−１７１５８８号公報 特開２００２−０７３０９６号公報

ところで、被補間信号から高域側の補間信号を形成する特許文献１に記載の技術の場合、欠落した高域側の範囲が広い場合、可変ＢＰＦや可変周波数発振器からの出力信号には、符号化しても劣化しない基本波が多く含まれることになり、それら基本波を混合して求められる高域側の信号である補間信号は、符号化前の信号の高域側の成分（高調波成分）とみなし得る可能性が低い場合があると考えられる。

また、符号化時に欠落した信号の情報を予め記録する特許文献２に記載の技術の場合には、音声データの符号器側と復号機側とで共通のアルゴリズムが必要であるために、汎用的ではないと考えられる。すなわち、符号化時に欠落した信号の情報を予め記録するようにしても、この符号化時に欠落した信号の情報を復号化時において利用する構成がなければ、欠落した信号の復旧をすることはできない。このため、符号器側と復号器側とで共通のアルゴリズムが不可欠となり、符号器側の処理と復号器側の処理とを別個独立に考えることができないために、汎用性に欠けると考えられる。

このため、符号化音声信号についての音質向上処理は復号処理時の度に行わねばならなくなる。しかし、このことは、符号化音声信号の復号処理を行う装置の処理付加の増大を意味し、また、メモリ負荷や電力消費の面から見ても効率的ではない。

以上のことにかんがみ、この発明は、例えば、不可逆圧縮方式が用いられたれた圧縮符号化処理等の信号変換処理により、除去するようにされた除去分（劣化分）を補うために必要な情報を生成して個別に管理できるよにし、必要に応じて利用できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の付加信号生成装置は、
原信号から信号変換処理時に除去されたと推定される信号成分を付加信号として、当該信号変換処理により形成された変換後信号から生成する付加信号生成手段と、
前記付加信号生成手段によって作成された前記付加信号を記録媒体に記録する付加信号記録手段と、
前記付加信号に関しての１つ以上の固有情報を取得して、前記付加信号についてのプロファイル情報を生成するプロファイル情報生成手段と、
前記プロファイル情報生成手段によって作成された前記プロファイル情報を記録媒体に記録するプロファイル情報記録手段と、
前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルを作成する管理テーブル作成手段と、
前記管理テーブル作成手段によって作成された前記管理テーブルを記録媒体に記録する管理テーブル記録手段と
を備えることを特徴とする。

この請求項１に記載の発明の付加信号生成装置は、付加信号生成手段により、所定の信号変換処理により形成された変換後信号から、当該変換後信号の信号変換処理時において除去された信号成分が付加信号として生成され、また、プロファイル情報生成手段により、当該付加信号についての固有情報からなるプロファイル情報が生成される。そして、管理テーブル作成手段により、信号変換されて形成された変換後信号と、対応する付加信号と、プロファイル情報とを関連付けする管理テーブルが作成される。そして、付加信号、プロファイル情報、管理テーブルのそれぞれは、対応する付加信号記録手段、プロファイル情報記録手段、管理テーブル記録手段を通じて記録媒体に記録される。

これにより、付加信号、プロファイル情報、管理テーブルのそれぞれを、変換後信号とは別個独立に管理することができるようにされる。そして、付加信号、プロファイル情報は、変換後信号を変換前の信号に復元する復元処理等の必要な場合に、管理テーブルを介して関連付けされて読み出され、適切な付加信号を利用して、変換後信号から変換前の信号を高品位に復元して再生するなどのことができるようにされる。

また、請求項７に記載の発明の復元装置は、
原信号から信号変換処理時に除去されたと推定される信号成分として、当該信号変換処理により形成された変換後信号から生成された付加信号が記録された付加信号記録媒体と、
前記付加信号に関しての１つ以上の固有情報からなるプロファイル情報が記録されたプロファイル情報記録媒体と、
前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルが記録された管理テーブル記録媒体と、
供給される前記変換後信号を変換前の信号に復元する処理を行う復元処理手段と、
前記復元処理手段によって処理される変換後信号の識別情報に基づいて、前記管理テーブルを参照し、対応する付加信号を特定して読み出す付加信号読み出し手段と、
前記付加信号読み出し手段から読み出された付加信号と、前記復元処理手段によって復元された信号とを加算処理する加算手段と
を備えることを特徴とする。

この請求項７に記載の発明の復号装置によれば、所定の信号変換処理により形成された変換後信号から当該信号変換処理時において除去された信号成分として生成された付加信号と、当該付加信号に関しての１つ以上の固有情報からなるプロファイル情報と、変換後信号と、付加信号と、プロファイル情報とを関連付ける管理テーブルとが記録された記録媒体を備えている。この場合の記録媒体は、各情報毎に異なる場合もあれば、同じ記録媒体に記録域（記録領域）を変えて記録されている場合もある。

そして、復元処理手段によって変換後信号が復元処理される場合には、復元処理手段によって処理される変換後信号の識別情報に基づいて、管理テーブルが参照され、対応する付加信号を特定してこれを読み出し手段が読み出す。そして、復元処理手段によって復元された信号と、当該変換後信号についての信号変換処理時に除去された信号成分である付加信号とが、加算手段によって加算処理され、変換後信号から変換前の信号を高品位に復元することができるようにされる。

この発明によれば、信号変換処理により一部の信号成分が除去（カット）された変換後信号に対し、除去された信号成分を付加信号として生成し、これを当該変換後信号とは別個独立に管理することができる。また、変換後信号とこれに対応する付加信号とは、管理テーブルによって関連付けられるので、変換後信号の復元処理時などにおいては、管理テーブルを通じて対応する付加信号を適切に特定して、これを利用することができる。

より具体的には、例えば、圧縮符号化により一部の信号成分が除去（カット）された可能性のある符号化音声信号に対し、除去された信号成分を付加信号を生成し、これを当該符号化音声信号とは別個独立に管理することができる。また、符号化音声信号とこれに対応する付加信号とは、管理テーブルによって関連付けられるので、符号化音声信号の復号処理時などにおいては、管理テーブルを通じて対応する付加信号を適切に特定して、これを利用することができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、説明を簡単にするため、ＭＰＥＧ−２ ＡＡＣ（Moving Picture Expert Group-2 Advanced Audio Coding）と呼ばれるＩＳＯ／ＩＥＣ１３８１８−７規格の符号化方式が用いられて符号化された音声信号（符号化音声信号）を復号処理する場合を例にして説明することとする。

すなわち、以下に説明する実施の形態においては、ＭＰＥＧ−２ ＡＡＣ方式の圧縮符号化処理が、所定の信号変換処理に相当し、ＭＰＥＧ−２ ＡＡＣ方式の圧縮符号化処理により形成された符号化音声信号が、所定の信号変換処理により形成された変換後信号に相当するものである。

なお、以下においては、ＭＰＥＧ−２ ＡＡＣを、単にＡＡＣと呼ぶこととする。また、上記のＩＳＯは、国際標準化機構（International Organization for Standardization）の略称であり、ＩＥＣは、国際電気標準会議（International Electrotechnical Commission）の略称である。

［ＡＡＣ方式の符号化処理の概要］
ＡＡＣ方式で符号化された符号化音声信号の復号処理の説明を簡単にするために、まず、ＡＡＣ方式の符号化処理の概要について説明する。ＡＡＣ方式の音声符号化は、いわゆる不可逆圧縮であり、心理聴覚（psycho acoustics）に基づいて、人が聴覚できない音の領域はデータ化しないことで、圧縮効果を高めているものである。ＡＡＣ方式の符号化によると、例えば２チャンネルステレオ音声の場合、９６キロビット／秒程度の伝送量でもＣＤ（Compact Disc）なみの音質が得られ、約１／１５（１５分の１）の圧縮率が得られるものである。

そして、ＡＡＣ方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、（１）ゲイン調整処理→（２）適応ブロック長切換ＭＤＣＴ処理→（３）ＴＮＳ処理→（４）インテンシティ・ステレオ符号化処理→（５）予測処理→（６）Ｍ／Ｓステレオ処理→（７）スケーリング処理を行った後に、（８）量子化処理と（９）ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより符号化音声信号（ＡＡＣビットストリーム）を形成する。

具体的な処理内容の概要を示せば以下のようになる。入力された符号化処理前の音声信号は、ゲイン調整され、所定のサンプル数毎にブロック化されて、それを１フレームとして処理される。まず、入力フレームを心理聴覚分析部においてＦＦＴ（Fast Fourier Transform）して周波数スペクトルを求め、それを元に聴覚のマスキングを計算し、予め設定された周波数帯域毎の許容量子化雑音電力と、そのフレームに対する心理聴覚エントロピー（ＰＥ：Perceptual Entropy）と呼ぶパラメータを求める。

心理聴覚エントロピーは、聴取者が雑音を知覚することがないように、そのフレームを量子化するのに必要な総ビット数に相当する。また、心理エントロピーは、音声信号のアタック部のように信号レベルが急激に増大するところで大きな値を取るという特性がある。そこで、心理エントロピーの値の急変部を元にしてＭＤＣＴ（Modified Discrete Cosine Transform）の変換ブロック長を決定している。

ＭＤＣＴ処理は、心理聴覚分析部で決定されたブロック長で入力された音声信号を周波数スペクトル（以下、ＭＤＣＴ係数という。）に変換する。変換ブロック長を、入力信号に応じて適応的に切り換える処理（適応ブロック切り換え）は、プリエコーと呼ばれる聴覚的に有害な雑音を抑制するために必要な処理である。

ＭＤＣＴ処理によって形成されたＭＤＣＴ係数は、ＴＮＳ（Temporal Noise Shaping）処理される。ＴＮＳ処理は、ＭＤＣＴ係数を時間軸上の信号であるかのように見たたて、線形予測を行い、ＭＤＣＴ係数に対して予測フィルタリングを行うものである。この処理により、復号側で逆ＭＤＣＴして得られる波形に含まれる量子化雑音は、信号レベルの大きなところに集まるようになる。

そして、ＴＮＳ処理されたＭＤＣＴ係数に対しては、インテンシティ・ステレオ符号化、すなわち、高い周波数領域の音は左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）を合わせた１つのカップリングチャンネルしか伝送しないようにするための処理が施される。

インテンシティ・ステレオ符号化されたＭＤＣＴ係数は、ＭＤＣＴ係数１本毎に、過去２フレームにおける量子化されたＭＤＣＴ係数から現在のＭＤＣＴ係数の値を予測し、その予測残差を求める。予測処理されたＭＤＣＴ係数は、Ｍ／Ｓステレオ処理、すなわち、左右チャンネルの和信号（Ｍ＝Ｌ＋Ｒ）と差信号（Ｓ＝Ｌ−Ｒ）を伝送するか、左右チャンネルのそれそれ（ＬチャンネルとＲチャンネルとのそれぞれ）を伝送するようにするかを決定し、決定したように処理される。

Ｍ／Ｓステレオ処理されたＭＤＣＴ係数は、予め設定された周波数帯域毎の複数本でグループ化されて（スケーリングされ）、これを単位として量子化が行われる。これらＭＤＣＴ係数のグループをスケールファクタバンドと呼んでいる。スケールファクタバンドは、聴覚の特性に合わせて低域側では狭く、高域側では広くなるように設定されている。

量子化処理では、心理聴覚部で求めたスケールファクタバンド毎の許容量子化雑音電力を下回ることを目標に量子化を行う。量子化されたＭＤＣＴ係数は、さらにハフマン符号化が施されて冗長度が削減される。この量子化、ハフマン符号化の処理は反復ループで行われ、実際に生成される符号量がフレームに割り当てられたビット数を下回るまで繰り返される。

このように、ＡＡＣ方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、（１）ゲイン調整処理→（２）適応ブロック長切換ＭＤＣＴ処理→（３）ＴＮＳ処理→（４）インテンシティ・ステレオ符号化処理→（５）予測処理→（６）Ｍ／Ｓステレオ処理→（７）スケーリング処理を行った後に、（８）量子化処理と（９）ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより、符号化音声信号（ＡＡＣビットストリーム）を形成するようにしている。

なお、上述したＡＡＣ方式の音声符号化処理については、例えば、デジタルテレビ技術入門、高田豊、浅見聡著、米田出版、１１２頁〜１２４頁等の種々の文献、あるいは、Ｗｅｂページなどにおいても詳細に説明されている。

また、ゲイン調整処理、ＴＮＳ処理、インテンシティ・ステレオ符号化処理、予測処理、Ｍ／Ｓステレオ処理は、オプション処理であり、ＡＡＣ符号化全工程で行うものではない。すなわち、ゲイン調整処理、ＴＮＳ処理、インテンシティ・ステレオ符号化処理、予測処理、Ｍ／Ｓステレオ処理は、オプション処理が選択された場合にのみ行われる処理である。以下に説明する実施の形態においては、上述したオプション処理が行うようにされて圧縮符号化された符号化音声信号を処理する場合を例にして説明することとする。

［符号化音声信号の復号装置について］
次に、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の復号装置について説明する。上述したように、この実施の形態の復号装置は、ＡＡＣ方式で符号化された音声信号を復号処理するものである。そして、この実施の形態の復号装置は、符号化処理によって除去（カット）された（劣化した）高域の音声信号を付加信号として復元し、これを復号化して得た音声信号の高域部分に足し合わせることにより、再生音声の高品位化を実現することができるものである。

さらに、この実施の形態の復号装置は、付加信号の形成時に、付加信号に固有の情報（当該復号装置に固有の情報）からなるプロファイル情報を形成し、付加信号と共にプロファイルを情報記録媒体に記録すると共に、符号化音声信号と、対応する付加信号やプロファイル情報との関連付けも管理できるようにし、符号化音声信号の復号処理時において、付加信号を繰り返し生成しなくても、先に生成した対応する付加信号を適切に特定し、これを繰り返し利用することもできるようにしている。以下、この実施の形態の復号装置について詳細に説明する。

図１は、この実施の形態の復号装置を説明するためのブロック図である。この実施の形態の復号装置は、例えば、据え置き型の、あるいは、携帯型の音声記録再生装置、あるいは、音声再生装置等に適用される。具体的には、ハードディスクを記録媒体として用いるハードディスクプレーヤや半導体メモリを記録媒体として用いるメモリプレーヤ、ＭＤ（Mini Disc（登録商標））などの光磁気ディスクやＤＶＤなどの光ディスクを記録媒体として用いる記録再生装置や再生装置、パーソナルコンピュータなど、圧縮符号化されたデジタル音声信号を処理する種々の電子機器に適用可能なものである。

図１に示すように、この実施の形態の復号装置は、大きく分けるとＡＡＣ復号処理部１と、付加信号生成部２と、加算部３とを有するものである。ＡＡＣ復号処理部１は、ＡＡＣ方式で符号化された音声信号（符号化音声信号）の供給を受けて復号処理し、符号化処理前の音声信号を復元する処理を行う部分である。

付加信号生成部２は、符号化音声信号の供給を受けて、当該符号化音声信号が符号化されることにより除去されてしまった高域部分の音声信号を付加信号として復元する処理を行う部分である。また、付加信号生成部２は、詳しくは後述もするが、生成する付加信号に固有の情報であるプロファイル情報をも生成することができるものである。

また、付加信号生成部２は、復号化の対象となった符号化音声信号と、生成した付加信号と、生成したプロファイル情報とを、関連付けて管理する管理テーブルを作成し、これら付加信号と、プロファイル情報と、管理テーブルとを記録媒体に記録して、これらを符号化音声信号とは別個独立に管理するとともに、付加信号やプロファイル情報の繰り返しての利用をできるようにしている。

そして、加算部３は、ＡＡＣ復号処理部１からの音声信号と付加信号生成部２からの付加信号との供給を受けて、ＡＡＣ復号処理部１からの復号された音声信号の高域部分に、付加信号生成部２からの付加信号（高域部分の音声信号）を合成することにより、符号化処理により除去された高域部分の音声信号をも復元した、高品位の音声信号を復元して出力するものである。

次に、ＡＡＣ復号処理部１と、付加信号生成部２とのそれぞれについて説明する。なお、この実施の形態において、ＡＡＣ方式で符号化されて形成された符号化音声信号は、４８ｋＨｚサンプリングＰＣＭ信号を、ＭＰＥＧ−２ ＡＡＣ ＬＣプロファイルのビットレート１２８ｋｂｐｓで符号化（圧縮）された２ｃｈ（２チャンネル）の音声信号であるものとして説明する。

［ＡＡＣ復号処理部１について］
まず、ＡＡＣ復号処理部１について説明する。ＡＡＣ復号処理部１は、ＡＡＣ方式で符号化されて形成された符号化音声信号の復号処理を行う既存の処理部分であり、図１に示したように、大きく分けると、フォーマット解析部１１と、逆量子化処理部１２と、ステレオ処理部１３と、適応ブロック長切換逆ＭＤＣＴ部１４と、ゲイン制御部１５とからなっている。

逆量子化処理部１２は、図１に示したように、ハフマン復号化部１２１と、逆量子化部１２２と、リスケーリング部１２３とを備えている。また、ステレオ処理部１３は、図１に示したように、Ｍ／Ｓステレオ処理部１３１と、予測処理部１３２と、インテンシティ・ステレオ処理部１３３と、ＴＮＳ部１３４とを備えている。

復号化の対象の符号化音声信号（ビットストリーム）は、フォーマット解析部１１に供給される。フォーマット解析部１１は、これに供給された符号化音声信号を、ＭＤＣＴ係数と、それ以外のパラメータや制御情報とに分離し、ＭＤＣＴ係数は、逆量子化処理部１２のハフマン復号化部１２１と、付加信号生成部２に供給する。

また、フォーマット解析部１１は、符号化音声信号のビットストリームから抽出したパラメータや制御情報に基づいて、各部に対する制御信号を形成し、これを図１において点線矢印で示すように、ＡＡＣ復号処理部１を構成する各部に対して供給することによって、各部における処理を制御する。

そして、上述したＡＡＣ符号化時の処理とは言わば逆となる処理を行うことによって、符号化音声信号の復号処理を行う。具体的には、上述もしたように、フォーマット解析部１１において分離されたＭＤＣＴ係数は、逆量子化処理部１２のハフマン復号化部１２１に供給されるので、まず、ハフマン復号化部１２１でハフマン復号処理を行い、次に逆量子化部１２２において逆量子化処理を行った後、リスケーリング部１２３においてリスケーリング処理を行って、量子化前のＭＤＣＴ係数を復元する。

そして、量子化前の状態に復元されたＭＤＣＴ係数は、ステレオ処理部１３のＭ／Ｓステレオ処理部１３１に供給される。Ｍ／Ｓステレオ処理部１３１においては、左チャンネル（Ｌｃｈ）と右チャンネル（Ｒｃｈ）のＭＤＣＴ係数が復元される。この左右２チャンネルのＭＤＣＴ係数は、予測処理部１３２において処理されて予測処理によるデータ圧縮前のＭＤＣＴ係数に復元され、さらにインテンシティ・ステレオ処理部１３３において、インテンシティ・ステレオ復号化処理が施されて、高い周波数領域の音についても、左右のそれぞれのチャンネルのＭＤＣＴ係数に分配される。この後、ＴＮＳ部１３４において、予測フィルタリングがはずすようにされ、符号化時においてＭＤＣＴ処理された直後のＭＤＣＴ係数が復元される。

この後、ステレオ処理部１３のＴＮＳ部１３４からのＭＤＣＴ係数は、適応ブロック長切換逆ＭＤＣＴ部１４に供給される。適応ブロック長切換逆ＭＤＣＴ部１４は、これに供給されたＭＤＣＴ係数（周波数領域の音声信号）を逆ＭＤＣＴ処理することにより、時間軸領域の音声信号に変換し、これをゲイン制御部１５に供給して、ゲイン調整することにより、符号化前の元の時間軸領域の音声信号（時間音声信号）を復元して、加算部３に供給する。すなわち、適応ブロック長切換逆ＭＤＣＴ部１４に供給される符号化音声信号は、周波数領域の音声信号であり、適応ブロック長切換逆ＭＤＣＴ部１４から出力される
音声信号は、時間軸領域の音声信号、すなわち時間音声信号となる。

このように、ＡＡＣ復号処理部１は、ＡＡＣ方式で符号化されて形成された符号化音声信号の復号処理を行って、符号化前の音声信号を復元する処理を行う。しかし、上述もしたように、ＡＡＣ方式は、いわゆる不可逆圧縮であるために、高域の音声信号が劣化している可能性が高い。

このため、この実施の形態においては、上述もしたように、付加信号生成部２において、符号化されることにより除去されてしまった（劣化してしまった）高域部分の音声信号を付加信号として復元する処理を行う。また、付加信号生成部２は、後述するように、付加信号生成部２の機能により、復号化の対象となった符号化音声信号と、対応する付加信号と、対応するプロファイル情報とを、関連付けて管理できるようにし、付加信号やプロファイル情報の繰り返しの利用を可能にしている。

［付加信号生成部２について］
次に、この実施の形態の復号装置の付加信号生成部２について説明する。図２は、この実施の形態の復号装置の付加信号生成部２を説明するためのブロック図である。この実施の形態の付加信号生成部２は、図２に示すように、付加信号生成処理部２１と、付加信号記録部２２と、付加信号復号処理部２３とを備えたものである。

上述もしたように、フォーマット解析部１１からの符号化音声信号（ＭＤＣＴ係数）は、図２に示すように、付加信号生成部２の付加信号生成処理部２１に供給される。付加信号生成処理部２１は、これに供給されたＭＤＣＴ係数に基づいて、符号化により除去された高域部分の符号化音声信号（ＭＤＣＴ係数）である付加信号を生成すると共に、この付加信号に固有の情報を取得してプロファイル情報を生成する。

付加信号記録部２２は、付加信号生成処理部２１において生成された付加信号とプロファイル情報との供給を受けて、復号化対象の符号化音声信号と、当該符号化音声信号から形成した付加信号と、当該付加信号に対する固有情報からなるプロファイル情報とを相互に関連付けて管理する管理テーブルを作成する。

そして、付加信号記録部２２は、作成した管理テーブルと、供給を受けた付加信号と、供給を受けたプロファイル情報とを、記録域（記録領域）を別にして、例えば、ハードディスクなどの当該復号装置が有する記録媒体に記録する。これにより、同じ符号化音声信号を繰り返し復号処理して再生する場合であっても、過去に生成した付加信号を繰り返して用いることができるようにし、高域部分の符号化音声信号である付加信号を繰り返し生成することがないようにしている。

付加信号復号処理部２３は、付加信号の供給を受けて、高域部分の符号化音声信号である当該付加信号の復号化処理を行う。すなわち、付加信号復号処理部２３は、これに供給される付加信号について、逆ＭＤＣＴ処理を行うことにより、時間軸領域の付加信号、すなわち、時間軸領域の高域部分の音声信号を形成し、これを出力する。なお、付加信号復号処理部２３においては、必要に応じてプロファイル情報も用いて付加信号の内容を確認し、適切に復号処理を行うことができるようにしている。

このようにして、時間軸領域の音声信号に復号された付加信号（高域部分の音声信号）は、加算部３に供給され、ＡＡＣ復号処理部１からの復号された時間音声信号の高域部分に加算（合成）され、符号化により除去された高域部分の音声信号を補間した時間軸領域の音声信号であって、高品位の音声信号を復元し、これを再生するなどのことができるようにされる。

また、上述したように、付加信号とプロファイル情報とは記録媒体に記録されると共に、そのそれぞれを対応する符号化音声信号と関連付けた管理テーブルによって管理できるようにして、元々の符号化音声信号を復号して利用する場合に、記録媒体に記録した付加信号を利用することもできるようにしている。以下に、付加信号生成部２を構成する付加信号生成処理部２１と付加信号記録部２２と付加信号復号処理部２３の具体的な構成例について説明する。

［付加信号生成処理部２１について］
図３は、この実施の形態の付加信号生成処理部２１の構成例を説明するためのブロック図である。図３に示すように、この実施の形態の付加信号生成処理部２１は、ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３、ステレオ処理部２１４、境界周波数検出部２１５、追加帯域決定部２１６、高域信号生成部２１７、プロファイル情報作成処理部２１８を備えたものである。

ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３のそれぞれは、図１に示したＡＡＣ復号処理部１の逆量子化処理部１２のハフマン復号化部１２１、逆量子化部１２２、リスケーリング部１２３のそれぞれと同様のものであり、フォーマット解析部１１からの符号音声信号（ＭＤＣＴ係数）に対する逆量子化処理を行って、量子化処理前のＭＤＣＴ係数を復元する部分である。

ステレオ処理部２１４は、図１に示したステレオ処理部１３と同様の処理を行う部分である。すなわち、ステレオ処理部２１４は、符号化時とは逆に、Ｍ／Ｓステレオ処理、予測処理、インテンシティ・ステレオ処理、ＴＮＳ処理の各処理を行って、ＭＤＣＴ処理された直後のＭＤＣＴ係数を復元する。

境界周波数検出部２１５は、ステレオ処理部２１４からのＭＤＣＴ係数の供給を受けて、当該ＭＤＣＴ係数について、ある周波数を境に、高域全体が除去（カット）されている場合の境界周波数（下限側の境界周波数）を検出する。一般に、境界周波数はビットレートに依存する場合が多い。符号化の仕様はエンコーダメーカーの技術力によるため、一様ではないが、例えば、ビットレート１９６ｋｂｐｓでエンコード（符号化）した場合には境界周波数は２０ｋＨｚ付近になり、ビットレート１２８ｋｂｐｓでエンコードした場合には境界周波数は１６ｋＨｚ付近になり、ビットレート６４ｋｂｐｓでエンコードした場合には境界周波数は１４ｋＨｚになるといった傾向がある。

この実施の形態の復号装置において、復号処理の対象となっている符号化音声信号は、上述もしたように、ビットレートが１２８ｋｂｐｓでエンコードされたものであるため、境界周波数は、約１６ｋＨｚであるものとする。すなわち、この実施の形態の復号装置で復号処理する符号化音声信号は、約１６ｋＨｚ以上の高域部分の音声信号がカットされ、劣化してしまっているものであると特定する。

このように、境界周波数は、符号化音声信号のビットレート、自機の性能、その他の条件に応じて、予め決められたものが、例えば、符号化音声信号のビットレート、自機の性能、その他の条件などと関連付けられて、あるいは、優先順位などの使用条件などのインデックス情報と関連付けられて、この実施の形態の復号装置の適宜のメモリに記憶保持しておくようにする。

これにより、境界周波数検出部２１５は、当該メモリに記憶保持されている境界周波数の候補の情報から、用いるべき境界周波数を検出（特定）することができる。もちろん、その他の種々の条件を考慮して、境界周波数検出部２１５において、境界周波数を特定するようにしてもよい。また、機器の処理能力などに応じて、予め１つの境界周波数が定まる場合には、これを用いるようにすればよい。

追加帯域決定部２１６は、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する。この実施の形態においては、境界周波数が１５ｋＨｚ以上であった場合には、境界周波数以降の全帯域に高域信号を追加するようにしている。なお、この実施の形態においては、１５ｋＨｚという値を用いたが、１４ｋＨｚ程度まで追加帯域の条件を下げることも可能である。しかし、１０ｋＨｚ付近まで下げると、追加信号が雑音となって聞こえてしまう可能性があるため、追加帯域の条件を１０ｋＨｚ付近まで下げることは好ましくない。

この実施の形態において、境界周波数検出部２１５で検出された境界周波数は、上述もしたように、１６ｋＨｚであり、予め決められた条件である「境界周波数が１５ｋＨｚ以上であること」を満たしているため、追加帯域決定部２１６においては、１６ｋＨｚ以降に高域信号（付加信号（高域部分の符号化音声信号））を追加するようにする。また、この実施の形態においては、上述もしたように、４８ｋＨｚサンプリングの音声信号を用いているため、追加する上限の周波数はサンプリング周波数の１／２（２分の１）である２４ｋＨｚとする。よって、１６ｋＨｚから２４ｋＨｚまでがこの実施の形態における高域信号（付加信号）の追加帯域となる。

高域信号生成部２１７は、追加する高域信号（付加信号）を計算により生成する。この高域信号生成部２１７においては、例えば、特許第３６４６６５７号「デジタル信号処理
装置及びデジタル信号処理方法、並びに1ビット信号生成装置」に開示された技術を用いて、追加する高域信号（付加信号）を生成する。

具体的には、境界周波数検出部２１５において求められた境界周波数における信号の振幅値から、上限周波数（この実施の形態においては２４ｋＨｚ）における信号の振幅値を「０（零）」として、周波数特性傾きを算出する。次に、この実施の形態においては、下限周波数として１０．５ｋＨｚを設定し、１０．５ｋＨｚから下限側の境界周波数（この実施の形態においては１６ｋＨｚ）までの信号をバッファリングし、スペクトル複製、ゲイン算出、ゲイン調整の各処理を行って、追加用の高域信号（付加信号）を生成して、後段の付加信号記録部２２に供給する。

また、プロファイル情報作成処理部２１８は、付加信号固有の情報、例えば、復号装置の名称、バージョンナンバー、付加信号の作成日時などの情報を取得し、これらからなるプロファイル情報を形成して、これをプロファイル情報記録部２２に供給する。

なお、復号装置の名称、バージョンナンバーといった復号装置に関する固定的な情報は、図示しない制御部のＲＯＭなどに記録されているものを取得すればよい。また、付加信号の作成日時などの日時情報は、図示しない時計回路によって提供されるものを取得するようにすればよい。このように、プロファイル情報に必要な情報は、この実施の形態の復号装置が元々備える種々の情報や取得可能な種々の情報を用いるようにすることができる。

また、図１、図２、図３においては、付加信号は符号化音声信号（ＭＤＣＴ係数）のみの供給を受けて、付加信号を生成するように記載しているが、付加信号生成部２を構成する付加信号生成処理部２１のハフマン復号化部２１１やステレオ処理部２１４は、図１に示したＡＡＣ復号化部１の場合と同様に、フォーマット解析部１１からのパラメータや制御情報の供給を受けて、逆量子化処理やステレオ処理を行う構成となっている。

このように、付加信号生成処理部２１においては、復号対象の符号化音声信号が符号化されることにより除去されてしまった高域部分の音声信号を付加信号として形成すると共に、付加信号に固有の情報からなるプロファイル情報を形成して、これらを出力することができるものである。

［付加信号記録部２２について］
図４は、この実施の形態の付加信号記録部２２の構成例を説明するためのブロック図である。図４に示すように、この実施の形態の付加信号記録部２２は、付加信号記録部２２１、プロファイル記録部（プロファイル情報の記録部）２２２、管理テーブル作成処理部２２３、管理テーブル記録部２２４を備えたものである。

付加信号記録部２２１は、付加信号生成処理部２１において生成された付加信号の供給を受けて、これを記録媒体４に形成されている付加信号の記録域４１に記録する。また、プロファイル記録部２２２は、付加信号生成処理部２１において生成されたプロファイル情報の供給を受けて、これを記録媒体４に形成されているプロファイル情報の記録域４２に記録する。

管理テーブル作成処理部２２３は、付加信号記録部２２１からの付加信号についての情報と、プロファイル記録部２２２からのプロファイル情報についての情報と、さらに外部から供給される復号対象の符号化音声信号についての情報とに基づいて、符号化音声信号と付加信号及びプロファイル情報とを管理するための管理テーブルを作成する。管理テーブルは、復号対象の符号化音声信号に対して、その付加信号及びプロファイル情報が一意に決まるようにまとめた内容とする。

図５は、管理テーブルの構成例を説明するための図である。図５において音声信号、付加信号、プロファイル情報の各文字は、各符号化音声信号、付加信号、プロファイル情報のそれぞれを特定することが可能な、例えば、ファイル名や固有の識別ＩＤなどの識別情報に相当する。

また、図５において、文字「Ａ」、「Ｂ」、「Ｃ」は、通し記号や通し番号などに相当するものであり、記号「Ａ」が割り振られた符号化音声信号に対する付加信号とプロファイル情報とにも同じ記号「Ａ」を割り振るようにしたものである。このようにすることによって、対応する情報の関係が一意に決まるように管理テーブルを作成することができる。

このようにして形成される管理テーブルは、管理テーブル記録部２２４を通じて、記録媒体４に作成されている管理テーブルの記録域４３に記録される。このように、付加信号記録部２２は、付加信号生成処理部２１からの付加信号とプロファイル情報とを、これとの間で対応関係のある符号化音声信号とは別個独立に記録媒体に記録し管理できるようにすると共に、管理テーブルを介して、符号化音声信号、付加信号、プロファイル情報の関連付けをも確実に行うことができるようにしている。

［付加信号復号処理部２３について］
次に、付加信号生成部２の付加信号復号処理部２３について説明する。この実施の形態において、付加信号生成処理部２１において生成される付加信号は、符号化された状態のものである。そして、上述したように、付加信号生成処理部２１において生成された付加信号とプロファイル情報とは、付加信号記録部２２の機能により、管理テーブルによって管理するようにされて、記録媒体に記録保持するようにされる。そして、少なくとも、付加信号については、図２に示した付加信号復号処理部２３に供給されて、時間軸領域の音声信号に復元される。

すなわち、付加信号復号処理部２３は、付加信号の供給を受けて、高域部分の符号化音声信号である当該付加信号の復号化処理を行う。付加信号復号化処理部２３の具体的な構成例としては、図１に示したＡＡＣ復号処理部１の適応ブロック長切換逆ＭＤＣＴ処理部１４とゲイン制御部１５とを有するものとなる。そして、付加信号復号処理部２３において復号された付加信号（時間軸領域の信号とされた高域部分の音声信号）は、加算部３に供給される。

これにより、図１に示したように、ＡＡＣ復号処理部１からの出力である時間音声信号と付加信号生成部からの出力である時間音声信号を加算して、最終的な出力である時間音声信号を得ることができるようにされる。この場合、復号対象の符号化音声信号について、符号化処理により除去されてしまった高域部分の音声信号をも復元して高品位の音声信号を復元することができる。

［図１に示した復号装置からの出力信号について］
図６は、図１に示した復号装置の加算部３から出力される音声信号の特性について説明するためのスペクトル分布の概念図である。図６（Ａ）は、図１に示した復号装置のＡＡＣ復号処理部１において復号処理されて得られた音声信号のスペクトル分布の概念図であり、図６（Ｂ）は、図１に示した復号装置の付加信号生成部２において形成された付加信号（高域部分の音声信号）のスペクトル分布の概念図である。

図６（Ａ）に示すように、符号化音声信号を復号処理しても、符号化時において１６ｋＨｚより高い部分（高域部分）の音声信号は除去されて（劣化して）しまっている。このため、図６（Ｂ）に示すように、この実施の形態の例の符号化音声信号の場合には、１６ｋＨｚ以降、２４ｋＨｚまでの高域部分の音声信号を付加信号として形成する。

そして、ＡＡＣ復号処理部１において復号された音声信号（図６（Ａ））と、付加信号生成部２において形成された付加信号（図６（Ｂ））とを加算部３において加算することにより、図６（Ｃ）に示すように、高域部分（この実施の形態においては、１６ｋＨｚ〜２４ｋＨｚの部分）の音声信号をも補間した高品位の音声信号を復元できる。

さらに、図４を用いて説明したように、復号対象の符号化音声信号から形成した付加信号とプロファイル情報とを記録媒体４に記録し、これを管理テーブルを通じて管理し、当該符号化音声信号を復号して利用する場合であっても、付加信号やプロファイル情報を繰り返し作成する必要もないようにしている。

なお、ここでは、図１に示したように、ＡＡＣ復号処理と付加信号生成処理とを並行して行うようにした。しかし、これに限るものではない。例えば、図１に示したフォーマット解析部１１と付加信号生成部２（図２〜図５を用いて説明した部分）を備えた付加信号生成装置を構成することにより、付加信号生成処理だけを行うようにすることもできる。

なお、この実施の形態において、付加信号の生成処理は、付加信号を生成するだけではなく、プロファイル情報をも生成し、これら付加信号とプロファイル情報とを記録媒体に記録すると共に、管理テーブルを作成して管理できるようにする処理を意味している。

［記録媒体に作成された付加信号とプロファイル情報の利用について］
次に、符号化音声信号の復号化処理時において、付加信号やプロファイル情報の生成を行うことなく、既に記録媒体４に記録されている付加信号を利用する場合について説明する。

図７は、付加信号及びプロファイル情報が既に存在する場合において、ＡＡＣ復号処理を行って、高品位の音声信号を復元する復号装置の例を説明するためのブロック図である。図７に示す復号装置は、図１に示した復号装置と異なり、付加信号生成部２自体を備えるのではなく、図３を用いて説明した付加信号生成装置２内の最後尾に設けられた付加信号復号処理部２３が設けられると共に、既に記録媒体４に生成されている付加信号やプロファイル情報を読み出すための読み出し部５が設けられたものである。記録媒体４は、図１には図示しなかったが、生成した付加信号やプロファイル情報、管理テーブルなどを記憶保持するものとして、図１に示した復号装置も備えていたものである。

そして、図７において、ＡＡＣ復号処理部１は、図１に示した復号装置が備えているＡＡＣ復号処理部１と同様に構成される部分であり、フォーマット解析部１１と、逆量子化処理部１２と、ステレオ処理部１３と、適正ブロック長切換逆ＭＤＣＴ部１４と、ゲイン制御部１５とを備えたものである。図７においては、逆量子化処理部１２とスペクトラム処理部１３との詳細な構成は省略しているが、図１にした復号装置の場合と同様に構成されるものである。このため、ここでは、ＡＡＣ復号処理部１についての詳細な説明は省略する。

そして、図７に示す例の復号装置の場合には、復号対象の符号化音声信号が供給されると、読み出し部５は、記録媒体４に作成されている管理テーブルを参照し、復号対象の符号化音声信号に対応する付加信号とプロファイル情報とを特定し、特定した付加信号を付加信号記憶域４１から読み出して、これを上述した付加信号復号処理部２３に供給する。付加信号復号処理部２３は、上述もしたように、これに供給された付加信号の逆ＭＤＣＴ処理やゲイン調整を行って、時間軸領域の音声信号（付加信号）を復元し、これを加算部３に供給する。

加算部３には、ＡＡＣ復号処理部１からの復号された音声信号が供給されるので、加算部３においては、図１に示した復号装置の場合と同様に、また、図６を用いて説明したように、符号化処理時に高域部分が除去された（劣化した）音声信号（符号化音声信号をＡＡＣ復号処理部１において復号することにより得られた音声）と、復号された付加信号（復号処理された符号化音声信号について符号化時に除去された（劣化した）であろう高域部分の音声信号）とが加算処理され、高域部分の音声信号が補間された高品位の音声信号が復元される。

また、付加信号の生成時において生成されて記録媒体のプロファイル情報記録域に記憶保持されているプロファイル情報も必要に応じて読み出されて使用される。この図７に示した復号装置の場合、符号化音声信号の復号処理タイミングと、付加信号の生成タイミングとが異なる。このため、付加信号が、符号化音声信号の復号処理を行うＡＡＣ復号処理部１とは異なる方式を用いて生成されたものである可能性もあり、これをチェックするために、プロファイル情報を用いることができる。

すなわち、プロファイル情報は、上述もしたように、復号装置の名称、バージョンナンバーなどを有しており、ＡＡＣ復号処理部１についての復号装置の名称やバージョンナンバーと異なる場合には、当該付加信号は復号対象の符号化音声信号に対応して生成されたものではない場合があるので、加算処理に用いないようにしたり、あるいは、ＡＡＣ復号処理部１についての復号装置の名称やバージョンナンバーなどの情報とプロファイル情報の復号装置の名称やバージョンナンバーなどの情報とに基づいて、付加信号を補正したりするなどのことができるようにされる。

また、同じ符号化音声信号について、異なる複数の装置で付加信号やプロファイル情報が生成される場合もあると考えられる。このような場合には、復号処理の対象となっている符号化音声信号の識別情報に加えて、プロファイル情報をも考慮するために当該復号処理を行う装置の名称やバージョン情報をも用いて、管理情報を参照し、符号化音声信号の識別情報が一致し、かつ、プロファイル情報の内容も一致する符号化音声信号に割り振られた通し記号を特定し、当該通し記号が割り振られた付加信号を用いるようにしてもよい。もちろん、符号化音声信号の識別情報が一致し、かつ、プロファイル情報の内容も一致する付加信号を用いる付加信号として特定するようにしてもよい。

図８は、図７に示した復号装置の主に読み出し部５部分を中心として、付加信号及びプロファイル情報が記録媒体４に既に存在する場合の、管理テーブルを参照して付加信号及びプロファイル情報を読み出す際の処理を詳細に説明するための概念図である。

通し符号として「Ａ」が割り振られた符号化音声信号を復号して再生する場合、例えば、フォーマット解析部１１から読み出し部５に対して、復号対象の符号化音声信号の識別情報（図８において音声信号Ａと記載）が供給される。読み出し部５は、図８において、上向きの点線矢印が示すように、供給された符号化音声信号の識別情報に基づいて管理情報テーブルの記憶域４３に記憶されている管理情報テーブルを参照し、当該符号化音声信号に割り振られた通し符号「Ａ」を特定する。

そして、読み出し部５は、図８において、下向きの点線矢印で示すように、特定した通し符号「Ａ」が割り振られた付加信号とプロファイル情報とを読み出して、これらを付加信号復号処理部２３に供給する。これにより、上述もしたように、目的とする付加信号が読み出されて、付加信号復号処理部２３に供給され、ここで時間軸領域の音声信号に変換されて、ＡＡＣ復号処理部１からの音声信号と加算部３において加算され、高域部分も補間された高品位の音声信号を復元することができるようにされる。なお、プロファイル情報は、上述もしたように、必要に応じて読み出されて使用することができれば十分な情報であるが、特定できた場合には、プロファイル情報を付加信号復号処理部２３に供給しておき、いつでも使用可能にしておくことが望ましい。

このように、図７に示した復号装置の場合には、復号対象の符号化音声信号の復号処理時において、これと並行して付加信号やプロファイル情報の生成処理を常に行う必要がなくなり、既に作成されている付加信号を繰り返し用いて、高品位の音声信号を比較的に簡単に生成することができるようにされる。

図９は、記録媒体から付加信号とプロファイル情報、及び符号化音声信号とを別々に読み出し、復号して再生する場合の概念図で、図８を簡略化したものである。多くの場合、符号化音声信号も、これに対応する付加信号やプロファイル情報も、記録媒体に記録されている場合が多い。図９に示した例は、符号化音声信号、付加信号、プロファイル情報も、アクセス可能な記録媒体４に既に記録されている場合において、符号化音声信号を復号処理して再生する場合の復号装置の概要を示している。

記録媒体４からは、再生対象の符号化音声信号が読み出されて、図１、図７に示したようにように構成されるＡＡＣ復号処理部１に供給される。一方、復号対象の符号化音声信号に対応する付加信号とプロファイル情報とは、図８を用いて説明したように、読み出し部５により読み出され、付加信号は付加信号復号処理部２３に供給される。また、プロファイル情報は、付加信号が使用可能なものかを判断したり、補正したりする場合などの必要なタイミングで読み出され、付加信号復号処理部２３などにおいて利用することができるようにされる。

これにより、上述もしたように、ＡＡＣ復号処理部１においては、符号化音声信号の復号処理を行い、時間軸領域の音声信号を復元して、これを加算部３に供給する。一方。付加信号復号処理部２３においては、これに供給された付加信号の復号処理を行い、時間軸領域の音声信号を復元して、これを加算部３に供給する。加算部３は、これに供給された時間軸領域の音声信号を加算し、図６（Ｃ）を用いて説明したように、符号化時に除去された高域部分の音声信号についても補間した高品位の音声信号を復元して、再生するなど利用することができるようにされる。

図１０は、図７、図８を用いて説明した復号装置を、メモリプレーヤ（メモリ型携帯音声再生装置）に適用した場合の例を説明するためのブロック図である。図１０に示すように、メモリプレーヤ２００内のメモリ２０１には、例えば、パーソナルコンピュータ１００などの外部機器から、再生対象の符号化音声信号と、付加信号とプロファイル情報とを転送して利用できるようにする。

また、付加信号及びプロファイル情報の生成時において形成される図５を用いて説明した管理テーブルについても、付加信号やプロファイル情報の転送時に、あるいは、それ以前にメモリプレーヤ２００内のメモリに用意しておく。なお、符号化音声信号や付加信号及びプロファイル情報は、１タイトル毎に転送したり、複数タイトルをまとめて転送したりすることも可能である。

また、パーソナルコンピュータ１００などの外部機器の記録媒体に記憶保持されている全ての付加信号、全てのプロファイル情報、及び、これらを管理するための管理テーブルを１セットとして、パーソナルコンピュータ１００などの外部機器からメモリプレーヤ内のメモリに転送して利用できるようにすることも可能である。

なお、図１０に示したメモリプレーヤ２００においては、符号化音声信号、付加信号、プロファイル情報をメモリ２０１に記憶保持し、管理テーブルは別のメモリに記憶保持すするように表現しているが、これに限るものではない。符号化音声信号、付加信号、プロファイル情報、管理テーブルのそれぞれを異なるメモリに記憶保持するように構成することも可能であるし、同じメモリに記憶域を変えて記録保持することも可能である。また、符号化音声信号と、これ以外の情報とを異なるメモリで記憶保持することも可能である。すなわち、各情報を個別に管理することができれば、メモリなどの記録媒体をどのように使用するようにしてもよい。

そして、図１０に示したメモリプレーヤ２００において、メモリ２０１に格納されている符号化音声信号を再生する場合には、図７、図８、あるいは、図９を用いて説明したように、まず、再生対象の符号化音声信号の識別情報に基づいて管理テーブル４３を参照し、当該符号化音声信号に割り当てられている通し記号（図５に示した「Ａ」、「Ｂ」、「Ｃ」、…など）を特定する。そして、特定した通し記号が割り当てられている付加信号、プロファイル情報を特定する。

そして、再生対象の符号化音声信号は、メモリ２０１から読み出されてＡＡＣ復号処理部１に供給され、上述したように特定された付加信号とプロファイル情報とは付加信号復号部２３に供給される。ＡＡＣ復号部１は、図１、図７、図９に示したＡＡＣ復号処理部１と同様に構成されたものであり、また、付加信号復号処理部２３は、図２、図７、図９に示した付加信号復号処理部２３と同様に構成されたものである。また、加算部３は、図１、図７、図９に示した加算部３と同様に構成されたものである。

これにより、ＡＡＣ復号処理部１において復号処理された音声信号と付加信号復号部２３において復号処理された付加信号とが加算部３において加算処理され、図６Ｃに示したように、符号化音声信号が復号されて形成された音声信号と、復号された付加信号とが加算されて高品位とされた音声信号が形成され、これが再生することができるようにされる。

また、符号化音声信号は、例えば、一般に流通する楽曲などであり、コピー制限がある場合もある。しかし、付加信号は、符号化音声信号を解析することにより、生成することができるものであり、しかも符号化音声信号とセットで用いないと意味をなさない。このため、付加信号やプロファイル情報については、基本的にコピー制限されることはないので、コピー回数を気にする必要がなく、符号化音声信号を利用する可能性のある種々の機器に予め容易して利用することもできる。

［付加信号等の生成処理のプログラム化について］
図３を用いて説明した付加信号生成処理部２１の機能は、プログラム（ソフトウェア）によっても実現可能である。図１１は、付加信号生成処理部２１の付加信号を生成する処理系の機能を実現するプログラムの例を説明するためのフローチャートである。この図１１に示す処理は、例えば、パーソナルコンピュータや音響記録再生装置など、符号化音声信号を処理する電子機器の信号処理部等において実行されるものである。

ここで、信号処理部は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などがＣＰＵバスを通じて接続されて形成されたマイクロコンピュータなどであり、デジタル音声信号についての処理が可能なものである。そして、信号処理部のＣＰＵは、所定の符号化音声信号についての付加信号を生成することが指示されると、図１１に示す処理を実行し、まず、目的とする符号化音声信号を取得する処理を開始する（ステップＳ１０１）。このステップＳ１０１の処理は、付加信号の生成が指示された符号化音声信号を記録媒体から順次に読み出す処理に相当する。

次に、ＣＰＵは、読み出した符号化音声データについてハフマン復号化処理を施し（ステップＳ１０２）、逆量子化処理を行い（ステップＳ１０３）、さらにリスケーング処理（再スケーリング処理）を行って（ステップＳ１０４）、量子化処理前のＭＤＣＴ係数に復元する。

そして、ＣＰＵは、図１を用いて説明したＡＡＣ復号処理部１のステレオ処理部１３の各部において行われるＭ／Ｓステレオ処理、予測処理、インテンシティ・ステレオ処理、ＴＮＳ処理を行うようにして、ＭＤＣＴ処理直後のＭＤＣＴ係数を復元する（ステップＳ１０５）。この復元したＭＤＣＴ係数に基づいて、ある周波数を境に、高域全体がカットされている場合の境界周波数を検出する処理を行う（ステップＳ１０６）。このステップＳ１０６の処理は、上述もしたように、符号化音声信号の例えばビットレートや機器の性能等の情報に基づいて予め決められたものを用いるなどのことができるようにされる。

次に、ＣＰＵは、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する（ステップＳ１０７）。そして、ＣＰＵは、決定した追加帯域に応じて、符号化により除去された高域部分の音声信号を生成する（ステップＳ１０８）。そして、目的とする符号化音声信号の全体を対象として、付加信号の形成が終了したか否かを判断する（ステップＳ１０９）。

ステップＳ１０９の判断処理において、付加信号の生成が終了していないと判断したときには、ステップＳ１０２からの処理を繰り返す。ステップＳ１０９の判断処理において、付加信号の生成が終了したと判断したときには、この図１１に示す処理を終了する。

このように、符号化音声信号が符号化された場合に除去されてしまった高域部分の音声信号である付加信号は、図１１に示したように、プログラムを実行することにより生成することができる。すなわち、付加信号の生成は、プログラムによっても実現することができる。

また、プロファイル情報についても、プログラムによって生成することができる。図１２は、付加信号生成処理部２１のプロファイル情報を生成する処理系の機能を実現するプログラムの例を説明するためのフローチャートである。この図１２に示す処理は、図１１を用いて上述した付加信号の生成処理と並行するようにして信号処理部等において実行される処理である。

そして、信号処理部のＣＰＵは、所定の符号化音声信号についての付加信号を生成することが指示されると、図１２に示す処理をも実行し、付加信号固有の情報、例えば、復号装置の名称、バージョンナンバー、付加信号の作成日時などの情報を取得し（ステップＳ２０１）、これらからなるプロファイル情報を形成して（ステップＳ２０２）、これを付加信号記憶部２２に供給する。

なお、上述もしたように、復号装置の名称、バージョンナンバーといった復号装置に関する固定的な情報は、復号装置のＲＯＭなどに記録されているものを取得すればよい。また、付加信号の作成日時などの日時情報は、時計回路から取得する。このように、プロファイル情報に必要な情報は、付加信号を生成する装置が元々備える種々の情報や取得可能な種々の情報を用いるようにすることができる。

このように、付加信号の生成処理やプロファイル情報の生成処理はプログラムによっても実現できるため、例えば、パーソナルコンピュータなどにおいて、符号化音声信号を管理すると共に、図１１、図１２に示した処理を実行するプログラムによって付加信号やプロファイル情報を生成し、これを利用するようにするなどのことが可能となる。また、既存の音声信号記録再生装置に、付加信号やプロファイル情報の生成機能を追加することも可能となる。

なお、図には示さなかったが、付加信号やプロファイル情報を生成して、これを記録媒体に記録するようにした場合には、処理の対象となった符号化音声信号の識別情報と、生成した付加信号の識別情報と、生成したプロファイル情報とのそれぞれに対して、同じ通し記号や通し番号を付与して、図５に示したような管理テーブルを作成し、これをも記録媒体に記憶保持する処理までをもプログラム（ソフトウェア）によって実現することももちろん可能である。

また、この実施の形態においては、付加信号の生成とプロファイル情報の生成とを異なりプログラムによって行うものとして説明したが、これに限るものではない。例えば、付加信号の生成後に、プロファイル情報を生成することも可能である。したがって、図１１に示した処理により付加信号を生成し、この生成した付加信号を記録媒体に記録した後に、図１２に示した処理を実行してプロファイル情報を作成し、この作成したプロファイル情報を記録媒体に記録し、さらに、上述もしたように、処理の対象となった符号化音声信号の識別情報と、生成した付加信号の識別情報と、生成したプロファイル情報とのそれぞれに対して、同じ通し記号や通し番号を付与して、図５に示したような管理テーブルを作成し、これを記録媒体に記憶する処理まで行うプログラムを作成することも可能である。

［付加信号生成処理部２１の他の構成例について］
［第１の他の構成例］
図３を用いて説明した付加信号生成処理部２１は、圧縮符号化されて形成された中低域の符号化音声信号のみから高域信号を復元するようにしている。しかし、符号化音声信号は、圧縮符号化処理によりカットされた部分を含む場合がある。このため、既存の中低域の符号化音声信号のみからでは、高域信号を高品位に復元することができない場合があると考えられる。

図１３は、圧縮符号化されて形成された中低域の符号化音声信号のみから高域信号を復元する場合について説明するための概念図である。図１３Ａにおいて点線で示すように、圧縮符号化されて形成されたデジタル音声信号であって、復号処理の対象となる（元になる）既存の中低域の音楽信号自体がある箇所でカットされている場合、そのカットされた状態の音声信号を使って高域信号を作成しても、結局、図１３Ｂに示すように、作成された高域信号は点線で示すようにカットされた部分が含まれてしまうので充分なものとは言えない。

そこで、以下に説明する付加信号生成処理部２１の他の構成例の場合には、圧縮符号化された中低域の既存の符号化音声信号だけでなく、当該中低域の既存の符号化音声信号において、圧縮符号化処理によりカットされた可能性のある音声信号を復元し、これをも考慮して、高域信号を生成するようにしている。

図１４は、付加信号生成処理部２１の他の構成例である付加信号生成処理部２１Ａを説明するためのブロック図である。図１４に示した付加信号生成処理部２１Ａにおいて、図３に示した付加信号生成処理部２１の場合と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明は省略する。

図１４に示すように、この例の付加信号生成処理部２１Ａは、ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３、ステレオ処理部２１４、プロファイル情報作成処理部２１８を備えると共に、ステレオ処理部２１４の後段に欠落信号復元部３００が設けられたものである。欠落信号復元部３００は、予測生成処理部３０１と、高域追加処理部３０２とを備えたものである。

ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３のそれぞれは、図１に示したＡＡＣ復号処理部１の逆量子化処理部１２のハフマン復号化部１２１、逆量子化部１２２、リスケーリング部１２３のそれぞれと同様のものであり、フォーマット解析部１１からの符号音声信号（ＭＤＣＴ係数）に対する逆量子化処理を行って、量子化処理前のＭＤＣＴ係数を復元する部分である。

ステレオ処理部２１４は、図１に示したステレオ処理部１３と同様の処理を行う部分である。すなわち、ステレオ処理部２１４は、符号化時とは逆に、Ｍ／Ｓステレオ処理、予測処理、インテンシティ・ステレオ処理、ＴＮＳ処理の各処理を行って、ＭＤＣＴ処理された直後のＭＤＣＴ係数を復元し、復元したＭＤＣＴ係数を欠落信号復元部３００の予測生成処理部３０１に供給する。

欠落信号復元部３００の予測信号生成処理部３０１に供給されるＭＤＣＴ係数は、図１５Ａに示すように、圧縮符号化処理により形成された中低域のものであり、高域成分がカットされると共に、図１５Ａにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットされているものである。

このため、予測生成処理部３０１は、詳しくは後述もするが、これに供給されるＭＤＣＴ係数に基づいて、圧縮符号化時においてカットされた可能性のあるＭＤＣＴ係数部分を検出する。具体的には、値がゼロであるＭＤＣＴ係数部分を検出する。そして、当該ＭＤＣＴ係数部分を含むフレームの前後のフレームにおける対応するＭＤＣＴ係数に基づいて、カットされたであろうＭＤＣＴ係数の値を予測して求める。この処理が、カットされたであろう音声データの予測と生成処理に該当する。

そして、予測生成処理部３０１は、予測して生成したＭＤＣＴ係数が、値がゼロであったＭＤＣＴ係数部分の分解能よりも小さければ、当該予測して生成したＭＤＣＴ係数を補間データとして採用し、当該分解能よりも大きい場合には、そのような値のＭＤＣＴ係数がカットされるのは本来的におかしいので、予測が失敗したと判断し、当該予測して生成したＭＤＣＴ係数は採用しないようにする。

このようにして、カットされた可能性のあるＭＤＣＴ係数を予測して生成し、この予測して生成したＭＤＣＴ係数が分解能以下である場合には、これを補間データとして用いることによって、図１５Ｂに示すように、分解能以下であるためにカットされた部分のＭＤＣＴ係数が補間された中低域のＭＤＣＴ係数（変調周波数帯域のＭＤＣＴ係数（音声データ））を形成することができる。

そして、上述したように、カットされた可能性のあるＭＤＣＴ係数が補間された中低域のＭＤＣＴ係数は、欠落信号復元部３００の高域追加処理部３０２に供給される。高域追加処理部３０２では、例えば、図１５Ｂに示した中低域のＭＤＣＴ係数のうち、図１５Ａにおいて範囲ａで示した部分のＭＤＣＴ係数を用いて、圧縮符号化時にカットされた高域側のＭＤＣＴ係数を復元する。

図１５Ａにおいては、範囲ａには点線で示した符号化時にカットされた可能性のある部分が存在していたが、図１５Ｂに示すように、範囲ａの符号化時にカットされた可能性のある部分は、予測生成処理部３０１の機能により補間されている。このため、範囲ａのＭＤＣＴ係数を用いて、圧縮符号化処理によりカットされた高域側のＭＤＣＴ係数を復元するようにすると、図１３を用いて上述した場合のように、カットされた可能性のあるＭＤＣＴ係数部分をそのまま残すことなく、図１５Ｃにおいて、範囲ｂ、範囲ｃに示すように、カットされた高域のＭＤＣＴ係数を信頼性高く復元することができるようにしている。

この後、図１５Ｃに示したように、復元された高域信号（ＭＤＣＴ係数）は、高域追加処理部３０２から図２に示したように、付加信号記録部２２に供給され、所定の記録媒体の記録領域に記録されると共に、付加信号復号処理部２３において復号化処理が施され、時間軸領域の音声信号である時間音声信号に変換されて、図１を用いて説明したように、加算部３に供給されて、ゲイン制御部１５からの復号化された中低帯域の音楽信号と加算処理され、低域、中域、高域の全ての帯域からなる時間音声信号を復元することができるようにしている。

このように、この他の構成例の付加信号生成処理部２１Ａにおいては、まず、中低域の符号化音声信号のカットされた可能性のある部分の検出と、その部分の音声データの予測と生成とを行い、この生成した音声データを含めた中低域の符号化音声信号（デジタル音声信号）を用いて高域の音声データ（高域信号）の生成と追加とを行うことによって、符号化音声信号（圧縮符号化されたデジタル音声信号）から、圧縮符号化前の高品位のデジタル音声信号を復元することができるようにしている。

そして、圧縮符号化前の状態に復元されたデジタル音声信号を再生するようにした場合には、従来の方式を用いて復元したデジタル音声信号を再生した場合よりも、圧縮符号化によりカットされた（欠落した）部分を少なくすることができるので、音質のよい音声を再生することができる。

［予測生成処理部３０１での処理の詳細］
次に、この構成例の欠落信号復元部３００の予測生成処理部３０１で行われる処理の詳細について、図１６〜図１８を用いて説明する。この構成例の予測生成処理部３０１においては、圧縮符号化することによりカットされた可能性のある信号（欠落信号）の予測方法として、最小二乗法を使って近似式を作成する予測方法を用いる。

上述もしたように、用いている圧縮符号化方式は、ＭＰＥＧ２−ＡＡＣ方式であり、１０２４サンプルを1フレームとして直交変換し、ＭＤＣＴ係数１０２４個を得る。そのＭＤＣＴ係数を１フレーム単位で圧縮した信号がＡＡＣの符号化信号となる。ＭＤＣＴ係数は周波数領域の信号として扱われ、１フレームに１０２４個あるＭＤＣＴ係数の０番目から１０２３番目は、周波数領域０Ｈｚから２４Ｈｚ（４８ｋＨｚサンプリングの音声信号を用いているため）における音声信号に対応しており、縦軸は振幅である。

例えば、ＭＤＣＴ係数の１００番目の係数値は、２４０００Ｈｚ／１０２４×１００＝２３４３．７５Ｈｚにおける音声信号を表す。ＭＤＣＴ係数の分布が周波数領域を表現していることから、前後のフレーム間、また、１フレーム内の前後のＭＤＣＴ係数間にはそれぞれ相関関係が生じる。

ここでは、説明を簡単にするため、ある音楽の音声データをＡＡＣ方式で圧縮符号化した場合に、ｎフレーム目（フレーム［ｎ］）のＭＤＣＴ係数のｋ番目（ＭＤＣＴ係数[ｋ]）が、圧縮処理により値「０」になってしまった、即ち、欠落してしまった場合を例にして、そのフレーム[ｎ]のＭＤＣＴ係数[ｋ]を、近似式を使って予測する方法について説明する。

図１６は、ＡＡＣ方式で圧縮符号化されたデジタル音声信号において、フレーム[ｎ]のＭＤＣＴ係数［ｋ］が欠落している場合を説明するための概念図である。図１６においては、図１６Ｃのフレーム［ｎ］の前後各２フレーム（図１６Ａ、図１６Ｂ、及び、図１６Ｄ、図１６Ｅ）におけるＭＤＣＴ係数［ｋ］は存在するが、フレーム［ｎ］のＭＤＣＴ係数［ｋ］だけが値「０」となって欠落している場合を示している。

このように、ＭＤＣＴ係数の値が「０」になっている部分は、圧縮符号化処理により元々の音声信号がカットされ欠落した可能性のある部分である。この構成例の欠落信号復元部３００の予測生成処理部３０１は、まず、圧縮符号化によりカットされた可能性の高い、値が「０」であるＭＤＣＴ係数部分を検出し、その部分のＭＤＣＴ係数を予測して復元するようにしている。

図１７は、図１６に示した５つのフレームのＭＤＣＴ係数［ｋ］を２次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。フレーム［ｎ］のＭＤＣＴ係数［ｋ］に対応する、当該フレーム［ｎ］の前後各２フレームにおけるＭＤＣＴ係数［ｋ］を取得し、それぞれフレーム［ｎ−２］のＭＤＣＴ係数［ｋ］をＡ、フレーム［ｎ−１］のＭＤＣＴ係数［ｋ］をＢ、フレーム［ｎ］のＭＤＣＴ係数［ｋ］をＣ、フレーム［ｎ＋１］のＭＤＣＴ係数［ｋ］をＤ、フレーム［ｎ＋２］のＭＤＣＴ係数［ｋ］をＥとする。

図１７に示したＡ〜Ｅまでの５点は、連続する５つのフレーム内の同じ周波数位置の信号を表している。この５点における最小二乗法による２次多項式を作成し、それを近似式とする。図３に示したように、振幅が、Ｃ＝０は既知であり、それぞれ例えば、Ａ＝５、Ｂ＝３、Ｄ＝４、Ｅ＝５であったとすると、これらを連続する５点の座標に見立て、それぞれＡ＝（−２，５）、Ｂ＝（−１，３）、Ｃ＝（０，０）、Ｄ＝（１，４）、Ｅ＝（２，５）とおき、最小二乗法を用いて近似式を求める。

求めた近似式から、フレーム［ｎ］のＭＤＣＴ係数［ｋ］、即ちＣの予測値を求める。ここでは、図１７にも示したように、近似式は、ｙ＝０．９３ｘ＊＊２＋０．１ｘ＋１．５４となり、この近似式から点Ｃの予測値（予測したＭＤＣＴ係数）を求めると、Ｃ≒１．５４となる。なお、近似式における「ｘ＊＊２」は、ｘの二乗を意味する記述である。

続いて、ここで予測した点Ｃの予測値（予測したＭＤＣＴ係数）が妥当であるかを調べる。図１８は、フレーム［ｎ］のＭＤＣＴ係数［ｋ］の分解能と予測値との関係を示す図である。この構成例においては、上述したように求めた予測値の絶対値が、フレーム［ｎ］におけるＭＤＣＴ係数［ｋ］での分解能以下であった場合に、この予測値をフレーム［ｎ］におけるＭＤＣＴ係数［ｋ］として採用する。すなわち、フレーム［ｎ］の周波数位置［ｋ］における音声信号として予測値を採用する。

一方、上述したように求めた予測値の絶対値が、分解能より大きかった場合には、予測は失敗したとして、当該予測値を音声信号として採用しない。すなわち、圧縮符号化時において、ＭＤＣＴ係数がカットされるということは、分解能以下の大きさの値であったからであり、分解能以上の大きな値である場合には、そもそもカットされることは無いので、欠落したままの状態を保つこととする。

ここでは、図１８に示すように、フレーム［ｎ］のＭＤＣＴ係数［ｋ］における分解能が２であったとすると、予測値Ｃ＝１．５４は２以下であるので、Ｃ＝１．５４は、フレーム［ｎ］の［ｋ］番目のＭＤＣＴ係数として採用される。上述もしたように、音声信号が欠落するということは、元の音声信号の振幅が分解能以下であったため、既定の分解能では表現できず、０となってしまうことである。よって、予測値は必ず分解能以下の値を採用するのが理論上正しい。

このようにして、この構成例の予測生成処理部３０１は、各フレームにおいて、圧縮符号化によりカットされた可能性のある部分を検出し、カットされた可能性のある信号（欠落信号）として、ＭＤＣＴ係数を予測して生成していく処理を行う。

次に、この第１の実施の形態の処理装置の欠落信号復元部３００の予測生成処理部３０１において行われる予測生成処理について、図１９のフローチャートを参照しながら説明する。図１９は、予測生成処理部３０１において行われる予測生成処理を説明するためのフローチャートである。

図１６〜図１８を用いて前述したように、まず、各フレームにおいて、圧縮符号化によりカットされた可能性のある部分（ＭＤＣＴ係数部分）を検出し、検出したカットされた可能性のある部分について、その前後の２フレームの対応する部分の値（ＭＤＣＴ係数）を予測する処理について説明する。換言すれば、この第１の実施の形態において用いる予測生成処理は、連続する５フレームにおいて、その真中の３フレーム目（フレーム［ｎ］）にカットされた可能性のある部分を位置付けて、この３フレーム目（フレーム［ｎ］）を常に予測するものである。

そして、図１９に示すように、この構成の予測生成処理部３０１の場合には、前処理として、処理の対象となったフレームをフレーム［ｎ］として、その前後２フレーム分の０〜１０２３までの全てのＭＤＣＴ係数を予め取得しておく（ステップＳ３００）。換言すれば、カットされた部分の検索対象のフレームをフレーム［ｎ］とした場合に、５フレーム分（フレーム［ｎ−２］、フレーム［ｎ−１］、フレーム［ｎ］、フレーム［ｎ＋１］、フレーム［ｎ＋２］）のＭＤＣＴ係数を予め取得しておく処理が、図６に示したステップＳＳ１００の処理である。そして、フレーム［ｎ］を構成する０〜１０２３までのＭＤＣＴ係数の内、値が０であるＭＤＣＴ係数を検出する処理を行うようにする。

すなわち、予測生成処理部３０１は、まず、変数ｋに値０を代入することにより初期化し（ステップＳ３０１）、ＭＤＣＴ係数［ｋ］の値が、値０か否かを判断する（ステップＳ３０２）。ステップＳ３０２の判断処理において、ＭＤＣＴ係数［ｋ］の値が値０であると判断した場合には、当該ＭＤＣＴ係数［ｋ］は、圧縮符号化時において、カットされ欠落した可能性があるので、予測生成処理部３０１は、上述もしたように、ステップＳ３００において、予め取得しておいた前後各２フレームにおける対応する周波数位置のＭＤＣＴ係数［ｋ］を取得する（ステップＳ３０３）。

そして、予測生成処理部３０１は、図１７を用いて説明したように、自フレーム（フレーム［ｎ］）のＭＤＣＴ係数［ｋ］と、前後２フレームの対応する部分のＭＤＣＴ係数［ｋ］の計５点のＭＤＣＴ係数を用いて、最小二乗法による近似式を作成する（ステップＳ３０４）。

次に、ステップＳ３０４において作成した近似式に基づいて、フレーム［ｎ］におけるＭＤＣＴ係数［ｋ］の値を予測して生成する（ステップＳ３０５）。そして、予測生成処理部３０１は、ステップＳ３０５において予測して生成したＭＤＣＴ係数［ｋ］が、その予測した部分の分解能以下か否かを判断する（ステップＳ３０６）。

ステップＳ３０６の判断処理において、予測して生成したＭＤＣＴ係数［ｋ］が、分解能以下であると判断したときには、予測生成処理部３０１は、ステップＳ３０５において予測して生成したＭＤＣＴ係数［ｋ］をフレーム［ｎ］におけるＭＤＣＴ係数［ｋ］の値として採用して記録する（ステップＳ３０７）。

そして、予測生成処理部３０１は、変数ｋに１を加算し（ステップＳ３０８）、変数ｋが１０２４よりも小さいか否かを判断する（ステップＳ２０９）。ステップＳ２０９の判断処理において、変数ｋが１０２４よりも小さいと判断したときには、処理対象のフレーム［ｎ］の全てのＭＤＣＴ係数を対象とする処理は終わっていないので、予測生成処理部３０１は、ステップＳ３０２からの処理を繰り返すようにする。

また、ステップＳ３０９の判断処理において、変数ｋが１０２４よりも小さくないと判断したときには、処理対象のフレーム［ｎ］の全てのＭＤＣＴ係数を対象とする処理が終了したので、当該フレーム［ｎ］について、高域追加処理を実行するようにする。そして、この図６を用いて説明した処理を、再生などの処理対象となっている圧縮符号化されたデジタル音声信号の全てのフレームについて実行することによって、当該デジタル音声信号の全体について、圧縮符号化によりカットされた音声信号を復元し、これを利用することができるようにされる。

［高域追加処理部３０２での処理の詳細］
次に、高域追加処理部３０２において行われる高域追加処理について説明する。図２０は、高域追加処理部３０２の構成例を説明するためのブロック図である。図２０に示すようにこの例の高域追加処理部３０２は、図３に示した境界周波数検出部２１５と、追加帯域決定部２１６と、高域信号生成部２１７との機能を備えたものである。

上述したように、予測生成処理部１４１において、カットされた可能性のあるＭＤＣＴ係数として予測されて生成されたものの内、分解能以下のものが追加するようにされた中低域のＭＤＣＴ係数が、高域追加処理部３０２の境界周波数検出部２１５に供給される。

境界周波数検出部２１５は、これに供給されたＭＤＣＴ係数について、ある周波数を境に、高域全体がカットされている場合の境界周波数（下限側の境界周波数）を検出する。上述もしたように、境界周波数検出部２１５においては、所定の条件にしたがって予め決められた境界周波数を用いるようにするなどのことができるようにされる。

この実施の形態処理装置において、復号処理の対象となっている符号化音声信号は、上述もしたように、ビットレートが１２８ｋｂｐｓで圧縮符号化されたものであるため、境界周波数波は、約１６ｋＨｚであるものとしている。すなわち、約１６ｋＨｚ以上の高域部分の音声信号がカットされ、劣化してしまっているものであると特定する。

追加帯域決定部２１６は、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する。上述もしたように、境界周波数が１５ｋＨｚ以上であった場合には、境界周波数以降の全帯域に高域信号を追加するようにしている。

この実施の形態において、境界周波数検出部２１５で検出された境界周波数は、上述もしたように、１６ｋＨｚであり、予め決められた条件である「境界周波数が１５ｋＨｚ以上であること」を満たしているため、追加帯域決定部２１６においては、１６ｋＨｚ以降に高域信号（高域部分の符号化音声信号）を追加するようにする。

また、この第１の実施の形態においては、上述もしたように、４８ｋＨｚサンプリングの音声信号を用いているため、追加する上限の周波数はサンプリング周波数の１／２（２分の１）である２４ｋＨｚとする。よって、１６ｋＨｚから２４ｋＨｚまでが、この第１の実施の形態における高域信号の追加帯域となる。

高域信号生成部２１７は、追加する高域信号を計算により生成する。この高域信号生成部２１７においては、上述もしたように、例えば、特許第３６４６６５７号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」に開示された技術を用いて、追加する高域信号（ＭＤＣＴ係数）を生成する。

具体的には、境界周波数検出部２１５において求められた境界周波数における信号の振幅値から、上限周波数（この実施の形態においては２４ｋＨｚ）における信号の振幅値を「０（零）」として、周波数特性傾きを算出する。次に、この実施の形態においては、下限周波数として１０．５ｋＨｚを設定し、１０．５ｋＨｚから下限側の境界周波数（この第１の実施の形態においては１６ｋＨｚ）までの信号をバッファリングし、スペクトル複製、ゲイン算出、ゲイン調整の各処理を行って、追加用の高域信号（ＭＤＣＴ係数）を生成する。

そして、高域信号生成部２１７で生成された高域信号が、付加信号として出力するようにされる。これが、図２を用いて説明したように、付加信号記録部２２に供給され、所定の記録媒体に記録保持されると共に、付加信号復号処理部２３に供給されて、逆ＭＤＣＴ変換されることにより時間軸領域の音声信号（時間音声信号）に変換され、ゲイン調整された後に、加算部３に供給され、ゲイン制御部１５からの時間音声信号と加算処理されることになる。

なお、図１に示したＡＡＣ復号処理部１の適応ブロック長切換逆ＭＤＣＴ部１４の前段に予測生成処理部３０１を設け、圧縮符号化処理の過程においてカットされた可能性のあるＭＤＣＴ係数を予測して生成し、このうち理論的に適正なＭＤＣＴ係数のみを、中低域のＭＤＣＴ係数として採用することにより、基本となり中低域のＭＤＣＴ係数自体の品位を向上させるようにすることもできる。このようにすることによって、低域、中域、高域の全ての帯域の音声信号の高品位化を図ることができる。

［第１の他の構成例の変形例］
図１４〜図２０を用いて説明した第１の他の構成例は、図１に示したように、ＡＡＣ復号処理部１と、付加信号生成部２とが並列に存在する場合において、図２に示した付加信号生成部２における付加信号生成処理部２１の構成を図１４に示したように予測生成処理部３０１と、高域追加処理部３０２とを設けるようにしたものである。

しかし、予測生成処理部３０１と、高域追加処理部３０２とを設ける構成は、図１に示したように、ＡＡＣ復号処理部１と、付加信号生成部２とが並列に存在する場合にのみ適用可能なものではない。例えば、図２１に示すように、ＡＡＣ復号処理部１の後段に、付加信号生成部２を設けるような構成とすることも可能である。このようにする場合には、圧縮復号化処理とは別個独立に付加信号を生成することができるので、復号処理の制約を受けることがないようにすることができる。

図２１に示すように、ＡＡＣ復号処理部１は、図１に示したＡＡＣ復号処理部１と同様に構成されたものである。但し、説明を簡単にするため、Ｍ／Ｓステレオ処理部１３１と、予測処理部１３２と、インテンシティ・ステレオ処理部１３３と、ＴＮＳ部１３４とからなるステレオ処理部１３は、１つのブロックで表している。したがって、図２１において、図１に示したＡＡＣ処理部１と同様に構成される部分には、同じ参照符号を付し、それらの詳細な説明については省略する。

そして、ＡＡＣ復号処理部１において復号処理され、ゲイン制御部１５から出力される時間軸領域の音声信号（時間音声信号）は、ＭＤＣＴ部１７に供給される。ＭＤＣＴ部１７は、これに供給された時間音声信号を再度ＭＤＣＴ変換して周波数軸領域の音声信号に変換し、これを欠落信号復元部３１０に供給するものである。

欠落信号復元部３１０は、図１４に示した欠落信号復元部３００の場合と同様に、中低域のＭＤＣＴ係数においての欠落信号を予測して生成する予測生成処理部３０１と、欠落信号が補間された中低域のＭＤＣＴ係数に基づいて、高域信号を生成する高域追加処理部３１２とを備えたものである。

予測生成処理部３０１は、図１４に示した予測生成処理部３０１と同様に構成されたものであるので、同じ参照符号を詳細な説明については省略する。すなわち、図２１に示す予測生成処理部３０１もまた、図１９を用いて説明した処理を実行し、上述もしたように、中低域のＭＤＣＴ係数において、圧縮符号化処理においてカットされた可能性のあるＭＤＣＴ係数を予測して生成し、この内、理論的に妥当なものを補間データとして採用する処理を行う。

高域追加処理部３１２は、基本的には、図１４に示した高域追加処理部３０２の場合と同様に、カットされた可能性のあるＭＤＣＴ係数が補間された中低域のＭＤＣＴ係数に基づいて、圧縮符号化処理によりカットされた高域信号を生成する処理を行うものであるが、これに加えて、図２に示した付加信号生成部２の付加信号記録部２２と、さらには、加算部３の機能をも合わせ持つように構成したものである。

図２２は、図２１に示した高域追加処理部３１２の構成例を説明するためのブロック図である。この場合の高域追加処理部３１２は、図２２に示すように、一時記憶メモリ３１２１と、境界周波数検出部２１５と、追加帯域決定部２１６と、高域信号生成部２１７と、付加信号記録部２２と、高域信号合成部３１２２とを備えたものである。

図２２において、境界周波数検出部２１５と、追加帯域決定部２１６と、高域信号生成部２１７とは、図３、図２０に示した境界周波数検出部２１５と、追加帯域決定部２１６と、高域信号生成部２１７と同様に構成され、同様の機能を実現するものである。また、図２２において、２重線で示した付加信号記録部２２は、図２、図４に示した付加信号記録部２２と同様に構成され、同様の機能を実現する部分である。

そして、図２２に示した高域追加処理部３１２の場合には、上述したように、予測生成処理部３０１において、カットされた可能性のあるＭＤＣＴ係数として予測されて生成されたものの内、分解能以下のものが追加するようにされた中低域のＭＤＣＴ係数は、フレーム単位に高域追加処理部３１２の一時記憶メモリ３１２１に一時記憶される。

境界周波数検出部２１５は、この例の場合にも、復号処理の対象となっている符号化音声信号は、上述もしたように、ビットレートが１２８ｋｂｐｓで圧縮符号化されたものであるため、境界周波数波は、約１６ｋＨｚであるものとする。すなわち、復号処理する符号化音声信号は、約１６ｋＨｚ以上の高域部分の音声信号がカットされ、劣化してしまっているものであると特定する。

なお、一時記憶メモリ３１２１にフレーム単位に一時記憶されているＭＤＣＴ係数を順次に読み出し、当該ＭＤＣＴ係数やその他の情報に基づいて、演算等により、ある周波数を境に、高域全体がカットされている場合の境界周波数（下限側の境界周波数）を検出することができる場合には、これにより境界周波数を特定するようにしてもよい。

追加帯域決定部２１６は、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する。この例においても、境界周波数が１５ｋＨｚ以上であった場合には、境界周波数以降の全帯域に高域信号を追加するようにしている。

そして、この例においても、この実施の形態において、境界周波数検出部２１５で検出された境界周波数は、上述もしたように、１６ｋＨｚであり、予め決められた条件である「境界周波数が１５ｋＨｚ以上であること」を満たしているため、追加帯域決定部２１６においては、１６ｋＨｚ以降に高域信号（高域部分の符号化音声信号）を追加するようにする。また、上述もしたように、４８ｋＨｚサンプリングの音声信号を用いているため、追加する上限の周波数はサンプリング周波数の１／２（２分の１）である２４ｋＨｚとする。よって、１６ｋＨｚから２４ｋＨｚまでが、この例の場合においても高域信号の追加帯域となる。

高域信号生成部２１７は、追加する高域信号を計算により生成する。この高域信号生成部２１７においては、上述もしたように、例えば、特許第３６４６６５７号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」に開示された技術を用いて、追加する高域信号（ＭＤＣＴ係数）を生成する。

そして、高域信号生成部４２４で生成された高域信号は、付加信号記録部２２に供給される。付加信号記録部２２は、図４を用いて説明したように構成される部分であり、付加信号とプロファイル情報の供給を受けて、これらを所定の記録媒体の所定のエリアに記録すると共に、これらの情報から管理テーブルを作成し、これを所定の記録媒体の所定のエリアに記録するものである。

なお、ここでは、プロファイル情報を作成する部分については説明を省略したが、図３を用いて説明したように、高域信号である付加信号の生成処理と並行して実行され、この付加信号記録部２２に供給するようにされている。

そして、付加信号記録部２２の機能により、所定の記録媒体の所定の記録エリアに記録するようにされた付加信号は、高域信号合成部３１２２にも供給するようにされる。高域信号合成部３１２２は、フレーム単位に一時記憶メモリ３１２１に記憶保持されている中低域のＭＤＣＴ係数を読み出し、フレーム単位の中低域の音声信号に対して、付加信号である高域信号を合成し、低域、中域、高域の全帯域の音声信号からなる高品位の音声信号を復元することができるようにされる。

このようにして、全帯域のＭＤＣＴ係数が復元するようにされた音声信号は、図２１に示した逆ＭＤＣＴ部１８に供給され、ここで逆ＭＤＣＴ変換されて、再度、時間軸領域の音声信号（時間音声信号）に変換される。この時間音声信号は、上述もしたように、低域、中域、高域の全帯域の音声信号が復元され、しかも、中低域部分においてカットされた可能性のある音声信号をも復元することができるので、高品位の音声を再生することが可能な音声信号を復元することができる。

［第２の他の構成例］
図１４を用いて説明した付加信号生成部２１Ａの場合には、圧縮符号化されて形成された中低帯域の既存のＭＤＣＴ係数において、圧縮符号化処理によりカットされた可能性のあるＭＤＣＴ係数を復元した後に、付加信号となる高域信号を復元するようにした。しかし、これに限るものではない。

まず、圧縮符号化処理によりカットされた高域信号を復元し、さらに、中低域部分をも含めてカットされた可能性のある部分をも予測して生成し、理論的に正常なものを補間データとして採用することによって、付加信号としての高域信号を高品位なものとして生成することができる。

図２３は、付加信号生成処理部２１の他の構成例である付加信号生成処理部２１Ｂを説明するためのブロック図である。図２３に示した付加信号生成処理部２１Ｂにおいて、図３に示した付加信号生成処理部２１の場合と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明は省略する。

図２３に示すように、この例の付加信号生成処理部２１Ｂは、ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３、ステレオ処理部２１４、プロファイル情報作成処理部２１８を備えると共に、ステレオ処理部２１４の後段に欠落信号復元部３２０が設けられたものである。欠落信号復元部３２０は、高域追加処理部３０２と、予測生成処理部３０１とを備えたものである。

ハフマン復号化部２１１、逆量子化部２１２、リスケーリング部２１３のそれぞれは、図１に示したＡＡＣ復号処理部１の逆量子化処理部１２のハフマン復号化部１２１、逆量子化部１２２、リスケーリング部１２３のそれぞれと同様のものであり、フォーマット解析部１１からの符号音声信号（ＭＤＣＴ係数）に対する逆量子化処理を行って、量子化処理前のＭＤＣＴ係数を復元する部分である。

ステレオ処理部２１４は、図１に示したステレオ処理部１３と同様の処理を行う部分である。すなわち、ステレオ処理部２１４は、符号化時とは逆に、Ｍ／Ｓステレオ処理、予測処理、インテンシティ・ステレオ処理、ＴＮＳ処理の各処理を行って、ＭＤＣＴ処理された直後のＭＤＣＴ係数を復元し、復元したＭＤＣＴ係数を欠落信号復元部３２０の高域追加処理部３０２に供給する。

図２４は、この第２の構成例の付加信号生成処理部２１Ｂの欠落信号復元部３２０において行われる処理を説明するための図である。図２４Ａに示すように、この第２の構成例の付加信号生成処理部２１において、欠落信号復元部３２０の高域追加処理部３０２に供給されるＭＤＣＴ係数は、圧縮符号化処理により形成された中低域のものであり、高域成分がカットされると共に、図２４Ａにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットされているものである。

このため、まず、高域追加処理部３０２の機能を用い、図２４Ａに示した範囲ａのＭＤＣＴ係数に基づいて、図２４Ｂに示すように、範囲ｂ、範囲ｃに示した高域信号を復元する。高域追加処理部３０２は、図１４に示した第１の構成例の高域追加処理部３０２と同様の構成を有するものである。

したがって、図２３に示した高域追加処理部３０２においては、図２０を用いて説明した第１の構成例の高域追加処理部３０２の場合と同様に、フレーム単位に境界周波数を検出し、追加帯域を決定し、これに応じて高域信号を生成することによって、図１０Ｂに示すように、高域信号を復元する。

しかし、図２３に示した高域追加処理部３０２において形成されて出力されるＭＤＣＴ係数は、図１０Ｂにおいて、点線で示したように、圧縮符号化によりカットされた可能性のある部分が残った状態のままである。このため、欠落信号復元部３２０の予測生成処理部３０１が、圧縮符号化によりカットされた可能性のある部分を復元する。

すなわち、この第２の構成例の予測生成処理部３０１は、図１６〜図１９を用いて説明した第１の構成例の予測生成処理部３０１の場合と同様の機能を有するものであり、高域追加処理部３０２からＭＤＣＴ係数の供給を受けて、フレーム単位に、圧縮符号化によりカットされた可能性のある部分を検出し、処理対象のフレームとその前後２フレームずつのフレームの５フレーム分の対応する位置のＭＤＣＴ係数を用いて、近似式を作成し、その近似式に基づいてカットされた可能性のあるＭＤＣＴ係数を予測して生成し、この予測して生成したＭＤＣＴ係数が分解能以下である場合に、生成した当該ＭＤＣＴ係数を補間データとして採用する。

このようにすることによって、図２４Ｃに示すように、低域、中域、高域の全帯域について、圧縮符号化によりカットされた可能性のあるＭＤＣＴ係数を復元し、欠落箇所のないデジタル音声データを復元することができるようにしている。このように、この第２の構成例の付加信号生成処理部２１Ｂの予測生成処理部３０２は、低域、中域、高域の全帯域を対象として、圧縮符号化によりカットされた可能性のあるＭＤＣＴ係数を復元し、論理的に適正なものだけを補間データとして採用することができるようにしている。

そして、図２４Ｃに示したように、圧縮符号化によりカットされた可能性のあるＭＤＣＴ係数についても復元された周波数帯域のデジタル音声信号のうち、高域信号が付加情報として出力され、これが所定の記録媒体の所定の記録エリアに記録され、必要に応じて読み出して利用することができるようにされる。

なお、この第２の構成例の付加信号生成処理部２１Ｂを用いる場合であっても、図１に示したＡＡＣ復号処理部１の適応ブロック長切換逆ＭＤＣＴ部１４の前段に予測生成処理部３０１を設け、圧縮符号化処理の過程においてカットされた可能性のあるＭＤＣＴ係数を予測して生成し、このうち理論的に適正なＭＤＣＴ係数のみを、中低域のＭＤＣＴ係数として採用することにより、基本となり中低域のＭＤＣＴ係数自体の品位を向上させるようにすることもできる。このようにすることによって、低域、中域、高域の全ての帯域の音声信号の高品位化を図ることができる。

［第２の他の構成例の変形例］
図２３、図２４を用いて説明した第２の構成例は、図１に示したように、ＡＡＣ復号処理部１と、付加信号生成部２とが並列に存在する場合において、図２に示した付加信号生成部２における付加信号生成処理部２１の構成を図２３に示したように高域追加処理部３０２と、予測生成処理部３０１とを設けるようにしたものである。すなわち、図１４に示した第１の構成例の場合とでは、予測生成処理部３０１と、高域追加処理部３０２とが逆の位置に設けられているものである。

しかし、高域追加処理部３０２と、予測生成処理部３０１とを設ける構成は、図１に示したように、ＡＡＣ復号処理部１と、付加信号生成部２とが並列に存在する場合にのみ適用可能なものではない。例えば、図２５に示すように、ＡＡＣ復号処理部１の後段に、付加信号生成部２を設けるような構成とすることも可能である。このようにする場合には、圧縮復号化処理とは別個独立に付加信号を生成することができるので、復号処理の制約を受けることがないようにすることができる。

図２５に示すように、ＡＡＣ復号処理部１は、図１に示したＡＡＣ復号処理部１と同様に構成されたものである。但し、説明を簡単にするため、Ｍ／Ｓステレオ処理部１３１と、予測処理部１３２と、インテンシティ・ステレオ処理部１３３と、ＴＮＳ部１３４とからなるステレオ処理部１３は、１つのブロックで表している。したがって、図２５において、図１に示したＡＡＣ処理部１と同様に構成される部分には、同じ参照符号を付し、それらの詳細な説明については省略する。

そして、ＡＡＣ復号処理部１において復号処理され、ゲイン制御部１５から出力される時間軸領域の音声信号（時間音声信号）は、ＭＤＣＴ部１７に供給される。ＭＤＣＴ部１７は、これに供給された時間音声信号を再度ＭＤＣＴ変換して周波数軸領域の音声信号に変換し、これを欠落信号復元部３３０に供給するものである。

欠落信号復元部３３０は、図２３に示した欠落信号復元部３２０の場合と同様に、圧縮符号化されて形成された既存の中低域のＭＤＣＴ係数に基づいて、高域信号を生成する高域追加処理３３１と、低域、中域、高域の全帯域について、欠落信号を予測して生成して補間するようにする予測生成処理部３３２とを備えたものである。

高域追加処理部３３１は、基本的には、図２０に示した高域追加処理部３０２の場合と同様に動作するものであり、この例の場合には圧縮符号化されて形成された既存の中低域のＭＤＣＴ係数に基づいて、圧縮符号化処理によりカットされた高域信号を生成する処理を行う。

高域追加処理部３３１の機能により、図２４Ｂに示したように、高域信号が復元されることにより、一応、低域、中域、高域の全帯域のＭＤＣＴ係数が整えられる。しかし、このままでは、図２４Ｂにおいて、点線で示したように、圧縮符号化処理により、分解能より低かったＭＤＣＴ係数がカットされたままである。

そこで、予測生成処理部３３２において、低域、中域、高域の全帯域を通じて、圧縮符号化処理によりカットされた可能性のあるＭＤＣＴ係数部分を検出し、予測して生成し、この生成したＭＤＣＴ係数が理論的に適正なものである場合、すなわち、分解能以下である場合に、補間データとして採用し、図２４Ｃに示したように、全帯域に渡って、カットされた可能性のあるＭＤＣＴ係数を復元することができる。

このようにして復元した全帯域のＭＤＣＴ係数を逆ＭＤＣＴ部１８に供給して、逆ＭＤＣＴ変換を行うことにより、時間軸領域の音声信号（時間音声信号）に変換することにより、高品位に音声信号を復号することができ、これを再生することにより、高品位な音声を再生することができるようにようにされる。

また、図２４Ｃに示したように、全帯域に渡って、カットされた可能性のあるＭＤＣＴ係数を復元したＭＤＣＴ係数が得られたら、付加信号として用いる高域部分を抽出し、これを付加信号記録部２２に供給することにより、付加信号を所定の記録媒体の所定の記憶エリアに記憶保持することができるようにされる。

すなわち、予測生成処理部３３２は、図１９に示したフローチャートの処理にしたがって、全帯域を処理の対象として、圧縮符号化処理によりカットされた可能性のあるＭＤＣＴ係数を予測して生成し、この生成したＭＤＣＴ係数の内、理論的に適正なものを補間データとして採用するようにして、図２４Ｃに示したように、全帯域に渡ってカットされた可能性のあるＭＤＣＴ係数を復元するようにする。

この後、付加信号として用いる高域信号を抽出し、これを図４に示した機能を有する付加信号記録部２２に供給することによって、付加信号を所定の記録媒体の所定の記録エリアに記録する機能をも有するものである。

このように、この第２の構成例において、予測生成処理部３３２は、全帯域を処理対象として、全帯域を処理の対象として、圧縮符号化処理によりカットされた可能性のあるＭＤＣＴ係数を予測して生成し、この内理論的に適正なＭＤＣＴ係数のみを補間データとして採用するようにして、図２４Ｃに示したように、全帯域に渡って高品位にＭＤＣＴ係数を復元する機能を有するものである。そして、さらに、予測生成処理部３３２は、付加信号として用いる高域信号を抽出する付加信号抽出手段としての機能と、この抽出した付加信号を所定の記録媒体の所定の記録エリアに記録する付加信号記録処理手段としての機能をも合わせ持つものである。

以上、図１３〜図２５を用いて説明したように、圧縮符号化されて形成された中低域のＭＤＣＴ係数に基づいて、付加信号として用いる高域信号を復元するのではなく、分解能以下の値であるために、圧縮符号化処理によりカットされた可能性の高いＭＤＣＴ係数をも予測して生成し、この内、理論的に適正なＭＤＣＴ係数のみを補間データとして用いるようにすることによって、高品位に付加信号を復元し、これを用いるようにすることができる。

また、高域信号だけでなく、低域信号や中域信号についても、圧縮符号化処理によりカットされた可能性のある部分を復元することができるので、全帯域に渡って高品位に音声信号を復号処理することができるようにされる。

また、予測生成処理部３０１、３３２の機能は、図１９のフローチャートを用いて説明した処理を行うようにするプログラム（ソフトウェア）によっても実現可能である。また、高域追加処理部３０２、３３１は、図２０を用いて説明したように、境界周波数検出部２１５、追加帯域決定部２１６、高域信号生成部２１７の各部の機能をプログラム（ソフトウェア）によって実現することも可能である。同様に、高域追加処理部３１２は、図２２
を用いて説明したように、境界周波数検出部２１５、追加帯域決定部２１６、高域信号生成部２１７、付加信号記録部２２、高域信号合成部３１２２の各部の機能をプログラム（ソフトウェア）によって実現することも可能である。

このように、各処理部の機能をプログラムによって実現する場合には、処理装置に搭載されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などの不揮発性メモリからなるマイクロコンピュータにおいて実行可能なようにしておけばよい。

すなわち、各処理部の機能を実現するプログラムをマイクロコンピュータのＲＯＭに記憶保持されておき、必要に応じてＣＰＵが読み出して実行するようにするが、ＲＡＭをワークエリアとして用いて、処理対象の符号化音声信号を遂次取得し、これを処理対象として、予測生成部としての機能を実行して、圧縮符号化によりカットされた可能性のある符号化音声信号を復元し、また、高域追加処理部としての機能を実行して、高品位の付加信号としての高域信号を生成することができる。

もちろん、同様にして、初めに、高域追加処理部としての機能を実行して、高域信号を生成し、この後に、予測生成部としての機能を実行して、圧縮符号化によりカットされた可能性のある符号化音声信号を復元するようにして、高品位の付加信号としての高域信号を生成することも可能である。

［高音質化信号が追加される様子について］
ここで、上述した付加信号生成処理部２１の第１の他の構成例で説明した付加信号生成処理部２１が用いられた復号装置において、付加信号（高音質化信号）を追加する場合の音声信号の様子について説明する。すなわち、圧縮符号化された中低域の既存の符号化音声信号だけでなく、当該中低域の符号化音声信号において、圧縮符号化処理によりカットされた可能性のある音声信号を復元し、これをも考慮して、高域信号を生成して追加するようにする場合の例である。

図２６は、付加信号生成処理部２１の第１の他の構成例で説明した付加信号生成処理部２１が用いられた復号装置において、付加信号（高音質化信号）を追加する場合の音声信号の様子について説明するための図である。図２６は、「サウンドスペクトログラム」と呼ばれ、横軸を時間、縦軸を周波数として、音声信号の強さを色の濃さで示すようにしたものである。声紋分析などに使われているものと原理は同じである。

そして、図２６Ａは、符号化前（エンコード前）の原音のサウンドスペクトログラムである。図２６Ａに示す原音（音声信号）をＡＡＣ方式、ビットレート１２８ｋｂｐｓで符号化処理（エンコード）し、これに通常の（従来の）デコード処理を施して復元した音声信号を再生すると、図２６Ｂに示すように、図２６Ａに比べ、高域が欠落し、かつ、中低域に部分的に欠落した部分を含む音声信号が復元される。低域は中域に比べ欠落が少ないのが一般的なため図２６Ｂにおいては、まるで囲んだ部分や矢印で示した部分のように、中域における音声信号の欠落（抜け）が認識しやすいものとなっている。

そこで、図１４〜図２０を用いて説明した第１の他の構成例の付加信号生成処理部２１を有する復号装置においては、まず、中低域の補正処理を行うことによって、図２６Ｂにおいて中低域において部分的に発生している欠落部分を、図２６Ｃに示すように補正（補完）する。すなわち、上述もしたように、中低域のＭＤＣＴ係数からカットされた可能性のあるＭＤＣＴ部分を検出し、その前後のフレームのＭＤＣＴ係数からカットされたであろうＭＤＣＴ係数を求めて補完するように処理する。これをデコードして再生すれば、図２６Ｃに示すように、中低域部分に存在していた欠落部分を補完することができる。

なお、この図２６に示す例においては、音声信号の欠落部分が中域に多く発生していることが確認できる。しかし、上述もしたように、低域は中域に比べ欠落が少ないのが一般的であるが、欠落部分が存在する場合もあるので、実際には中域だけでなく、音声信号の欠落部分の補完処理は、低域部分も含めた全帯域に対して行っている。

そして、カットされた可能性のある部分を補完するようにした中低域のＭＤＣＴ係数から、上述したように、欠落した高域の音声信号（高域信号）を生成し、これを別途管理して、図２６Ｃに示した中低域部分の欠落箇所が補完された中低域の音声信号に、形成した高域の音声信号を加算することにより、図２６Ｄに示すように、中低域の欠落箇所の音声信号と、高域側の欠落した音声信号とが補完されて、図２６Ａに示す原音により近い音声信号を復元することができることが分かる。

図２７は、原音のサウンドスペクトログラム（図２７Ａ）と、当該原音をＡＡＣ方式、ビットレート１２８ｋｂｐｓで符号化処理（エンコード）し、これに通常の（従来の）デコード処理を施して復元した音声信号を再生した場合のサウンドスペクトログラム（図２７Ｂ）と、当該原音をＡＡＣ方式、ビットレート１２８ｋｂｐｓで符号化処理（エンコード）し、この発明の復号装置を用いてデコード処理して復元した音声信号を再生した場合のサウンドスペクトログラム（図２７Ｃ）とを比較するための図である。

図２７Ｂに示す通常のデコード処理により復元される音声信号は、高域が欠落し、中低域に欠落箇所を含んでいるが、図２７Ｃに示すこの発明の復号装置により復元される音声信号は、中低域の欠落も補償され、高域も復元されるため、原音に近い高音質の音声信号を復元できることが分かる。

図２８は、従来から行われている符号化された音声信号の高域補償方式であって、異なる方式について説明するための図である。図２８Ａ、Ｂ、Ｃ、Ｄは、いずれも異なる従来方式１、２、３、４によって高域補償がなされて復号処理された音声信号のサウンドスペクトログラムである。この図２８に示した例の場合においても、原音は、図２７Ａにサウンドスペクトログラムを示したものである。

図２８Ａ、Ｂ、Ｃ、Ｄの各サウンドスペクトログラムと、図２７Ａに示した原音のサウンドスペクトログラムとを比較すると分かるように、各方式とも低中域の補間は行っていないため、各方式とも同じような空白領域が中域にあり原音のサウンドスペクトログラムとはかなり異なっていることがわかる。

そして、さらに細かく見ると、図２８Ａに示す従来方式１の場合、中域の補間がないため、補われた高域の強さが原音とはかなり異なっていることが分かる。また、図２８Ｂに示す従来方式２の場合、高域を中域のコピーによって生成しているために、中域の抜け部分が高域にそのままコピーされてしまっている。

また、図２８Ｃに示す従来方式３の場合、生成された高域成分が他方式に比べて疎である。また、図２８Ｄに示す従来方式４の場合、生成された高域成分の高域への伸びが他方式より少なく、また疎である。

そして、同じ原音（図２７Ａ）について符号化された後に、図２８Ａ、Ｂ、Ｃ、Ｄに示したように従来の高域補償方式が用いられて復元された音声信号のサウンドスペクトログラムのそれぞれと、図２７Ｃに示したこの発明の復号装置によって復元された音声信号のサウンドスペクトログラムとを比較すると分かるように、図２７Ｃに示したこの発明の復号装置によって復元された音声信号のサウンドスペクトログラムの方が、より原音（図２７Ａ）に近いことが分かり、この発明の有効性が十分に確認された。

［実施の形態の効果等］
なお、符号化音声信号の高音質化を考えると、一番単純には、圧縮された符号化音声の音質を向上する処理を施した後の音声信号を記録媒体に記録保存し利用することが考えられる。しかし、高音質化し、さらに符号化されてない状態の音声信号の全部を記憶保持しておくことは、記録媒体の記憶容量の問題となる。このため、符号化音声信号についての音質向上処理は復号処理時の度に行わねばならなくなる。このことはメモリ負荷、電力消費の面から見て効率的ではない。

しかし、この発明の場合、上述したように、付加信号やプロファイル情報は、１度作成してしまえば、符号化音声信号とは別個独立に管理することができる。従って、符号化音声信号の復号処理時のたびに、付加信号を生成するという手間を省くことができる。しかも、付加信号やプロファイル情報は、符号化音声信号（楽曲などの復号再生されるべき音声信号）と共に使用されなければ、全く意味をなさないものであり、これら付加信号やプロファイル情報だけを種々の機器に複製（コピー）しても、楽曲などの符号化音声信号の著作権の侵害に繋がることもない。

また、付加信号を再生可能な携帯型再生機などに、既存の符号化音声信号と合わせて伝送することで、あるいは、付加信号が予め用意されている再生機に符号化音声信号を伝送したり、逆に符号化音声信号が予め用意されている再生機に付加信号を伝送したりすることで、携帯型再生機などでも高音質の音声信号を聴くことができる。携帯型再生機など電力消費やメモリ負荷を極力抑えたい機器では、付加信号を作成する必要はなく、付加信号の復号機能を搭載するだけで、高音質再生が可能となる。

また、付加信号である高域信号の複製方法は、例えば、特許第３６４６６５７号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」などに開示されている技術を用いることが可能である。具体的には、上述もしたが、既存の音声信号を分析し、どの周波数以降から高域がカットされているかを示す境界周波数を検出する。

そして、境界周波数以降の所定の帯域について、スペクトル複製し、周波数特性傾きを算出し、ゲインを算出し、ゲイン調整を行って、目的とする境界周波数より高域の信号を複製することが可能である。なお、既存の音声信号を複製元とする際の範囲については、追加する高域の範囲に依らず、その下限を一定とする。下限を決めることで、生成された高域信号に基本波が含まれることを避けることが可能となる。

また、付加信号には、付加信号を生成した際の付加信号固有の情報（プロファイル情報）、例えば復号装置の名称、バージョンナンバー、作成日時なからなる情報も対応付けられるので、付加信号の利用が可能な装置の区別なども可能となる。

また、付加信号、プロファイル情報を管理テーブルで管理することで、必要な際に、元の音声信号に対して一意に読み出すことができる。

また、圧縮音声信号は、世界的に普及しており、復号系における高音質化は需要が見込まれる。また、携帯再生機の普及により、コピー規制に反する恐れのないデジタル信号の作成も需要が見込まれる。

［その他］
なお、上述した実施の形態では、左右２チャンネルのＭＰＥＧ２−ＡＡＣ方式のデジタル音声信号を処理する場合を例にして説明したが、これに限るものではない。マルチチャンネルのＭＰＥＧ２−ＡＡＣ方式のデジタル音声信号についても対応可能である。また、他の符号化信号でも応用が可能である。例えば、他のＭＰＥＧ方式、ＡＴＲＡＣ（登録商標）方式、ＡＣ−３（登録商標）方式、ＷＭＡ（登録商標）方式などで圧縮符号化された符号化信号に対しても、復号処理の内容を変更することによって、適用可能である。

また、上述した実施の形態においては、付加信号生成処理に高域信号の復元処理を用いたが、他の音質向上を図る処理、例えば、各種のエフェクト処理等を用いて付加信号を生成するようにしてもよい。

また、上述した実施の形態においては、付加信号（高域信号）の生成方法について、前述の特許第３６４６６５７号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」を応用するものとして説明したが、これに限るものではない。他の種々の方法を用いるようにすることももちろん可能である。

また、上述した実施の形態においては、生成して記録媒体に記録した付加信号は、符号化された状態のものとして説明したが、これに限るものではない。例えば、復号処理して、すぐに加算部３に供給可能な状態（時間軸領域の音声信号の状態）で付加信号を記録媒体に記録保持しておくようにすれば、付加信号復号処理部を用いないようにすることも可能である。

また、上述した実施の形態においては、この発明を、ハードディスクプレーヤやメモリプレーヤに適用されるものとして説明したが、符号化音声信号を処理するパーソナルコンピュータや種々の音声再生装置や音声記録再生装置等に適用可能である。

また、符号化処理により除去されて劣化した信号成分のみを、本来の復号処理の対象である符号化信号とは別個独立に記憶保持して、管理するという思想は、符号化音声信号の場合だけでなく、符号化映像信号の場合にも適用可能である。

また、上述した実施の形態においては、ＭＰＥＧ−２ ＡＡＣ方式の圧縮符号化処理が、所定の信号変換処理に相当し、ＭＰＥＧ−２ ＡＡＣ方式の圧縮符号化処理により形成された符号化音声信号が、所定の信号変換処理により形成された変換後信号に相当するものとして説明した。しかし、信号変換処理は、種々の圧縮符号化処理に限るものではない。

例えば、この発明が適用されずに、所定の圧縮符号化方式に従って圧縮符号化された音声信号が、復号化処理されるとともに、アナログ音声信号に変換されて提供された場合、当該アナログ音声信号は、先の圧縮符号化により、信号成分の一部が除去された状態のまま、復号化されて提供されたものである。

このため、当該アナログ音声信号をデジタル信号に変換し、上述した実施の形態の場合のように、除去された信号成分である付加信号を形成することが可能な状態にまで変換して、目的とする変換後信号を形成した後に、この発明を適用し、当該変換後信号から、除去された可能性のある信号成分を付加信号として形成し、これらを別個独立に管理するようにすることもできる。

そして、当該変換後信号の再生時において、対応する付加信号をも加味すると共に、元のアナログ音声信号の状態にまで復元し、再生するようにすることによって、元々、一部の信号成分が除去された音声信号についても、高品位な音声を再生することが可能な音声信号として復元することができるようにされる。

この場合のデジタル信号への変換処理や、除去された信号成分である付加信号を形成することが可能な状態にまで変換する処理は、厳密には圧縮符号化処理とは異なるものであるが、このような場合であっても、この発明を適用することができる。すなわち、信号変換処理は、音声信号などの処理の対象となる主信号が、何らかの原因により一部の信号部分が除去されたようなものである場合に、その除去された信号部分を付加情報として生成することが可能な状態に変換する処理をも含むものである。

また、上述した実施の形態においては、圧縮符号化された音声信号を処理対象とした場合を例に説明したが、種々の処理により信号成分の一部が除去された可能性のある種々の信号、例えば映像信号などを処理対象とする場合においても、この発明を応用して適用することが可能である。

この発明の一実施の形態が適用された復号装置を説明するためのブロック図である。 図１に示した付加信号生成部の構成例を説明するためのブロック図である。 図２に示した付加信号生成処理部の構成例を説明するためのブロック図である。 図に示した付加信号記録部の構成例を説明するためのブロック図である。 管理テーブルの構成例を説明するための図である 図１に示した復号装置の加算部３から出力される音声信号の特性について説明するためのスペクトル分布の概念図である。 既存の付加信号及びプロファイル情報を用いて高品位の音声信号を復元する復号装置の例を説明するためのブロック図である。 管理テーブルを参照して付加信号及びプロファイル情報を読み出す際の処理を詳細に説明するための概念図である。 記録媒体から付加信号とプロファイル情報、及び符号化音声信号とを別々に読み出し、復号して再生する場合の概念図である。 図７、図８を用いて説明した復号装置を、メモリプレーヤ（メモリ型携帯音声再生装置）に適用した場合の例を説明するためのブロック図である。 付加信号を生成する処理系の機能を実現するプログラムの例を説明するためのフローチャートである。 プロファイル情報を生成する処理系の機能を実現するプログラムの例を説明するためのフローチャートである。 既存の音声信号を用いて高域信号を復元する場合を説明するための概念図である。 付加信号生成処理部の他の構成例を説明するためのブロック図である。 欠落信号復元部３００において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、ＭＤＣＴ係数の状態を示した図である。 ＡＡＣ方式で圧縮符号化されたデジタル音声信号において、フレーム[ｎ]のＭＤＣＴ係数［ｋ］が欠落している場合を説明するための概念図である。 図１６に示した５つのフレームのＭＤＣＴ係数［ｋ］を２次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。 フレーム［ｎ］のＭＤＣＴ係数［ｋ］の分解能と予測値との関係を示す図である。 予測生成処理部３０１において行われる予測生成処理を説明するためのフローチャートである。 高域追加処理部３０２の構成例を説明するためのブロック図である。 付加信号生成処理部の第１の構成例の変形例を説明するためのブロック図である。 図２１に示した高域追加処理部３１２の構成例を説明するためのブロック図である。 付加信号生成処理部の他の構成例を説明するためのブロック図である。 欠落信号復元部３２０において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、ＭＤＣＴ係数の状態を示した図である。 付加信号生成処理部の第２の構成例の変形例を説明するためのブロック図である。 付加信号（高音質化信号）を追加する場合の音声信号の様子について説明するための図である。 原音、符号化された原音を通常デコードにより復元して得た音声信号、符号かされた原音をこの発明の復号装置を用いて復元して得た音声信号のそれぞれサウンドスペクトログラムを示す図である。 いずれも異なる従来方式１、２、３、４によって高域補償がなされて復号処理された音声信号のサウンドスペクトログラムを示す図である。

符号の説明

１…ＡＡＣ復号処理部、１１…フォーマット解析部、１２…逆量子化処理部、１２１…ハフマン復号化部、１２２…逆量子化部、１２３…リスケーリング部、１３…ステレオ処理部、１３１…Ｍ／Ｓステレオ処理部、１３２…予測処理部、１３３…インテンシティ・ステレオ処理部、１３４…ＴＮＳ部、１４…適応ブロック長切換逆ＭＤＣＴ部、１５…ゲイン制御部、１７…ＭＤＣＴ部、１８…逆ＭＤＣＴ部、２…付加信号生成部、２１…付加信号生成処理部、２１１…ハフマン復号化部、２１２…逆量子化部、２１３…リスケーリング部、２１４…ステレオ処理部、２１５…境界周波数検出部、２１６…追加帯域決定部、２１７…高域信号生成部、２１８…プロファイル情報作成処理部、２２…付加信号記録部、２２１…付加信号記録部、２２２…プロファイル記録部、２２３…管理テーブル作成処理部、２２４…管理テーブル記録部、２３…付加信号復号処理部、３…加算部、３００…欠落信号復元部、３０１…予測生成処理部、３０２…高域追加処理部、３１０…欠落信号復元部、３１２…高域追加処理部、３１２１…一時記憶メモリ、３１２２…高域信号合成部、３２０、３３０…欠落信号復元部、３３１…予測生成処理部、３３２…高域追加処理部

Claims (20)

1. 原信号から信号変換処理時に除去されたと推定される信号成分を付加信号として、当該信号変換処理により形成された変換後信号から生成する付加信号生成手段と、
   前記付加信号生成手段によって作成された前記付加信号を記録媒体に記録する付加信号記録手段と、
   前記付加信号に関しての１つ以上の固有情報を取得して、前記付加信号についてのプロファイル情報を生成するプロファイル情報生成手段と、
   前記プロファイル情報生成手段によって作成された前記プロファイル情報を記録媒体に記録するプロファイル情報記録手段と、
   前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルを作成する管理テーブル作成手段と、
   前記管理テーブル作成手段によって作成された前記管理テーブルを記録媒体に記録する管理テーブル記録手段と
   を備えることを特徴とする付加信号生成装置。
2. 請求項１に記載の付加信号生成装置であって、
   前記プロファイル情報は、前記付加信号を生成する装置の名称、バージョンナンバー、前記付加信号の生成日の内の１つ以上の情報を含むものであることを特徴とする付加信号生成装置。
3. 請求項１に記載の付加信号生成装置であって、
   前記管理テーブルは、前記変換後信号の識別情報と、前記付加信号の識別情報と、前記プロファイル情報の識別情報と、これらのそれぞれの情報に対して共通に付与される情報であって、対応する情報を相互に特定することが可能な関連付け情報とからなるものであることを特徴とする付加信号生成装置。
4. 請求項１に記載の付加信号生成装置であって、
   前記付加信号生成手段は、
   当該信号変換処理時において、除去された可能性のある信号部分の下限境界周波数を検出する境界周波数検出部と、
   前記境界周波数検出部において検出された下限境界周波数と、前記変換後信号のサンプリング周波数とに基づいて、前記下限境界周波数以降の高域における、付加信号を追加する帯域幅を決定する追加帯域決定部と、
   前記追加帯域決定部において決定された帯域幅で、前記変換後信号に基づいて前記付加信号を演算により生成する付加信号生成部と
   を少なくとも備えることを特徴とする付加信号生成装置。
5. 請求項４に記載の付加信号生成装置であって、
   前記変換後信号中において、分解能以下であるためにカットされた可能性のある信号部分を予測して生成し、これを補間データとして用いるようにする予測生成部を備え、
   前記付加信号生成部は、前記予測生成部において生成された信号が補間データとして用いられるようにされた変換後信号に基づいて付加信号を生成することを特徴とする付加信号生成装置。
6. 請求項４に記載の付加信号生成装置であって、
   前記変換後信号をも考慮して、前記付加信号生成部において形成された付加信号において、分解能以下であるためにカットされた可能性のある信号部分を予測して生成し、これを補間データとして用いるようにする予測生成部を備えることを考慮する付加信号生成装置。
7. 原信号から信号変換処理時に除去されたと推定される信号成分として、当該信号変換処理により形成された変換後信号から生成された付加信号が記録された付加信号記録媒体と、
   前記付加信号に関しての１つ以上の固有情報からなるプロファイル情報が記録されたプロファイル情報記録媒体と、
   前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルが記録された管理テーブル記録媒体と、
   供給される前記変換後信号を変換前の信号に復元する処理を行う復元処理手段と、
   前記復元処理手段によって処理される変換後信号の識別情報に基づいて、前記管理テーブルを参照し、対応する付加信号を特定して読み出す付加信号読み出し手段と、
   前記付加信号読み出し手段から読み出された付加信号と、前記復元処理手段によって復元された信号とを加算処理する加算手段と
   を備えることを特徴とする復元装置。
8. 前記７に記載の復元装置であって、
   前記読み出し手段によって読み出される前記付加信号が信号変換処理されたものである場合に、読み出された付加信号を信号変換前の信号に復元処理して、前記加算手段に供給する付加信号復元手段を備えることを特徴とする復元装置。
9. 請求項７に記載の復元装置であって、
   前記プロファイル情報は、少なくとも付加信号を生成した装置の名称と、バージョンナンバーとを含んでおり、
   前記付加信号読み出し手段は、自己の前記復元処理手段の装置の名称とバージョンナンバーとを考慮して、復元する変換後信号に対応する付加信号を特定して読み出すことができるものであることを特徴とする復号装置。
10. 原信号から信号変換処理時に除去されたと推定される信号成分を付加信号として、当該信号変換処理により形成された変換後信号から生成する付加信号生成工程と、
    前記付加信号生成工程において作成した前記付加信号を記録媒体に記録する付加信号記録工程と、
    前記付加信号に関しての１つ以上の固有情報を取得して、前記付加信号についてのプロファイル情報を生成するプロファイル情報生成工程と、
    前記プロファイル情報生成工程において作成した前記プロファイル情報を記録媒体に記録するプロファイル情報記録工程と、
    前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルを作成する管理テーブル作成工程と、
    前記管理テーブル作成工程において作成した前記管理テーブルを記録媒体に記録する管理テーブル記録工程と
    を有することを特徴とする付加信号生成方法。
11. 請求項１０に記載の付加信号生成方法であって、
    前記プロファイル情報は、前記付加信号を生成する装置の名称、バージョンナンバー、前記付加信号の生成日の内の１つ以上の情報を含むものであることを特徴とする付加信号生成方法。
12. 請求項１０に記載の付加信号生成方法であって、
    前記管理テーブルは、前記変換後信号の識別情報と、前記付加信号の識別情報と、前記プロファイル情報の識別情報と、これらのそれぞれの情報に対して共通に付与される情報であって、対応する情報を相互に特定することが可能な関連付け情報とからなるものであることを特徴とする付加信号生成方法。
13. 請求項１０に記載の付加信号生成方法であって、
    前記付加信号生成工程は、
    当該信号変換処理時において、除去された可能性のある信号部分の下限境界周波数を検出する境界周波数検工程と、
    前記境界周波数検出工程において検出した下限境界周波数と、前記変換後信号のサンプリング周波数とに基づいて、前記下限境界周波数以降の高域における、付加信号を追加する帯域幅を決定する追加帯域決定工程と、
    前記追加帯域決定工程において決定した帯域幅で、前記変換後信号に基づいて前記付加信号を演算により生成する付加信号生成工程と
    からなることを特徴とする付加信号生成方法。
14. 請求項１３に記載の付加信号生成方法であって、
    前記変換後信号中において、分解能以下であるためにカットされた可能性のある信号部分を予測して生成し、これを補間データとして用いるようにする予測生成工程を有し、
    前記付加信号生成工程においては、前記予測生成工程において生成した信号が補間データとして用いられるようにされた変換後信号に基づいて付加信号を生成することを特徴とする付加信号生成方法。
15. 請求項１３に記載の付加信号生成方法であって、
    前記変換後信号をも考慮して、前記付加信号生成工程において形成した付加信号において分解能以下であるためにカットされた可能性のある信号部分を予測して生成し、これを補間データとして用いるようにする予測生成工程を有することを考慮する付加信号生成方法。
16. 原信号から信号変換処理時に除去されたと推定される信号成分として、当該信号変換処理により形成された変換後信号から生成された付加信号が記録された付加信号記録媒体と、前記付加信号に関しての１つ以上の固有情報からなるプロファイル情報が記録されたプロファイル情報記録媒体と、前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルが記録された管理テーブル記録媒体とを備えた変換後信号の復元装置で用いられる復元方法であって、
    供給される前記変換後信号を変換前の信号に復元する処理を行う復元処理工程と、
    前記復元処理工程において復元される変換後信号の識別情報に基づいて、前記管理テーブルを参照し、対応する付加信号を特定して読み出す付加信号読み出し工程と、
    前記付加信号読み出し工程において読み出した付加信号と、前記復元処理工程において復元された信号とを加算処理する加算工程と
    を有することを特徴とする復号方法。
17. 前記１６に記載の復号方法であって、
    前記読み出し工程において読み出される前記付加信号が信号変換処理されたものである場合に、読み出された付加信号を信号変換前の信号に復元処理して、前記加算工程において加算できるようにする付加信号復元工程を有することを特徴とする復号方法。
18. 請求項１６に記載の復号方法であって、
    前記プロファイル情報は、少なくとも付加信号を生成した装置の名称と、バージョンナンバーとを含んでおり、
    前記付加信号読み出し工程においては、自己の前記復号工程で用いる手段の装置の名称とバージョンナンバーとを考慮して、復号する符号化音声信号に対応する付加信号を特定して読み出すことを特徴とする復号方法。
19. 原信号から信号変換処理時に除去されたと推定される信号成分を付加信号として、当該信号変換処理により形成された変換後信号から生成するための装置に搭載されたコンピュータに、
    前記変換後信号の少なくともビットレートの情報に基づいて、当該信号変換処理時において、除去された可能性のある信号部分の下限境界周波数を検出する境界周波数検出ステップと、
    前記境界周波数検出ステップにおいて検出した下限境界周波数と、前記変換後信号のサンプリング周波数とに基づいて、前記下限境界周波数以降の高域における、付加信号を追加する帯域幅を決定する追加帯域決定ステップと、
    前記追加帯域決定ステップにおいて決定した帯域幅で、前記変換後信号に基づいて前記付加信号を演算により生成する付加信号生成ステップと
    を実行させることを特徴とする付加信号生成プログラム。
20. 請求項１９に記載の付加信号生成プログラムであって、
    前記付加信号生成ステップにおいて生成した前記付加信号に関しての１つ以上の固有情報を取得して、前記付加信号についてのプロファイル情報を生成するプロファイル情報生成ステップと、
    前記変換後信号と、前記付加信号と、前記プロファイル情報とを関連付ける管理テーブルを作成する管理テーブル作成ステップと、
    前記付加信号を記録媒体に記録する付加信号記録ステップと、
    前記プロファイル情報を記録媒体に記録するプロファイル情報記録ステップと、
    前記管理テーブルを記録媒体に記録する管理テーブル記録ステップと
    を実行することを特徴とする付加信号生成プログラム。

Images