JP2002304198A - 信号処理装置および信号処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の符号化デジタル信号を迅速かつ適正に
合成処理することが可能な信号処理装置および信号処理
方法を提供する。 【解決手段】 抽出回路５１４、５２４は、これに供給
された符号化データからスペクトルデータを抽出し、後
段のスイッチ回路ＳＷ１と加算回路５３３に供給する。
比較回路５３１は、抽出回路５１２、５２２により抽出
されたブロックサイズモード情報を比較し、両ブロック
サイズモードが同じであれば、スイッチ回路ＳＷ２を加
算回路５３３からのスペクトルデータの加算信号を出力
するように切り換え、異なっている場合には、スイッチ
回路ＳＷ２をスイッチ回路ＳＷ１からのスペクトルデー
タを出力するように切り換える。比較回路５３２は、抽
出回路５１３、５２３により抽出された正規化データを
比較し、重要度の高いスペクトルデータをスイッチ回路
ＳＷ２に供給するようにスイッチ回路１を切り換える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、直交変
換を用いた所定の符号化方式でデータ圧縮するようにさ
れた符号化デジタル信号を処理する信号処理装置および
信号処理方法に関する。

【０００２】

【従来の技術】パーソナルコンピュータや種々のデジタ
ル機器を用いて、様々なデジタル信号が扱われるように
なってきている。例えば、オーディオ信号やビデオ信号
をインターネットなどの通信ネットワークを通じてパー
ソナルコンピュータに取り込み、これを利用するように
することが行なわれている。

【０００３】また、オーディオ信号やビデオ信号をＭＤ
（Ｍｉｎｉ Ｄｉｓｃ（登録商標））やＤＶＤ（Ｄｉｇ
ｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録
媒体を介して提供を受けて、これを利用するようにする
ことも行なわれている。また、最近ではデジタル放送の
提供が開始されるなど、デジタル信号の利用範囲も広が
ってきている。

【０００４】そして、オーディオ信号やビデオ信号を通
信ネットワークを通じて効率よく送受信するようにした
り、また、記録媒体により多くのオーディオ信号やビデ
オ信号を効率よく記録するようにするために、各種の高
能率符号化方式（データ圧縮技術）を用いることによっ
て、オーディオ信号やビデオ信号のデータ圧縮を行なよ
うにしている場合が多い。

【０００５】高能率符号化方式においては、離散コサイ
ン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓ
ｆｏｒｍ：以下にＤＣＴと略称する。）などの直交変換
を用いることによって、オーディオ信号（時間領域デー
タ）やビデオ信号（輝度データ）を周波数領域データ
（周波数スペクトル）に変換することによって、情報量
の削減を実現するようにしている。

【０００６】ＤＣＴを用いる高能率符号化方式として広
く用いられているものには、オーディオ信号についての
ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ Ｔｒａｎｓｆｏｒｍ
Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）やＭＰ３（ＭＰＥＧ
−１ Ａｕｄｉｏ Ｌａｙｅｒ３）などがあり、また、
ビデオ信号についてのＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃ
ｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などがあ
る。

【０００７】

【発明が解決しようとする課題】ところで、前述したよ
うに直交変換を用いた高能率符号化方式で符号化された
オーディオ信号やビデオ信号を用いる場合に、複数のソ
ース、つまり、複数の異なるオーディオ信号やビデオ信
号を同時に再生する用途がある。

【０００８】例えば、フェードアウトするようにしたオ
ーディオ信号と、フェードインするようにしたオーディ
オ信号を合成するようにするいわゆるクロスフェード
や、ＢＧＭや効果音の重ね合わせを行なう場合などであ
る。ビデオ信号についても同様に、シーンチェンジ時の
クロスフェードや画像の重ね合わせなどを行なうように
したい場合がある。

【０００９】このような特殊再生は、例えば、図１３に
示すように、符号化された複数のデジタル信号（符号化
データ）を同時に、逆直交変換することにより復号し、
これら復号したデジタル信号のそれぞれに所定の比率を
掛け合わせるようにして、その結果を加算することによ
り、クロスフェードや重ね合わせが実現できる。

【００１０】ここで、直交変換としてＤＣＴを用いた場
合、その逆変換である逆離散コサイン変換（Ｉｎｖｅｒ
ｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆ
ｏｒｍ：以下にＩＤＣＴと略称する。）の結果は線形で
あるので、図１４に示すように、ＩＤＣＴと加算との順
序を逆にし、複数のデジタルデータを加算した後にＩＤ
ＣＴを行なうようにしても同じ結果が得られる。

【００１１】したがって、図１４に示すように、ＩＤＣ
Ｔを行なう前に加算処理を行なうようにすることによっ
て、ＩＤＣＴの演算が１回になるなど、ハードウエアや
ソフトウエアで行なう処理の規模を減らし、オーディオ
やビデオのクロスフェードや重ね合わせを行なうことが
可能なハードウエアやソフトウエアを安価に構成するこ
とができる。

【００１２】しかしながら、例えば、ＡＴＲＡＣ方式の
場合には、オーディオ信号を高域／中域／低域に分割
し、各帯域ごとにＤＣＴを行なう。この場合、ＤＣＴの
対象となっている信号があまり変化のない準定常的なも
のである場合には、ＤＣＴを行なうブロック長を時間分
解能が広いロングモードとする。

【００１３】また、ＤＣＴの対象となっている信号が変
化の激しい非定常的なものである場合には、ＤＣＴを行
なうブロック長を時間分解能が細かいショートモードと
する。このように、ＤＣＴ時おいては、信号の時間特
性、周波数分布に応じて、ロングモードとするか、ショ
ートモードとするかが決められる。

【００１４】実際のブロック長は、高域のロングモード
では２５６サンプル、中域と低域のロングモードでは１
２８サンプル、ショートモードはいずれの帯域でも３２
サンプルと定められている。

【００１５】このため、２つの符号化オーディオ信号
（符号化データ）を加算しようとしても、ＤＣＴ時のブ
ロック長が異なっていたのでは、符号化データの状態の
ままでの加算を行なうことはできない。ＤＣＴ時のブロ
ック長が異なっている符号化データ同士を加算すること
は、単位の異なる値同士をその単位をそろえずに加算す
るようなものであり、意図した通りの加算を行なうこと
ができない。

【００１６】したがって、ＡＴＲＡＣ方式で符号化され
たオーディオ信号同士を合成するなどして編集する場合
には、同時に処理する必要のある符号化オーディオ信号
（ソース）の数に応じてＩＤＣＴの演算回数が増え、ハ
ードウエアやソフトウエアの規模が大きくなってしま
う。このため、複数の異なる符号化デジタル信号を同時
に処理する場合に、処理を迅速かつ適正に行なうことが
可能な安価なハードウエアやソフトウエアの提供が望ま
れている。

【００１７】以上のことにかんがみ、複数の符号化デジ
タル信号を迅速かつ適正に信号の合成などの信号処理を
行なうことが可能な信号処理装置および信号処理方法を
提供することを目的とする。

【００１８】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明の信号処理装置は、入力デジ
タル信号を複数の帯域に分割し、分割されたそれぞれの
入力デジタル信号に対して直交変換を施す際に各帯域毎
に異なる直交変換ブロック長が設定可能な符号化を適応
した符号化信号が２チャンネル入力され、上記２チャン
ネルに対応する２つの符号化信号の少なくとも一部分を
加算する信号処理装置であって、入力される上記２つの
符号化信号のそれぞれに含まれるスペクトルデータを抽
出するスペクトルデータ抽出手段と、入力される上記２
つの符号化信号のそれぞれに含まれる情報であって、上
記スペクトルデータに対応する正規化データを抽出する
正規化データ抽出手段と、上記スペクトルデータ抽出手
段により抽出された上記２つの符号化信号のそれぞれの
スペクトルデータを加算する加算手段と、上記正規化デ
ータ抽出手段により抽出された上記２つの符号化信号の
それぞれに対応する上記正規化データに基づいて、上記
２つの符号化信号のそれぞれのスペクトルデータのうち
重要度の高いスペクトルデータを選択する選択手段と、
入力される上記２つの符号化信号のそれぞれに含まれる
上記スペクトルデータに対応する直交変換ブロック長が
同じか否かを判別する判別手段と、上記判別手段によ
り、上記２つの符号化信号からの上記直交変換ブロック
長が同じであると判別された場合には、上記加算手段か
らの加算信号を出力し、同じでないと判別したときに
は、上記選択手段により選択された重要度の高い上記ス
ペクトルデータを出力する出力信号選択手段とを備える
ことを特徴とする。

【００１９】この請求項１に記載の発明の信号処理装置
によれば、スペクトルデータ抽出手段により２つの符号
化信号からスペクトルデータが抽出され、正規化データ
抽出手段により、スペクトルデータに対応する正規化デ
ータが抽出される。抽出された２つのスペクトルデータ
は、加算手段により加算処理するようにされる。また、
２つのスペクトルデータに対応する抽出された２つの正
規化データに基づいて、重要度の高いスペクトルデータ
が選択される。

【００２０】そして、判別手段により、スペクトルデー
タ抽出手段により抽出された２つのスペクトルデータの
それぞれが同じ直交変換ブロック長か否かが判断され
る。判別手段により、２つのスペクトルデータの直交変
換ブロック長が同じであると判別された場合には、出力
信号選択手段からは、加算手段からの加算信号が出力さ
れ、直交変換ブロック長が同じでないと判別された場合
には、重要度の高いものとして選択されたスペクトルデ
ータが出力される。この出力信号選択手段からの出力信
号が復号のための逆直交変換の対象とされる。

【００２１】このように、同時に処理される２つの符号
化信号について、直交変換ブロック長が同じであれば加
算して出力し、直交変換ブロック長が同じでなければ、
重要度の高いスペクトルデータのみが出力され、重要度
の低いスペクトルデータが無視される。

【００２２】したがって、２つの符号化信号について同
時に再生する場合であっても、その再生が不自然となる
ことがなく、しかも２つの符号化信号のそれぞれについ
て逆直交変換を行なわなくても済むので、２つの符号化
信号を同時に再生することが可能な信号処理装置を安価
に構成することができるようにされる。

【００２３】また、請求項２に記載の発明の信号処理装
置は、請求項１に記載の信号処理装置であって、上記判
別手段は、入力される上記２つの符号化信号のそれぞれ
に含まれる情報であって、上記スペクトルデータに対応
するブロックサイズモード情報に基づいて、入力される
上記２つの符号化信号のそれぞれの上記スペクトルデー
タの直交変換ブロック長が同じか否かを判別することを
特徴とする。

【００２４】この請求項２に記載の発明の信号処理装置
によれば、判別手段は、符号化信号に含まれるブロック
サイズモード情報であって、処理の対象となっている２
つの符号化信号のそれぞれのスペクトルデータに対応す
るブロックサイズモード情報に基づいて、直交変換ブロ
ック長が同じか否かを判別する。

【００２５】これにより、処理の対象となっている２つ
の符号化信号のそれぞれのスペクトルデータについて、
直交変換ブロック長が同じか否かを簡単かつ確実に判別
することができるようにされる。

【００２６】また、請求項３に記載の発明の信号処理装
置は、入力デジタル信号を複数の帯域に分割し、分割さ
れたそれぞれの入力デジタル信号に対して直交変換を施
す際に各帯域毎に異なる直交変換ブロック長が設定可能
な符号化を適応した符号化信号が複数チャンネル入力さ
れ、上記複数チャンネルに対応する複数の符号化信号の
少なくとも一部分を加算する信号処理装置であって、入
力される上記複数の符号化信号のそれぞれに含まれるス
ペクトルデータを抽出するスペクトルデータ抽出手段
と、入力される上記複数の符号化信号のそれぞれに含ま
れる情報であって、上記スペクトルデータに対応する正
規化データを抽出する正規化データ抽出手段と、入力さ
れる上記複数の符号化信号のそれぞれに含まれる情報で
あって、上記スペクトルデータに対応する直交変換ブロ
ック長情報を抽出するブロック長情報抽出手段と、上記
ブロック長情報抽出手段により抽出された上記直交変換
ブロック長情報に基づいて、上記スペクトルデータ抽出
手段により抽出された上記スペクトルデータについて、
同じ直交変換ブロック長のものを分離するようにする分
離手段と、上記直交変換ブロック長毎に設けら、上記分
離手段により分離するようにされた同じ直交変換ブロッ
ク長のスペクトルデータ同士を加算する加算手段と、上
記正規化データ抽出手段により抽出される上記正規化デ
ータに基づいて、上記直交変換ブロック長毎に設けられ
る上記加算手段のいずれからのスペクトルデータを出力
するかを切り換える切り換え手段とを備えることを特徴
とする。

【００２７】この請求項３に記載の発明の信号処理装置
によれば、スペクトルデータ抽出手段、正規化データ抽
出手段、ブロック長情報抽出手段によって、複数の符号
化信号のそれぞれから、スペクトルデータ、正規化デー
タ、直交変換ブロック長情報が抽出される。

【００２８】分離手段により複数の符号化信号から抽出
されたスペクトルデータが、同じ直交変換ブロック長の
データに分離され、それぞれの直交変換ブロック長ごと
に設けられた対応する加算手段により加算される。各符
号化信号からの正規化データに基づいて、どの直交変換
ブロック長の加算手段から出力するようにするかを切り
換えられる。

【００２９】このように、同時に処理される複数の符号
化信号について、直交変換ブロック長が同じスペクトル
データを加算する。どの加算手段からの加算信号を出力
するかは、各符号化信号の正規化データに基づいて判別
される。これにより、複数の符号化信号について同時に
再生する場合であっても、その再生が不自然となること
がなく、しかも複数の符号化信号のそれぞれについて逆
直交変換を行なわなくても済むので、複数の符号化信号
を同時に再生することが可能な信号処理装置を安価に構
成することができるようにされる。

【００３０】また、請求項４に記載の発明の信号処理装
置は、請求項３に記載の信号処理装置であって、上記ブ
ロック長情報抽出手段により抽出される上記直交変換ブ
ロック長情報は、入力される上記複数の符号化信号に含
まれるブロックサイズモード情報であることを特徴とす
る。

【００３１】この請求項４に記載の発明の信号処理装置
によれば、切り換え手段は、正規化データに基づいて、
どの加算手段からの加算信号が重要度が高いかを判別
し、重要度の高い加算信号を出力するように切り換えら
れる。これにより、処理の対象となっている複数の符号
化信号のそれぞれのスペクトルデータについて、直交変
換ブロック長が同じスペクトルデータ同士が加算され
る。

【００３２】そして、各スペクトルデータについての正
規化データに基づいて、どの加算手段からの加算信号が
重要度が高いかが判別され切り換え手段によりどの加算
手段からの信号を出力信号とするようにされる。複数の
符号化信号を同時に再生することが可能な信号処理装置
を安価に構成することができるようにされる。

【００３３】

【発明の実施の形態】以下、図を参照しながら、この発
明による信号処理装置、信号処理方法の一実施の形態に
ついて説明する。以下に説明する実施の形態において
は、高能率符号化方式としてＡＴＲＡＣ方式を用いて楽
曲などのオーディオデータ（楽曲データ）を符号化およ
び復号化する場合を例にして説明する。

【００３４】［第１の実施の形態］ ［オーディオ信号処理装置の概要］図１は、この発明に
よる信号処理装置および信号処理方法が適用されたオー
ディオ信号処理装置を説明するためのブロック図であ
る。この実施の形態のオーディオ信号処理装置は、単体
のオーディオ信号処理装置としてハードウエアにより構
成することもできるし、また、パーソナルコンピュータ
などにおいてソフトウエアにより各処理部（各機能）を
実現することによっても構成することができるものであ
る。

【００３５】図１に示すように、この実施の形態のオー
ディオ信号処理装置（以下、単に信号処理装置とい
う。）は、アナログオーディオ信号の入力端子１、Ａ／
Ｄ変換部２、デジタルオーディオ信号の入力端子３、符
号化部４、合成処理部５、復号化部６、Ｄ／Ａ変換部
７、アナログオーディオ信号の出力端子８、書き込み／
読み出し部９、符号化データ蓄積部１０を備えたもので
ある。

【００３６】また、この実施の形態の信号処理装置は、
この信号処理装置の各部を制御する制御部２０を備えて
いる。制御部２０は、図１に示すように、ＣＰＵ（Ｃｅ
ｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、
ＲＯＭ（Ｒｅａｄ ＯｎｌｙＭｅｍｏｒｙ）２２、ＲＡ
Ｍ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３
が、ＣＰＵバス２４を通じて接続することにより形成さ
れたマイクロコンピュータである。

【００３７】図１に示すように、制御部２０には、例え
ば、アルファベットキー、テンキー、各種ファンクショ
ンキーなどが設けられたキー操作部３１が接続され、こ
のキー操作部３１を通じて、使用者からの各種の指示入
力を受け付けることができるようにしている。

【００３８】また、制御部２０には、例えば、ＬＣＤ
（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、
ＣＲＴ（Ｃａｔｈｏｄｅ−ｒａｙ Ｔｕｂｅ）などによ
り構成される表示部３２が接続するようにされており、
各種の表示を行なうことができるようにしている。

【００３９】そして、アナログオーディオ信号の入力端
子１を通じて入力されたアナログオーディオ信号は、Ａ
／Ｄ変換部２に供給される。Ａ／Ｄ変換部２は、これに
供給されたアナログオーディオ信号をデジタルオーディ
オ信号（オーディオＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍ
ｏｄｕｌａｔｉｏｎ）信号）に変換し、これを符号化部
４に供給する。また、デジタル信号の入力端子３を通じ
て入力されたデジタルオーディオ信号（オーディオＰＣ
Ｍ信号）は、そのまま符号化部４に供給される。

【００４０】符号化部４は、これに供給されたデジタル
オーディオ信号をＡＴＲＡＣ方式で高能率符号化してデ
ータ圧縮する。符号化部４において高能率符号化されて
形成された符号化データは、制御部２０、読み出し／書
き込み部９を通じて、例えば、ハードディスクや光磁気
ディスクなどにより構成される大容量記憶媒体である符
号化データ蓄積部１０に書き込まれる。これにより、目
的とするオーディオデータの符号化データが、符号化デ
ータ蓄積部１０に蓄積され、これを管理することができ
るようにされる。

【００４１】また、この実施の形態の信号処理装置は、
キー操作部３１を通じて入力された使用者からの再生指
示入力に応じて、制御部２０は、読み出し／書き込み部
９を通じて、指示された楽曲の符号化データを読み出
し、これを復号化部６に供給する。復号化部６は、これ
に供給された符号化データを復号化し、復号化したオー
ディオデータをＤ／Ａ変換部７に供給する。

【００４２】Ｄ／Ａ変換部７は、これに供給されたオー
ディオデータをアナログオーディオ信号に変換し、これ
をアナログオーディオ信号の出力端子８を通じて出力す
る。この出力端子８を通じて出力されたアナログオーデ
ィオ信号は、例えば、スピーカに供給され、そのアナロ
グオーディオ信号に応じた音声が放音するようにされ
る。

【００４３】また、この実施の形態の信号処理装置は、
異なる２つの符号化データを合成した後に復号化して出
力することができるようにしている。すなわち、キー操
作部３１を通じて入力された使用者からの合成指示入力
に応じて、制御部２０は、読み出し／書き込み部９を通
じて、指示された２つの楽曲の符号化データを読み出
し、これを合成処理部５に供給する。

【００４４】合成処理部５は、制御部２０の制御に応じ
て、２つの符号化データを合成し、合成後の符号化デー
タを復号化部６に供給する。復号化部６は、前述もした
ように、これに供給された符号化データを復号化する。
復号化されたオーディオデータは、Ｄ／Ａ変換部７にお
いてアナログオーディオ信号に変換され、アナログオー
ディオ信号の出力端子８を通じて出力される。

【００４５】なお、図１に示すように、合成処理部５に
おいて、合成された符号化データを制御部２０、読み出
し／書き込み部９を通じて、符号化データ蓄積部１０に
蓄積することもできるようにしている。

【００４６】このように、この実施の形態の信号処理装
置は、オーディオ信号を取り込み、これを符号化して符
号化データ蓄積部１０に蓄積することにより、大量のオ
ーディオデータを管理することができるとともに、符号
化データ蓄積部１０に蓄積されている符号化データを復
号して再生したり、２つの符号化データを合成した後に
復号し、これを再生するなどのことができるものであ
る。

【００４７】このように、符号化データの状態で合成処
理を行なった後に復号を行なうので、復号化部を２重に
設けるなどのこともなく、簡単な構成で符号化データの
合成、復号を行なうことができるようにしている。そし
て、この実施の形態の信号処理装置の合成処理部５にお
いては、２つの符号化データの直交変換ブロック長をも
考慮することによって、再生音が不自然になることがな
いようにして符号化データの合成を行なうようにしてい
る。

【００４８】この直交変換ブロック長は、デジタルオー
ディオ信号の符号化時において、オーディオ信号を効率
的に符号化するために、符号化の対象になっているオー
ディオ信号の時間特性、周波数分布などに応じて切り換
えられるため、合成処理の対象となっている２つの符号
化データの直交変換ブロック長が常に一致しているとは
限らない。

【００４９】このため、合成処理時において、合成する
２つの符号化データの直交変換ブロック長を考慮して合
成処理を行なうようにしているのである。以下において
は、この実施の形態の信号処理装置において行なわれる
ＡＴＲＡＣ方式の符号化処理、復号化処理、符号化デー
タの合成処理について説明する。

【００５０】［ＡＴＲＡＣ方式の符号化処理について］
図２は、デジタルオーディオ信号についてＡＴＲＡＣ方
式の高能率符号化を行なう符号化部（高能率符号化部）
の一例を説明するためのブロック図であり、図１に示し
た信号処理装置の符号化部４の一例を示すものである。

【００５１】図２に示す符号化部では、入力デジタルオ
ーディオ信号を複数の周波数帯域に分割すると共に、各
周波数帯域毎に直交変換を行って、得られた周波数軸の
スペクトルデータを、低域では、後述する人間の聴覚特
性を考慮したいわゆる臨界帯域幅（クリティカルバン
ド）毎に、中高域ではブロックフローテイグ効率を考慮
して臨界帯域幅を細分化した帯域毎に、適応的にビット
割当して符号化している。

【００５２】通常、このビット割り当てを行なうブロッ
クが量子化雑音発生ブロックとなる。さらに、この実施
の形態の信号処理装置の符号化部４においては、直交変
換の前の入力信号に応じて、ビット割り当てを行なうブ
ロックサイズ（直交変換ブロック長）を適応的に変化さ
せている。

【００５３】即ち、図２において、入力端子４００に
は、例えばサンプリング周波数が４４．１ｋＨｚの時、
０〜２２ｋＨｚのデジタルオーディオ信号（オーディオ
ＰＣＭ信号）が供給される。この入力信号は、例えばい
わゆるＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ
Ｆｉｌｔｅｒ）等の帯域分割フィルタ４０１により０〜
１１ｋＨｚ帯域と１１ｋＨｚ〜２２ｋＨｚ帯域との信号
に分割され、０〜１１ｋＨｚ帯域の信号は同じくＱＭＦ
等の帯域分割フィルタ４０２により０〜５.５ｋＨｚ帯
域と５.５ｋＨｚ〜１１ｋＨｚ帯域との信号に分割され
る。

【００５４】帯域分割フィルタ４０１からの１１ｋＨｚ
〜２２ｋＨｚ帯域の信号は、直交変換回路の一例である
ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏ
ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）回路４０３に供給され
ると共に、ブロック決定回路４０９、４１０、４１１に
供給される。

【００５５】また、帯域分割フィルタ４０２からの５.
５ｋＨｚ〜１１ｋＨｚ帯域の信号はＭＤＣＴ回路４０４
に供給されると共に、ブロック決定回路４０９、４１
０、４１１に供給される。また、帯域分割フィルタ４０
２からの０〜５.５ｋＨｚ帯域信号はＭＤＣＴ回路４０
５に供給され、ブロック決定回路４０９、４１０、４１
１に供給される。

【００５６】ブロック決定回路４０９は、これに供給さ
れる信号に基づいてブロックサイズを決定し、決定した
ブロックサイズを示す情報をＭＤＣＴ回路４０３、適応
ビット割り当て符号化回路４０６および出力端子４１３
に供給する。同様に、ブロック決定回路４１０は、これ
に供給される信号に基づいてブロックサイズを決定し、
決定したブロックサイズを示す情報をＭＤＣＴ回路４０
４、適応ビット割り当て符号化回路４０７および出力端
子４１５に供給する。また、ブロック決定回路４１１
は、これに供給される信号に基づいてブロックサイズを
決定し、決定したブロックサイズを示す情報をＭＤＣＴ
回路４０５、適応ビット割り当て符号化回路４０７およ
び出力端子４１７に供給する。

【００５７】各ブロック決定回路４０９、４１０、４１
１は、これに供給される信号の時間特性、周波数分布に
応じて適応的にブロックサイズ（直交変換ブロック長）
を設定する。また、ＭＤＣＴ回路４０３、４０４、４０
５のそれぞれは、これに対応するブロック決定回路４０
９、４１０、４１１から供給されるブロックサイズの下
で、ＱＭＦ４０１、または、ＱＭＦ４０２から供給され
る信号に対してＭＤＣＴ処理を施す。

【００５８】図３は、ＭＤＣＴ回路４０３、４０４、４
０５に供給される各帯域毎のブロックについての標準的
な入力信号に対する具体例を説明するための図である。
この図３に示す例においては、３つのフィルタ出力信
号、すなわち、ＱＭＦ４０１からの１１ｋＨｚ〜２２ｋ
Ｈｚの信号、ＱＭＦ４０２からの５．５ｋＨｚ〜１１ｋ
Ｈｚの信号、０ｋＨｚ〜５．５ｋＨｚの信号は、各帯域
毎に独立におのおの複数のブロックサイズを持ち、信号
の時間特性、周波数分布等により時間分解能を切り換え
られるようにしている。

【００５９】すなわち、直交変換の対象となる信号が時
間的に変化が激しくない準定常的な信号である場合に
は、直交変換ブロックサイズを１１．６ｍＳ、即ち、図
３における（Ａ）Ｌｏｎｇ Ｍｏｄｅと大きくする。ま
た、信号が時間的に変化の激しい非定常的な信号である
場合には、直交変換ブロックサイズを更に例えば４分割
する。

【００６０】したがって、信号が非定常的である場合に
は、図３における（Ｂ）ＳｈｏｒｔＭｏｄｅのように、
すべてを４分割、２．９ｍＳの時間分解能とすること
で、実際の複雑な入力信号に適応するようになってい
る。この直交変換ブロックサイズの分割は処理装置の規
模が許せば、さらに複雑な分割を行なうと、より効果的
である。

【００６１】そして、図２において、各ＭＤＣＴ回路４
０３、４０４、４０５にてＭＤＣＴ処理されて得られた
周波数軸上のスペクトルデータ又はＭＤＣＴ係数データ
は、低域はいわゆる臨界帯域（クリティカルバンド）毎
にまとめられて、中高域はブロックフローティングの有
効性を考慮して、臨界帯域幅を細分化して適応ビット割
当符号化回路４０６、４０７、４０８、及びビット割り
当て算出回路４１８に供給される。

【００６２】ここで、臨界帯域とは、人間の聴覚特性を
考慮して分割された周波数帯域であり、ある純音の周波
数近傍の同じ強さの狭帯域バンドノイズによって当該純
音がマスクされるときのそのノイズの持つ帯域のことで
ある。この臨界帯域は、高域ほど帯域幅が広くなってお
り、上記０〜２２ｋＨｚの全周波数帯域は例えば２５の
クリティカルバンドに分割されている。

【００６３】図２において、ビット割当算出回路４１８
は、前述のブロックサイズを示す情報、および、スペク
トルデータ又はＭＤＣＴ係数データに基づき、いわゆる
マスキング効果等を考慮して、前述の臨界帯域及びブロ
ックフローティングを考慮した各分割帯域毎の、マスキ
ング量、及び、各分割帯域毎のエネルギあるいはピーク
値等を算出し、その結果に基づき、各帯域毎に割当ビッ
ト数を求め、図２における適応ビット割当符号化回路４
０６、４０７、４０８へ供給する。

【００６４】適応ビット割当符号化回路４０６、４０
７、４０８では、前述のブロックサイズを示す情報、及
び、臨界帯域及びブロックフローティングを考慮した各
分割帯域毎に割り当てられたビット数に応じて、各スペ
クトルデータ又はＭＤＣＴ係数データを再量子化（正規
化して量子化）するようにしている。

【００６５】このようにして符号化されたデータは、図
２において、出力端子４１２、４１４、４１６を介して
出力され、例えば、記録媒体に対して記録を行なう処理
系、この実施の形態においては、制御部２０を通じて、
読み出し／書き込み部９に供給される。なお、以下の説
明においては、ビット割当の単位となる、各分割帯域を
単位ブロック（ブロックフローティングユニット）と言
う。

【００６６】ビット割り当て算出回路４１８では、スペ
クトルデータ又はＭＤＣＴ係数を基に、トーン成分等の
状態を分析すると共に、いわゆるマスキング効果や、人
間の聴覚に関する最小可聴カーブ、等ラウドネスカーブ
などの既存の効果を考慮し、単位ブロック毎のビット割
り当て量を算出して、情報配分を決定している。この
際、前述したブロックサイズを示す情報についても考慮
するようにしている。

【００６７】また、ビット割り当て算出回路４１８で
は、単位ブロックのブロックフローティングの状態を示
す正規化データであるスケールファクタ値についても決
定する。具体的には、例えば予めスケールファクタ値の
候補として幾つかの正の値を用意し、その中から単位ブ
ロック内のスペクトルデータ又はＭＤＣＴ係数の絶対値
の最大値以上の値をとる中で、最小のものを当該単位ブ
ロックのスケールファクタ値として採用する。

【００６８】スケールファクタ値については、実際の値
と対応した形で、数ビットを用いて番号付けを行ない、
その番号をＲＯＭ等により記憶させておけばよい。番号
に対応したスケールファクタ値については、番号順に例
えば２ｄＢの間隔で値を持つように規定しておく。ここ
で、ある単位ブロックにおいて前述した方法で決定され
たスケールファクタ値は、決定された値に対応する番号
を当該単位ブロックの正規化データ（スケールファクタ
値）を示すサブ情報として使用する。

【００６９】このように、この実施の形態の信号処理装
置に入力されたオーディオ信号は、５１２サンプルのオ
ーディオデータにされ、さらに、５１２個のスペクトル
データに変換される。この５１２個のスペクトルデータ
は、周波数の順に区切ることにより、５２個の単位ブロ
ック（ブロックフローティングユニット）に分けられ、
再量子化が行われてデータ量が削減するようにされる。

【００７０】［デジタルオーディオ信号の高能率符号化
フォーマット］次に、実際に符号化が行なわれた後のデ
ジタルオーディオ信号（符号化データ）のフォーマット
である符号化フォーマットについて図４を参照しながら
説明する。つまり、符号化データは、図４に示すフォー
マットで符号化データ蓄積部１０に記録されることにな
る。

【００７１】図４において左側および右側に示した数値
はバイト数を表しており、この実施の形態においては、
２１２バイトで１フレーム（１サウンドフレーム）とし
ている。図４において、一番先頭に位置する０バイト目
の位置には、図２におけるブロック決定回路４０９、４
１０、４１１において決定された各帯域のブロックサイ
ズ情報を記録する。

【００７２】次の１バイト目の位置には、記録する単位
ブロックの個数の情報を記録する。これは例えば高域側
になる程、ビット割当が０となり記録が不必要な場合が
多いため、これに対応するように単位ブロックの記録個
数を設定することにより、聴感上の影響が大きい中低域
に多くのビットを配分するようにしている。

【００７３】また、この１バイト目の位置にはビット割
当情報の二重書きを行なっている単位ブロックの個数、
および、スケールファクタ情報の二重書きを行なってい
る単位ブロックの個数を記録する。ここで二重書きは、
エラー訂正用に、あるバイト位置に記録されたデータと
同一のデータを他の場所に記録するものである。この二
重書き情報を多くすればするほど、エラーに対する強度
が上がるが、この情報を少なくすれば、実際のデジタル
オーディオ信号であるスペクトルデータに使用できるビ
ットが多くなる。

【００７４】この実施の形態においては、前述したビッ
ト割当情報、および、スケールファクタ情報のそれぞれ
について独立に、二重書きを行なっている単位ブロック
の個数を設定し、エラーに対する強度と、スペクトルデ
ータへの使用可能ビット数の調整を行なうようにしてい
る。尚、それぞれの情報について、規定されたビット内
でのコードと単位ブロックの個数の対応は、あらかじめ
フォーマットとして定めている。

【００７５】図４の１バイト目の位置の８ビットに記録
される情報の内容の一例を図５に示す。図５に示すよう
に、この１バイトの位置の８ビットのうち３ビットを実
際に記録される単位ブロックの個数の情報とし、残り５
ビット中の２ビットをビット割当情報の二重書きを行な
っている単位ブロックの個数の情報とし、残り３ビット
をスケールファクタ情報の二重書きを行なっている単位
ブロックの個数を示す情報としてそのそれぞれが記録さ
れる。

【００７６】図４の２バイト目からの位置には単位ブロ
ックのビット割当情報が記録される。ビット割当情報の
記録については一つの単位ブロックに対して例えば４ビ
ット使用することをフォーマットとして定めておく。こ
れにより０番目の単位ブロックより順番に、前述した図
４の実際に記録される単位ブロックの個数分のビット割
当情報が記録されることになる。

【００７７】このようにして記録されたビット割当情報
のデータの後に、単位ブロックのスケールファクタ情報
を記録している。スケールファクタ情報の記録について
は１つの単位ブロックに対して例えば６ビット使用する
ことをフォーマットとして定めておく。これにより、ビ
ット割当情報の記録と全く同様に、０番目の単位ブロッ
クより順番に、実際に記録される単位ブロックの個数分
だけスケールファクタ情報が記録されることになる。

【００７８】そして、スケールファクタ情報の後に、単
位ブロックのスペクトルデータが記録される。スペクト
ルデータについても、０番目の単位ブロックより順番
に、実際に記録される単位ブロックの個数分だけ記録す
るようにする。各単位ブロック毎に何本のスペクトルデ
ータが存在するかは、予めフォーマットで定められてい
るので、前述したビット割当情報によりデータの対応を
とることが可能となる。なお、ビット割当が０の単位ブ
ロックについては、記録を行なわないようにしている。

【００７９】このスペクトル情報の後に前述したスケー
ルファクタ情報の二重書き、および、ビット割当情報の
二重書きを行なう。この記録方法については、個数の対
応を図５で示した二重書きの情報に対応させるだけで、
その他については上述のスケールファクタ情報、およ
び、ビット割当情報の記録と同様である。

【００８０】一番後ろの２バイト分については、図４に
示したように０バイト目と１バイト目の情報をそれぞれ
二重書きしている。この２バイト分の二重書きはフォー
マットとして定めておき、スケールファクタ情報の二重
書きや、ビット割当情報の二重書きのように二重書き記
録量の可変の設定は出来ない。

【００８１】すなわち、図２におけるビット割当算出回
路４１８では、メイン情報として直交変換出力スペクト
ルをサブ情報により処理したデ−タと、サブ情報として
ブロックフロ−ティングの状態を示すスケ−ルファクタ
情報および語長を示すワ−ドレングスが得られ、これを
基に、図２における、適応ビット割当符号化回路４０
６、４０７、４０８において、実際に再量子化を行な
い、符号化フォーマットに則した形で符号化する。

【００８２】この実施の形態において、高能率符号化さ
れたデジタルデータは、図４を用いて説明した符号化フ
ォーマットで符号化データ蓄積部１０に記憶保持され、
使用者からの要求に応じて、読み出して利用することが
できるようにされる。

【００８３】このように、図２における入力端子４００
にはオーディオのＰＣＭサンプルが供給されるが、入力
後に行われる４０３、４０４、４０５でのＭＤＣＴ処理
では、いわゆる直交変換処理を行なうためのサンプル数
が規定され、それが１つの単位となり、繰り返し行われ
ることになる。

【００８４】ここでは入力端子４００から入力された１
０２４サンプルのＰＣＭサンプルが、５１２本のＭＤＣ
Ｔ係数、またはスペクトラムデータとして、４０３、４
０４、４０５より出力されるものとする。具体的には入
力端子４００より入力された１０２４個のＰＣＭサンプ
ルがＱＭＦ４０１により５１２個の高域サンプルと５１
２個の低域サンプルとなり、更に低域サンプルについて
はＱＭＦ４０２により、２５６サンプルの低域サンプル
と２５６個の中域サンプルになる。

【００８５】この後、ＱＭＦ４０２からの２５６個の低
域サンプルは、ＭＤＣＴ回路１０５により、１２８個の
低域スペクトラムデータとなり、ＱＭＦ４０２からの２
５６個の中域サンプルは、ＭＤＣＴ回路４０４により、
１２８個の中域スペクトラムデータとなり、ＱＭＦ４０
１からの５１２個の高域サンプルは、ＭＤＣＴ回路４０
３により、２５６個の高域スペクトラムデータとなり、
合計５１２個のスペクトラムデータが１０２４個のＰＣ
Ｍサンプルより作成されることになる。

【００８６】この１０２４個が上記説明してきた高能率
符号化の一回の処理を行なう時間単位となり、これを１
フレームとする。高能率符号化された１フレームは、先
に図４で示した２１２バイト分である。尚、図２におけ
る入力端子４００より入力されるＰＣＭサンプルについ
ては、１フレーム１０２４サンプルだが、前後５１２サ
ンプルはそれぞれ前後の隣接フレームでも使用されるこ
とになる。これはＭＤＣＴ処理でのオーバーラップを鑑
みた処理である。

【００８７】［ＡＴＲＡＣ方式で符号化された符号化デ
ータの復号化処理について］次に、前述のようにして高
能率符号化されたデジタルオーディオデータの復号化処
理について説明する。図６は、図１に示した復号化部６
を説明するためのブロック図である。この図６に示す復
号化部６は、図２を用いて前述した符号化部で高能率符
号化されたデジタルオーディオデータを復号化するもの
である。

【００８８】各帯域の量子化されたＭＤＣＴ係数、すな
わち、図２における出力端子４１２、４１４、４１６の
出力信号と等価のデータ（スペクトルデータ）は、図６
に示すように、復号回路入力端子６０７を通じて適応ビ
ット割当復号化回路６０６に供給される。また、使用さ
れたブロックサイズ情報、すなわち、図６における出力
端子４１３、４１５、４１７の出力信号と等価のデータ
は、図６に示すように、入力端子６０８を通じて、逆直
交変換（ＩＭＤＣＴ）回路６０３、６０４、６０５に供
給される。

【００８９】適応ビット割当復号化回路６０６に供給さ
れたスペクトラムデータは、ここで、適応ビット割当情
報が用いられてビット割当が解除され、高帯域、中帯
域、低帯域の各スペクトラムデータが対応する逆直交変
換回路６０３、６０４、６０５に供給される。逆直交変
換回路６０３、６０４、６０５では、周波数軸上の信号
であるスペクトラムデータを逆直交変換処理することに
よって、時間軸上の信号に変換する。

【００９０】各帯域の時間軸上信号は、図６に示すよう
に、帯域合成フィルタ（ＩＱＭＦ）回路６０２、６０１
に供給される。帯域合成フィルタ回路６０２、６０１
は、これに供給された時間軸上信号を合成して、全帯域
信号のデジタルオーディオデータに復号化する。

【００９１】このように、高能率符号化されたデジタル
オーディオデータは、ビット割当て復号化、逆直交変
換、帯域合成の各段階をへて、復号化され高能率符号化
前のデジタルオーディオデータに復号するようにされ
る。そして、復号化されたオーディオデータが再生処理
され聴取することが可能となる。

【００９２】なお、ＭＤを記録媒体として用いるＭＤの
記録再生装置においても、オーディオデータの高能率符
号化処理は、図２に示した符号化部４においての処理と
同様に行なわれ、また、高能率符号化されたオーディオ
データの復号化処理は、図６に示した復号化部６におい
ての処理と同様に行われるようにされている。

【００９３】［ＡＴＲＡＣ方式で符号化された符号化デ
ータの合成処理について］次に、符号化データ蓄積部１
０に蓄積されている符号化データの合成処理について説
明する。図７は、図１に示した合成処理部５を説明する
ためのブロック図である。この図５に示す合成処理部５
は、この実施の形態の信号処理装置の符号化データ蓄積
部１０に蓄積されている符号化データを合成する処理を
行なうものである。

【００９４】図７に示すように、この実施の形態の合成
処理部５は、入力端子５１１、５２１、ブロックサイズ
モード抽出回路５１２、５２２、正規化データ抽出回路
５１３、５２３、スペクトルデータ抽出回路５１４、５
２４、比較回路５３１、５３２、加算回路５３３、スイ
ッチ回路ＳＷ１、ＳＷ２を備えたものである。

【００９５】合成する符号化データとして使用者により
キー操作部３１を通じて選択された２つの楽曲の符号化
データは、制御部２０の制御により読み出し／書き込み
部９を通じて符号化データ蓄積部１０から読み出され、
一方は合成処理部５の入力端子５１１、他方は合成処理
部５の入力端子５２１に供給される。

【００９６】入力端子５１１を通じて合成処理部５に供
給された符号化データは、ブロックサイズモード抽出回
路５１２、正規化データ抽出回路５１３、スペクトルデ
ータ抽出回路５１４に供給され、入力端子５２１を通じ
て合成処理部５に供給された符号化データは、ブロック
サイズモード抽出回路５２２、正規化データ抽出回路５
２３、スペクトルデータ抽出回路５２４に供給される。

【００９７】これらの各抽出回路部に供給される符号化
データは、図４を用いて説明したフォーマットのもので
ある。そして、ブロックサイズモード抽出回路５１２、
５２２においては、これに供給された図４に示したフォ
ーマットの符号化データから、０バイト目の各単位ブロ
ックごとのブロックサイズモード情報を抽出し、これを
比較回路５３１に供給する。

【００９８】また、正規化データ抽出回路５１３、５２
３は、図４に示したフォーマットの符号化データから単
位ブロック毎の正規化データ（スケールファクタ値）を
抽出し、これを比較回路５３２に供給する。また、スペ
クトルデータ抽出回路５１４、５２４は、図４に示した
フォーマットの符号化データから単位ブロック毎のスペ
クトルデータを抽出する。

【００９９】スペクトルデータ抽出回路５１４において
抽出されたスペクトルデータは、スイッチ回路ＳＷ１の
一方の入力端と加算回路５３３に供給され、スペクトル
データ抽出回路５２４において抽出されたスペクトルデ
ータは、スイッチ回路ＳＷ１の他方の入力端と加算回路
５３３に供給される。

【０１００】比較回路５３１においては、ブロックサイ
ズモード抽出回路５１２、５２２からの処理の対象とな
っている２つのスペクトルデータのブロックサイズは同
じか否かを比較する。そして、比較回路５３１は、両者
のブロックサイズが同じであるときには、スイッチ回路
ＳＷ２を加算回路５３３からの加算信号を出力するよう
に切り換え、両者のブロックサイズが異なっているとき
には、スイッチ回路ＳＷ２をスイッチ回路ＳＷ１からの
信号を出力するように切り換える切り換え制御信号を形
成し、これをスイッチ回路ＳＷ２に供給する。

【０１０１】比較回路５３２においては、正規化データ
抽出回路５１３、５２３からの正規化データに基づい
て、スペクトルデータ抽出回路５１４により抽出された
スペクトルデータと、スペクトルデータ抽出回路５２４
により抽出されたスペクトルデータとのうちいずれのス
ペクトルデータの方が重要度が高いかを比較する。

【０１０２】すなわち、比較回路５３２は、２つの正規
化データを比較し、スペクトルデータ抽出回路５１４か
らのスペクトルデータの正規化データの方が、スペクト
ルデータ抽出回路５２４からのスペクトルデータの正規
化データより大きい場合には、スペクトルデータ抽出回
路５１４からのスペクトルデータを出力し、逆の場合に
は、スペクトルデータ抽出回路５２４からのスペクトル
データを出力するようにスイッチ回路ＳＷ１を切り換え
る切り換え信号を形成し、これをスイッチ回路ＳＷ１に
供給する。

【０１０３】これにより、比較回路５３１においての比
較結果が、ブロックサイズモード抽出回路５１２、５２
２からの処理の対象となっている２つのスペクトルデー
タのブロックサイズが同じであるときには、スイッチ回
路ＳＷ２は、加算回路５３３からの加算信号を出力する
ように切り換えられ、加算回路５３３からの加算信号が
図１および図６に示した復号化部６に供給される。

【０１０４】また、比較回路５３１においての比較結果
が、ブロックサイズモード抽出回路５１２、５２２から
の処理の対象となっている２つのスペクトルデータのブ
ロックサイズが異なっているときには、比較回路５３２
においての比較結果に基づいて、正規化データの大きい
方のスペクトルデータのみがスイッチ回路ＳＷ１、ＳＷ
２を通じて出力され、これが図１および図６に示した復
号化部６に供給される。

【０１０５】このように、この実施の形態の信号処理装
置の合成処理部５においては、ブロックサイズ（直交変
換ブロック長）が同じ単位ブロックの符号化データ同士
は加算して出力される。また、ブロックサイズが異なる
単位ブロックの符号化データ同士の場合には、正規化デ
ータ（スケールファクタ値）の大きいより重要度の高い
スペクトルデータのみが出力される。

【０１０６】そして、この図７に示した合成処理部５に
おいて合成された合成信号は、復号化部６に供給され、
復号されて使用者に提供するようにされる。これによ
り、ブロックサイズが異なっているスペクトルデータ同
士を加算してしまい、その再生音声が不自然なものとな
ることを防止することができるとともに、２つの符号化
データを合成するにもかかわらず、２つの復号化部を設
けたり、あるいは、２回の復号化処理を繰り返すなどの
こともなく、迅速にしかも適格にデジタルオーディオ信
号を処理する信号処理装置を構成することができる。

【０１０７】［合成処理時の信号処理装置の動作につい
て］図８は、主に図７に示した合成処理部５においての
処理を説明するためのフローチャートであり、図１に示
した復号化部６および制御部２０の動作をも一部含むも
のである。合成処理部５は、制御部２０を通じて合成す
る符号化データの供給を受け、かつ、合成処理の開始が
指示されると、図６を用いて前述したように、ブロック
サイズモード抽出回路５１２、５２２、正規化データ抽
出回路５１３、５２３、スペクトルデータ抽出回路８１
４、８２４のそれぞれは目的とするデータを抽出し、抽
出したデータを後段の回路に供給する。

【０１０８】そして、合成処理回路５の比較回路５３１
において、これに供給されたブロックサイズ（直交変換
ブロック長）を示すデータを比較し（ステップＳ１０
１）、合成する符号化データの単位ブロックのブロック
サイズは同じか否かを判断する（ステップＳ１０２）。

【０１０９】ステップＳ１０２の判断処理において、合
成する符号化データの単位ブロックのブロックサイズが
同じでないと判断した場合には、比較回路５３１は、ス
イッチ回路ＳＷ２に切り換え制御信号を供給し、スイッ
チ回路ＳＷ２をスイッチ回路ＳＷ１からの信号を出力す
るようにスイッチ回路２を切り換える（ステップＳ１０
３）。

【０１１０】そして、比較回路５３２において、合成す
る符号化データの正規化データ（スケールファクタ情報
（ＳＦ値））を比較し（ステップＳ１０４）、この結果
に基づいて、比較回路５３２は、スイッチ回路ＳＷ１に
切り換え信号を供給し、大きいＳＦ値を有する符号化デ
ータのスペクトルデータを出力するようにスイッチ回路
ＳＷ１を切り換える（ステップＳ１０５）。

【０１１１】これにより、ステップＳ１０１の比較結果
が、入力された信号のブロックサイズが同じでない場合
には、正規化データの大きい方のスペクトルデータが、
スイッチ回路ＳＷ１、スイッチ回路ＳＷ２を通じて、復
号化回路６に供給され、逆直交変換が行われる（ステッ
プＳ１０６）。

【０１１２】復号化部６においての処理状況は、この実
施の形態の信号処理装置の制御部２０により監視され、
全帯域、すなわち、高域、中域、低域の全部の帯域につ
いての逆直交変換が終了したか否かが判断される（ステ
ップＳ１０７）。

【０１１３】ステップＳ１０７の判断処理において、全
帯域についての逆直交変換が終了していないと判断した
ときには、制御部２０は、合成処理部５、復号化部６を
制御し、ステップＳ１０１からの処理を繰り返し、残り
の帯域についても同じ処理を行なう。

【０１１４】ステップＳ１０７の判断処理において、全
帯域についての逆直交変換が終了したと判断したときに
は、制御部２０は、復号化部６を制御し、高域、中域、
低域の全ての帯域を合成して、符号化前のデジタルオー
ディオ信号を復元するようにする（ステップＳ１０
８）。

【０１１５】この後、復元（復号）されたデジタルオー
ディオ信号はＤ／Ａ変換部７に供給され、ここでアナロ
グオーディオ信号に変換され、前述模したように、例え
ば、スピーカに供給されて、合成処理され、復号化され
たオーディオデータに応じた音声が放音するようにされ
る。

【０１１６】また、ステップＳ１０２の判断処理におい
て、合成する符号化データの単位ブロックのブロックサ
イズが同じあると判断した場合には、比較回路５３１
は、スイッチ回路ＳＷ２に切り換え制御信号を供給し、
スイッチ回路ＳＷ２を加算回路５３３からの信号を出力
するようにスイッチ回路２を切り換える（ステップＳ１
０９）。

【０１１７】これにより、ステップＳ１０１の比較結果
が、入力された信号のブロックサイ規化データが同じで
ある場合には、加算回路５３３において加算処理された
スペクトルデータがスイッチ回路ＳＷ２を通じて、復号
化回路６に供給され、逆直交変換が行われる（ステップ
Ｓ１０６）。

【０１１８】そして、前述もしたように、全帯域につい
ての逆直交変換が終了したか否かが判断され（ステップ
Ｓ１０７）、全帯域についての逆直交変換が終了してい
ないと判断したときには、制御部２０は、合成処理部
５、復号化部６を制御し、ステップＳ１０１からの処理
を繰り返し、残りの帯域についても同じ処理を行なう。
また、ステップＳ１０７の判断処理において、全帯域に
ついての逆直交変換が終了したと判断したときには、制
御部２０は、復号化部６を制御し、高域、中域、低域の
全ての帯域を合成して、符号化前のデジタルオーディオ
信号を復元するようにする（ステップＳ１０８）。

【０１１９】この後、復元（復号）されたデジタルオー
ディオ信号はＤ／Ａ変換部７に供給され、ここでアナロ
グオーディオ信号に変換され、前述模したように、例え
ば、スピーカに供給されて、合成処理され、復号化され
たオーディオデータに応じた音声が放音するようにされ
る。

【０１２０】このように、合成処理部５において、２つ
の符号化データを合成する場合には、ブロックサイズが
同じスペクトルデータについては、これを加算し、ブロ
ックサイズが同じでない場合には、重要度の高いスペク
トルデータを出力するようにすることで、２つの符号化
データをその再生音が不自然にならないように合成して
出力するようにすることができる。

【０１２１】この場合、符号化データの状態で合成処理
を行なうことができるので、復号化部を２つ設けたり、
復号化処理を入力信号の数分行なうといったこともな
く、信号処理装置の構成を複雑にしたり、コストアップ
を招くなどといった弊害を発生させることもない。

【０１２２】［スケールファクタ情報の調整によるフェ
ード処理について］なお、前述した実施の形態において
は、２つの入力信号を単に合成する場合について説明し
た。しかし、前述もしたように、２つの入力信号をクロ
スフェードするようにしたい場合もある。この場合に
は、該当部分のスペクトルデータについて正規化データ
（スケールファクタ値）を調整することによって、デジ
タルオーディオデータによる再生音声のレベル調整する
ようにすることによって、簡単に行なうようにすること
ができる。

【０１２３】すなわち、符号化データは、図４を用いて
説明したように、デジタルオーディオデータは、ロング
モード、あるいは、ショートモードの単位ブロックごと
のスペクトルデータとされるが、各ブロック毎のスペク
トルデータには、正規化データ（スケールファクタ
値）、ビット割り当て情報、ブロックサイズモード情報
が対応付けられている。そして、目的とする単位ブロッ
クのスペクトルデータについての正規化データを調整す
ることにより、フェードイン、フェードアウト、クロス
フェードなどの効果を付加する。

【０１２４】図９、図１０は、正規化データの調整処理
について説明するための図である。このうち、図９は、
各単位ブロック毎に正規化が行われたデジタルオーディ
オデータの様子を示す図である。即ち、デジタルオーデ
ィオデータは、単位ブロック内で最大の周波数軸上のス
ペクトルデータ又はＭＤＣＴ係数に相当する正規化候補
を選択し、その正規化候補の番号が、該当単位ブロック
の正規化データとなる。

【０１２５】この図９に示す例においては、ブロック番
号０番のブロックの正規化データは５となり、ブロック
番号１のブロックの正規化データは７となる。他のブロ
ックについても同様に正規化データは、９、６、４とな
るようにされている。符号化されたデータはこれらの正
規化データを持つため、復号化の際には、一般にはこれ
らの正規化データを基に復号化を行なうことになる。

【０１２６】これに対し、図１０は単位ブロック内で最
大の周波数軸上のスペクトラムデータ又はＭＤＣＴ係数
を基に決定された正規化データを調整するようにした場
合の例を示している。すなわち、図１０の例は、図９の
場合の各単位ブロックについて、正規化データをそれぞ
れ１マイナスするようにしたものである。

【０１２７】このようにすることによって、オーディオ
データの再生レベルを全体的に下げることができる。こ
の場合、正規化データの１は、オーディオデータの再生
レベルの例えば２ｄＢに相当する。したがって、正規化
データを１マイナスすることによって、オーディオデー
タの再生レベルを全体的に２ｄＢ低下させることができ
る。

【０１２８】このことを利用し、オーディオデータをフ
ェードインする場合には、例えば、処理の対象となって
いる所定の範囲の単位ブロック毎に正規化データについ
て、減算する値を除々に減らすように調整する。例え
ば、図９、図１０に示したように、ブロック０、ブロッ
ク１、ブロック２、ブロック３、ブロック４の５つのブ
ロックについて、フェードインの効果を付加するように
するためには、−８、−６、−４、−２というように、
各ブロックの正規化データから減算する値を少なくして
いくことによってフェードインの効果を実現することが
できる。

【０１２９】逆に、ブロック０、ブロック１、ブロック
２、ブロック３、ブロック４の５つのブロックについ
て、フェードアウトの効果を付加するようにするために
は、−２、−４、−６、−８というように、各ブロック
の正規化データから減算する値を大きくしていくことに
よってフェードアウトの効果を実現することができる。

【０１３０】そして、フェードインの効果を付加した符
号化データと、フェードアウトの効果を付加した符号化
データとを合成することによって、クロスフェードを実
現するようにすることができる。

【０１３１】このため、例えば、合成処理部５の前段に
おいて、あるいは、合成処理部５の正規化データ抽出回
路５１３、５２３において、例えば信号処理装置の制御
部２０からの制御に応じて、目的とする範囲の各単位ブ
ロックの正規化データに所定の値を加算、あるいは、減
算することによって、フェードイン、フェードアウト、
クロスフェードなどの効果をオーディオデータについて
付加することができる。

【０１３２】したがって、合成処理部５の前段、あるい
は、合成処理部５の正規化データ抽出回路５１３、５２
３に、制御部２０からの制御信号に応じて、正規化デー
タに対して加算あるいは減算する値を形成する正規化デ
ータ調整値生成回路と、この回路からの正規化データ調
整値と、目的とする単位ブロックの正規化データとの値
を加算あるいは減算する演算回路を設けることにより、
オーディオデータのフェードイン、フェードアウトを実
現するようにすることができる。

【０１３３】このように、フェードイン、フェードアウ
ト、クロスフェードなどの効果をオーディオデータに付
加する場合であっても、符号化データを復号することな
く、符号化データのままで処理することができる。した
がって、復号化回路を２重に設けたり、入力信号に応じ
て復号化処理を繰り返し行なうこともないので、処理が
複雑になったり、回路構成が複雑になるなどのこともな
く、フェードイン、フェードアウト、クロスフェードな
どの効果をオーディオデータに付加することができる。

【０１３４】なお、この例では説明の便宜上、単位ブロ
ックの個数を０〜４の５個、正規化候補番号の個数を０
〜９の１０個としたが、例えばミニディスクに用いられ
ているフォーマットでは、単位ブロック（ブロックフロ
ーティングユニット）の個数が０〜５１の５２個、正規
化候補番号の個数が０〜６３の６４個となっており、こ
の範囲内での単位ブロックや正規化調整情報を細かに指
定することにより、より精緻なレベル調整操作、あるい
はフィルタ処理操作を行なうことが可能となる。

【０１３５】このように、高能率符号化されたデジタル
オーディオデータについて、正規化データ（スケールフ
ァクタ値）を補正する処理を行なうことによって、再生
音声のレベルを調整することができる。これを応用する
ことによって、高能率符号化されたデジタルオーディオ
データについて、復号化処理を行なわなくてもフェード
イン、フェードアウトを実現することができる。

【０１３６】なお、１フレームは約１１．６ｍｓｅｃに
相当するので、フェードイン、フェードアウトの所望の
レベル遷移時間が何フレーム分に相当するかは除算を行
なうことで算出可能となる。また、レベル遷移の形状に
関しても、直線形状のみならず、例えばサインカーブや
ログカーブ等に当てはめることができる。このように、
信号処理装置の制御部２０が、時間、レベル等に関し
て、より細かな設定を行ない正規化データの調整値を算
出することで、フェーダーとしての機能の精緻化が可能
となる。

【０１３７】このように、この第１の実施の形態の信号
処理装置においては、２つの符号化データを単に合成し
たり、正規化データを調整してクロスフェードを行なう
ようにすることが簡単にできるようにしている。

【０１３８】なお、図１に示した信号処理装置にすでに
符号化されたデジタルデータの供給を受ける符号化デー
タの入力端子を設け、符号化データの供給を受けて、こ
れを符号化部４を介することなく、あるいは、符号化部
４をバイパスして符号化データ蓄積部１０に蓄積するよ
うにする機能を付加することもできる。

【０１３９】また、図１に示した信号処理装置に、デジ
タル信号の出力端子を設け、合成処理した符号化データ
をそのまま出力するようにしたり、また、合成した符号
化データを復号化した後に、デジタル信号のまま出力す
るようにする機能を付加するようにすることもできる。

【０１４０】［第２の実施の形態］前述した第１の実施
の形態においては、２つの符号化データを合成する場合
について説明した。しかし、実際には、３つの符号化デ
ータ、４つの符号データというように、多数の符号化デ
ータを同時に合成したい場合もある。そこで、この第２
の実施の形態においては、３つのオーディオデータの符
号化データを合成する信号処理装置について説明する。

【０１４１】この第２の実施の形態の信号処理装置も、
基本的な構成は、図１に示した第１の実施の形態の信号
処理装置と同様に構成される。しかし、合成処理部５が
２入力（２つの符号化データの入力が可能なもの）か
ら、３入力（３つの符号化データの入力が可能なもの）
になる。このため、制御部２０は、キー操作部３１を通
じて入力される使用者からの指示入力に基づいて、３つ
の符号化データを読み出し、これらを合成処理部５に供
給することができるようにされている。

【０１４２】図１１は、この第２の実施の形態の信号処
理装置の合成処理部５を説明するためのブロックであ
る。図１１に示すように、この第２の実施の形態の合成
処理部５は、入力端子５５１、５６１、５７１、ブロッ
クサイズモード抽出回路５５２、５６２、５７２、正規
化データ抽出回路５５３、５６３、５７３、スペクトル
データ抽出回路５５４、５６４、５７４、加算回路５９
１、５９２、比較回路５９３、スイッチ回路ＳＷ１、Ｓ
Ｗ２、ＳＷ３、ＳＷ４を備えたものである。

【０１４３】合成する符号化データとして使用者により
キー操作部３１を通じて選択された３つの楽曲の符号化
データは、制御部２０の制御により読み出し／書き込み
部９を通じて符号化データ蓄積部１０から読み出され、
１つは合成処理部５の入力端子５５１、他の１つは合成
処理部５の入力端子５６１に、そして、その他の１つは
合成処理部５の入力端子５７１に供給される。

【０１４４】入力端子５５１を通じて合成処理部５に供
給された符号化データは、ブロックサイズモード抽出回
路５５２、正規化データ抽出回路５５３、スペクトルデ
ータ抽出回路５５４に供給され、入力端子５６１を通じ
て合成処理部５に供給された符号化データは、ブロック
サイズモード抽出回路５６２、正規化データ抽出回路５
６３、スペクトルデータ抽出回路５６４に供給される。
また、入力端子５７１を通じて合成処理部５に供給され
た符号化データは、ブロックサイズモード抽出回路５７
２、正規化データ抽出回路５７３、スペクトルデータ抽
出回路５７４に供給される。

【０１４５】これらの各抽出回路部に供給される符号化
データは、図４を用いて説明したフォーマットのもので
ある。そして、ブロックサイズモード抽出回路５５２、
５６２、５７２においては、これに供給された図４に示
したフォーマットの符号化データから、０バイト目の各
単位ブロック毎のブロックサイズモード情報を抽出す
る。

【０１４６】そして、ブロックサイズモード抽出回路５
５２、５６２、５７２においては、抽出したブロックサ
イズモード情報に基づいて、処理の対象となるスペクト
ルデータのブロックサイズが、ロングモードかショート
モードかを判別し、これに応じて対応するスイッチ回路
ＳＷ１、ＳＷ２、ＳＷ３を切り換える。

【０１４７】すなわち、ブロックサイズモード抽出回路
５５２、５６２、５７２のそれぞれは、判別結果に応じ
て切り換え制御信号を形成し、これを対応するスイッチ
回路ＳＷ１、ＳＷ２、ＳＷ３に供給することにより、対
応する各スイッチ回路ＳＷ１、ＳＷ２、ＳＷ３を切り換
える。

【０１４８】スペクトルデータ抽出回路５５３、５６
３、５７３は、図４に示したフォーマットの符号化デー
タから単位ブロック毎のスペクトルデータを抽出し、こ
の抽出したスペクトルデータを後段の対応するスイッチ
回路ＳＷ１、ＳＷ２、ＳＷ３に供給する。

【０１４９】これにより、スイッチ回路ＳＷ１は、ブロ
ックサイズモード抽出回路５５２からの切り換え制御信
号に応じて切り換えられ、スペクトルデータ抽出回路５
５３において抽出されたスペクトルデータのブロックサ
イズがロングモードであるときには、そのスペクトルデ
ータを加算回路５９１に供給し、スペクトルデータ抽出
回路５５３において抽出されたスペクトルデータのブロ
ックサイズがショートモードであるときには、そのスペ
クトルデータを加算回路５９２に供給する。

【０１５０】また、スイッチ回路ＳＷ２は、ブロックサ
イズモード抽出回路５６２からの切り換え制御信号に応
じて切り換えられ、スペクトルデータ抽出回路５６３に
おいて抽出されたスペクトルデータのブロックサイズが
ロングモードであるときには、そのスペクトルデータを
加算回路５９１に供給し、スペクトルデータ抽出回路５
６３において抽出されたスペクトルデータのブロックサ
イズがショートモードであるときには、そのスペクトル
データを加算回路５９２に供給する。

【０１５１】また、スイッチ回路ＳＷ３は、ブロックサ
イズモード抽出回路５７２からの切り換え制御信号に応
じて切り換えられ、スペクトルデータ抽出回路５７３に
おいて抽出されたスペクトルデータのブロックサイズが
ロングモードであるときには、そのスペクトルデータを
加算回路５９１に供給し、スペクトルデータ抽出回路５
７３において抽出されたスペクトルデータのブロックサ
イズがショートモードであるときには、そのスペクトル
データを加算回路５９２に供給する。

【０１５２】このように、スイッチ回路ＳＷ１、ＳＷ
２、ＳＷ３のそれぞれは、対応するブロックサイズモー
ド抽出回路５５２、５６２、５７２からの切り換え制御
信号に応じて、スペクトルデータ抽出回路５５３、５６
３、５７３からのスペクトルデータを加算回路５９１に
供給するか、加算回路５９２に供給するかを切り換える
ものである。

【０１５３】一方、正規化データ抽出部５５４、５６
４、５７４は、これに供給された符号化データから正規
化データを抽出し、後段の比較回路５９３に供給する。
比較回路５９３は、これに供給された正規化データを比
較し、単位ブロック（ブロックフローティングユニッ
ト：ＢｌｏｃｋＦｌｏａｔｉｎｇＵｎｉｔ）毎の正規化
データ（スケールファクタ値）の最大値を求め、その値
が最も大きかった符号化データを選択するようにスイッ
チ回路ＳＷ４を切り換える。

【０１５４】この第２の実施の形態の比較回路５９３
は、上述のように最も大きな値の正規化データを有する
符号化データを特定するとともに、スイッチ回路ＳＷ
１、ＳＷ２、ＳＷ３の状態をも考慮し、最も大きな正規
化データを有する符号化データが供給された加算回路
は、加算回路５９１であるか加算回路５９２であるかを
判別して、その加算回路からの加算信号を出力するよう
に、スイッチ回路ＳＷ４を切り換えるように制御する。

【０１５５】これにより、２つの加算回路５９１、加算
回路５９２のうち、最も大きな正規化データを有する符
号化データが供給された加算回路からの加算信号が、ス
イッチ回路ＳＷ４を通じて出力され、復号化するように
される。

【０１５６】［第２の実施の形態の信号処理装置の動作
について］図１２は、主に図１１に示した合成処理部５
においての処理を説明するためのフローチャートであ
り、図１に示した復号化部６および制御部２０の動作を
も一部含むものである。合成処理部５は、制御部２０を
通じて合成する符号化データの供給を受け、かつ、合成
処理の開始が指示されると図１２に示す処理を開始す
る。

【０１５７】まず、合成処理部５のブロックサイズモー
ド抽出回路５５２は、これらに供給される入力端子５５
１からの符号化データからブロックサイズモード情報を
抽出し、入力端子５５１からの符号化データから対応ス
ペクトルデータ抽出回路５５３において抽出されるスペ
クトルデータのブロックサイズはロングモードか否かを
判別する（ステップ２０１）。

【０１５８】ステップ２０１の処理において、これに供
給される入力端子５５１からの符号化データからスペク
トルデータ抽出回路５５３において抽出されるスペクト
ルデータのブロックサイズがロングモードでないと判別
したときには、ブロックサイズモード抽出回路５５２
は、対応するスイッチ回路ＳＷ１を加算回路５９２に信
号を供給するように切り換える（ステップ２０２）。

【０１５９】また、ステップ２０１の判断処理におい
て、これに供給される入力端子５５１からの符号化デー
タからスペクトルデータ抽出回路５５３において抽出さ
れるスペクトルデータのブロックサイズがロングモード
であると判別したときには、ブロックサイズモード抽出
回路５５２は、対応するスイッチ回路ＳＷ１を加算回路
５９１に入力信号を供給するように切り換える（ステッ
プ２０３）。

【０１６０】これにより、スペクトルデータ抽出回路５
５３において抽出されるスペクトルデータが、そのブロ
ックサイズモードに応じて、加算回路５９１または加算
回路５９２のずれかに供給するようにされる。そして、
ステップ２０４において、この第２の実施の形態の合成
処理部５に供給された３つの符号化データについて、同
じように処理を行ったか否かを判断する（ステップ２０
４）。

【０１６１】他の入力端子５６１，５７１を通じて入力
された符号化データについても、ステップ２０１からス
テップ２０３の処理が終了していない場合には、合成処
理部５は、他の入力端子５６１，５７１からの符号化デ
ータについても、ステップ２０１からステップ２０３ま
での処理を行なう。

【０１６２】すなわち、入力端子５６１、５７１を通じ
て供給される他の符号化データについても、ステップ２
０１からステップ２０３の処理を行なうことによって、
合成処理部５は、入力信号である符号化データのそれぞ
れを加算回路５９１または加算回路５９２のいずれかに
供給するようにしている。

【０１６３】なお、ここでは、説明を簡単にするため、
入力端子５５１、５６１、５７１のそれぞれを通じて入
力された符号化データについて、順次に処理をするもの
として説明した。しかし、これに限るものではない。

【０１６４】入力端子５５１、ブロックサイズモード抽
出回路５５２、スペクトルデータ抽出回路５５３、スイ
ッチ回路ＳＷ１からなる第１の処理系と、ブロックサイ
ズモード抽出回路５６２、スペクトルデータ抽出回路５
６３、スイッチ回路ＳＷ２からなる第２の処理系と、ブ
ロックサイズモード抽出回路５７２、スペクトルデータ
抽出回路５７３、スイッチ回路ＳＷ３からなる第３の処
理系とで同時に処理を行なうようにしてももちろんよ
い。

【０１６５】そして、加算回路５９１、５９２において
は、これらの回路に供給されたスペクトルデータを加算
処理し、この結果の加算信号を後段のスイッチ回路ＳＷ
４に供給する。

【０１６６】一方、正規化データ抽出回路５５３、５６
３、５７３においては、前述もしたように、これらに供
給された符号化データから正規化データ（スケールファ
クタ値（ＳＦ値））を抽出し、抽出したＳＦ値が、後段
の比較回路５９３に供給する。比較回路５９３は、これ
に供給されたＳＦ値に基づいて、また、この第２の実施
の形態においては、スイッチ回路ＳＷ１、ＳＷ２、ＳＷ
３の状態をも考慮して、スイッチ回路ＳＷ４を切り換え
る（ステップ２０５）。

【０１６７】このステップ２０５において、比較回路５
９３は、最も大きなＳＦ値を有する符号化データが供給
された加算回路からの加算信号を出力するように、スイ
ッチ回路ＳＷ４を切り換える。これにより、スイッチ回
路ＳＷ４からの出力信号は、信号処理装置の復号化部６
に供給され、逆直交変換（ＩＤＣＴ）されることにより
スペクトルデータは時間領域のデータに復号化される
（ステップ２０６）。この後、全帯域（高域、中域、低
域）の各帯域について復号化処理が行われたか否かを判
断し（ステップ２０７）、全体域についての処理が終了
していないときには、全体域のスペクトルデータについ
ての処理が終了するまで、ステップ２０１からの処理を
繰り返す。

【０１６８】ステップ２０７の判断処理において、全帯
域についての処理が終了したと判断したときには、符号
化部６において、復号化された全体域のデジタルデータ
について、帯域合成することにより、符号化前の元のデ
ジタルオーディオデータを復元し（ステップ２０８）、
これがＤ／Ａ変換部７に供給されて、アナログオーディ
オ信号に変換されて再生される。

【０１６９】このように、この第２の実施の形態の合成
処理部５においては、３つの入力信号である３つの符号
化データを合成処理する場合に、異なるブロックサイズ
モードが混在しているときには、どちらか一方のブロッ
クサイズモードのスペクトルデータだけを選んで使用
し、他のスペクトルデータは使用しないようにする。

【０１７０】使用するようにしたブロックサイズモード
のスペクトルデータは、加算してその加算信号を逆直交
変換の入力とする。どちらのブロックサイズモードを選
ぶかは、聴感上の影響が大きくならないように決定す
る。例えば、前述もしたように、再生される信号のレベ
ルの大きい方を選ぶ。

【０１７１】具体的には、合成の処理の対象となってい
るスペクトルデータの正規化データによって判断する。
例えば、入力信号である符号化データのそれぞれについ
て、単位ブロック毎の正規化データの最大値を求め、そ
の値が最も大きかった入力信号が選ばれるように決め
る。

【０１７２】これにより、再生音声が不自然にならない
ようにして、３つの符号化データを合成しながら再生す
るようにすることいができる。この場合においても、合
成する入力信号に応じた数の逆直交変換部を設けること
もない。したがって、復号化部については、なんらの変
更を加えることなく、３つの符号化データを合成しなが
ら、合成後の符号化データ復号化して、これを再生する
ことができる。

【０１７３】なお、この第２の実施の形態においても、
図８、図９を用いて説明したように、正規化データ（ス
ペクトルファクタ値）の調整によって、クロスフェード
処理を比較的に簡単に行なうようにすることができる。

【０１７４】なお、この第２の実施の形態にいては、３
入力の場合を例にして説明したが、これに限るものでは
ない。４入力、５入力、などの複数入力の場合にもこの
発明を適用することができる。また、２入力の場合に
も、この第２の実施の形態の場合と同様にして、合成→
復号化→再生というような一連の処理を行なうことがで
きる。

【０１７５】このように、多数の符号化データを合成す
る場合であっても、予め復号化する必要はなく、合成処
理した後に復号化を行なえばよいので、復号化部を入力
信号分設けたり、復号化処理を入力信号分行なうなどの
必要がない。したがって、信号処理装置をハードウエア
として構成する場合であっても、また、ソフトウエアに
より構成する場合であっても、規模が大きくなったり、
コストが高くなるなどのこともない。

【０１７６】なお、前述した、第１、第２の実施の形態
においては、信号処理装置を単独で構成する場合、ある
いは、パーソナルコンピュータにソフトウエアにより構
成するものとして説明したが、これらに限るものではな
い。たとえば、ＭＤ装置やオーディオアンプなどに拡張
機能として搭載することもできる。

【０１７７】また、合成の対象となるデジタルデータ
は、オーディオデータに限るものではなく、ビデオデー
タを合成する場合にもこの発明を適用することができ
る。もちろん、オーディオデータとビデオデータとを同
時に合成するようにする場合にもこの発明を適用するこ
とができる。

【０１７８】したがって、各種のオーディオ機器、ビデ
オ機器、オーディオ・ビジュアル機器など、直交変換を
用いて符号化された各種のデジタルデータを処理する機
器にこの発明を適用することができる。

【０１７９】

【発明の効果】以上説明したように、この発明によれ
ば、直交変換されて符号化されたデジタルデータを合成
する場合に、合成の単位となるブロックの大きさがまち
まであっても、逆直交変換の演算を増やすことなく合成
することができる。したがって、符号化されたデジタル
データを合成するためのハードウエアやソフトウエアを
簡単に構成することができる。また、デジタルデータを
合成するためのハードウエアやソフトウエアのコストが
高くなることもない。

【図面の簡単な説明】

【図１】この発明による信号処理装置、信号処理方法の
一実施の形態が適用された信号処理装置を説明するため
のブロック図である。

【図２】図１に示した信号処理装置の符号化部を説明す
るためのブロック図である。

【図３】符号化の処理単位となるブロックのブロック長
（ブロックサイズモード）を説明するための図である。

【図４】符号化データのフォーマットの一例を説明する
ための図である。

【図５】符号化データのフォーマットについて説明する
ための図である。

【図６】図１に示した信号処理装置の復号化部を説明す
るためのブロック図である。

【図７】図１に示した信号処理装置の合成処理部を説明
するためのブロック図である。

【図８】図７に示した合成処理部における処理を説明す
るためのフローチャートである。

【図９】正規化データの調整により行なう再生音声のレ
ベル調整について説明するための図である。

【図１０】正規化データの調整により行なう再生音声の
レベル調整について説明するための図である。

【図１１】図１に示した信号処理装置の合成処理部の他
の例を説明するためのブロック図である。

【図１２】図１１に示した合成処理部において行われる
処理を説明するための図である。

【図１３】符号化されたデジタルデータの合成処理を説
明するための図である。

【図１４】符号化されたデジタルデータの合成処理の他
の例を説明するための図である。

【符号の説明】

１…アナログ入力端子、２…Ａ／Ｄ変換部、３…デジタ
ル入力端子、４…符号化部、５…合成処理部、６…復号
化部、７…Ｄ／Ａ変換部、８…アナログ出力端子、９…
読み出し／書き込み部、１０…符号化データ蓄積部、２
０…制御部、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡ
Ｍ、３１…キー操作部、３２…表示部、５１１，５２１
…符号化データ入力端子、５１２，５２２…ブロックサ
イズモード抽出回路、５１３、５２３…正規化データ抽
出回路、５１４、５２４…スペクトルデータ抽出回路、
５３１，５３２…比較回路、５３３…加算回路、ＳＷ
１、ＳＷ２…スイッチ回路、５５１、５６１、５７１…
符号化データ入力端子、５５２、５６２、５７２…ブロ
ックサイズモード抽出回路、５５３、５６３、５７３…
スペクトルデータ抽出回路、５５４，５６４，５７４…
正規化データ抽出回路、５９１、５９２…加算回路、５
９３…比較回路、ＳＷ１、ＳＷ２、ＳＷ３、ＳＷ４…ス
イッチ回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山内 康晴 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK06 KK39 MA00 MA23 RC32 SS12 SS13 TA43 TB08 TC04 TC05 TC27 5D044 AB05 BC01 BC02 CC04 DE14 DE15 FG23 GK08 5D045 DA20 5J064 AA03 AA04 BA16 BC01 BC06 BC07 BC08 BC11 BC14 BC25 BD03 BD04

Claims (8)

【特許請求の範囲】
1. 【請求項１】入力デジタル信号を複数の帯域に分割し、
   分割されたそれぞれの入力デジタル信号に対して直交変
   換を施す際に各帯域毎に異なる直交変換ブロック長が設
   定可能な符号化を適応した符号化信号が２チャンネル入
   力され、上記２チャンネルに対応する２つの符号化信号
   の少なくとも一部分を加算する信号処理装置であって、 入力される上記２つの符号化信号のそれぞれに含まれる
   スペクトルデータを抽出するスペクトルデータ抽出手段
   と、 入力される上記２つの符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する正規化
   データを抽出する正規化データ抽出手段と、 上記スペクトルデータ抽出手段により抽出された上記２
   つの符号化信号のそれぞれのスペクトルデータを加算す
   る加算手段と、 上記正規化データ抽出手段により抽出された上記２つの
   符号化信号のそれぞれに対応する上記正規化データに基
   づいて、上記２つの符号化信号のそれぞれのスペクトル
   データのうち重要度の高いスペクトルデータを選択する
   選択手段と、 入力される上記２つの符号化信号のそれぞれに含まれる
   上記スペクトルデータに対応する直交変換ブロック長が
   同じか否かを判別する判別手段と、 上記判別手段により、上記２つの符号化信号からの上記
   直交変換ブロック長が同じであると判別された場合に
   は、上記加算手段からの加算信号を出力し、同じでない
   と判別したときには、上記選択手段により選択された重
   要度の高い上記スペクトルデータを出力する出力信号選
   択手段とを備えることを特徴とする信号処理装置。
2. 【請求項２】請求項１に記載の信号処理装置であって、 上記判別手段は、入力される上記２つの符号化信号のそ
   れぞれに含まれる情報であって、上記スペクトルデータ
   に対応するブロックサイズモード情報に基づいて、入力
   される上記２つの符号化信号のそれぞれの上記スペクト
   ルデータの直交変換ブロック長が同じか否かを判別する
   ことを特徴とする信号処理装置。
3. 【請求項３】入力デジタル信号を複数の帯域に分割し、
   分割されたそれぞれの入力デジタル信号に対して直交変
   換を施す際に各帯域毎に異なる直交変換ブロック長が設
   定可能な符号化を適応した符号化信号が複数チャンネル
   入力され、上記複数チャンネルに対応する複数の符号化
   信号の少なくとも一部分を加算する信号処理装置であっ
   て、 入力される上記複数の符号化信号のそれぞれに含まれる
   スペクトルデータを抽出するスペクトルデータ抽出手段
   と、 入力される上記複数の符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する正規化
   データを抽出する正規化データ抽出手段と、 入力される上記複数の符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する直交変
   換ブロック長情報を抽出するブロック長情報抽出手段
   と、 上記ブロック長情報抽出手段により抽出された上記直交
   変換ブロック長情報に基づいて、上記スペクトルデータ
   抽出手段により抽出された上記スペクトルデータについ
   て、同じ直交変換ブロック長のものを分離するようにす
   る分離手段と、 上記直交変換ブロック長毎に設けら、上記分離手段によ
   り分離するようにされた同じ直交変換ブロック長のスペ
   クトルデータ同士を加算する加算手段と、 上記正規化データ抽出手段により抽出される上記正規化
   データに基づいて、上記直交変換ブロック長毎に設けら
   れる上記加算手段のいずれからのスペクトルデータを出
   力するかを切り換える切り換え手段とを備えることを特
   徴とする信号処理装置。
4. 【請求項４】請求項３に記載の信号処理装置であって、 上記ブロック長情報抽出手段により抽出される上記直交
   変換ブロック長情報は、入力される上記複数の符号化信
   号に含まれるブロックサイズモード情報であることを特
   徴とする信号処理装置。
5. 【請求項５】入力デジタル信号を複数の帯域に分割し、
   分割されたそれぞれの入力デジタル信号に対して直交変
   換を施す際に各帯域毎に異なる直交変換ブロック長が設
   定可能な符号化を適応した符号化信号が２チャンネル入
   力され、上記２チャンネルに対応する２つの符号化信号
   の少なくとも一部分を加算する信号処理方法であって、 入力される上記２つの符号化信号のそれぞれに含まれる
   スペクトルデータを抽出するスペクトルデータ抽出工程
   と、 入力される上記２つの符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する正規化
   データを抽出する正規化データ抽出工程と、 上記スペクトルデータ抽出工程において抽出した上記２
   つの符号化信号のそれぞれのスペクトルデータを加算す
   る加算工程と、 上記正規化データ抽出工程において抽出した上記２つの
   符号化信号のそれぞれに対応する上記正規化データに基
   づいて、上記２つの符号化信号のそれぞれのスペクトル
   データのうち重要度の高いスペクトルデータを選択する
   選択工程と、 入力される上記２つの符号化信号のそれぞれに含まれる
   上記スペクトルデータに対応する直交変換ブロック長が
   同じか否かを判別する判別工程と、 上記判別工程において、上記２つの符号化信号からの上
   記直交変換ブロック長が同じであると判別した場合に
   は、上記加算工程からの加算信号を出力し、同じでない
   と判別したときには、上記選択工程において選択した重
   要度の高い上記スペクトルデータを出力する出力信号選
   択工程と、 上記出力信号選択工程において選択されたスペクトルデ
   ータを逆直交変換する逆直交変換工程とからなることを
   特徴とする信号処理方法。
6. 【請求項６】請求項５に記載の信号処理方法であって、 上記判別工程においては、入力される上記２つの符号化
   信号のそれぞれに含まれる情報であって、上記スペクト
   ルデータに対応するブロックサイズモード情報を上記直
   交変換ブロックサイズ情報として用いて、入力される上
   記２つの符号化信号のそれぞれの上記スペクトルデータ
   の直交変換ブロック長が同じか否かを判別することを特
   徴とする信号処理方法。
7. 【請求項７】入力デジタル信号を複数の帯域に分割し、
   分割されたそれぞれの入力デジタル信号に対して直交変
   換を施す際に各帯域毎に異なる直交変換ブロック長が設
   定可能な符号化を適応した符号化信号が複数チャンネル
   入力され、上記複数チャンネルに対応する複数の符号化
   信号の少なくとも一部分を加算する信号処理方法であっ
   て、 入力される上記複数の符号化信号のそれぞれに含まれる
   スペクトルデータを抽出するスペクトルデータ抽出工程
   と、 入力される上記複数の符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する正規化
   データを抽出する正規化データ抽出工程と、 入力される上記複数の符号化信号のそれぞれに含まれる
   情報であって、上記スペクトルデータに対応する直交変
   換ブロック長情報を抽出するブロック長情報抽出工程
   と、 上記ブロック長情報抽出工程において抽出した上記直交
   変換ブロック長情報に基づいて、上記スペクトルデータ
   抽出工程において抽出した上記スペクトルデータについ
   て、同じ直交変換ブロック長のものを分離するようにす
   る分離工程と、 上記直交変換ブロック長毎に設けら、上記分離工程によ
   り分離するようにされた同じ直交変換ブロック長のスペ
   クトルデータ同士を加算する加算工程と、 上記正規化データ抽出工程において抽出された上記正規
   化データに基づいて、上記直交変換ブロック長毎に設け
   られる上記加算工程のいずれからのスペクトルデータを
   出力するかを切り換える切り換え工程と、 上記切り換え工程からのスペクトルデータを逆直交変換
   する逆直交変換工程とを備えることを特徴とする信号処
   理方法。
8. 【請求項８】請求項７に記載の信号処理方法であって、 上記ブロック長情報抽出工程において抽出する上記直交
   変換ブロック長情報は、入力される上記複数の符号化信
   号に含まれるブロックサイズモード情報であることを特
   徴とする信号処理方法。