JP2005208320A - 音声符号化方法と音声符号化装置および音声記録装置 - Google Patents

Abstract

【課題】二音声多重モードの音声信号を音声信号の破棄を行うことなくＤＶＤビデオ規格に対応した信号とする。
【解決手段】音声信号ＤＡinの一方の信号ＤＡ-1と他方の信号ＤＡ-2を符号化して符号化信号ＤＣ-1，ＤＣ-2を生成する。信号振り分け部３２は、信号ＤＡinがステレオモードのとき、信号ＤＥ-2として信号ＤＣ-1を選択し、信号ＤＥ-1，ＤＥ-2として信号ＤＣ-2を選択する。モノラルモードのとき、信号ＤＥ-1，ＤＥ-2，ＤＥ-3としてモノラル音声の信号ＤＣ-1を選択する。二音声多重モードのとき、信号ＤＥ-1として主音声の信号ＤＣ-1を選択し、信号ＤＥ-2，ＤＥ-3として副音声の信号ＤＣ-2を選択しする。多重化回路３３１は信号ＤＣ-1，ＤＥ-1を多重化してステレオモードの音声ストリームＤＳ-1とする。多重化回路３３２は信号ＤＥ-2，ＤＥ-3を多重化してステレオモードの音声ストリームＤＳ-2とする。
【選択図】 図２

Description

この発明は、音声符号化方法と音声符号化装置および音声記録装置に関する。詳しくは、音声信号を符号化して得られた符号化信号を、音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分けるものとし、この振り分けられた符号化信号を、系統毎に音声ストリームとし、この音声ストリームを記録するものである。

映像や音声の記録に用いられる光ディスク例えばＤＶＤ(Digital Versatile Disc)では、ＤＶＤビデオ規格とＤＶＤビデオレコーディング規格が設けられている。ＤＶＤビデオ規格は、編集済みの映像や音声のコンテンツをディスクに記録しておき、このディスクに記録されているコンテンツを再生するために適した仕様である。このＤＶＤビデオ規格では、タイトルの途中で音声ストリームのモード切り換え、例えばステレオモードからシングルチャネルモードに切り換える等のモード切換を行うことが出来るようにはなされていない。このため、放送番組のように音声モードが途中で切り換えるような音声信号をＤＶＤビデオ規格の信号として記録する場合には、例えば音声モード毎にタイトルを区分して記録しなければならない。一方、ＤＶＤビデオレコーディング規格は、映像や音声をディスクにリアルタイム記録したり、記録した映像や音声を編集して再生するために適した仕様であり、タイトルの途中でモードの切り換えが可能とされている。しかし、ＤＶＤビデオレコーディング規格に対応したＤＶＤ再生装置を使用しないと、ＤＶＤビデオレコーディング規格で記録した音声信号を再生できない。

このため、特許文献１の発明では、映像や音声の信号を両規格に共通な信号となるように符号化することで、例えばＤＶＤビデオ規格の信号として記録する際に、ＤＶＤビデオレコーディング規格で記録した信号をＤＶＤビデオ規格の信号に変換することなく記録できることが示されている。

特開２００３−１０９３０６号公報

ところで、ＤＶＤビデオレコーディング規格には、二か国語放送の主音声と副音声をそれぞれモノラルで記録するデュアルモノ方式が設けられているが、ＤＶＤビデオ規格にはデュアルモノ方式が設けられていない。このため、二か国語放送の音声信号を両規格に共通な信号となるように符号化して記録する場合、特許文献１で開示されているように、主音声あるいは副音声のいずれかの音声信号を選択して、この選択した音声信号に基づいて音声符号化信号を生成して記録することが行われる。このため、選択されていない音声信号は廃棄されてしまい再生することができない。すなわち、ＤＶＤビデオ規格にのみ対応したＤＶＤ再生装置を用いる場合には、二か国語放送番組の音声をそれぞれの言語で視聴することが出来なくなってしまう。

また、映像や音声のコンテンツを例えばハードディスクに一時記憶させておき、その後ＤＶＤに記録する場合、予めどちらの規格でハードディスクにコンテンツを記録するか決めなければならない。このような場合も、ＤＶＤビデオ規格を選択すると、上述のように二か国語音声の片方が失われてしまう。

そこで、この発明では、音声信号がステレオ，モノラル，二音声多重のいずれの音声モードであっても、音声信号を破棄することなくＤＶＤビデオ規格に対応した信号を生成できる音声符号化方法と音声符号化装置、および生成した信号を記録媒体に記録する音声記録装置を提供するものである。

この発明に係る音声符号化方法は、音声信号を符号化する符号化ステップと、符号化ステップで得られた符号化信号を、音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分ける信号振り分け処理ステップと、信号振り分け処理ステップで振り分けられた符号化信号を用いて、系統毎に音声ストリームを生成する音声ストリーム生成ステップとを有するものである。

また、この発明に係る音声符号化装置は、音声信号を符号化する符号化手段と、符号化手段で得られた符号化信号を音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分ける信号振り分け手段と、音声信号の音声モードに応じて信号振り分け手段の動作を制御する振り分け制御手段と、信号振り分け手段で振り分けられた符号化信号を用いて、系統毎に音声ストリームを生成する音声ストリーム生成手段とを有するものである。

さらに、この発明に係る音声記録装置は、音声信号を符号化する符号化手段と、符号化手段で得られた符号化信号を、音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分ける信号振り分け手段と、音声信号の音声モードに応じて信号振り分け手段の動作を制御する制御手段と、信号振り分け手段で振り分けられた符号化信号を用いて、系統毎に音声ストリームを生成するストリーム生成手段と、ストリーム生成手段で生成された音声ストリームを記録媒体に記録する信号記録手段を有するものである。

この発明においては、音声モードがステレオモードのとき、ステレオ音声信号の一方のチャネルの音声信号を符号化して得られた第１の符号化信号が第１と第２の系統に振り分けられ、他方のチャネルの音声信号を符号化して得られた第２の符号化信号が第１と第２の系統に振り分けられる。モノラルモードのときは、モノラル音声のチャネルの音声信号を符号化して得られた第３の符号化信号が第１と第２の系統に振り分けられ、二音声多重モードのときは、主音声あるいは副音声のいずれか一方のチャネルの音声信号を符号化して得られた第４の符号化信号が第１の系統に振り分けられ、他方のチャネルの音声信号を符号化して得られた第５の符号化信号が第２の系統に振り分けられる。この第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームが生成されて、第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームが生成される。また、音声モードがステレオモードのとき、左音声信号と右音声信号との和信号を符号化して主チャネルの符号化信号が生成されて、この主チャネルの符号化信号を第１と第２の符号化信号に替えて第１あるいは第２の系統に振り分けて、シングルチャネルモードの音声ストリームが生成される。

さらに、音声モードがステレオモードのとき、左音声信号と右音声信号の相関を利用して例えばＡＣ−３やＭＰＥＧオーディオの符号化を行うことで第１と第２の符号化信号が生成されて第１と第２の系統に振り分けられ、音声モードがモノラルモードと二音声多重モードのとき、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号が第１と第２の系統に振り分けられて、第１の系統に振り分けられた符号化信号を用いたステレオモードの第１の音声ストリームと、第２の系統に振り分けられた符号化信号を用いたステレオモードの第２の音声ストリームが生成される。また、ゼロレベル符号化信号は、予め記憶されているデータや情報を用いて生成される。

このようにして生成されたステレオモードの第１および第２の音声ストリームが記録媒体に記録される。あるいは、第１および第２の音声ストリームの一方がステレオモードで他方がシングルチャネルモードとして音声ストリームの生成が行われて、生成された音声ストリームが記録媒体に記録される。

この発明によれば、音声信号を符号化して得られた符号化信号が音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分けられて、この振り分けられた符号化信号を用いて、系統毎に音声ストリームが生成される。このため、音声モードがステレオモードやモノラルモード，二音声多重モードに切り換えられても、各音声モードの各音声を再生できる音声ストリームを生成できる。

また、音声モードがステレオモードのとき、ステレオ音声信号の一方のチャネルの音声信号を符号化して得られた第１の符号化信号が第１と第２の系統に振り分けられて、他方のチャネルの音声信号を符号化して得られた第２の符号化信号が第１と第２の系統に振り分けられる。音声モードがモノラルモードのときは、モノラル音声のチャネルの音声信号を符号化して得られた第３の符号化信号が第１と第２の系統に振り分けられる。音声モードが二音声多重モードのときは、主音声あるいは副音声のいずれか一方のチャネルの音声信号を符号化して得られた第４の符号化信号が第１の系統に振り分けられ、他方の音声信号を符号化して得られた第５の符号化信号が第２の系統に振り分けられる。この第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームが生成され、第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームが生成される。このため、音声モードがステレオモードやモノラルモード，二音声多重モードに切り換えられても、音声ストリームのモードと一定とすることができる。

また、音声モードがステレオモードのとき、左音声信号と右音声信号との和信号を符号化して主チャネルの符号化信号が生成されて、この主チャネルの符号化信号が、第１の系統に振り分ける第１の符号化信号と第２の符号化信号あるいは第２の系統に振り分ける第１の符号化信号と第２の符号化信号に替えて振り分けられる。この主チャネルの符号化信号が振り分けられた系統の信号を用いてシングルチャネルモードの音声ストリームが生成され、他の系統の信号を用いてステレオモードの音声ストリームが生成される。このため、音声ストリームの一方をシングルチャネルモードとしても、各音声モードの各音声を再生できる。

また、音声モードがステレオモードのとき、左音声信号と右音声信号の相関を利用した符号化を行うことで第１の符号化信号と第２の符号化信号が生成される。音声モードがモノラルモードと二音声多重モードのときは、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号が生成されて第１と第２の系統に振り分けられる。この第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームが生成されて、第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームが生成される。このため、圧縮効率の高い符号化を行っても、各音声モードの各音声を再生できる。

さらに、ＡＣ−３方式を用いて符号化を行い、ゼロレベル符号化信号を生成するとき、予め記憶されている差分符号化データと、符号化の際に用いたビット割当てパラメータ情報と、このビット割当てパラメータ情報を用いて生成されたビット割当て情報に基づく量子化データを用いてゼロレベル符号化信号が生成されるので、信号レベルがゼロレベルである音声信号を符号化してゼロレベル符号化信号を生成する場合に比べて演算量を少なくできる。

また、ビット割当てパラメータ情報を固定して、あるいは予め設定されている複数のビット割当てパラメータ情報からいずれかの情報を選択して用いることにより音声信号の符号化を行い、ゼロレベル符号化信号の生成では、予めビット割当てパラメータ情報に応じて生成されて記憶されている差分符号化データや量子化データから、音声信号の符号化に用いたビット割当てパラメータ情報に対応する量子化データや差分符号化データを用いて、ゼロレベル符号化信号を生成することで、更に演算量を少なくできる。

また、ＭＰＥＧオーディオ方式を用いて符号化を行い、ゼロレベル符号化信号を生成するときには、予め記憶されている量子化データとビット割当て情報を用いてゼロレベル符号化信号が生成されるので、信号レベルがゼロレベルである音声信号を符号化してゼロレベル符号化信号を生成する場合に比べて演算量を少なくできる。

また、音声信号の音声モードに係らず第１および第２の音声ストリームがステレオモードとされて、あるいは、第１および第２の音声ストリームの一方がステレオモードで他方がシングルチャネルモードとされるので、ＤＶＤビデオ規格の信号として記録媒体に記録できる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は記録装置１０の構成を示すブロック図である。入力された映像信号ＤＶinは、映像信号処理部２０に供給される。映像信号処理部２０は、映像信号ＤＶinの圧縮符号化を行い映像ストリームＤＲを生成してストリームコントローラ４０に供給する。入力された音声信号ＤＡinは、音声信号処理部３０に供給される。この音声信号処理部３０には、入力された音声信号ＤＡinがステレオモード，モノラルモード，二音声多重モードのいずれの音声モードであるかを示すモード信号ＭＤが供給されている。この音声信号処理部３０は、音声信号ＤＡinの符号化を行い、得られた符号化信号を、音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分けて、この振り分けられた符号化信号を用いて、系統毎に音声ストリームＤＳを生成してストリームコントローラ４０に供給する。なお、モード信号ＭＤは、音声信号ＤＡinがアナログ放送番組を受信して得られた信号であるとき、テレビ音声多重信号に含まれている制御チャネル信号を用いて例えばチューナで識別された音声モード識別結果に基づいて生成することができる。また、ディジタル放送番組を受信して得られた信号であるとき、番組の音声ストリームにおけるヘッダ内のモード情報に基づき例えばデコーダで識別された音声モード識別結果に基づいて生成することができる。さらに、ユーザが編集した音声信号であるときは、編集時に指定された音声モードに基づいてモード信号ＭＤを生成できる。

ストリームコントローラ４０には、信号記録部５０とハードディスク（ＨＤＤ）６０が接続されている。ストリームコントローラ４０は、映像ストリームＤＲと音声ストリームＤＳをパケット化してパケタイズドエレメンタリストリーム（ＰＥＳ）を生成する。さらに、このＰＥＳをパック化して多重することにより、ＤＶＤビデオ規格の記録媒体７０に記録するためのプログラムストリームＰＳを生成して信号記録部５０に供給する。また、ストリームコントローラ４０は、映像ストリームＤＲや音声ストリームＤＳおよびプログラムストリームＰＳをハードディスク６０に供給する。

信号記録部５０は、ストリームコントローラ４０から供給されたプログラムストリームＰＳを記録媒体７０に記録する。

ハードディスク６０は、供給された映像ストリームＤＲや音声ストリームＤＳおよびプログラムストリームＰＳ等を保持させておき、この保持されている映像ストリームＤＲや音声ストリームＤＳおよびプログラムストリームＰＳを、要求に応じて読み出してストリームコントローラ４０に供給する。このように、映像ストリームＤＲや音声ストリームＤＳおよびプログラムストリームＰＳをハードディスク６０に保持させておくことで、所望の映像部分の映像ストリームや所望の音声部分の音声ストリームを選択して用いることにより所望のプログラムストリームＰＳを容易に生成できる。また生成したプログラムストリームＰＳを、必要に応じてハードディスク６０から読み出して記録媒体７０に記録することもできる。

図２は、音声信号処理部の第１の構成を示すブロック図である。入力された一方のチャネルの音声信号ＤＡ-1は、符号化処理部３１の符号化回路３１１に供給される。また他方のチャネルの音声信号ＤＡ-2は符号化回路３１２に供給される。符号化回路３１１は、供給された音声信号ＤＡ-1の圧縮符号化を行い符号化信号ＤＣ-1を生成して、この符号化信号ＤＣ-1を信号振り分け部３２における信号セレクタ３２１，３２２，３２３の端子ａ側と、ストリーム生成部３３の多重化回路３３１に供給する。符号化回路３１２は、供給された音声信号ＤＡ-2の圧縮符号化を行い符号化信号ＤＣ-2を生成して、この符号化信号ＤＣ-2を信号セレクタ３２１，３２２，３２３の端子ｂ側に供給する。

信号振り分け部３２は、符号化処理部３１から供給された符号化信号を第１の系統と第２の系統に振り分けて、第１の系統に振り分けた符号化信号をストリーム生成部３３の多重化回路３３１に供給し、第２の系統に振り分けた符号化信号を多重化回路３３２に供給するものである。

信号振り分け部３２の信号セレクタ３２１は、後述する振り分け制御部３４からの制御信号ＣＳに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-1として多重化回路３３１に供給する。

同様に、信号セレクタ３２２は、制御信号ＣＳに応じて可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-2として多重化回路３３２に供給する。また、信号セレクタ３２３は、制御信号ＣＳに応じて可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-3として多重化回路３３２に供給する。

多重化回路３３１は、符号化回路３１１から供給された符号化信号ＤＣ-1と信号セレクタ３２１から供給された符号化信号ＤＥ-1を多重化して音声ストリームＤＳ-1を生成して、この音声ストリームＤＳ-1をストリームコントローラ４０に供給する。多重化回路３３２は、信号セレクタ３２２，３２３から供給された符号化信号ＤＥ-2，ＤＥ-3を多重化して音声ストリームＤＳ-2を生成して、この音声ストリームＤＳ-2をストリームコントローラ４０に供給する。

振り分け制御部３４は、モード信号ＭＤに基づき、符号化処理部３１に入力された音声信号ＤＡinの音声モードに応じた制御信号ＣＳを生成して信号振り分け部３２に供給し、信号振り分け部３２の信号振り分け動作を制御する。

図３は、音声信号処理部の第１の構成での動作を説明するためのものである。音声信号ＤＡinがステレオ信号であるとき、振り分け制御部３４は、信号セレクタ３２１，３２３の可動端子ｃを端子ｂ側に設定し、信号セレクタ３２２の可動端子ｃを端子ａ側に設定するように制御信号ＣＳを生成する。なお、一方のチャネルの音声信号ＤＡ-1は左側音声「Ｌ」、他方のチャネルの音声信号ＤＡ-2は右側音声「Ｒ」を示すものとする。

このように設定が行われると、多重化回路３３１には、左側音声「Ｌ」を示す符号化信号ＤＣ-1が供給される。また、右側音声「Ｒ」を示す符号化信号ＤＣ-2が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、ステレオ音声を示すステレオモードの音声ストリームとなる。多重化回路３３２には、左側音声「Ｌ」を示す符号化信号ＤＣ-1が符号化信号ＤＥ-2として供給される。また、右側音声「Ｒ」を示す符号化信号ＤＣ-2が符号化信号ＤＥ-3として供給される。このため、音声ストリームＤＳ-2もステレオ音声を示すステレオモードの音声ストリームとなる。

次に、音声信号ＤＡinがモノラル信号であるとき、振り分け制御部３４は、信号セレクタ３２１，３２２，３２３の可動端子ｃを端子ａ側に設定するように制御信号ＣＳを生成する。なお、一方のチャネルの音声信号ＤＡ-1はモノラル音声「Ｍｏ」を示すチャネルの音声信号、他方のチャネルの音声信号ＤＡ-2は無信号とする。

このように設定が行われると、多重化回路３３１には、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が供給される。また、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1はモノラル音声を示すステレオモードの音声ストリームとなる。多重化回路３３２には、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-2，ＤＥ-3として供給される。このため、音声ストリームＤＳ-2もモノラル音声を示すステレオモードの音声ストリームとなる。

音声信号ＤＡinが二音声多重信号であるとき、振り分け制御部３４は、信号セレクタ３２１の可動端子ｃを端子ａ側に設定し、信号セレクタ３２２，３２３の可動端子ｃを端子ｂ側に設定するように制御信号ＣＳを生成する。なお、一方のチャネルの音声信号ＤＡ-1は主音声「Ｍａ」を示す主チャネルの音声信号、他方のチャネルの音声信号ＤＡ-2は副音声「Ｓｕ」を示す副チャネルの音声信号とする。

このように設定が行われると、多重化回路３３１には、主音声「Ｍａ」を示す主チャネルの符号化信号ＤＣ-1が供給される。また、主音声「Ｍａ」を示す主チャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、主音声を示すステレオモードの音声ストリームとなる。多重化回路３３２には、副音声「Ｓｕ」を示す副チャネルの符号化信号ＤＣ-2が符号化信号ＤＥ-2，ＤＥ-3として供給される。このため、音声ストリームＤＳ-2は副音声を示すステレオモードの音声ストリームとなる。

このように、一方の音声ストリームＤＳ-1は、ステレオ音声とモノラル音声と主音声を示すステレオモードの音声ストリームとなり、他方の音声ストリームＤＳ-2は、ステレオ音声とモノラル音声と副音声を示すステレオモードの音声ストリームとなる。また、音声ストリームＤＳ-1，ＤＳ-2のモードは、入力された音声信号ＤＡinの音声モードに係らずステレオモードで一定で、ＤＶＤビデオ規格に対応した音声ストリームとなる。このため、音声ストリームＤＳ-1，ＤＳ-2をＤＶＤビデオ規格に応じたフォーマットで記録すれば、再生時に音声ストリームＤＳ-1，ＤＳ-2の何れかを選択することで、主音声あるいは副音声のいずれか一方を選択的に再生できる。また、ステレオ音声やモノラル音声のときは、音声ストリームＤＳ-1，ＤＳ-2のいずれを選択しても、それぞれの音声モードでの再生動作が可能である。

ところで、上述の実施の形態では、音声ストリームＤＳ-1，ＤＳ-2の両方をステレオモードの音声ストリームとしたが、一方の音声ストリームをシングルチャネルモードの音声ストリームとしても、ステレオ音声，モノラル音声，主音声および副音声の各音声を再生することができる。

図４は音声信号処理部の第２の構成のブロック図を示しており、一方の音声ストリームをシングルチャネルモードの音声ストリームとする場合である。入力された一方のチャネルの音声信号ＤＡ-1は、符号化処理部３１ａの符号化回路３１１と加算器３１３に供給される。また他方のチャネルの音声信号ＤＡ-2は、符号化回路３１２と加算器３１３に供給される。加算器３１３は、音声信号ＤＡ-1と音声信号ＤＡ-2を加算して和信号ＤＢ-aを生成し、この和信号ＤＢ-aを主チャネルの音声信号として符号化回路３１４に供給する。

符号化回路３１１は、供給された音声信号ＤＡ-1の圧縮符号化を行い符号化信号ＤＣ-1を生成して、この符号化信号ＤＣ-1を信号振り分け部３２ａにおける信号セレクタ３２１，３２４の端子ａ側とストリーム生成部３３ａの多重化回路３３１に供給する。符号化回路３１２は、供給された音声信号ＤＡ-2の圧縮符号化を行い符号化信号ＤＣ-2を生成して、この符号化信号ＤＣ-2を信号セレクタ３２１，３２４の端子ｂ側に供給する。符号化回路３１４は、供給された和信号ＤＢ-aの圧縮符号化を行い符号化信号ＤＣ-3を生成して、この符号化信号ＤＣ-3を信号セレクタ３２４の端子ｃに供給する。

信号振り分け部３２ａの信号セレクタ３２１は、後述する振り分け制御部３４ａからの制御信号ＣＳａに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-1として多重化回路３３１に供給する。

信号セレクタ３２４は、制御信号ＣＳａに応じて可動端子ｄを端子ａ側，端子ｂ側あるいは端子ｃ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-2としてストリーム生成部３３ａに供給する。

ストリーム生成部３３ａの多重化回路３３１は、符号化回路３１１から供給された符号化信号ＤＣ-1と信号セレクタ３２１から供給された符号化信号ＤＥ-1を多重化して音声ストリームＤＳ-1を生成して、この音声ストリームＤＳ-1をストリームコントローラ４０に供給する。また、ストリーム生成部３３ａは、信号セレクタ３２４から供給された符号化信号ＤＥ-2を音声ストリームＤＳ-2としてストリームコントローラ４０に供給する。

振り分け制御部３４ａは、モード信号ＭＤに基づき符号化処理部３１ａに入力された音声信号ＤＡinの音声モードに応じた制御信号ＣＳａを生成して信号振り分け部３２ａに供給し、信号振り分け部３２ａの信号振り分け動作を制御する。

図５は、音声符号化処理部の第２の構成での動作を説明するための図である。音声信号ＤＡinがステレオ信号であるとき、振り分け制御部３４ａは、信号セレクタ３２１の可動端子ｃを端子ｂ側に設定し、信号セレクタ３２４の可動端子ｄを端子ｃ側に設定するように制御信号ＣＳａを生成する。なお、一方のチャネルの音声信号ＤＡ-1は左側音声「Ｌ」、他方のチャネルの音声信号ＤＡ-2は右側音声「Ｒ」を示すものとする。

このように設定が行われると、多重化回路３３１には、左側音声「Ｌ」を示す符号化信号ＤＣ-1が供給される。また、右側音声「Ｒ」を示す符号化信号ＤＣ-2が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、ステレオ音声を示すステレオモードの音声ストリームとなる。さらに、左側音声「Ｌ」と右側音声「Ｒ」を加算した音声「Ｌ＋Ｒ」の符号化信号ＤＣ-3が、主チャネルの符号化信号ＤＥ-2としてストリーム生成部３３ａに供給されるので、音声ストリームＤＳ-2は、ステレオ音声を加算したモノラル音声を示すシングルチャネルモードの音声ストリームとなる。

次に、音声信号ＤＡinがモノラル信号であるとき、振り分け制御部３４ａは、信号セレクタ３２１の可動端子ｃを端子ａ側に設定し、信号セレクタ３２２の可動端子ｄを端子ａ側に設定しするように制御信号ＣＳａを生成する。なお、一方のチャネルの音声信号ＤＡ-1はモノラル音声「Ｍｏ」を示すチャネルの音声信号、他方のチャネルの音声信号ＤＡ-2は無信号とする。

このように設定が行われると、多重化回路３３１には、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が供給される。また、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1はモノラル音声を示すステレオモードの音声ストリームとなる。さらに、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-2としてストリーム生成部３３ａに供給されるので、音声ストリームＤＳ-2は、モノラル音声を示すシングルチャネルモードの音声ストリームとなる。

音声信号ＤＡinが二音声多重信号であるとき、振り分け制御部３４ａは、信号セレクタ３２１の可動端子ｃを端子ａ側に設定し、信号セレクタ３２４の可動端子ｄを端子ｂ側に設定するように制御信号ＣＳａを生成する。なお、一方のチャネルの音声信号ＤＡ-1は主音声「Ｍａ」を示す主チャネルの音声信号、他方のチャネルの音声信号ＤＡ-2は副音声「Ｓｕ」を示す副チャネルの音声信号とする。

このように設定が行われると、多重化回路３３１には、主音声「Ｍａ」を示す主チャネルの符号化信号ＤＣ-1が供給される。また、主音声「Ｍａ」を示す主チャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、主音声を示すステレオモードの音声ストリームとなる。さらに、副音声「Ｓｕ」を示す副チャネルの符号化信号ＤＣ-2が符号化信号ＤＥ-2としてストリーム生成部３３ａに供給されるので、音声ストリームＤＳ-2は、副音声を示すシングルチャネルモードの音声ストリームとなる。

このように、一方の音声ストリームＤＳ-1は、ステレオ音声とモノラル音声と主音声を示すステレオモードの音声ストリームとなり、他方の音声ストリームＤＳ-2は、左側音声と右側音声を加算した音声とモノラル音声と副音声を示すシングルチャネルモードの音声ストリームとなる。また、音声ストリームＤＳ-1は、入力された音声信号ＤＡinの音声モードに係らずステレオモードで一定であり、音声ストリームＤＳ-2は、入力された音声信号ＤＡinの音声モードに係らずシングルチャネルモードで一定であり、ＤＶＤビデオ規格に対応した音声ストリームとなる。このため、音声ストリームＤＳ-1，ＤＳ-2をＤＶＤビデオ規格に応じたフォーマットで記録すれば、再生時に音声ストリームＤＳ-1，ＤＳ-2の何れかを選択することで、主音声あるいは副音声のいずれか一方を選択的に再生できる。また、モノラルモードのときは、音声ストリームＤＳ-1，ＤＳ-2のいずれを選択してもモノラルモードで再生が可能である。なお、ステレオモードのときは、音声ストリームＤＳ-1を選択したときにステレオモード、音声ストリームＤＳ-2を選択したときにモノラルモードでの再生となる。

ところで、音声信号符号化では、一方のチャネルの音声信号と他方のチャネルの音声信号の相関を利用した符号化が用いられている。例えば、左音声信号と右音声信号の和信号と差信号を生成して、この和信号を主チャネルの音声信号、差信号を副チャネルの音声信号としてそれぞれ符号化することが行われており、この符号化では例えばDolby Laboratoriesが開発した「ＡＣ−３」(商標)と呼ばれている音声符号化のリマトリクシングや、ＭＰＥＧ(Moving Picture Experts Group)オーディオにおけるＭＳ(Middle/Side)ステレオ符号化が用いられている。また、相関のある信号同士を一つにまとめた信号と、まとめた信号に対する各チャネルの倍率を符号化するＡＣ−３のカップリングや、和信号と各チャネルの信号の比を符号化するＭＰＥＧオーディオのインテンシティステレオ符号化等も用いられる。このように、音声信号の相関を利用した符号化を行うことにより、音声信号の圧縮効果を高めることができる。例えば和信号と差信号を符号化する場合、左音声信号と右音声信号の相関が大きいと、和信号と差信号の情報差が大きくなることから、エネルギー偏在により信号の圧縮効果を高めることができる。

次に、音声信号処理部の第３の構成として、音声信号の相関を利用した符号化を行う場合について説明する。図６は、左音声信号と右音声信号の和信号と差信号を用いて符号化を行う場合を示したブロック図である。

入力された一方のチャネルの音声信号ＤＡ-1は、符号化処理部３１ｂの和信号生成回路３１５と差信号生成回路３１６に供給される。また他方のチャネルの音声信号ＤＡ-2も、和信号生成回路３１５と差信号生成回路３１６に供給される。

和信号生成回路３１５は、後述する振り分け制御部３４ｂからの制御信号ＣＭに基づき、入力された音声信号ＤＡinの音声モードがステレオモードであるとき、音声信号ＤＡ-1と音声信号ＤＡ-2を加算して和信号ＤＢ-bを生成し、この和信号ＤＢ-bを主チャネルの音声信号として符号化回路３１１に供給する。また、音声信号ＤＡinの音声モードがモノラルモードあるいは二音声多重モードであるとき、供給された音声信号ＤＡ-1を符号化回路３１１に供給する。

差信号生成回路３１６は、振り分け制御部３４ｂからの制御信号ＣＭに基づき、入力された音声信号ＤＡinの音声モードがステレオモードであるとき、音声信号ＤＡ-1から音声信号ＤＡ-2を減算して差信号ＤＢ-cを生成し、この差信号ＤＢ-cを副チャネルの音声信号として符号化回路３１２に供給する。また、音声信号ＤＡinの音声モードがモノラルモードあるいは二音声多重モードであるとき、供給された音声信号ＤＡ-2を符号化回路３１２に供給する。

符号化回路３１１は、供給された和信号ＤＢ-bあるいは音声信号ＤＡ-1の圧縮符号化を行い符号化信号ＤＣ-1を生成して、この符号化信号ＤＣ-1を信号振り分け部３２における信号セレクタ３２２の端子ａ側と、ストリーム生成部３３ｂの多重化回路３３１に供給する。符号化回路３１２は、供給された差信号ＤＢ-cあるいは音声信号ＤＡ-2の圧縮符号化を行い符号化信号ＤＣ-2を生成して、この符号化信号ＤＣ-2を信号セレクタ３２１，３２３の端子ａ側と信号セレクタ３２２の端子ｂ側に供給する。

ゼロレベル符号化信号生成回路３１７は、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号ＤＣ-eを生成して、信号セレクタ３２１，３２３の端子ｂ側に供給する。

信号振り分け部３２ｂの信号セレクタ３２１は、振り分け制御部３４ｂからの制御信号ＣＳｂに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-1として多重化回路３３１に供給する。

同様に、信号セレクタ３２２は、制御信号ＣＳｂに応じて可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-2として多重化回路３３２に供給する。また、信号セレクタ３２３は、制御信号ＣＳｂに応じて可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて符号化信号の選択を行い、選択した信号を符号化信号ＤＥ-3として多重化回路３３２に供給する。

ストリーム生成部３３ｂの多重化回路３３１は、符号化回路３１１から供給された符号化信号ＤＣ-1と信号セレクタ３２１から供給された符号化信号ＤＥ-1を多重化して、音声ストリームＤＳ-1を生成して、ストリームコントローラ４０に供給する。多重化回路３３２は、信号セレクタ３２２，３２３から供給された符号化信号ＤＥ-2，ＤＥ-3を多重化して、音声ストリームＤＳ-2を生成して、ストリームコントローラ４０に供給する。さらに、ストリーム生成部３３ｂは、信号セレクタ３２２から供給された符号化信号ＤＥ-2をシングルチャネルモードの音声ストリームＤＳ-2'としてストリームコントローラ４０に供給することもできる。

振り分け制御部３４ｂは、モード信号ＭＤに基づき符号化処理部３１ｂに入力された音声信号ＤＡinの音声モードに応じた制御信号ＣＭ，ＣＳｂを生成して、制御信号ＣＭを符号化処理部３１ｂに供給し、和信号ＤＢ-bと差信号ＤＢ-cの生成を制御する。また、生成した制御信号ＣＳｂを信号振り分け部３２に供給し、信号振り分け部３２の信号振り分け動作を制御する。

図７は、音声信号処理部の第３の構成での動作を説明するための図である。音声信号ＤＡinがステレオ信号であるとき、振り分け制御部３４ｂは、和信号生成回路３１５で和信号ＤＢ-bを生成し、差信号生成回路３１６で差信号ＤＢ-cを生成するように制御信号ＣＭを生成する。また、振り分け制御部３４ｂは、信号セレクタ３２１，３２２，３２３の可動端子ｃを端子ａ側に設定するように制御信号ＣＳｂを生成する。なお、一方のチャネルの音声信号ＤＡ-1は左側音声「Ｌ」、他方のチャネルの音声信号ＤＡ-2は右側音声「Ｒ」を示すものとする。

このように設定が行われると、多重化回路３３１には、音声「Ｌ＋Ｒ」を示す主チャネルの符号化信号ＤＣ-1が供給される。また、音声「Ｌ−Ｒ」を示す副チャネルの符号化信号ＤＣ-2が符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、音声「Ｌ＋Ｒ」「Ｌ−Ｒ」を示すステレオモードの音声ストリームとなる。多重化回路３３２には、和信号の音声「Ｌ＋Ｒ」を示す符号化信号ＤＣ-1が符号化信号ＤＥ-2として供給される。また、差信号の音声「Ｌ−Ｒ」を示す符号化信号ＤＣ-2が符号化信号ＤＥ-3として供給される。このため、音声ストリームＤＳ-2も音声「Ｌ＋Ｒ」「Ｌ−Ｒ」を示すステレオモードの音声ストリームとなる。さらに、符号化信号ＤＥ-2を音声ストリームＤＳ-2’とすれば、音声ストリームＤＳ-2’は、ステレオ音声を加算したモノラル音声である音声「Ｌ＋Ｒ」を示すシングルチャネルモードの音声ストリームとなる。

次に、音声信号ＤＡinがモノラル信号であるとき、振り分け制御部３４ｂは、和信号生成回路３１５に供給された音声信号ＤＡ-1を符号化回路３１１に供給し、差信号生成回路３１６に供給された音声信号ＤＡ-2を符号化回路３１２に供給するように制御信号ＣＭを生成する。また、振り分け制御部３４は、信号セレクタ３２１，３２３の可動端子ｃを端子ｂ側に設定し、信号セレクタ３２２の可動端子ｃを端子ａ側に設定するように制御信号ＣＳｂを生成する。なお、一方のチャネルの音声信号ＤＡ-1はモノラル音声「Ｍｏ」、他方のチャネルの音声信号ＤＡ-2は無信号とする。

このように設定が行われると、多重化回路３３１には、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が供給される。また、ゼロレベル符号化信号生成回路３１７で生成されたゼロレベル符号化信号ＤＣ-eが符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、一方のチャネルがモノラル音声で他方のチャネルが無音とされたステレオモードの音声ストリームとなる。多重化回路３３２には、モノラル音声「Ｍｏ」を示すチャネルの符号化信号ＤＣ-1が符号化信号ＤＥ-2として供給される。また、ゼロレベル符号化信号生成回路３１７で生成されたゼロレベル符号化信号ＤＣ-eが符号化信号ＤＥ-3として供給される。このため、音声ストリームＤＳ-2も音声ストリームＤＳ-1と同様に、一方のチャネルがモノラル音声「Ｍｏ」で他方のチャネルが無音とされたステレオモードの音声ストリームとなる。さらに、音声ストリームＤＳ-2’は、モノラル音声「Ｍｏ」を示すシングルチャネルモードの音声ストリームとなる。

音声信号ＤＡinが二音声多重信号であるとき、振り分け制御部３４ｂは、和信号生成回路３１５に供給された音声信号ＤＡ-1を符号化回路３１１に供給し、差信号生成回路３１６に供給された音声信号ＤＡ-2を符号化回路３１２に供給するように制御信号ＣＭを生成する。また、振り分け制御部３４ｂは、信号セレクタ３２１，３２２，３２３の可動端子ｃを端子ｂ側に設定するように制御信号ＣＳｂを生成する。なお、一方のチャネルの音声信号ＤＡ-1は主音声「Ｍａ」、他方のチャネルの音声信号ＤＡ-2は副音声「Ｓｕ」を示すものとする。

このように設定が行われると、多重化回路３３１には、主音声「Ｍａ」を示す主チャネルの符号化信号ＤＣ-1が供給される。また、ゼロレベル符号化信号生成回路３１７で生成されたゼロレベル符号化信号ＤＣ-eが符号化信号ＤＥ-1として供給される。このため、音声ストリームＤＳ-1は、一方のチャネルが主音声で他方のチャネルが無音とされたステレオモードの音声ストリームとなる。多重化回路３３２には、副音声「Ｓｕ」を示す副チャネルの符号化信号ＤＣ-2が符号化信号ＤＥ-2として供給される。また、ゼロレベル符号化信号生成回路３１７で生成されたゼロレベル符号化信号ＤＣ-eが符号化信号ＤＥ-3として供給される。このため、音声ストリームＤＳ-2は、一方のチャネルが副音声「Ｓｕ」で他方のチャネルが無音とされたステレオモードの音声ストリームとなる。さらに、符号化信号ＤＥ-2を音声ストリームＤＳ-2’とすれば、音声ストリームＤＳ-2’は、副音声「Ｓｕ」を示すシングルチャネルモードの音声ストリームとなる。

このように、一方の音声ストリームＤＳ-1は、ステレオ音声（和信号と差信号に基づく）とモノラル音声と主音声を示すステレオモードの音声ストリームとなり、他方の音声ストリームＤＳ-2は、ステレオ音声（和信号と差信号に基づく）とモノラル音声と副音声を示すステレオモードの音声ストリームとなる。このため、音声ストリームＤＳ-1，ＤＳ-2をＤＶＤビデオ規格に応じたフォーマットで記録すれば、再生時に音声ストリームＤＳ-1，ＤＳ-2の何れかを選択することで、主音声あるいは副音声のいずれか一方を選択的に再生できる。また、ステレオモードやモノラルモードのときは、音声ストリームＤＳ-1，ＤＳ-2のいずれを選択しても音声モードに対応した再生が可能である。さらに、音声ストリームＤＳ-2’を用いるものとすれば、左側音声と右側音声を加算した音声とモノラル音声と副音声を再生することが可能となる。

また、モノラルモードや二音声多重モードであるときは、ゼロレベル符号化信号生成回路３１７で生成されたゼロレベル符号化信号ＤＣ-eを用いて、音声ストリームＤＳ-1，ＤＳ-2が生成される。このため、符号化回路３１２で音声信号ＤＡ-2の符号化信号ＤＣ-2をリアルタイムで生成しなくとも良いことから、音声ストリームＤＳを生成する際の演算量を少なくできる。

次に、演算量を少なくできる理由について説明する。図８と図９は、音声符号化方式としてＡＣ−３を用いたときの符号化回路３１１の構成を示すブロック図とゼロレベル符号化信号生成回路３１７の構成を示すブロック図である。

音声信号ＤＡ-1，ＤＢ-bは、直交変換回路３５１と詳細ビット割当て回路３５２に供給される。直交変換回路３５１は、供給された音声信号に対してＭＤＣＴ(Modified Discrete Cosine Transform:変形離散コサイン変換)を行い、得られたＭＤＣＴ係数を浮動小数点表記としたときの仮数値Ｖmanを仮数量子化回路３５３に供給する。また、指数値Ｖexpはスペクトラムエンベロープ符号化回路３５４と簡易ビット割当て回路３５５に供給する。

詳細ビット割当て回路３５２は、供給された音声信号に基づき心理聴覚分析を行い、仮数値Ｖmanに対するビット割当て情報（量子化ビット数）ＢＴを求め、このビット割当て情報ＢＴを仮数量子化回路３５３と補正情報生成回路３５６に供給する。また、詳細ビット割当て回路３５２は、ビット割当て情報ＢＴを求める際に用いたビット割当てパラメータ情報ＢＰを簡易ビット割当て回路３５５に供給する。

仮数量子化回路３５３は、詳細ビット割当て回路３５２から供給されたビット割当て情報ＢＴに従い、仮数値Ｖmanの線形量子化を行い量子化データＭＱを多重化回路３５７に供給する。

スペクトラムエンベロープ符号化回路３５４は、指数値Ｖexpの差分符号化を行い差分符号化データＥＸを生成して多重化回路３５７に供給する。簡易ビット割当て回路３５５は、詳細ビット割当て回路３５２よりも簡易な方法で、指数値Ｖexpに対するビット割当て情報ＢＵを、ビット割当てパラメータ情報ＢＰを用いて求め、この求めたビット割当て情報ＢＵを補正情報生成回路３５６に供給する。

補正情報生成回路３５６は、ビット割当て情報ＢＴとビット割当て情報ＢＵとの差分を求めてビット割当て補正情報ＴＵを生成し多重化回路３５７に供給する。

多重化回路３５７は、詳細ビット割当て回路３５２と簡易ビット割当て回路３５５で用いたビット割当てパラメータ情報ＢＰと、仮数量子化回路３５３で求めた量子化データＭＱと、スペクトラムエンベロープ符号化回路３５４で求めた差分符号化データＥＸと、補正情報生成回路３５６で生成したビット割当て補正情報ＴＵを、所定のフレーム構成のビットストリームである符号化信号ＤＣ-1として出力する。

なお、符号化信号ＤＣ-1を再生する場合には、差分符号化データＥＸを復号化して指数値Ｖexpを求め、この指数値Ｖexpに対するビット割当て情報ＢＵを、ビット割当てパラメータ情報ＢＰを用いて求める。さらに、ビット割当て情報ＢＵとビット割当て補正情報ＴＵからビット割当て情報ＢＴを得ることができることから、このビット割当て情報ＢＴを用いて量子化データＭＱの逆量子化を行うことで仮数値Ｖmanを求められる。このようにして得られた仮数値Ｖmanと指数値Ｖexpを用いてＩＭＤＣＴ(InverseMDCT:逆変形離散コサイン変換)を行うことで音声信号ＤＡ-1，ＤＢ-bを再生できる。なお、符号化回路３１２も符号化回路３１１と同様に構成することで符号化信号ＤＣ-2を生成できる。

ゼロレベル符号化信号ＤＣ-eを生成するゼロレベル符号化信号生成回路３１７は、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号ＤＣ-eを生成する。ゼロレベル符号化信号生成回路３１７のメモリ３６１には、信号レベルがゼロレベルである音声信号に対してＭＤＣＴを行って得られる仮数値と指数値に基づく情報を予め記憶させておく。信号レベルがゼロレベルである音声信号に対してＭＤＣＴを行うと、仮数値は「０」，指数値は「負の無限大」となる。ここで、仮数値が「０」であるので、割り当てられるビット数は「０」となる。また、指数値が「負の無限大」であるとき、ＡＣ−３のデータとして表現できるなるべく小さな値を用いることとなる。このため、例えば仮数値ＶmanとＡＣ−３のデータとして表現できる小さな値を指数値Ｖexpとして予め記憶させておくものとする。さらに、ＭＤＣＴを行って得られた指数値に対して差分符号化を行い、得られた差分符号化データＥＸを予め記憶させておく。ゼロレベル符号化信号ＤＣ-eを生成するときには、メモリ３６１に記憶されている差分符号化データＥＸを読み出して多重化回路３６４に供給する。また、メモリ３６１に記憶されている指数値Ｖexpを読み出して簡易ビット割当て回路３６２に供給する。さらに、メモリ３６１に記憶されている仮数値Ｖmanを読み出して仮数量子化回路３６３に供給する。

簡易ビット割当て回路３６２は、メモリ３６１から読み出された指数値Ｖexpに対するビット割当てを行う。ここで、ビット割当てパラメータ情報ＢＰは各符号化回路で共通に用いるものであることから、例えばステレオモードであるときは、符号化回路３１１の詳細ビット割当て回路と符号化回路３１２の詳細ビット割当て回路で協調して動作を行い、符号化回路３１１，３１２で共通なビット割当てパラメータ情報ＢＰを生成し、このビット割当てパラメータ情報ＢＰを簡易ビット割当て回路３６２で用いるものとする。また、モノラルモードであるときは、モノラル音声「Ｍｏ」の音声信号ＤＡ-1を符号化する符号化回路３１１の詳細ビット割当て回路で生成されたビット割当てパラメータ情報ＢＰを用いるものとする。さらに、二音声多重モードのときは、ステレオモードと同様に、符号化回路３１１の詳細ビット割当て回路と符号化回路３１２の詳細ビット割当て回路で協調して動作を行い、符号化回路３１１，３１２で共通なビット割当てパラメータ情報ＢＰを生成し、このビット割当てパラメータ情報ＢＰを簡易ビット割当て回路３６２で用いるものとする。あるいは、２つのゼロレベル符号化信号生成回路を設けて、符号化回路３１１の詳細ビット割当て回路と符号化回路３１２の詳細ビット割当て回路で個々にビット割当てパラメータ情報ＢＰを生成する。この符号化回路３１１の詳細ビット割当て回路で生成されたビット割当てパラメータ情報ＢＰを一方のゼロレベル符号化信号生成回路に供給して、このゼロレベル符号化信号生成回路で生成されたゼロレベル符号化信号を信号セレクタ３２１の端子ｂに供給する。また符号化回路３１２の詳細ビット割当て回路で生成されたビット割当てパラメータ情報ＢＰを他方のゼロレベル符号化信号生成回路に供給し、このゼロレベル符号化信号生成回路で生成されたゼロレベル符号化信号を信号セレクタ３２３の端子ｂに供給するものとしても良い。

仮数量子化回路３６３は、簡易ビット割当て回路３６２で生成したビット割当て情報ＢＵを用いて仮数値Ｖmanの量子化を行い、生成した量子化データＭＱを多重化回路３６４に供給する。すなわち、ビット割当て情報と等しいビット数の「０」データからなる量子化データＭＱを多重化回路３６４に供給する
多重化回路３６４は、メモリ３６１から読み出した差分符号化データＥＸと、簡易ビット割当て回路３６２で用いたビット割当てパラメータ情報ＢＰと、仮数量子化回路３６３で求めた量子化データＭＱを、所定のフレーム構成のビットストリームであるゼロレベル符号化信号ＤＣ-eとして出力する。なお、ビット割当て補正情報ＴＵは「０」であることから出力する必要がない。

ゼロレベル符号化信号ＤＣ-eを再生する場合には、差分符号化データＥＸを復号化して指数値Ｖexpを求め、この指数値Ｖexpに対するビット割当て情報ＢＵを、ビット割当てパラメータ情報ＢＰを用いて求める。さらに、求めたビット割当て情報ＢＵを用いて量子化データＭＱの逆量子化を行うことで仮数値Ｖmanを求められる。このようにして得られた仮数値Ｖmanと指数値Ｖexpを用いてＩＭＤＣＴ(InverseMDCT:逆変形離散コサイン変換)を行うことで、信号レベルがゼロレベルである音声信号を得ることができる。

このように、差分符号化データＥＸがメモリ３６１に予め記憶されており、詳細ビット割当て回路３５２でのビット割当て情報ＢＴの生成も必要無いことから、ゼロレベル符号化信号ＤＣ-eの生成は、符号化回路３１１，３１２で符号化信号ＤＣ-1，ＤＣ-2を生成する場合に比べて、演算量が少なくなる。

さらに、ビット割当てパラメータ情報ＢＰを予め定めた複数の情報の何れかに限定すれば、ビット割当てパラメータ情報毎に量子化データＭＱや差分符号化データＥＸを求めて予めメモリ３６１に記憶させておき、使用するビット割当てパラメータ情報に応じた量子化データＭＱや差分符号化データＥＸをメモリ３６１から読み出して多重化回路３６４に供給すれば、ビット割当て情報ＢＵの生成も不要となり、更に演算量を少なくできる。また、ビット割当てパラメータ情報ＢＰを固定とすれば、ビット割当てパラメータ情報毎に量子化データＭＱや差分符号化データＥＸを記憶させておく必要もなく、メモリ３６１に記憶させておく情報量も少なくできる。

このように、モノラルモードや二音声多重モードであるときは、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号ＤＣ-eを容易に生成できるので、符号化に必要な演算量を少なくできる。

ところで、上述のＡＣ−３は、ビット割当て情報を符号化信号に含めない方式であるが、ＭＰＥＧオーディオのように、ビット割当て情報を符号化信号に含める方式を用いるときでも、モノラルモードや二音声多重モードでの演算量を少なくできる。

ＭＰＥＧオーディオでは、音声信号を時間領域から周波数領域に写像して写像信号を生成する。また、音声信号に基づいたビット割当て情報の生成を行う。このビット割当て情報に基づいて写像信号の量子化を行い量子化データを生成する。さらに、量子化データとビット割当て情報と他の情報等を、所定のフレーム構成のビットストリームである音声符号化信号として出力する。

ここで、音声信号の信号レベルをゼロレベルとしたときの量子化データと、ビット割当て情報とを予めメモリに記憶させておき、ゼロレベル符号化信号ＤＣ-eの生成時には、予め記憶されている量子化データとビット割当て情報をメモリから読み出すだけでゼロレベル符号化信号ＤＣ-eを生成できる。例えば、写像信号の生成に直交変換を用いるものとしたとき、音声信号の信号レベルをゼロレベルとして直交変換を行ったときの指数部、「０」を示す仮数部とビット割当て情報とメモリに記憶させておけば、これらの情報を読み出すだけで、容易にゼロレベル符号化信号ＤＣ-eを生成できるので、ビット割当て情報を音声符号化信号に含めない方式を用いた場合と同様に、モノラルモードや二音声多重モードであるとき、符号化信号の生成に必要な演算量を少なくできる。また、ビット割当て情報を音声符号化信号に含める方式では、ビット割当て情報を音声符号化信号に含めない方式のように、ビット割当てパラメータ情報ＢＰに応じてビット割当て情報を生成する処理も必要ないことから、演算量を更に少なくできる。

なお、上述の構成のブロックは、ハードウェアあるいはソフトウェアのいずれで実現しても良い。

このように、本願発明によれば、音声モードがステレオ，モノラル，二音声多重のいずれであっても、音声データを失うことなくＤＶＤビデオ規格に対応した音声ストリームを生成できる。また、この音声ストリームをＤＶＤディスク、例えばＤＶＤ＋Ｒ／＋ＲＷ，ＤＶＤ−Ｒ／−ＲＷの規格に対応したディスクに記録して、このＤＶＤディスクをＤＶＤビデオレコーディング規格に対応していない機器で再生するとき、二音声多重モードでの主音声や副音声を選択的に再生できる。

以上のように、本発明は、音声モードの切り換えが行われる音声信号を符号化して記録する場合に有用であり、ＤＶＤビデオ規格に対応したフォーマットで音声信号を記録するのに適用している。

記録装置の構成を示す図である。 音声信号処理部の第１の構成を示す図である。 第１の構成での動作を示す図である。 音声信号処理部の第２の構成を示す図である。 第２の構成での動作を示す図である。 音声信号処理部の第３の構成を示す図である。 第３の構成での動作を示す図である。 符号化回路の構成を示す図である。 符号化信号生成回路の構成を示す図である。

符号の説明

１０・・・記録装置、２０・・・映像信号処理部、３０・・・音声信号処理部、３１，３１ａ，３１ｂ・・・符号化処理部、３２，３２ａ・・・信号振り分け部、３３，３３ａ，３３ｂ・・・ストリーム生成部、３４，３４ａ，３４ｂ・・・制御部、４０・・・ストリームコントローラ、５０・・・信号記録部、６０・・・ハードディスク、７０・・・記録媒体、３１１，３１２，３１４・・・符号化回路、３１３・・・加算器、３１５・・・和信号生成回路、３１６・・・差信号生成回路、３１７・・・ゼロレベル符号化信号生成回路、３２１，３２２，３２３，３２４・・・信号セレクタ、３３１，３３２・・・多重化回路、３５１・・・直交変換回路、３５２・・・詳細ビット割当て回路、３５３，３６３・・・仮数量子化回路、３５４・・・スペクトラムエンベロープ符号化回路、３５５，３６２・・・簡易ビット割当て回路、３５６・・・補正情報生成回路、３５７，３６４・・・多重化回路、３６１・・・メモリ

Claims (30)

1. 音声信号を符号化する符号化ステップと、
   前記符号化ステップで得られた符号化信号を、前記音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分ける信号振り分け処理ステップと、
   前記信号振り分け処理ステップで振り分けられた符号化信号を用いて、前記系統毎に音声ストリームを生成する音声ストリーム生成ステップとを有する
   ことを特徴とする音声符号化方法。
2. 前記信号振り分け処理ステップでは、
   前記音声モードがステレオモードのとき、前記符号化ステップでステレオ音声の一方のチャネルの音声信号を符号化して得られた第１の符号化信号を前記第１と第２の系統に振り分け、他方のチャネルの音声信号を符号化して得られた第２の符号化信号を前記第１と第２の系統に振り分ける
   ことを特徴とする請求項１記載の音声符号化方法。
3. 前記信号振り分け処理ステップでは、
   前記音声モードがモノラルモードのとき、前記符号化ステップでモノラル音声のチャネルの音声信号を符号化して得られた第３の符号化信号を前記第１と第２の系統に振り分ける
   ことを特徴とする請求項２記載の音声符号化方法。
4. 前記信号振り分け処理ステップでは、
   前記音声モードが二音声多重モードのとき、前記符号化ステップで主音声あるいは副音声のいずれか一方のチャネルの音声信号を符号化して得られた第４の符号化信号を前記第１の系統に振り分け、他方のチャネルの音声信号を符号化して得られた第５の符号化信号を前記第２の系統に振り分ける
   ことを特徴とする請求項２あるいは請求項３のいずれかに記載の音声符号化方法。
5. 前記音声ストリーム生成ステップでは、
   前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
   ことを特徴とする請求項２記載の音声符号化方法。
6. 前記符号化ステップでは、前記音声モードがステレオモードのとき、左音声信号と右音声信号との和信号を符号化して主チャネルの符号化信号を生成し、
   前記信号振り分け処理ステップでは、前記音声モードがステレオモードのとき、前記第１の系統に振り分ける前記第１の符号化信号と前記第２の符号化信号、あるいは第２の系統に振り分ける前記第１の符号化信号と前記第２の符号化信号に替えて、前記主チャネルの符号化信号を振り分ける
   ことを特徴とする請求項２記載の音声符号化方法。
7. 前記音声ストリーム生成ステップでは、前記主チャネルの符号化信号が振り分けられた系統の信号を用いてシングルチャネルモードの音声ストリームを生成し、他の系統に振り分けられた符号化信号を用いてステレオモードの音声ストリームを生成する
   ことを特徴とする請求項６記載の音声符号化方法。
8. 前記符号化ステップでは、前記音声モードがステレオモードのとき、左音声信号と右音声信号の相関を利用して符号化を行うことで前記第１の符号化信号と第２の符号化信号を生成するものとし、
   前記音声ストリーム生成ステップでは、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
   ことを特徴とする請求項２記載の音声符号化方法。
9. 前記符号化ステップでは、前記音声モードがモノラルモードのとき、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号を生成し、
   前記信号振り分け処理ステップでは、前記音声モードがモノラルモードのとき、前記ゼロレベル符号化信号を前記第１と第２の系統に振り分けるものとし、
   前記音声ストリーム生成ステップでは、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
   ことを特徴とする請求項３記載の音声符号化方法。
10. 前記符号化ステップでは、前記音声モードが二音声多重モードのとき、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号を生成し、
    前記信号振り分け処理ステップでは、前記音声モードが二音声多重モードのとき、前記ゼロレベル符号化信号を前記第１と第２の系統に振り分けるものとし、
    前記音声ストリーム生成ステップでは、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
    ことを特徴とする請求項４記載の音声符号化方法。
11. 前記符号化ステップでは、ＡＣ−３方式を用いて符号化を行うものとし、前記音声モードがステレオモードのとき、前記左音声信号と前記右音声信号の和信号と差信号をそれぞれ符号化して、前記第１の符号化信号と第２の符号化信号を生成する
    ことを特徴とする請求項８記載の音声符号化方法。
12. 前記符号化ステップでは、ＡＣ−３方式を用いて符号化を行うものとし、前記ゼロレベル符号化信号を生成するとき、予め記憶されている差分符号化データと、前記符号化の際に用いたビット割当てパラメータ情報と、該ビット割当てパラメータ情報を用いて生成されたビット割当て情報に基づく量子化データを用いて前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項９あるいは請求項１０のいずれかに記載の音声符号化方法。
13. 前記符号化ステップでは、前記ビット割当てパラメータ情報を固定して、あるいは予め設定されている複数のビット割当てパラメータ情報からいずれかの情報を選択して用いることにより前記符号化を行い、前記ビット割当てパラメータ情報に応じて予め生成されて記憶されている差分符号化データと量子化データから、前記符号化で用いた前記ビット割当てパラメータ情報に対応する差分符号化データと量子化データを用いて、前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項１２記載の音声符号化方法。
14. 前記符号化ステップでは、ＭＰＥＧ(Moving Picture Experts Group)オーディオ方式を用いて符号化を行うものとし、前記音声モードがステレオモードのとき、前記左音声信号と前記右音声信号の和信号と差信号をそれぞれ符号化して、前記第１の符号化信号と第２の符号化信号を生成する
    ことを特徴とする請求項８記載の音声符号化方法。
15. 前記符号化ステップでは、ＭＰＥＧ(Moving Picture Experts Group)オーディオ方式を用いて符号化を行うものとし、予め記憶されている量子化データとビット割当て情報を用いて前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項９あるいは請求項１０のいずれかに記載の音声符号化方法。
16. 音声信号を符号化する符号化手段と、
    前記符号化手段で得られた符号化信号を、前記音声信号の音声モードに応じて音声チャネル単位で第１と第２の系統に振り分ける信号振り分け処理手段と、
    前記信号振り分け処理手段で振り分けられた符号化信号を用いて、前記系統毎に音声ストリームを生成する音声ストリーム生成手段とを有する
    ことを特徴とする音声符号化装置。
17. 前記信号振り分け処理手段は、
    前記音声モードがステレオモードのとき、前記符号化手段でステレオ音声の一方のチャネルの音声信号を符号化して得られた第１の符号化信号を前記第１と第２の系統に振り分け、他方のチャネルの音声信号を符号化して得られた第２の符号化信号を前記第１と第２の系統に振り分ける
    ことを特徴とする請求項１６記載の音声符号化装置。
18. 前記信号振り分け処理手段は、
    前記音声モードがモノラルモードのとき、前記符号化手段でモノラル音声のチャネルの音声信号を符号化して得られた第３の符号化信号を前記第１と第２の系統に振り分ける
    ことを特徴とする請求項１７記載の音声符号化装置。
19. 前記信号振り分け処理手段は、
    前記音声モードが二音声多重モードのとき、前記符号化手段で主音声あるいは副音声のいずれか一方のチャネルの音声信号を符号化して得られた第４の符号化信号を前記第１の系統に振り分け、他方のチャネルの音声信号を符号化して得られた第５の符号化信号を前記第２の系統に振り分ける
    ことを特徴とする請求項１７あるいは請求項１８のいずれかに記載の音声符号化装置。
20. 前記音声ストリーム生成手段は、
    前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
    ことを特徴とする請求項１７記載の音声符号化装置。
21. 前記符号化手段は、前記音声モードがステレオモードのとき、左音声信号と右音声信号との和信号を符号化して主チャネルの符号化信号を生成し、
    前記信号振り分け処理手段は、前記音声モードがステレオモードのとき、前記第１の系統に振り分ける前記第１の符号化信号と前記第２の符号化信号、あるいは第２の系統に振り分ける前記第１の符号化信号と前記第２の符号化信号に替えて、前記主チャネルの符号化信号を振り分ける
    ことを特徴とする請求項１７記載の音声符号化装置。
22. 前記音声ストリーム生成手段は、前記主チャネルの符号化信号が振り分けられた系統の信号を用いてシングルチャネルモードの音声ストリームを生成し、他の系統に振り分けられた符号化信号を用いてステレオモードの音声ストリームを生成する
    ことを特徴とする請求項２１記載の音声符号化装置。
23. 前記符号化手段は、前記音声モードがステレオモードのとき、左音声信号と右音声信号の相関を利用して符号化を行うことで前記第１の符号化信号と第２の符号化信号を生成するものとし、
    前記音声ストリーム生成手段は、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
    ことを特徴とする請求項１７記載の音声符号化装置。
24. 前記符号化手段は、前記音声モードがモノラルモードのとき、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号を生成し、
    前記信号振り分け処理手段は、前記音声モードがモノラルモードのとき、前記ゼロレベル符号化信号を前記第１と第２の系統に振り分けるものとし、
    前記音声ストリーム生成手段は、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
    ことを特徴とする請求項１８記載の音声符号化装置。
25. 前記符号化手段は、前記音声モードが二音声多重モードのとき、信号レベルがゼロレベルである音声信号を符号化したゼロレベル符号化信号を生成し、
    前記信号振り分け処理手段は、前記音声モードが二音声多重モードのとき、前記ゼロレベル符号化信号を前記第１と第２の系統に振り分けるものとし、
    前記音声ストリーム生成手段は、前記第１の系統に振り分けられた符号化信号を用いてステレオモードの第１の音声ストリームを生成し、前記第２の系統に振り分けられた符号化信号を用いてステレオモードの第２の音声ストリームを生成する
    ことを特徴とする請求項１９記載の音声符号化装置。
26. 前記符号化手段は、ＡＣ−３方式を用いて符号化を行うものとし、前記音声モードがステレオモードのとき、前記左音声信号と前記右音声信号の和信号と差信号をそれぞれ符号化して、前記第１の符号化信号と第２の符号化信号を生成する
    ことを特徴とする請求項２３記載の音声符号化装置。
27. 前記符号化手段は、ＡＣ−３方式を用いて符号化を行うものとし、前記ゼロレベル符号化信号を生成するとき、予め記憶されている差分符号化データと、前記符号化の際に用いたビット割当てパラメータ情報と、該ビット割当てパラメータ情報を用いて生成されたビット割当て情報に基づく量子化データを用いて前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項２４あるいは請求項２５のいずれかに記載の音声符号化装置。
28. 前記符号化手段は、前記ビット割当てパラメータ情報を固定して、あるいは予め設定されている複数のビット割当てパラメータ情報からいずれかの情報を選択して用いることにより前記符号化を行い、前記ビット割当てパラメータ情報に応じて予め生成されて記憶されている差分符号化データと量子化データから、前記符号化で用いた前記ビット割当てパラメータ情報に対応する差分符号化データと量子化データを用いて、前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項２７記載の音声符号化装置。
29. 前記符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)オーディオ方式を用いて符号化を行うものとし、前記音声モードがステレオモードのとき、前記左音声信号と前記右音声信号の和信号と差信号をそれぞれ符号化して、前記第１の符号化信号と第２の符号化信号を生成する
    ことを特徴とする請求項２３記載の音声符号化装置。
30. 前記符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)オーディオ方式を用いて符号化を行うものとし、予め記憶されている量子化データとビット割当て情報を用いて前記ゼロレベル符号化信号を生成する
    ことを特徴とする請求項２４あるいは請求項２５のいずれかに記載の音声符号化装置。
    

Images