JP4134027B2 - 画像符号化装置、画像復号装置、及び画像記録装置 - Google Patents

Description

本発明は、視点の異なる複数の画像を合成した画像データを符号化・復号する画像符号化装置、画像復号装置、及び画像記録装置に関するものである。

従来より、視点の異なる２枚の静止画像を合成して立体画像を符号化する方法として、後述する特許文献１に開示されている技術がある。

図１５は、この従来の技術における立体画像の符号化装置を示すブロック図である。間引き部１５０１は静止画像データを間引く部分、合成部１５０２は間引かれた静止画像データを合成する部分、符号化部１５０３は合成された静止画像データを符号化する部分である。

以下、各部分の動作を説明する。

間引き部１５０１は、入力された静止画像データを水平方向に半分に間引く。ここで、静止画像データは左目用の画像データ（左画像）に続いて右目用の画像データ（右画像）が入力されるものとする。また、間引き部１５０１では間引き処理に先立って、各画像に水平方向のローパスフィルタがかけられ、間引きによる折り返しノイズが除去される。合成部１５０２は、水平方向に間引かれた左画像及び右画像を合成して一枚の合成画像を形成する。この時、左画像は合成画像の左側に、右画像は合成画像の右側に配置される。

図１６は、入力画像が間引き部１５０１で間引かれ、合成部１５０２で合成される様子を示す説明図である。図１６の数字は、間引き前の画像に対する各画素の水平方向の座標を示す。左画像、右画像共に水平方向に半分に間引かれるため、合成画像の水平方向の画素数は、入力された左画像や右画像の水平方向画素数と同一となる。ただし、間引き前の水平方向画素数は偶数であるものとする。

符号化部１５０３は、合成画像を符号化する。静止画像の符号化方式としてはＪＰＥＧ等の国際標準方式が用いられる。符号化された合成画像データ（符号化データ）は、図示しない記録メディアに蓄積される。このようにして、立体画像の左画像及び右画像が一枚の合成画像に合成され、符号化される。
特開平１１−４１６２７号公報

図１７に、従来の技術によって作成された合成画像の例を示す。合成された左画像と右画像の境界部では、通常、画素値が不連続となる。このため、ＪＰＥＧ等の符号化を行う際に、符号化効率を低下させてしまうという問題がある。例えば、ＪＰＥＧにおけるＤＣＴのブロック内に、左画像と右画像の境界部が存在する場合、ＤＣＴ変換係数の高周波成分が大きくなってしまうため、符号化効率が低下する。

また、従来の技術を動画像に適用する場合には、合成画像を符号化する際にＭＰＥＧ−４等の国際標準方式が用いられるが、ＤＣＴのブロック内に左画像と右画像の境界部が存在する場合に符号化効率が低下する。

さらに、ＭＰＥＧ−４の場合、ＤＣＴブロック内に境界部が存在しない場合でも、符号化効率が低下することがある。すなわち、ＭＰＥＧ−４では符号化対象ブロックのＤＣＴ係数を同一フレーム内の周辺のブロックから予測符号化することで符号化効率を向上させているが、左画像のＤＣＴ係数と右画像のＤＣＴ係数は、境界部周辺で一般に不連続となるため、ＤＣＴ係数の予測が当らなくなり、符号化効率が低下してしまう。

また、立体表示用の合成画像を２次元表示装置に出力する際、合成画像から２次元表示画像を作成する一意な方法が存在しないため、各画像再生装置間で統一された出力結果が得られない。

本発明は、このような問題を解決し、立体画像を合成して符号化・復号する場合に、効率良く符号化・復号することを可能とする画像符号化装置、画像復号装置、及び画像記録装置を提供することを目的とする。

本発明は、複数の視点の各々に対応した複数の画像データを符号化する画像符号化装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データを符号化する符号化手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備えたことを特徴とする。

また、本発明は、複数の視点の各々に対応した複数の画像データを所定の合成方法にて合成し、合成画像データと、該合成画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報とを符号化した符号化データを復号する画像復号装置において、
前記合成画像データを復号する復号手段と、前記２次元表示画像作成方法の情報を復号する２次元表示画像作成方法復号手段と、前記復号された画像データと２次元表示画像作成方法の情報を用いて２次元表示画像を生成する２次元表示画像生成手段とを備えたことを特徴とする。

また、前記画像復号装置において、立体表示と２次元表示の切り替えが可能な表示手段を備えたことを特徴とする。
なお、前記符号化データのヘッダ部には、該符号化データが複数の画像データから成る立体画像であることを示す立体画像識別情報と、該符号化データから２次元表示画像を作成するための２次元表示画像作成方法の情報とが格納されており、前記ヘッダ部に格納された情報を用いて、自動的に立体表示と２次元表示の切り替えを行ってもよい。

また、本発明は、複数の視点の各々に対応した複数の画像データを符号化し、符号化データをヘッダ情報と共に所定の形式にて記録媒体に格納する画像記録装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データを符号化する符号化手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段と、前記符号化データが複数の画像データから成る立体画像であることを示す立体画像識別情報と、前記符号化データから２次元表示画像を作成するための２次元表示画像作成方法の情報とをヘッダ部に配置して符号化した前記合成画像データとともに多重化する多重化手段とを備え、前記多重化データを記録媒体に格納することを特徴とする。
ここで、前記ヘッダ部は符号化データに繰り返し多重化されていてもよい。

また、本発明は、複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、前記記録領域は、前記合成された画像データもしくは２次元画像データを記録するための画像記録領域と、音声データを記録するための音声記録領域と、付随情報を記録するためのサブコード領域とを有することを特徴とする。

また、本発明は、複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、前記記録領域は、前記合成された画像データもしくは２次元画像データを記録するための画像記録領域を有し、前記２次元表示画像作成方法の情報を符号化した符号化データを前記画像記録領域に記録することを特徴とする。

また、本発明は、複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、前記記録領域は、音声データを記録するための音声記録領域を有し、前記２次元表示画像作成方法の情報を符号化した符号化データを前記音声記録領域に記録することを特徴とする。

また、本発明は、複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
所定の合成方法を用いて前記複数の画像データを合成する合成手段と、前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、前記記録領域は、付随情報を記録するためのサブコード領域を有し、前記２次元表示画像作成方法の情報を符号化した符号化データを前記サブコード記録領域に記録することを特徴とする。

なお、前記合成方法は、合成される画像データの配置位置と、合成される各画像データの反転方向と、を示しており、前記２次元表示画像作成方法は、前記合成された画像データの中で使用する画像データを示す。また、前記２次元表示画像作成方法は、さらに使用する画像データの反転方法を示してもよい。

本発明の画像符号化装置によれば、立体表示用の合成画像から２次元表示画像を作成する方法を合成画像と併せて符号化することで、各画像復号装置間で統一された２次元表示画像の出力が可能となる。

本発明の画像復号装置によれば、２次元表示画像を作成する方法も併せて符号化した場合、復号して得られた合成画像と２次元表示画像作成方法とから、画像復号装置に依存しない２次元表示画像を得ることが可能となる。

本発明の画像記録装置によれば、立体画像の合成画像と併せて、立体画像であることを示す立体画像識別情報と合成方法、２次元表示画像作成方法などを示す制御情報も符号化し、記録又は伝送することによって、復号装置側で適切な画像表示を行うことが可能となる。

本発明の画像復号装置によれば、符号化データの内容に応じて、立体表示と２次元表示を自動的に切り替えて表示することが可能となる。

本発明の画像記録装置によれば、画像領域、音声領域及びサブコード領域にそれぞれのデータを記録するので、同時記録もアフレコ記録も可能となる。

本発明の画像記録装置によれば、画像領域や音声領域に合成方法の情報や２次元表示画像を作成するための情報が記録されているので、サブコード領域がアフレコによって書き換えられた場合でも不用意に変更される恐れがない。また、情報の符号化データを全て一つの記憶領域格納するので、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になり、サブコード領域を取り扱う必要がなくなる場合もある。

本発明の画像記録装置によれば、記録領域のサブコード領域に合成方法の情報や２次元表示画像を作成するための情報を記録するので、サブコード記録領域をアフレコによって記録することが可能となり、容易に変更することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

＜第１の実施の形態＞
図１は、本発明における第１の実施の形態の画像符号化装置を示すブロック図である。間引き部１０１は画像データを間引く部分、合成部１０２は間引かれた画像データを合成する部分、符号化部１０３は合成された画像データを符号化する部分、合成方法選択部１０４は複数の合成方法から画像データを合成する方法を選択する部分、合成方法符号化部１０５は選択された合成方法の情報を符号化する部分、多重化部１０６は符号化された画像データと符号化された合成方法の情報を多重化して符号化データを生成する部分である。

以下、本図面を用いて第１の実施の形態の画像符号化装置を詳細に説明する。

間引き部１０１は、従来の技術で説明したものと同様、入力された画像データを水平方向に半分に間引く。ただし、画像データは静止画像データに限定されず、動画像データも含まれるものとする。動画像データが入力される場合、例えば、フレーム１の左目用画像データ（左画像）、フレーム１の右目用画像データ（右画像）、フレーム２の左画像、フレーム２の右画像…のように、左画像と右画像がフレーム毎に交互に入力されるものとする。

合成方法選択部１０４は、左画像と右画像の合成方法を選択する。図２に合成方法選択部で選択可能な合成方法の例を示す。図２（ａ）は、従来の技術で説明したものと同様、左画像の右側に右画像を配置して合成したものである。図２（ｂ）は、左画像の右側に水平方向に反転させた右画像を配置して合成したものである。ここで、画像の画素値ｆ（ｘ，ｙ）を水平方向に反転させた場合の画素値をｇ（ｘ，ｙ）とすると、両者の関係は以下のようになる。

ｇ（ｘ，ｙ）＝ｆ（Ｍ−１−ｘ，ｙ）
（ｘ＝０，１，…Ｍ−１ ； ｙ＝０，１，…Ｎ−１）

ただし、（ｘ，ｙ）は水平及び垂直方向の座標、Ｍは画像の水平方向の画素数、Ｎは画像の垂直方向の画素数である。以下の説明における、水平方向の反転、垂直方向の反転も同様の処理である。

図２（ｃ）は、水平方向に反転させた左画像の右側に右画像を配置して合成したものである。図２（ｄ）は、左画像の下側に右画像を配置して合成したものである。図２（ｅ）は、左画像の下側に垂直方向に反転させた右画像を配置して合成したものである。図２（ｆ）は、垂直方向に反転させた左画像の下側に右画像を配置して合成したものである。

次に、合成方法の選択手法について説明する。

図３は合成方法選択部１０４の内部構成の例を示す図である。メモリ３０１は間引かれた画像データを蓄積する部分、合成方向決定部３０２は左画像と右画像の配置方向を決定する部分、反転方法決定部３０３は左画像あるいは右画像の反転方法を決定する部分である。

以下、合成方法の選択手法の動作を詳細に説明する。

メモリ３０１は、入力された間引かれた左画像及び間引かれた右画像をそれぞれ１フレーム分蓄積する。合成方向決定部３０２は、左画像と右画像を左右に配置するか、上下に配置するかを決定する。例えば、左右に配置する時の境界部の長さ（画素数）と上下に配置する時の境界部の長さ（画素数）を比較し、境界部が短くなる配置を合成方向として決定する。

反転方法決定部３０３は、左画像あるいは右画像の反転方法を決定する。例えば、合成方向決定部３０２で左右に配置することが決定された場合、図２の（ａ），（ｂ），（ｃ）の中で、合成画像の境界部の不連続性が最も小さい反転方法を決定する。境界部の不連続性の求め方としては、境界部の左右にある画素値の差分絶対値和を、境界線全体にわたってとったものを不連続性とする方法、境界部の左右で画素値の変化の有無を閾値処理で判定し、変化があった画素の総数を不連続性とする方法、などを用いることができる。

不連続性を求める際は、輝度値のみを用いる方法、色差の値を用いる方法、輝度値、色差の値の両方を用いる方法などがある。また、境界部の左右の画素として、境界部に隣接した左右１画素ずつを使用する方法、境界部から２画素以上離れた画素も含める方法などがある。

ここでは、まず合成方向を決定した後、つぎに反転方法を決定する方法を説明したが、合成方法の求め方はこれに限るものではない。例えば、図２の６種類の合成方法の全てについて境界部の不連続性が最も小さい反転方法を決定しても良い。また、合成方法の組み合わせは様々なものが考えられるため、図２と同一の組み合わせでなくても良い。例えば、図２（ａ）の代わりに、この全体を左右反転させたものを図２（ａ）として用いても良い。

以上のようにして、合成方法選択部１０４にて合成方法が適応的に選択される。

合成部１０２は、選択された合成方法に従って間引かれた左画像と間引かれた右画像を合成する。符号化部１０３は、合成部１０２で合成された合成画像を符号化する。符号化方法として、静止画像に対してはＪＰＥＧ、ＪＰＥＧ２０００などの国際標準方式が用いられる。また、動画像に対してはＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準方式が用いられる。動画像の符号化として、フレーム内符号化のみを用いる場合は、Ｍｏｔｉｏｎ ＪＰＥＧなどの方式を用いても良い。画像符号化方式としては、上記に限らず非標準の方式を用いても良い。

合成方法符号化部１０５は、合成方法選択部１０４で選択された合成方法の情報を符号化する。符号化方式としては、固定長符号化や可変長符号化が用いられる。図２のように（ａ）〜（ｆ）の６種類の方法がある場合、固定長符号化では各方法に３ビットの固定長符号を割り当てて符号化する。可変長符号化では、例えば各方法にハフマン符号などの可変長符号化を割り当てて符号化する。可変長符号化方式としては、可変長符号を割り当てるかわりに算術符号化を用いても良い。

また、以下のように合成方向と反転方法を分離することによって、合成方法の情報を符号化しても良い。図２の６種類の方法の場合、まず合成方向が左右か上下かを示す第１の情報を符号化し、次に３種類の反転方法のいずれかを示す第２の情報を符号化する。例えば第１の情報で「左右」と示された場合、第２の情報で（ａ）〜（ｃ）のいずれかを示すことになる。第１の情報および第２の情報は固定長符号化、可変長符号化あるいはこれらの組み合わせによって符号化される。

さらに、図３を用いて先に説明したように、境界部の画素数を用いて合成方向を選択する場合は、画像の画素数から合成方向が導き出せる。従って、符号化部１０３で画像の画素数を符号化している場合は、合成方向を示す情報を符号化する必要は無く、復号側では画素数によって合成方向を判定すればよい。

合成方法の情報の符号化方式としては、予め特定の合成方法を決めておき、まず特定の合成方法を選択したか否かを示した後に、「否」の場合にだけ特定の合成方法以外の方法を示すようにしてもよい。例えば合成方法として図２の（ａ），（ｂ），（ｃ），（ｄ），（ｅ）の５種類の合成方法に限定し、特定の合成方法を（ｂ）と決めておく。符号化する時には、まず（ｂ）を選択したか否かを第１の情報によって示す。実際に（ｂ）を選択した場合は、この第１の情報のみで合成方法の情報の符号化は終了となる。（ｂ）以外が選択された場合のみ、さらに第２の情報を用いて（ａ），（ｃ），（ｄ），（ｅ）の４種類のいずれを選択したかを示す。第１の情報および第２の情報は固定長符号化、可変長符号化あるいはこれらの組み合わせによって符号化される。このような符号化方法は、特定の合成方法を選択する頻度が高く、それ以外の合成方法を選択する頻度が低い場合に有用である。

多重化部１０６は合成画像を符号化したデータと合成方法の情報を符号化したデータを多重化して符号化データを構成する。図１には図示していないが、画像と共に音声や音楽を符号化する場合は、それらを符号化したデータも多重化部にて多重化される。

以上のように本実施の形態によれば、立体画像を合成して符号化する場合に、左右の画像の境界部の連続性が高くなるように合成して符号化するため、効率良く符号化することが可能となる。

図４は、本発明における第１の実施の形態の画像復号装置を示すブロック図である。逆多重化部４０１は符号化データを逆多重化する部分、合成方法復号部４０２は合成方法の情報を符号化したデータを復号する部分、復号部４０３は合成画像を符号化したデータを復号する部分、表示データ生成部４０４は復号された合成画像から表示データを生成する部分である。

以下、本図面を用いて第１の実施の形態の画像復号装置を詳細に説明する。

逆多重化部４０１は、符号化データを逆多重化して、合法方法の情報を符号化したデータ及び合成画像を符号化したデータを抽出する。図４には図示していないが、画像と共に音声や音楽が符号化されている場合は、それらを符号化したデータも逆多重化部にて抽出される。

合成方法復号部４０２は、合成方法の情報を符号化したデータを復号し、符号化時に用いた合成方法を得る。復号方式としては、画像符号化装置で用いた符号化方法に対応して、固定長復号や可変長復号などの復号方式が用いられる。

復号部４０３は、合成画像を符号化したデータを復号する。復号方式としては、画像符号化装置で用いた符号化方法に対応して、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４あるいは非標準の方式などの復号方式が用いられる。

表示データ生成部４０４は、復号された合成方法に従って、復号された合成画像から表示用のデータを生成する。例えば、立体画像が図２（ｂ）の合成方法で合成・符号化されており、右画像のみを２次元表示装置で表示したい場合は、復号された合成画像の右半分を反転させてもとの右画像を得、表示用のデータとする。この時、右画像は水平方向に間引かれた画像であるため、実際の表示においては水平方向の画素数を補間によって２倍にする等の処理が必要となる。また、左画像、右画像を立体表示装置に表示する場合は、その立体表示装置の表示形式に合わせて表示用のデータを生成する。

このように、表示データ生成部４０４では合成方法に従ってもとの左画像や右画像を抽出すると共に、表示装置の表示形式に合わせて表示用のデータを生成する。表示装置としては、通常のブラウン管や液晶パネルによる２次元表示装置、レンチキュラ、パララクスバリア、液晶シャッタなどを用いた立体表示装置など様々であり、それぞれ表示形式が異なっている。従って、ここでは各表示形式に合わせた表示用のデータの生成手順についての説明は省略する。

合成方法の情報を符号化方式としてさらに、合成方法が前フレームに対して変化したか否かを示す第１の情報と共に合成方法を示す第２の情報を符号化してもよい。このとき第２の情報は、第１の情報が「前フレームに対して合成方法が変化した」と示す場合のみ符号化される。また、第１の情報および第２の情報は固定長符号化、可変長符号化あるいはこれらの組み合わせによって符号化される。

このように符号化したデータを復号する場合は、まず合成方法が前フレームに対して変化したか否かを示す第１の情報を復号する。第１の情報が「前フレームに対して合成方法が変化しない」を示す場合、合成方法として前フレームの合成方法を現フレームの合成方法とし、第１の情報が「前フレームに対して合成方法が変化した」と示す場合のみ、さらに合成方法を示す第２の情報を復号して現フレームの合成方法を得る。

ここまで立体画像が２眼式の場合について説明してきたが、本発明は視点数が３以上の多眼式の立体画像についても適用可能である。
例えば視点数が３の場合、図１の画像符号化装置は以下のような動作をする。
間引き部１０１は、入力画像を水平方向に１／３に間引く処理を行う。
合成方法選択部１０４では、２眼式の場合と同様に合成方法を選択する。選択可能な合成方法として図５のようなものが考えられる。

図５（ａ）〜（ｃ）は視差の異なる３枚の画像（水平方向に１／３に間引かれているものとする）を水平方向に合成したものであり、（ａ）では反転を行わず、（ｂ）では中央の画像を水平方向に反転させ、（ｃ）では左右２枚の画像を水平方向に反転させている。図５（ｄ）〜（ｆ）は視差の異なる３枚の画像を垂直方向に合成したものであり、（ｄ）では反転を行わず、（ｅ）では中央の画像を垂直方向に反転させ、（ｆ）では上下２枚の画像を垂直方向に反転させている。

合成方法を選択する手法は、２眼式について説明したのと同様、境界部の画素数や連続性によって選択してもよいし、例えば図５（ｂ）に予め固定しておき、ユーザーからの要請があったときだけ他の合成方法に変更するような手法を用いても良い。

合成部１０２は、選択された合成方法に従って３枚の画像を合成する。符号化部１０３、合成方法符号化部１０５、多重化部１０６の動作は、２眼式についての動作と同様である。

視点数が３の場合、図４の画像復号装置の動作は次のようになる。

逆多重化部４０１、復号部４０３、合成方法復号部４０２の動作は２眼式についての動作と同様である。
表示データ生成部４０４は、合成方法復号部４０２で得られた合成方法をもとに、復号画像に含まれる３枚の視点の異なる画像を分離し、立体表示装置の形式に合わせて表示データを生成する。
視点数が４以上の方式でも、上の説明と同様にして立体画像の符号化及び復号が行われる。

＜第２の実施の形態＞
次に、本発明における第２の実施の形態について説明する。第１の実施の形態では異なる視点の入力画像が時系列に入力されていたが、第２の実施の形態では異なる視点の入力画像を並行して入力することを可能とするものである。

図６は第２の実施の形態の画像符号化装置を示すブロック図である。第１の間引き部６０１および第２の間引き部６０７は画像データを間引く部分、合成部６０２は間引かれた画像データを合成する部分、合成方法選択部６０４は複数の合成方法から画像データを合成する方法を選択する部分である。符号化部６０３、合成方法符号化部６０５、多重化部６０６については図１と同様の働きをするため、ここでは説明を省略する。

第１の間引き部６０１は、入力された右画像の間引き処理を行い、第２の間引き部６０７は、入力された左画像を間引き処理を行う。間引き方法については、第１の実施の形態と同様である。

合成方法選択部６０４は、間引かれた左画像と間引かれた右画像の合成方法を選択する。合成部６０２は、選択された合成方法に従って、間引かれた左画像と間引かれた右画像を合成する。合成方法の選択処理及び合成処理については、第１の実施の形態と同様である。合成方法選択部６０４、合成部６０２への入力データとして、水平方向に間引かれた右画像と左画像が並行して入力される点が、第１の実施の形態と異なっている。
画像符号化装置をこのように構成することで、異なる視点の画像を時系列で入力する場合に比べ、符号化処理の遅延を少なくすることが可能となる。

なお、第２の実施の形態の特徴は画像符号化装置に関するものであるため、画像復号装置についての説明は省略する。第２の実施の形態の画像符号化装置で作成した符号化データは、第１の実施の形態の画像復号装置で復号すればよい。

＜第３の実施の形態＞
次に、本発明における第３の実施の形態について説明する。本実施の形態では、合成方法選択の処理を符号化処理に連動させることを特徴とする。

図７は、動画像の符号化の例を示す図である。ここで、数字は各フレームのフレーム番号を表し、符号化フレームに付した記号は符号化タイプを表す。すなわち、Ｉは当該フレームがフレーム内符号化されたことを表し、Ｐは当該フレームがフレーム間符号化されたことを示す。

図７の例では、フレーム０がフレーム内符号化され、フレーム１および２は駒落としされて符号化されず、フレーム３がフレーム間符号化されている。以下同様にフレーム６、１０がフレーム間符号化され、次にフレーム１４がフレーム内符号化されている。

このように駒落としを伴う符号化方式において、合成方法の選択処理を毎フレーム行うことは無駄である。従って、第３の実施の形態では、図１（又は図６）の画像符号化装置において、合成方法選択部１０４（又は６０４）は符号化部１０３（又は６０３）で駒落としされるフレームに対しては選択処理を行わず、実際に符号化されるフレームについてのみ選択処理を行うようにする。

さらに、図７のようにフレーム内符号化とフレーム間符号化が混在する符号化方式において、合成方法の選択によって符号化フレーム毎に合成方法を変更することは、符号化効率の低下につながる。図７の場合、例えばフレーム３で図２（ａ）の合成方法、フレーム６で図２（ｂ）の合成方法を選択すると、フレーム６の右半分はフレーム３の右半分と大きく異なる画像となり、フレーム間予測の予測効率が低下してしまう。また例えば、フレーム３で図２（ａ）の合成方法、フレーム６で図２（ｄ）の合成方法を選択すると、フレーム６の画像の水平方向および垂直方向の画素数はフレーム３と異なるため、ＭＰＥＧ−４などの国際標準方式では異なるシーケンスとして符号化することが必要となり、現実的ではない。従って、第３の実施の形態では、フレーム内符号化フレームについてのみ合成方法選択の処理を行って、合成方法変更を可能とし、それに続くフレーム間符号化フレームでは選択方法を変更しない。

あるいは、実際に符号化されるフレームについて合成方法選択の処理を行い、合成方法を変更しない時はフレーム内符号化又はフレーム間符号化を行い、合成方法を変更する時はフレーム内符号化のみを行うこととする。

このように第３の実施の形態では、合成方法選択の処理を符号化のタイミングに合わせること、および合成方法の変更を符号化方法の変更に合わせることで、処理量の低減、符号化効率の向上を実現することが可能となる。

なお、上で述べた第３の実施の形態の特徴は第２の実施の形態と同様、画像符号化装置に関するものであるため、画像復号装置についての詳細な説明は省略する。第３の実施の形態の画像符号化装置で作成した符号化データは、第１の実施の形態の画像復号装置で復号すればよい。

ただし、第３の実施の形態において、合成方法の情報の符号化方法を第１の実施の形態や第２の実施の形態と異なるものとする場合は、第３の実施の形態に対応した画像復号装置が必要となる。

例えば、第３の実施の形態の画像符号化装置において、合成方法の情報を限られた符号化フレーム（フレーム内符号化するフレームや、シーケンスの先頭の符号化フレーム）にのみ付加し、その他の符号化フレームについては前フレームと同じ合成方法を用いて符号化する場合、画像復号装置でもこれに対応して、合成方法を上記限られた符号化フレームの場合にのみ復号し、その他の符号化フレームについては前フレームと同じ合成方法を用いて表示データを作成する。

図８に、このような画像符号化装置のブロック図を示す。図１との違いは、制御部８０７を設け、合成方法選択部８０４、符号化部８０３、合成方法符号化部８０５、多重化部８０６を制御している点である。合成方法符号化部８０５は選択された合成方法の情報を符号化する部分である。また、間引き部８０１、合成部８０２は、図１と同様の働きをする。

制御部８０７は、フレーム内符号化するフレームを決定し、合成方法選択部８０４、符号化部８０３、合成方法符号化部８０５、多重化部８０６の動作を制御する部分である。制御部８０７は、前記決定したフレームについてのみ合成方法を選択するよう合成方法選択部８０４を制御する。また、制御部８０７は前記決定したフレームをフレーム内符号化するように、符号化部８０３を制御する。さらに、制御部８０７は前記決定したフレームについてのみ合成方法の情報の符号化を行うよう、合成方法符号化部８０５を制御する。

多重化部８０６は、制御部８０７で決定されたフレームの符号化データの先頭に、合成方法の情報を付加する。ここで、合成方法の情報の符号化データは、動画像データの符号化データの内部に多重化しても良いが、動画像データの符号化データが多重化部にてパケット化される場合には、各パケットのヘッダ情報の中に、合成方法の情報の符号化データを付加しても良い。

また、上記のように合成方法の情報の符号化データを、各フレーム内符号化データの先頭で必ず付加する場合には、合成方法の情報の符号化データが存在するか否かを、当該フレームがフレーム内符号化されたか否かによって判断することが可能である。しかし、合成方法の情報の符号化データを、一部のフレーム内符号化データにのみ付加するような場合は、合成方法の情報の符号化データが存在するか否かを別途示す必要がある。このためには、例えば１ビットのフラグを設けて、合成方法の情報の符号化データが存在するか否かを示せば良い。

図９に図８の画像符号化装置による符号化データを復号する画像復号装置のブロック図を示す。図９は、合成方法の情報の符号化データが、各フレーム内符号化データの先頭に必ず付加されている場合に対応する。

図４との違いは、復号部９０３から合成方法復号部９０２への制御情報が入力されている点である。逆多重化部９０１、表示データ生成部９０４は図４と同様の働きをする。

復号部９０３は、動画像の符号化データを復号しつつ、フレーム内符号化データの復号をする際には、制御情報を合成方法復号部９０２に入力する。前記制御情報は、フレーム内符号化データが復号中であることを合成方法復号部９０２に通知する情報であり、このとき合成方法復号部９０２は、フレーム内符号化データの復号時にのみ、合成方法の情報の符号化データを復号するよう動作する。合成方法復号部９０２で復号された合成方法の情報は、表示データ生成部９０４に供給され、復号された合成画像の表示データを生成する処理に利用される。このようにして、フレーム内符号化データに対して合成方法が選択されている場合に、効率良く符号化データを復号することが可能となる。

図８の画像符号化装置における多重化部８０６で、合成方法の情報の符号化データをフレーム内符号化データに対応する時間情報と共に多重化した場合、図９で説明した制御情報は、逆多重化部９０１から合成方法復号部９０２に通知すればよい。すなわち、逆多重化部９０１が符号化データを逆多重化する際に、フレーム内符号化データに対応する時間情報も得られるので、復号部９０３でフレーム内符号化データを復号中か否かを、逆多重化部で判定できる。逆多重化部９０１はフレーム内符号化データを復号中と判定した時に、前記制御情報を合成方法復号部９０２に通知する。

符号化時に、合成方法の情報の符号化データが全てのフレーム内符号化データではなく、一部のフレーム内符号化データのみに付加する場合は、合成方法の情報の符号化データが存在するか否かを示す情報を別途符号化する必要がある。例えば、図８の多重化部８０６にて前記情報を多重化する。これに対応して、画像復号装置では前記情報を復号する。例えば、逆多重化部９０１にて合成方法の情報の符号化データが存在するか否かを示す情報を分離し、これを図示しない制御部に入力する。制御部では前記情報によって、合成方法復号部９０２を制御し、合成方法の情報の符号化データが存在する時のみ、合成方法の情報の符号化データを復号すればよい。

＜第４の実施の形態＞
次に、本発明における第４の実施の形態について説明する。本実施の形態では、視点の異なる画像を合成する際に、視差の影響を小さくするために画像をシフトする手法を用いることを特徴とする。

図１０は、図２（ｅ）の合成方法において視差の影響を示す例である。一般的に立体画像では、視点の異なる画像間で視差が存在するため、図２（ｅ）のように右画像を反転して合成しても、画像の境界部に画素値が不連続となる部分が存在する。図１１は、図１０の不連続部分を小さくするために右画像を反転およびシフトして合成したものである。

図１２は、第４の実施の形態による画像符号化装置を示すブロック図である。これは、図１の合成方法選択部１０４の後に、本実施の形態の特徴である、シフト量演算部１２０７を追加したものである。合成部１２０２は間引かれた画像データを合成する部分、合成方法選択部１２０４は複数の合成方法から画像データを合成する方法を選択する部分、合成方法符号化部１２０５は選択された合成方法およびシフト量のデータを符号化する部分である。間引き部１２０１、符号化部１２０３、多重化部１２０６の動作については図１と同様であるので説明を省略する。また、図１２と同様にして図６の合成方法選択部６０４、図８の合成方法選択部８０４の後にシフト量演算部を追加して第４の実施の形態を実現することが出来るが、ここではこれらの説明は省略する。

図１２のシフト量演算部１２０７は、合成時のシフト量を求める部分である。例えば、あらかじめ複数のシフト量とそれに対応した画像の合成方法を決めておき、各シフト量に対し合成時の境界部の不連続性を計算して、不連続性の最も小さいシフト量を求める。不連続性の計算方法は、図１の合成方法選択部１０４について説明したものと同様である。

図１３はシフトに対応する合成方法の例を示す。図１３（ａ）は上下に合成する際に下側の画像を左にシフトしたものである。実際には画像符号化装置では矩形の画像が符号化されるため、図１３（ｂ）のように、左側にはみ出した部分を削除しかつ右側をパディングによって埋めることで矩形画像とする方法、図１３（ｃ）のように、左側にはみ出した部分を右側にコピーすることで矩形画像とする方法などを用いて、合成画像を矩形にする（以下、この処理を「矩形化」と呼ぶ）。図１３（ｂ）のパディングの方法としては、右端の画素値を右方向に順次コピーする方法、画素値を右端で折り返す方法、あらかじめ定めた画素値を右側に埋める方法などを用いる。また、図１３（ｃ）のコピーでは、左側にはみ出した部分をそのままコピーする方法、左側にはみ出した部分を水平方向に反転させてコピーする方法などが用いられる。

図１３（ｂ）であらかじめ定めた画素値を用いてパディングする場合や、図１３（ｃ）でコピーを用いる場合には、下側の画像の右端付近でも画素値が不連続となる部分が発生するため、この不連続部分の影響も考慮してシフトを行うか否かの選択が必要となる。このためには、右端付近の不連続部分を不連続性の演算に含めればよい。

以上の説明では、図１１のように下側の画像を左にシフトする場合について述べたが、本手法は下側の画像を右にシフトする場合にも適用可能である。その場合、右側にはみ出た部分を削除し、左側の足りない部分をパディングするなどの方法で、合成画像が矩形化される。さらに、同様の手法は、右画像と左画像を水平方向に並べて合成する場合にも適用できる。この場合、シフトは上下方向に行われ、上下にはみ出した部分の削除、上下に足りない部分のパディングなどによって矩形化が行われる。

図１２の合成方法選択部１２０４は、図１の合成方法選択部１０４と同様の手法で合成方法を選択する。選択された合成方法は、合成部１２０２と合成方法符号化部１２０５に送られる。

図１２の合成部１２０２は、合成方法選択部１２０４で選択された合成方法とシフト量演算部１２０７で求められたシフト量に従って画像を合成する。合成方法符号化部１２０５では、合成方法の情報と共にシフト量のデータを符号化する。合成方法の情報の符号化は第１の実施の形態と同様であり、シフト量のデータは固定長符号化あるいは可変長符号化等によって符号化される。

矩形化の処理方法が複数選択可能な場合、例えば図１３の（ｂ），（ｃ）のいずれかが適応的に選択可能な場合は、どの方法でシフト後のデータが矩形化されたかを示す情報が合成方法符号化部１２０５にて別途符号化される。

図１４は、第４の実施の形態による画像復号装置のブロック図を示す。合成方法復号部１４０２は合成方法およびシフト量を符号化したデータを復号する部分、表示データ生成部１４０４は復号された合成画像から表示データを生成する部分である。逆多重化部１４０１、復号部１４０３は図１と同様の動作をするため説明を省略する。

合成方法復号部１４０２は、合成方法とシフト量を復号する。合成方法の復号は第１の実施の形態と同様であり、シフト量は固定長復号あるいは可変長復号等によって復号される。また、シフトされた画像の矩形化が複数選択可能な場合、どの方法で矩形化されたかを示す情報も、合成方法復号部１４０２にて復号され、表示データ生成部１４０４に送られる。

表示データ生成部１４０４は、復号された合成方法、シフト量、および、必要ならばどの方法で矩形化されたかを示す情報に従って、表示装置に出力するための表示データを生成する。この時、図１３（ｄ）のように右画像が符号化時とは逆方向にシフトされる。次に、矩形化の手法に応じて符号化側でシフトされた画像が元に戻される。

例えば、図１３（ｂ）の方法で矩形化されていた場合、これに対応して図１３（ｅ）のように右画像の右側のデータが削除され、左側のデータがパディングによって埋められる。このような画像を立体表示装置に表示する場合、パディングによって埋められた部分は立体視できないため、右画像、左画像共に、立体視できない部分は共通の画素データに置きかえるなどの処理が必要となる。

また、図１３（ｃ）の方法で矩形化されていた場合、これに対応して図１３（ｆ）のように右画像の右側のデータが左側にコピーされ、もとの右画像が復元される。

以上のようにして、第４の実施の形態によれば、画像の合成時に視差の影響を最も軽減するシフト量を求めることで、合成画像の境界部の連続性が高く、符号化効率の高い画像符号化・復号が実現できる。

＜第５の実施の形態＞
次に、本発明における第５の実施の形態について説明する。本実施の形態は、複数の視点の各々に対応した複数の画像データを複数の画像復号装置で２次元表示出力する際、各画像復号装置間で統一された出力結果が得られることを特徴とする。

図１８は、第５の実施の形態による画像符号化装置を示すブロック図である。間引き部１８０１は画像データを間引く部分、合成部１８０２は間引かれた画像データを所定の合成方法で合成する部分、符号化部１８０３は合成された画像データを符号化する部分、２次元表示画像作成方法符号化部１８０８は前記合成された画像データから２次元表示用の表示画像（以下、２次元表示画像）を作成する方法を符号化する部分、多重化部１８０６は符号化された画像データと符号化された２次元表示画像作成方法とを多重化し符号化データを生成する部分である。間引き部１８０１、符号化部１８０３は、図１と同様の働きをするため、ここでは説明を省略する。

以下、本図面を用いて第５の実施の形態の画像符号化装置を詳細に説明する。

合成部１８０２は、間引かれた画像データを合成する。図１の合成部１０２との違いは、合成方法選択部１０４などにより、外部から合成方法が設定されるのではなく、予め定められた所定の方法にて合成する点である。図１９（ａ）は、合成部１８０２で合成された画像データの一例である。ここでは合成部１８０２における所定の合成方法とは、左画像を左右反転し、右画像をその右に並べて配するもの、としているが、この方法に限らず、これまでの実施の形態の説明における他の方法を適用してもよい。

図１９（ｂ）〜（ｇ）は、図１９（ａ）で示される合成された画像データから作成される２次元表示画像の例である。例えば、図１９（ｂ）の場合は、前記合成された画像データそのものを２次元表示画像としている。図１９（ｃ）の場合は、前記合成された画像データの左画像部分のみを左右反転させたものを２次元表示画像とする。図１９（ｄ）の場合は、前記合成された画像データの左画像部分のみを抽出し、水平方向に２倍に引き伸ばしたものを２次元表示画像とする。図１９（ｅ）〜（ｇ）の作成方法については省略するが、このように、立体表示装置用の合成画像データから２次元表示画像を生成する方法として様々なものが考えられる。

２次元表示画像作成方法符号化部１８０８は、このような、合成された画像データからどのようにして２次元表示画像を作成するか、を示す情報を２次元表示画像作成方法として符号化する部分である。なお、２次元表示画像の作成方法を特に規定しない場合、その旨を示す情報を２次元表示画像作成方法として符号化してもよい。

多重化部１８０６は、符号化された合成画像と符号化された２次元表示画像作成方法とを多重化し、符号化データを出力する。

このようにして作られた符号化データを逆多重化し、抽出された合成画像と２次元表示画像作成方法から、２次元表示画像を作成することで、各画像復号装置間で統一された出力結果を得ることが出来る。以下、第５の実施の形態の画像復号装置を説明する。

図２０は、第５の実施の形態による画像復号装置を示すブロック図である。逆多重化部２００１は、符号化データを逆多重化して、符号化された合成画像と符号化された２次元表示画像の作成方法を抽出する部分、復号部２００３は前記符号化された合成画像を復号する部分、２次元表示画像作成方法復号部２００５は前記符号化された２次元表示画像の作成方法を復号する部分、２次元表示画像生成部２００４は、前記復号された合成画像と前記復号された２次元表示画像作成方法とから表示部に出力すべき２次元表示画像を生成する部分である。復号部２００３は、図４と同様の働きをするため、ここでは説明を省略する。

前記符号化データは、逆多重化部２００１によって、符号化された合成画像と符号化された２次元表示画像作成方法とに分離される。前記符号化された合成画像は復号部２００３により復号され、前記符号化された２次元表示画像作成方法は２次元表示画像作成方法復号部２００５により復号される。２次元表示画像生成部２００４により、復号された２次元表示画像作成方法に従い、復号された合成画像から、２次元表示画像が生成される。前記生成された２次元表示画像は２次元表示画像作成方法で規定された方法によって一意に作成されるため、復号装置に依存しない表示結果を得られる。

ただし、２次元表示画像作成方法が、２次元表示画像の一意な作成方法を特に規定していない場合は、画像復号装置に依存した所定の２次元画像作成方法を用いて２次元表示画像を作成することとする。この場合、各画像復号装置間で統一された表示結果は得られないが、従来どおり、各画像復号装置に適した方法で２次元表示画像を生成し、表示することが可能となる。

以上のように本実施の形態によれば、立体画像を合成して符号化する際、２次元表示画像作成方法も符号化して符号化データに多重化し、復号時は符号化時に指定された２次元表示画像作成方法に基づいて合成画像から２次元表示画像を生成するため、画像復号装置に依存しない一意な２次元表示画像を得ることが可能となる。

このことは、記録媒体に符号化された立体画像と２次元画像が混在して記録されており、その一覧として縮小画像を並べて表示する際などにも有効である。例えば、立体画像については図１９（ｃ）のように、左画像と右画像を左右に並べたものを表示するように２次元表示画像生成方法を符号化・多重化しておき、復号時はこの情報をもとに縮小画像として２次元表示画像を作成・表示し、２次元画像については復号して得られた画像を単純に縮小して表示すれば、画像が立体画像として記録されているのか、２次元画像として記録されているのかを一覧表示において、一目で識別出来る。

本手法を用いて、立体画像と２次元画像が混在するメディアについて、一覧表示をしたときのイメージを図２１に示す。或いは、立体画像については図１９（ｅ）のように左画像のみからなる２次元表示画像を作成、縮小表示し、その縮小表示画像付近に立体画像であることを示すような表示を行い、２次元画像については復号して得られた画像を単純に縮小表示し、立体画像のときと同様に縮小表示画像の付近に２次元画像であることを示すような表示を行うようにしてもよい。このときの一覧表示のイメージを図２２に示す。ここで「３Ｄ」は立体画像を、「２Ｄ」は２次元画像であることを示す。立体画像と２次元画像を区別しない一覧表示を実現したい場合は、それぞれの画像が立体画像、２次元画像であることを示す表示を省略してもよい。

２次元表示画像作成方法を、縮小画像の用途のみに利用する場合は、この情報は縮小画像作成方法として符号化される。

上記２次元表示画像作成方法の符号化部及び復号部は、第１〜第４の実施の形態の画像符号化装置及び画像復号装置に付加しても有効である。以下、第１の実施の形態への付加を例にとって説明するが、第２〜第４の実施の形態についても同様に適用できる。

図２３は、第５の実施の形態による画像符号化装置を示す別のブロック図である。間引き部２３０１は画像データを間引く部分、合成部２３０２は間引き部２３０１によって間引かれた左画像と右画像を合成する部分、符号化部２３０３は合成された画像データを符号化する部分、合成方法選択部２３０４は複数の合成方法から画像データを合成する方法を選択する部分、合成方法符号化部２３０５は選択された合成方法の情報を符号化する部分、２次元表示画像作成方法選択部２３０９は複数の２次元表示画像作成方法から選択する部分、２次元表示画像作成方法符号化部２３０８は２次元表示画像作成方法を符号化する部分、多重化部２３０６は符号化された画像データと符号化された合成方法と符号化された２次元表示画像作成方法とを多重化し符号化データを生成する部分である。間引き部２３０１、合成部２３０２、符号化部２３０３、合成方法選択部２３０４、合成方法符号化部２３０５は、図１と同様の働きをする。また、２次元表示画像作成方法符号化部２３０８は、図１８と同様の働きをするため、ここでは説明を省略する。

２次元表示画像作成方法選択部２３０９は、合成方法選択部２３０４が選択した画像データの合成方法より、合成画像データからどのように２次元表示画像を作成するかを決定する。画像データの合成方法から２次元表示画像の作成方法を決定するプロセスの一例を説明する。図２４（ａ）〜（ｃ）はそれぞれ所定の合成方法を用いて得られた合成画像とし、図２４（ｄ）を作成したい２次元表示画像とする。図２４（ａ）から図２４（ｄ）を作るには、合成画像をそのままコピーする。図２４（ｂ）から図２４（ｄ）を作るには、合成画像の左画像部分を左右反転し、右画像をそのままコピーする。図２４（ｃ）から図２４（ｄ）を作るには、合成画像の左画像はそのまま、右画像は左右反転してコピーする。このように、合成方法が決まれば、所定の２次元表示画像を得る方法は一意に決まる。後は、こうして得られた２次元表示画像作成方法を２次元表示画像作成方法符号化部２３０８にて符号化し、合成方法符号化部２３０５が符号化した合成方法と符号化部２３０３が符号化した合成画像を多重化部２３０６で多重化することで符号化データが出来る。

なお、２次元表示画像作成方法選択部２３０９を除去し、替わりに図１８と同様に２次元表示画像作成方法を外部から入力してもよい。

図２５は、第５の実施の形態による画像復号装置を示す別のブロック図である。逆多重化部２５０１は符号化データを逆多重化して、符号化された合成画像と符号化された２次元表示画像の作成方法を抽出する部分、合成方法復号部２５０２は合成方法の情報を符号化したデータを復号し符号化時に用いた合成方法を得る部分、復号部２５０３は前記符号化された合成画像を復号する部分、２次元表示画像作成方法復号部２５０５は前記符号化された２次元表示画像の作成方法を復号する部分、２次元表示画像生成部２５０４は、前記復号された合成画像と前記復号された合成手段と前記復号された２次元表示画像作成方法とから表示部に出力すべき２次元表示画像を生成する部分である。合成方法復号部２５０２、復号部２５０３は、図４と同様の働きをする。また、２次元表示画像作成方法復号部２５０５は、図Ｃと同様の働きをするため、ここでは説明を省略する。

逆多重化部２５０１は、符号化データを符号化された２次元表示画像作成方法と符号化された合成方法と符号化された合成画像とに分離する。そして、２次元表示画像作成方法復号部２５０５、合成方法復号部２５０２、復号部２５０３によりそれぞれを復号し、それらの情報から２次元表示画像生成部２５０４は、２次元表示画像を構築する。

このようにして、図２４、図２５の画像符号化装置、画像復号装置を用いることで、図１８、図２０の場合と同様に、画像復号装置に依存しない一様な２次元表示画像が得られる。

ここまで２眼式の立体画像を例に挙げて説明してきたが、本発明が視点数が３以上の多眼式の立体画像についても適用可能である。

＜第６の実施の形態＞
次に、本発明における第６の実施の形態について説明する。本実施の形態は、ここまでの実施の形態における合成画像と合成方法、２次元表示画像作成方法などを多重化して得られる符号化データを格納するための記録媒体又は伝送媒体を提供する。

図２６は、第６の実施の形態における記録媒体を示すブロック図である。多重化部２６０６は、入力された合成画像や合成方法、２次元表示画像作成方法などを所定の形式で多重化し、符号化データを出力する部分、記録部２６０２は、符号化データを記録する部分、逆多重化部２６０１は、入力された符号化データを逆多重化し、合成画像や合成方法、２次元表示画像作成方法などに分離する部分である。

図２７は、立体画像符号化データを記録媒体に格納する際の形式の一例である。合成画像の符号化データに加えて、少なくとも、複数の画像からなる立体画像であることを示す立体画像識別情報と各種制御情報をヘッダとして持っている。

制御情報としては、合成方法（合成方向、画像反転識別情報、シフト量）、２次元表示画像作成方法の情報、などが挙げられる。これらの制御情報は、可変長符号化、または、固定長符号化のいずれかで符号化され、多重化部にて合成画像の符号化データとともに多重化される。復号時、多重化されたデータが逆多重化部にて逆多重化された後、制御情報の符号化データが復号され、図４、図９、図１４の表示データ生成部または図２０、図２５の２次元表示画像生成部にて利用される。

図２７では、合成画像データの先頭にヘッダ部が１つあるだけだが、合成画像データが動画像のように、複数枚の合成画像から構成される場合は、各合成画像データの先頭に１つずつヘッダ部を付加するような形をとっても良い。或いは、ヘッダ部を符号化データ中の任意の位置に繰り返し格納するようにしても良い。

また、動画像を衛星、地上波、インターネットなどの伝送媒体を介し、放送するような場合、視聴者が放送の途中から受信、視聴したり、チャンネルの切り替えを行う可能性があるため、図２８で例示するように、立体画像識別情報と制御情報をヘッダ部として先頭に１つ配するのではなく、番組配列情報という形で定期的に放送コンテンツの中に挿入することが望ましい。ここで、放送コンテンツとは、立体画像データや音声データ、これらの内容に関連したＢＭＬデータなどが多重化された符号化データである。また、番組配列情報の中には、画像データや音声データ、ＢＭＬデータなどの互いの関連を示す情報（同期情報）や著作権情報などが含まれ、本発明の合成方法、２次元表示画像作成方法を含む立体制御情報もここに格納される。番組配列情報のうち立体制御情報のシンタックスの一例を図２９に示す。立体制御情報であることを示す識別子を格納する立体制御情報識別子フィールド、本情報全体の情報長を示す立体制御情報長フィールドに加え、必要に応じて、合成方法や２次元表示画像作成方法の情報が格納される。なお、立体制御情報は、番組配列情報に含めるのではなく、繰り返し符号化データの中に直接多重化してもよい。

以上のように本実施の形態によれば、立体画像の合成画像と併せて、立体画像識別情報と制御情報も符号化し、記録又は伝送することによって、復号装置側で適切な画像表示を行うことが可能となる。

＜第７の実施の形態＞
次に、本発明における第７の実施の形態について説明する。本実施の形態は、ここまでの実施の形態における表示データ生成部又は２次元表示画像生成部で生成された表示データ又は２次元表示画像（以下、表示データに統一）を実際に表示する表示部が、立体表示と２次元表示の両方に対応する場合、表示モードを自動的に選択し表示する画像復号装置を提供する。

図３０は、第７の実施の形態における画像復号装置を示すブロック図である。逆多重化部３００１は、符号化データを逆多重化して、符号化された画像データと符号化されたヘッダを抽出する部分、ヘッダ復号部３００２は、前記符号化されたヘッダを復号する部分、復号部３００３は、前記符号化された画像データを復号する部分、表示モード選択部３００５は、ヘッダに含まれる情報を元に復号された画像データを立体表示するか２次元表示するかを選択する部分、表示データ生成部３００４は、復号されたヘッダの情報と復号された画像データとから表示部で出力すべき表示データを生成する部分、表示部３００６は設定された表示モードに従って、前記表示データを表示する部分である。復号部３００３は、図４と同様の働きをするため、ここでは説明を省略する。

逆多重化部３００１は、符号化データを逆多重化し、符号化された画像データと符号化されたヘッダを抽出する。ここで、前記画像データは２次元画像データ又は複数の視点からの画像を合成した合成画像データのいずれかであり、ヘッダは立体画像識別情報や制御情報などを含んだ情報である。

ヘッダ復号部３００２は、符号化されたヘッダを復号し、立体画像識別情報や制御情報などを抽出する。画像データが２次元画像の場合は、立体画像識別情報は含まれないため、前記情報の有無により、画像データが２次元画像であるか立体表示用の合成画像であるかを判定できる。

表示モード選択部３００５は、表示部３００６を立体表示モードにするか２次元表示モードにするかをヘッダ情報から判断し表示部３００６に対して設定を行う。ヘッダ情報から表示モードを選択する方法としては、例えば、ヘッダに立体画像識別情報が含まれる場合は、表示部３００６を立体表示モードに設定し、前記情報が含まれない場合、２次元表示モードに設定する、などが考えられる。

表示データ生成部３００４は、復号されたヘッダの情報と復号された画像データ及び前記表示モード選択部３００５で選択された表示モードから、表示部３００６で表示すべき表示データを生成する。

表示部３００６は、２次元表示と立体表示の２つの表示モードを持っており、選択された表示モードに従って、表示データを出力する。

以上のように本実施の形態における画像復号装置を用いれば、符号化データの内容に応じて、立体表示と２次元表示を自動的に切り替えて表示することが可能となる。

以上では入力された画像データを水平方向に間引いた後に合成する場合について説明した。本発明は、入力された画像データを間引かずに合成する場合、垂直方向に間引いた後に合成する場合、水平及び垂直方向に間引いた後に合成する場合などにも適用可能である。

例えば、立体表示装置においてフィールド毎に右目用画像と左目用画像を切り替える方式を用いる場合は、入力された画像を垂直方向に間引き、合成する。また、立体表示装置において、フィールド毎に左右を切り替える場合と、レンチキュラやパララックスバリヤのように垂直方向に左右が切り替わる場合の両方を想定する場合などは、入力された画像を間引かずに合成する。さらに、合成された画像の解像度を所望の値に設定したい場合は、入力された画像の解像度に応じて水平及び垂直方向の間引きを行えば良い。

＜第８の実施の形態＞
次に本発明の第８の実施の形態である画像記録装置について説明する。本実施の形態は、デジタルビデオテープに立体動画像を記録する記録装置である。

はじめに、本実施形態によって記録されたデジタルビデオテープのトラックフォーマットについて説明する。一般に普及しているデジタルＶＴＲではヘリカルスキャンと呼ばれる方式が採用されており、この方式ではテープ上の不連続なトラックに対してデータが記録される。この様子を示したものが図３１で、テープ上にはトラック３１０１が複数存在し、１枚の立体画像も複数のトラック３１０１に分割して記録される。

図３２はトラック３１０１の１つを拡大したものであり、本実施形態によって記録されたデジタルＶＴＲのトラックフォーマットの１例を示している。トラック３１０１はアフレコを確実にするためのＩＴＩ（Ｉｎｓｅｒｔ ａｎｄ Ｔｒａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ）領域３２０１、音声に関するデータが記録される音声記録領域３２０２、画像に関するデータが記録される画像記録領域３２０３、タイムコードなどの付随情報が記録されるサブコード記録領域３２０４からなる。画像記録領域３２０３には、立体画像そのものだけでなく、立体画像とかかわりのある付随情報も記録可能である。同様に、音声記録領域３２０２には、音声そのものだけでなく、音声とかかわりのある付随情報も記録可能である。また、これら２つとは別に、前述のとおりサブコード記録領域３２０４にも付随情報が記録可能である。また、各領域の間にはマージンがあり、個別にアフレコが可能になっている。

図３３は画像記録領域３２０３を拡大したものである。画像記録領域３２０３は、同期パターンなどが記録されたプリアンブル３３０１、画像に関する付随情報が記録されるＶＡＵＸ（Ｖｉｄｅｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）α３３０２及びＶＡＵＸβ３３０４、画像符号化データが記録される画像符号化データ記録領域３３０３、エラー訂正符号３３０５、マージンを稼ぐための機能を持つポストアンブル３３０６から構成される。本実施形態では画像に関する付随情報が記録される領域がＶＡＵＸα３３０２とＶＡＵＸβ３３０４の２つに分かれているが、以後はこの２つをまとめてＶＡＵＸ領域と呼ぶことにする。

また、図示はしないが音声記録領域３２０２にも、音声に関する付随情報を記録する領域としてＡＡＵＸ（Ａｕｄｉｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）領域が用意されている。

続いて、図３４を用いて本実施形態の記録装置を説明する。図３４は本実施形態の記録装置の構成を示すブロック図である。図３４に示すように、本記録装置は間引き部３４０１、合成方法選択部３４０２、合成部３４０３、符号化部３４０４、音声符号化部３４０５、付随情報符号化部３４０６、多重化部３４０７、テープ記録部３４０８を含む。

間引き部３４０１、合成方法選択部３４０２、合成部３４０３、符号化部３４０４は、それぞれ本発明の第１の実施の形態である画像符号化装置を説明した図１の間引き部１０１、合成方法選択部１０４、合成部１０２、符号化部１０３と同様の働きをするため、ここでは説明を省略する。

音声符号化部３４０５は、音声データを入力とし、これを符号化して音声符号化データを出力する。
付随情報符号化部３４０６は、立体画像符号化部３４０４で左右画像の合成の際に使用された合成方法の情報、２次元表示作成方法の情報などの付随情報を符号化し、付随情報符号化データを出力する。ここでの符号化方法としては、それぞれの情報に対応する固定長のビット列への変換などがあげられる。

多重化部３４０７は、立体画像符号化データ、合成の際に選択された合成方法の情報、音声符号化データ、付随情報符号化データを入力とし、これらをテープに記録できる形式に多重化してテープ記録用データを出力する。
テープ記録部３４０８は、テープ記録用データを先に示したフォーマットに従って記録媒体であるテープに記録する。

続いて、多重化部３４０７について、図３５を用いてより詳細に説明する。図３５に示すように、多重化部３４０７は付随情報符号化データ振り分け部３５０１、画像記録領域用データ合成部３５０２、音声記録領域用データ合成部３５０３、サブコード記録領域用データ合成部３５０４、トラック合成部３５０５を含む。

付随情報符号化データ振り分け部３５０１は、付随情報符号化データを入力とし、これらをＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のとのどこに記録するかを判別して振り分ける。本実施形態では、左右画像の合成方法を符号化したデータはＶＡＵＸ領域に、２次元表示作成方法を符号化したデータはサブコード領域に振り分ける。

画像記録領域用データ合成部３５０２は、立体画像符号化部３４０４から出力される立体画像符号化データ、及び付随情報符号化データ振り分け部３５０１から出力されるＶＡＵＸ領域用付随情報符号化データを入力とし、図３３に示したフォーマットとなるよう付随情報符号化データ及び立体画像符号化データを合成する。これにプリアンブル３３０１、エラー訂正符号３３０５、ポストアンブル３３０６を付加し、画像記録領域用データを出力する。

音声記録領域用データ合成部３５０３は、音声画像符号化部３４０５から出力される音声符号化データ、及び付随情報符号化データ振り分け部３５０１から出力されるＡＡＵＸ領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成して音声記録領域用データを出力する。

サブコード記録領域用データ合成部３５０４は、付随情報符号化データ振り分け部３５０１から出力されるサブコード領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成してサブコード記録領域用データを出力する。

トラック合成部３５０５は、画像記録領域用データ、音声記録領域用データ、サブコード記録領域用データを入力とし、これらが図３２に示したフォーマットとなるよう合成し、さらにＩＴＩ情報３２０１や各領域間のマージンを付加して記録用データを出力する。

なお、本実施形態では音声記録領域、画像記録領域、サブコード記録領域を同時に記録したが、これらは必ずしも同時に記録する必要があるものではなく、一部、例えば音声記録領域と画像記録領域のみを先に記録しておき、サブコード記録領域をアフレコによって記録することも可能である。あるいは、同時に全てを記録したとしても、それぞれの領域は個別にアフレコによって上書きすることも可能である。

左右画像の合成方法は、最初の撮影時に決定され、以後の編集段階で変更される可能性は低い。本実施例では左右画像の合成方法を画像記録領域内のＶＡＵＸ領域に記録しているため、音声記録領域、サブコード領域がアフレコによって書き換えられた場合でも不用意に変更される恐れがない。

一方、２次元表示作成方法の情報は、撮影時に最終的な決定がなされる場合だけでなく、最終的なコンテンツの出来上がりに応じて撮影終了後の編集段階で決定される可能性がある。例えば、撮影時にはデフォルト値を記録しておき、編集段階で仕上がりを確認してから２次元表示作成方法の情報をアフレコする場合がある。本実施形態の記録装置では２次元表示作成方法の情報がアフレコの容易なサブコード領域に記録されているため、編集段階でも容易に変更することが可能である。

また、本実施形態では２次元表示作成方法の情報をサブコード領域に記録したが、これらも画像に関する付随情報であるという観点から、左右画像の合成方法とまとめてＶＡＵＸ領域に記録するという方法もある。これには、図３５の付随情報符号化データ振り分け部３５０１の動作を変更し、上記の情報の符号化データを全てＶＡＵＸ領域に向けて出力する構成とする。この場合、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になるという長所がある。例えば、別の記録フォーマットを持つ媒体に複製を作る際に、画像記録領域の複製だけをつくれば画像に関する全ての情報を取得できることになり、サブコード領域を取り扱う必要がなくなる。また、アフレコ時の上書きによる情報の消失を避けるために、サブコード領域とＶＡＵＸ領域の両方に記録するという方法も可能である。

あるいは、サブコード領域、ＶＡＵＸ領域の格納領域にはサイズ上の制限があることから、これらの領域に格納できなかった場合には立体画像に関連する情報をＡＡＵＸ領域に記録するということも可能である。

さらにデジタルＶＴＲには付随情報を記録するためのカセットメモリを搭載しているものがあり、上記の付随情報をカセットメモリに記録するということも可能である。

なお、本実施形態の構成は、立体画像に特有の部分を除けば家庭用に普及しているデジタルＶＴＲの方式にも準拠している。このため、本実施形態が記録する付随情報のうち、立体画像に特有の付随情報、例えば左右画像の合成方法に関する情報、立体強度に関する情報、しきい値情報などを家庭用デジタルＶＴＲのフォーマットで拡張が許されている拡張領域に記録すれば、平面画像と立体画像を同一のテープに記録することが可能である。

本発明に係る画像符号化装置、画像復号装置、及び画像記録装置は、立体画像に特有の付随情報、例えば立体画像の合成方法に関する情報を符号化・復号あるいは記録するものであり、立体画像を記録再生するデジタルＶＴＲ等に用いるのに適している。

本発明の第１の実施の形態の画像符号化装置を示すブロック図である。 本発明における画像の合成方法の例を示す説明図である。 本発明における合成方法選択部の例を示すブロック図である。 本発明の第１の実施の形態の画像復号装置を示すブロック図である。 本発明における画像の合成方法の他の例を示す説明図である。 本発明の第２の実施の形態の画像符号化装置を示すブロック図である。 動画像の符号化の例を示すブロック図である。 本発明の第３の実施の形態の画像符号化装置を示すブロック図である。 本発明の第３の実施の形態の画像復号装置を示すブロック図である。 合成時に現れる視差の影響を示す説明図である。 図１０に示した視差の影響を小さくするためのシフトを示す説明図である。 本発明の第４の実施の形態の画像符号化装置を示すブロック図である。 図１１に示したシフトに伴って行われる処理を示す説明図である。 本発明の第４の実施の形態の画像復号装置を示すブロック図である。 従来の画像符号化装置を示すブロック図である。 従来の画像符号化装置における間引き処理及び合成処理を示す説明図である。 従来の合成方法及び課題を示す説明図である。 本発明の第５の実施の形態の画像符号化装置を示すブロック図である。 本発明における２次元表示画像作成方法の例を示す説明図である。 本発明の第５の実施の形態の画像復号装置を示すブロック図である。 本発明における立体画像と２次元画像の一覧表示の例を示す説明図である。 本発明における合成画像から２次元表示画像作成方法を決定するプロセスの別の例を示す説明図である。 本発明の第５の実施の形態の画像符号化装置を示す別のブロック図である。 本発明における合成画像から２次元表示画像作成方法を決定するプロセスの例を示す説明図である。 本発明の第５の実施の形態の画像復号装置を示す別のブロック図である。 本発明の第６の実施の形態の記録媒体を示すブロック図である。 本発明の第６の実施の形態の記録媒体への格納形式を示す説明図である。 本発明の第６の実施の形態の伝送媒体への格納形式を示す説明図である。 番組配列情報のうち立体制御情報のシンタックスの一例を示す説明図である。 本発明の第７の実施の形態の画像復号装置を示すブロック図である。 本発明の第８の実施の形態の画像記録装置によって記録されたデジタルビデオテープのフォーマットを示す説明図である。 本発明の第８の実施の形態の画像記録装置によって記録されたデジタルビデオテープのフォーマットを示す別の説明図である。 本発明の第８の実施の形態の画像記録装置によって記録されたデジタルビデオテープのフォーマットを示す別の説明図である。 本発明の第８の実施の形態の画像記録装置の構成を示すブロック図である。 本発明の第８の実施の形態の画像記録装置の構成を示す別のブロック図である。

Claims (16)

1. 複数の視点の各々に対応した複数の画像データを符号化する画像符号化装置において、
   所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
   前記合成された画像データを符号化する符号化手段と、
   前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備えたことを特徴とする画像符号化装置。
2. 前記合成方法は、合成される画像データの配置位置と、合成される各画像データの反転方向と、を示しており、
   前記２次元表示画像作成方法は、前記合成された画像データの中で使用する画像データを示すことを特徴とする請求項１に記載の画像符号化装置。
3. 前記２次元表示画像作成方法は、該使用する画像データの反転方法を示すことを特徴とする請求項２に記載の画像符号化装置。
4. 複数の視点の各々に対応した複数の画像データを所定の合成方法にて合成し、合成画像データと、該合成画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報とを符号化した符号化データを復号する画像復号装置において、
   前記合成画像データを復号する復号手段と、
   前記２次元表示画像作成方法の情報を復号する２次元表示画像作成方法復号手段と、
   前記復号された画像データと２次元表示画像作成方法の情報を用いて２次元表示画像を生成する２次元表示画像生成手段とを備えたことを特徴とする画像復号装置。
5. 前記合成方法は、合成される画像データの配置位置と、合成される各画像データの反転方向と、を示しており、
   前記２次元表示画像作成方法は、前記合成された画像データの中で使用する画像データを示すことを特徴とする請求項４に記載の画像復号装置。
6. 前記２次元表示画像作成方法は、該使用する画像データの反転方法を示すことを特徴とする請求項５に記載の画像復号装置。
7. 立体表示と２次元表示の切り替えが可能な表示手段を備えたことを特徴とする請求項４、５又は６に記載の画像復号装置。
8. 前記符号化データのヘッダ部には、該符号化データが複数の画像データから成る立体画像であることを示す立体画像識別情報と、該符号化データから２次元表示画像を作成するための２次元表示画像作成方法の情報とが格納されており、
   前記ヘッダ部に格納された情報を用いて、自動的に立体表示と２次元表示の切り替えを行うことを特徴とする請求項７に記載の画像復号装置。
9. 複数の視点の各々に対応した複数の画像データを符号化し、符号化データをヘッダ情報と共に所定の形式にて記録媒体に格納する画像記録装置において、
   所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
   前記合成された画像データを符号化する符号化手段と、
   前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段と、
   前記符号化データが複数の画像データから成る立体画像であることを示す立体画像識別情報と、前記符号化データから２次元表示画像を作成するための２次元表示画像作成方法の情報とをヘッダ部に配置して符号化した前記合成画像データとともに多重化する多重化手段とを備え、
   前記多重化データを記録媒体に格納することを特徴とする画像記録装置。
10. 前記ヘッダ部は符号化データに繰り返し多重化されたことを特徴とする請求項９に記載の画像記録装置。
11. 複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
    所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
    前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、
    前記記録領域は、
    前記合成された画像データもしくは２次元画像データを記録するための画像記録領域と、
    音声データを記録するための音声記録領域と、
    付随情報を記録するためのサブコード領域とを有することを特徴とする画像記録装置。
12. 複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
    所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
    前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、
    前記記録領域は、
    前記合成された画像データもしくは２次元画像データを記録するための画像記録領域を有し、
    前記２次元表示画像作成方法の情報を符号化した符号化データを前記画像記録領域に記録することを特徴とする画像記録装置。
13. 複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
    所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
    前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、
    前記記録領域は、音声データを記録するための音声記録領域を有し、
    前記２次元表示画像作成方法の情報を符号化した符号化データを前記音声記録領域に記録することを特徴とする画像記録装置。
14. 複数の視点の各々に対応した複数の画像データを記録領域に記録する画像記録装置において、
    所定の合成方法を用いて前記複数の画像データを合成する合成手段と、
    前記合成された画像データから２次元表示画像を作成するための２次元表示画像作成方法の情報を符号化する２次元表示画像作成方法符号化手段とを備え、
    前記記録領域は、付随情報を記録するためのサブコード領域を有し、
    前記２次元表示画像作成方法の情報を符号化した符号化データを前記サブコード記録領域に記録することを特徴とする画像記録装置。
15. 前記合成方法は、合成される画像データの配置位置と、合成される各画像データの反転方向と、を示しており、
    前記２次元表示画像作成方法は、前記合成された画像データの中で使用する画像データを示すことを特徴とする請求項９乃至１４のいずれかに記載の画像記録装置。
16. 前記２次元表示画像作成方法は、該使用する画像データの反転方法を示すことを特徴とする請求項１５に記載の画像記録装置。

Images