JP2009044722A - 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法 - Google Patents

Abstract

【課題】擬似立体画像を生成する際に、自動的な処理方法で推定される奥行き情報をシーンに応じて補正することを可能にする擬似立体画像生成装置、画像符号化装置を提供する。
【解決手段】非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像信号を生成するための複数の基本奥行きモデルを記憶するフレームメモリ７７〜７９と、複数の基本奥行きモデルを合成するための合成比率を示す制御信号に基づいて複数の基本奥行きモデルを合成して合成奥行きモデルを生成する奥行きモデル合成部７６と、非立体画像信号と合成奥行きモデルとから奥行き推定データを生成する加算部８２と、非立体画像のテクスチャをシフトして擬似的な立体画像信号を生成するテクスチャシフト部とを備える。
【選択図】図１０

Description

本発明は、非立体画像から擬似立体画像を生成するための擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法に関する。

奥行き情報が明示的に与えられずまたはステレオ画像のように暗示的にも与えられていない２次元の静止画または動画（以下、非立体画像という）から、擬似的な立体画像（以下、擬似立体画像という）を生成する立体表示システムが、数多く発表されている。

本出願人は、この非立体画像から擬似立体画像を生成する擬似立体画像生成装置及び擬似立体画像生成方法を特許文献１に開示している。この特許文献１記載の擬似立体画像生成装置及び生成方法は、奥行き感を有する画像（以下、基本奥行きモデルという）を複数用意し、非立体画像の１画面における輝度信号の高域成分を算出して、その算出値に基づいて複数の基本奥行きモデルの合成比率を自動的に算出する。そして、算出した合成比率から非立体画像の奥行き感を出すための奥行きデータを推定して、非立体画像と奥行きデータにより擬似立体画像を得るものである。

特開２００５−１５１５３４号公報

しかしながら、上記の擬似立体画像生成装置及び擬似立体画像生成方法の場合、複数の基本奥行きモデルの合成比率は、すべての非立体画像に対して予め定めた同一の方法により自動的に算出される。そのため、非立体画像の１画面毎の場面（以下、シーンという）によっては、適切な奥行き情報が得られず、違和感のある擬似立体画像が生成されてしまう場合がある。しかし、非立体画像のシーンに応じて、その都度ユーザ自身が擬似立体画像のアルゴリズムやパラメータを調整することは現実的に困難である。よって、違和感のない、現実のイメージにより近い擬似立体画像を生成するためには、製作者側においてパラメータの調整をすることが望ましい。

本発明は以上の点に鑑みなされたもので、上記の擬似立体画像を生成する際に、自動的な処理方法で推定される奥行き情報を、シーンに応じて補正することを可能にする擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法を提供することを目的とする。

本発明は、前述した従来の技術の課題を解決するため、擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法を提供するものである。
非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像信号を生成するための基本となるシーンを有する複数の基本奥行きモデルを発生する基本奥行きモデル発生手段（７７〜７９）と、複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号に基づいて、複数の基本奥行きモデルを合成して合成奥行きモデルを生成する合成手段（７６）と、非立体画像信号と合成奥行き基本モデルとから奥行き推定データを生成する奥行き推定データ生成手段（８２）と、奥行き推定データに基づいて非立体画像のテクスチャをシフトして擬似的な立体画像信号を生成するテクスチャシフト手段（９２）とを有する擬似立体画像生成装置（５２）である。

また、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して重み付け係数を乗ずる重み付け手段（８１）を備え、テクスチャシフト手段は、重み付け手段により得られた乗算結果と奥行き推定データに基づいて非立体画像のテクスチャをシフトして擬似的な立体画像信号を生成する擬似立体画像生成装置である。

また、テクスチャシフト手段は、奥行きデータを調整するための奥行きと輻輳を示す第３の制御信号により調整された奥行き推定データに基づいて、非立体画像のテクスチャをシフトして擬似的な立体画像信号を生成する擬似立体画像生成装置である。

第１〜第３の制御信号が存在するか否かを判定する第１〜第３の判定手段（７５，８０，９１）を備え、第１の判定手段により第１の制御信号が存在しないと判定されたとき、合成手段は、予め設定された合成比率に基づいて合成奥行きモデルを生成し、第２の判定手段により第２の制御信号が存在しないと判定されたとき、重み付け手段は予め設定された重み付け係数に基づいて非立体画像信号に重み付けをし、第３の判定手段により第３の制御信号が存在しないと判定されたとき、テクスチャシフト手段は予め設定された奥行き値及び輻輳値に基づいて擬似的な立体画像信号を生成する擬似立体画像生成装置である。

テクスチャシフト手段より生成された擬似的な立体画像信号に対して、テクスチャの存在しない部分であるオクルージョンを非立体画像信号の対応部分で補償するオクルージョン補償手段（９３）と、オクルージョン補償手段により補償された擬似的な立体画像信号に対してポスト処理をして、非立体像信号とは別視点の画像信号として出力するポスト処理手段（９４）とを備える擬似立体画像生成装置である。

また、非立体画像信号を符号化する画像信号符号化手段（１３）と、非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化手段（１２）と、画像信号符号化手段により符号化された非立体画像信号と制御信号符号化手段により符号化された制御信号を多重化して符号化ビット列を生成する多重化手段（１４）とを有する画像符号化装置（１）である。

また、非立体画像信号を符号化する画像信号符号化ステップと、非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化ステップと、画像信号符号化ステップにより符号化された非立体画像信号と制御信号符号化ステップにより符号化された制御信号を多重化して符号化ビット列を生成する多重化ステップとを有する画像符号化方法である。

また、非立体画像信号を符号化する画像信号符号化ステップと、非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化ステップと、画像信号符号化ステップにより符号化された非立体画像信号と制御信号符号化手段により符号化された制御信号よりなる符号化ビット列をパケット化するパケット化ステップとを有する画像伝送方法である。

また、非立体画像信号と、非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、非立体画像信号に対して重み付けをするための重み付け係数を示す第２の制御信号と、奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を含む符号化ビット列から、制御信号と非立体画像信号とを分離して出力する分離手段（６１）と、制御信号と非立体画像信号をそれぞれ復号化する復号化手段（６２、６３）とを有する画像復号化装置（５１）である。

また、非立体画像信号と、非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、非立体画像信号に対して重み付けをするための重み付け係数を示す第２の制御信号と、奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を含む符号化ビット列から、制御信号と非立体画像信号とを分離して出力する分離ステップと、制御信号と非立体画像信号をそれぞれ復号化する復号化ステップとを有する画像復号化方法である。

本発明の擬似立体画像生成装置によれば、非立体画像から奥行きデータを推定して擬似立体画像を生成する場合に、画面毎に制御信号を変化させることによって、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像を生成することができる。また、本発明の画像符号化装置、画像符号化方法及び画像伝送方法によれば、制御信号と画像信号を共に符号化することができる。また、本発明の画像復号化装置及び画像復号化方法によれば、制御信号と画像信号を分離してそれぞれ復号化することができる。

＜第１の実施形態＞
第１の実施形態の擬似立体画像信号を生成するための非立体画像信号の符号化について図１から図１１を参照して説明する。図１は画像符号化装置の構成例を示すブロック図である。図１に示すように、画像符号化装置１は、制御信号判定部１１と、制御信号符号化部１２と、画像信号符号化部１３と、多重化部１４を備える。

奥行き情報が明示的に与えられずまたはステレオ画像のように暗示的にも与えられていない非立体画像信号ａが、画像信号符号化部１３に供給される。また、制御信号ＣＴＬ１〜ＣＴＬ３は、制御信号判定部１１に供給される。各制御信号ＣＴＬ１〜ＣＴＬ３の有無及びその制御信号ＣＴＬ１〜ＣＴＬ３中に含まれるパラメータの値は、制御信号のない場合に得られた擬似立体画像が不自然な場合に、製作者によって１フレームまたは１フィールド毎に決定されるものである。なお、本実施形態では代表して１フレームという。

制御信号ＣＴＬ１は、基本奥行きモデルの合成比率を制御する信号である。基本奥行きモデルとは、例えば図２〜図４に示す奥行き感を有する画像である。図２に示す基本奥行きモデルＡは、画像の上部及び下部はそれぞれ凹状の球面としている。図３に示す基本奥行きモデルＢは、画像の上部を縦方向に軸線を有する円筒面、画像の下部を凹状の球面としている。図４に示す基本奥行きモデルＣは、画像の上部を平面、画像の下部を横方向に軸線を有する円筒面としている。

本実施形態では、図２〜図４に示す３種類の基本奥行きモデルを合成する場合を説明するが、基本奥行きモデルの形状は上記に限定されるものではなく、２種類であっても４種類以上であってもよいものである。

そして、３種類の基本奥行きモデルの合成比率は、非立体画像のシーンに合わせて制御信号ＣＴＬ１のパラメータ値を変えることにより可変とされる。この３種類の基本奥行きモデルの合成比率を非立体画像のシーンによって変えることにより、従来の方法に比して非立体画像のシーンにより適した擬似立体画像を得ることができるようになる。制御信号ＣＴＬ１は、基本奥行きモデルＡの合成比率ｋ１を所定の値に換算したパラメータと基本奥行きモデルＢの合成比率ｋ２を所定の値に換算したパラメータを含み、各パラメータは例えば８ビットで表される。なお、基本奥行きモデルＣの合成比率をｋ３とするとき、合成比率ｋ１、ｋ２、ｋ３の合計は１である。

制御信号ＣＴＬ２は、非立体画像信号ａのＲ信号成分に重み付けをするための重み付け係数を示す制御信号であり、例えば８ビット分の１つのパラメータを含む。なお、Ｒ信号成分は、非立体画像信号から得られる三原色信号（ＲＧＢ信号）より抽出される。そして、制御信号ＣＴＬ２により、画像信号符号化部１３に入力される非立体画像信号ａの輝度差が強い場合であっても、不自然な擬似立体画像となることを抑制することができる。

制御信号ＣＴＬ３は、奥行きを示すパラメータと輻輳を示すパラメータを含み、各パラメータは例えば８ビットで表される。なお、輻輳とは、遠景に対しては両眼の視線がほぼ平行となるようにし、近景に対しては両眼を内転させて見せることができるようにすることをいう。

図１において、制御信号判定部１１は、１フレームの非立体画像信号ａに同期して、供給される制御信号ＣＴＬ１〜ＣＴＬ３の有無を判定する。制御信号判定部１１は、各々の制御信号ＣＴＬ１〜ＣＴＬ３の有無の判定結果と各制御信号ＣＴＬ１〜ＣＴＬ３に含まれるパラメータの値を制御信号符号化手段である制御信号符号化部１２へ送信する。制御信号符号化部１２は、後述する画像信号符号化手段である画像信号符号化部１３と同様の画像符号化方式を用いて、判定結果で制御信号有りと判定された制御信号を符号化する。

画像信号符号化部１３は、ＭＰＥＧ−２（Moving Picture Experts Group 2）画像符号化方式（ＩＳＯ／ＩＥＣ １３８１８−２）により、非立体画像信号ａを符号化する。図５は、ＭＰＥＧ−２(ＩＳＯ／ＩＥＣ １３８１８−２)方式のデータ構造を示している。

図５に示すデータ構造において、“MPEG-2 video sequence"の最上位層である“Sequence Layer"はヘッダ領域“Sequence header"、シーケンス拡張領域“Sequence extension"、ユーザデータ領域“Sequence and user＿data(0)"、ピクチャ領域“Group of Picture（GOP）"を含む。そして、“GOP"は、ヘッダ領域“Gop header"、ユーザデータ領域“Sequence and user＿data(1)"、それに続く各ピクチャ“Picture"を含む。更に、各ピクチャ“Picture"は、ヘッダ領域“Picture header"で始まり、コード拡張領域“Picture coding extension"、ユーザデータ領域“Sequence and user＿data(2)"と続く構造となっている。

ユーザデータ領域“Sequence and user＿data(0)",“Sequence and user＿data(1)",“Sequence and user＿data(2)"はシンタックス構造を有するuser＿data()関数として記述される。ここでは、制御信号符号化部１２は、各制御信号ＣＴＬ１〜ＣＴＬ３のパラメータを、いずれかのユーザデータ領域において、user＿data()関数のシンタックスエレメントとして符号化する。図６は、各制御信号ＣＴＬ１〜ＣＴＬ３をuser＿data()関数として符号化する場合の一例である。

図６において、シンタックスエレメント“user＿data＿start＿code"はuser＿data()関数が符号化されていることを特定するための３２ビットの符号である。また、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８−２）方式の規定により、“user＿data＿start＿code"の値は"0000 0000 0000 0000 0000 0001 1011 0010"となる。

シンタックスエレメント“associate＿3d＿parameter＿identifier"は、制御信号ＣＴＬ１〜ＣＴＬ３のパラメータの値が符号化されていることを特定するための３２ビットの符号である。制御信号ＣＴＬ１〜ＣＴＬ３のパラメータの値の少なくとも１つが符号化されている場合、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８−２）方式の規定により、“associate＿3d＿parameter＿identifier"の値は次のように決定する。すなわち、“associate＿3d＿parameter＿identifier"の先頭から２４ビット目までの２４ビット分の値、または９ビット目から末尾までの２４ビット分の値は、“0000 0000 0000 0000 0000 0001"と異なるものとする。更に、“associate＿3d＿parameter＿identifier"の値は、制御信号ＣＴＬ１〜ＣＴＬ３のパラメータの値などの他データと一致することのない任意の値を割り当てる。

シンタックスエレメント“ctl1＿enable"は、制御信号ＣＴＬ１の２つのパラメータを示す“blending＿parameter1＿1"及び“blending＿parameter1＿2"を符号化するか否かのフラグを示す１ビットの符号である。"ctl1＿enable"の値が"0"の場合は"blending＿parameter1＿1"及び"blending＿parameter1＿2"を符号化せず、"ctl1＿enable"の値が"1"の場合は"blending＿parameter1＿1"及び"blending＿parameter1＿2"を符号化する。

"blending＿parameter1＿1"は、制御信号ＣＴＬ１に含まれるパラメータのうち、基本奥行きモデルＡの合成比率ｋ１を示す８ビットの符号である。また、"blending＿parameter1＿2"は、制御信号ＣＴＬ１に含まれるパラメータのうち、基本奥行きモデルＢの合成比率ｋ２を示す８ビットの符号である。"blending＿parameter1＿1"及び"blending＿parameter1＿2"は、それぞれ８ビットの符号であるので、最大値２５５に相当する値を有する。例えば、基本奥行きモデルＡ〜Ｃのそれぞれの合成比率が、ｋ１＝０．６、ｋ２＝０．３、ｋ３＝０．１であるとき、"blending＿parameter1＿1"の値は、１５３（＝２５５×６０／１００）に相当する値となる。また、"blending＿parameter1＿2"の値は、７７（＝２５５×３０／１００）に相当する値となる。

シンタックスエレメント"ctl2＿enable"は、制御信号ＣＴＬ２のパラメータを示すシンタックスエレメント"blending＿parameter2"を符号化するか否かのフラグを示す１ビットの符号である。"ctl2＿enable"の値が"0"の場合は"blending＿parameter2"を符号化せず、"ctl2＿enable"の値が"1"の場合は、"blending＿parameter2"を符号化する。

"blending＿parameter2"は、制御信号ＣＴＬ２のパラメータであり、非立体画像信号ａのＲ信号成分に重み付けをするための重み付け係数を示す。"blending＿parameter2"も８ビットの符号であり、最大値２５５に相当する値を有する。例えば、重み係数を０．２とするとき、"blending＿parameter2"の値は５１に相当する値を有する。

シンタックスエレメント"ctl3＿enable"は、制御信号ＣＴＬ３の２つのパラメータを示すシンタックスエレメント"shift＿adjust＿parameter1"及び"shift＿adjust＿parameter2"を符号化するか否かのフラグを示す１ビットの符号である。ctl3＿enableの値が"0"の場合は"shift＿adjust＿parameter1"及び"shift＿adjust＿parameter2"を符号化せず、"ctl3＿enable"の値が"1"の場合は"shift＿adjust＿parameter1"及び"shift＿adjust＿parameter2"を符号化する。

"shift＿adjust＿parameter1"は、制御信号ＣＴＬ３に含まれるパラメータのうち、輻輳の値を示す８ビットの符号である。また、"shift＿adjust＿parameter2"は、制御信号ＣＴＬ３に含まれるパラメータのうち、奥行きの値を示す８ビットの符号である。"shift＿adjust＿parameter1"及び"shift＿adjust＿parameter2"は、それぞれ８ビットの符号であるので、最大値２５５に相当する値を有する。

制御信号符号化部１２は、図６に示したuser＿data()関数により制御信号ＣＴＬ１〜ＣＴＬ３を符号化して符号化ビット列ｂ１を生成し、１フレーム分毎にその符号化ビット列ｂ１を多重化手段である多重化部１４に供給する。符号化ビット列ｂ１は、すべての制御信号ＣＴＬ１〜ＣＴＬ３を含むことに限定されるものではない。また、制御信号判定部１１が制御信号ＣＴＬ１〜ＣＴＬ３を１つも含んでいないと判定した場合は、制御信号符号化部１２は符号化ビット列ｂ１を生成せず、多重化部１４に制御信号が存在しないとする信号を送信する。

また、画像信号符号化部１３で生成された１フレーム分の非立体画像信号ａの符号化ビット列ｂ２は、制御信号符号化部１２で生成された１フレーム分の符号化ビット列ｂ１または制御信号が存在しないとする信号に同期して、多重化部１４に供給される。

多重化部１４は、制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１と非立体画像信号ａの符号化ビット列ｂ２とを多重化して、多重化された符号化ビット列ｃを出力する。なお、制御信号ＣＴＬ１〜ＣＴＬ３が存在しない場合、多重化部１４は非立体画像信号ａの符号化ビット列ｂ２を符号化ビット列ｃとする。多重化部１４により出力された符号化ビット列ｃは、例えば以下の方法により送信することが可能である。

図７は、多重化部１４より送信された符号化ビット列ｃをネットワーク２２へ伝送する伝送方法を示すフローチャートである。最初に、送信インタフェース２１は、多重化部１４で生成された符号化ビット列ｃをパケット化する（ステップＳ０１）。次に、送信インタフェース２１は、パケットヘッダ情報を生成して、ステップＳ０１で生成されたパケットにそのパケットヘッダを付与する（ステップＳ０２）。そして、送信インタフェース２１は、ステップＳ０２でパケットヘッド情報が付与されたパケットをネットワーク２２へ送信する（ステップＳ０３）。

次に、第２の実施形態の擬似立体画像を生成するための非立体画像信号の復号化について図８、図９を参照して説明する。図８は、画像復号化装置及び擬似立体画像生成装置の構成例を示す図である。図９は、図７でネットワーク２２へ送信されたパケットから符号化ビット列ｃを復元してデータメモリ３２に格納する方法を示すフローチャートである。

最初に、受信インタフェース３１はネットワーク２２上の非立体画像信号ａ及び制御信号ＣＴＬ１〜ＣＴＬ３の情報を含むパケットを受信する（ステップＳ１１）。次に、受信インタフェース３１はパケットに含まれるパケットヘッダを削除する（ステップＳ１２）。その後、受信インタフェース３１はパケットから符号化ビット列ｃを復元する（ステップＳ１３）。そして、受信インタフェース３１は符号化ビット列ｃをデータメモリ部３２に送信して、データメモリ部３２は符号化ビット列ｃを格納する（ステップＳ１４）。

図８に示すように、画像復号化装置５１は分離手段である分離部６１、制御信号ＣＴＬ１〜ＣＴＬ３を復号化する制御信号復号化部６２、非立体画像信号ａを復号化する画像信号復号化部６３を備え、擬似立体画像生成装置５２は奥行き生成データ生成部６４及びステレオペア生成部６５を備える。分離部６１には、データメモリ部３２より符号化ビット列ｃが供給される。

分離部６１は符号化ビット列ｃから図６に示したuser＿data()関数が符号化されているか否かを判断する。"user＿data＿start＿code"の値が符号化したときと同じ値"0000 0000 0000 0000 0000 0001 1011 0010"である場合は、user＿data()関数は符号化されていることになる。

分離部６１は、user＿data()関数が符号化されていないと判断した場合、符号化ビット列ｃを符号化ビット列ｂ２として画像信号復号化部６３に供給する。分離部６１はuser＿data()関数が符号化されていると判断した場合、続いて"associate＿3d＿parameter＿identifier"が符号化されているか否かを判断する。"associate＿3d＿parameter＿identifier"が符号化されていない、即ち予め割り当てた値と一致しない場合、分離部６１は符号化ビット列ｃを符号化ビット列ｂ２として画像信号復号化部６３に供給する。

一方、"associate＿3d＿parameter＿identifier"が符号化されている、即ち予め割り当てた値と一致する場合は以下の処理を行う。すなわち、分離部６１は、符号化ビット列ｃに含まれるuser＿data()関数内の"associate＿3d＿parameter＿identifier"から、図６に示す"next＿start＿code"の直前までを制御信号ＣＴＬ１〜ＣＴＬ３を含む符号化ビット列ｂ１として抽出する。そして、分離部６１は、符号化ビット列ｃから抽出した符号化ビット列ｂ１以外の部分、すなわち非立体画像信号ａを含む符号化ビット列をｂ２とし、符号化ビット列ｂ１と符号化ビット列ｂ２とを分離する。

分離された制御信号ＣＴＬ１〜ＣＴＬ３を含む符号化ビット列ｂ１は、制御信号復号化部６２に供給される。また、分離された画像信号を含む符号化ビット列ｂ２は画像信号復号化部６３に供給される。

制御信号復号化部６２は、分離部６１から供給された制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１を復号化する。制御信号復号化部６２は、"ctl1＿enable"の値が"0"の場合、"blending＿paramaeter1＿1"及び"blending＿paramaeter1＿2"を復号化しない。一方、"ctl1＿enable"の値が"1"の場合、"blending＿paramaeter1＿1"及び"blending＿paramaeter1＿2"を復号して制御信号ＣＴＬ１を生成する。

同様に、制御信号復号化部６２は、"ctl2＿enable"の値が"0"の場合、"blending＿paramaeter2"を復号化しない。一方、"ctl2＿enable"の値が"1"の場合、"blending＿paramaeter2"を復号化して制御信号ＣＴＬ２を生成する。また、"ctl3＿enable"が"0"の場合、"shift＿adjust＿paramaeter1"及び"shift＿adjust＿paramaeter2"を復号化しない。一方、"ctl3＿enable"が"1"の場合、"shift＿adjust＿paramaeter1"及び"shift＿adjust＿paramaeter2"を復号して制御信号ＣＴＬ３を生成する。

制御信号復号化部６２は、制御信号ＣＴＬ１及びＣＴＬ２を奥行き推定データ生成部６４に供給し、制御信号ＣＴＬ３をステレオペア生成部６５に供給する。制御信号復号化部６２により生成されない制御信号は、奥行き推定データ生成部６４やステレオペア生成部６５には供給されない。

画像信号復号化部６３は、符号化ビット列ｂ２を復号化して非立体画像信号ａを復元する。復元された非立体画像信号ａは、奥行き推定データ生成部６４及びステレオペア生成部６５に供給される。

図１０は、奥行き推定データ生成部６４の構成例を示す図である。画像入力部７１には、画像信号復号化部６３より非立体画像信号ａが供給されて記憶される。画像入力部７１はフレームメモリを備えており、１フレーム分の非立体画像信号ａを記憶する。

画像入力部７１は、１フレーム分の非立体画像信号ａを画面上部の高域成分評価部７２、画面下部の高域成分評価部７３に供給し、非立体画像信号ａのＲ信号成分のみを制御信号判定手段である制御信号判定部８０を通して、重み付け手段である重み付け部８１に供給する。画面上部の高域成分評価部７２は、１フレーム分の非立体画像信号ａにおける画面全体の上部略２０％にあたる領域内で高域成分を有する画素の割合を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価値を合成比率決定部７４に供給する。

画面下部の高域成分評価部７３は、１フレーム分の非立体画像信号ａにおける画面全体の下部略２０％領域内にあたる領域内で高域成分の割合を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価値を含む信号を合成比率決定部７４に供給する。

合成比率決定部７４は、供給された画面上部の高域成分評価値と画面下部の評価値に基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルＡの合成比率ｋ１、基本奥行きモデルＢの合成比率ｋ２を自動的に算出する。そして、合成比率ｋ１、ｋ２をそれぞれパラメータ"blending＿paramaeter1＿1"、"blending＿paramaeter1＿2"を含む合成比率信号ＣＯＭとして制御信号判定手段であるスイッチ７５に供給する。各パラメータ"blending＿paramaeter1＿1"、"blending＿paramaeter1＿2"は、それぞれ８ビットの符号である。なお、合成比率ｋ１、ｋ２を自動的に決定する方法は、特許文献１に詳述されている。

スイッチ７５は、制御信号復号化部６２から制御信号ＣＴＬ１が供給された場合には制御信号ＣＴＬ１を優先的に選択して奥行きモデル合成部７６に供給する。スイッチ７５に制御信号ＣＴＬ１が供給される場合、画像上部の高域成分評価部７２と、画像下部の高域成分評価部７３と、合成比率決定部７４における前述の処理は省略してもよい。一方、スイッチ７５は、制御信号ＣＴＬ１が供給されない場合には合成比率決定部７４より供給される合成比率信号ＣＯＭを選択する。スイッチ７５は、選択した信号を合成手段である奥行きモデル合成部７６に供給する。

基本奥行きモデル発生手段であるフレームメモリ７７は図２に示す基本奥行きモデルＡ、基本奥行きモデル発生手段であるフレームメモリ７８は図３に示す基本奥行きモデルＢ、基本奥行きモデル発生手段であるフレームメモリ７９は図４に示す基本奥行きモデルＣに相当する画像信号または所定の計算式を奥行きモデル合成部７６に発生させる。前述の画像信号及び所定の計算式は、予めフレームメモリ７７〜７９に格納されている。

奥行きモデル合成部７６は、スイッチ７５から供給された制御信号ＣＴＬ１あるいは合成比率信号ＣＯＭに基づいて、基本奥行きモデルＡ〜Ｃの画像信号を合成して合成奥行きモデルとなる画像信号を生成する。所定の計算式を格納しておく場合、奥行きモデル合成部７６は、所定の計算式により基本奥行きモデルＡ〜Ｃを求めた後にそれらのモデルを合成する。

奥行きモデル合成部７６は、供給された制御信号ＣＴＬ１または合成比率信号ＣＯＭに含まれる例えば８ビット分の各パラメータより、基本奥行きモデルＡの合成比率ｋ１と、基本奥行きモデルＢの合成比率ｋ２を抽出する。３種類の基本奥行きモデルの合成比率ｋ１〜ｋ３の合計は１なので、基本奥行きモデルＣの合成比率ｋ３は、１からｋ１とｋ２を減算することにより算出する。そして、奥行きモデル合成部７６は、基本奥行きモデルＡ〜Ｃの画像信号をそれぞれ合成比率ｋ１〜ｋ３で合成して合成奥行きモデルとなる画像信号を算出して奥行き推定データ生成手段である加算部８２に供給する。

制御信号判定部８０は、制御信号復号化部６２より制御信号ＣＴＬ２が供給されているか否かを判定する。制御信号ＣＴＬ２が供給されていない場合、予め制御信号判定部８０内に設定されている重み付け係数に相当するパラメータを含む制御信号ＣＴＬ２を重み付け部８１に供給する。

重み付け部８１は、制御信号ＣＴＬ２に含まれる重み付け係数により、画像入力部７１から供給される非立体画像信号ａのＲ信号成分に重み付けをする。制御信号ＣＴＬ２に含まれる８ビット分のパラメータより、最大値を１とする重み係数に換算する。そして、画像入力部７１より供給されたＲ信号成分と重み係数を乗算して、加算部８２に乗算結果を出力する。なお、Ｒ信号成分を使用する理由は、順光に近い環境で且つテクスチャの明るさの度合い（明度）の変化が大きくはない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いことによる。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。

加算部８２は、奥行きモデル合成部７６より供給される合成奥行きモデルに、重み付け部８１から供給される重み付けされた非立体画像信号ａのＲ信号成分を重畳して、奥行き推定データ信号ｄを生成する。重畳した値が奥行き推定データ信号ｄに割り当てられる所定のビット数を超える場合は、所定のビット数に制限される。生成された奥行き推定データ信号ｄは、ステレオペア生成部６５に供給される。

図１１はステレオペア生成部６５の構成例を示す図である。制御信号判定手段である制御信号判定部９１は、制御信号復号化部６２より制御信号ＣＴＬ３が供給されているか否かを判定する。制御信号ＣＴＬ３が供給されていない場合、予め制御信号判定部９１内に設定されている輻輳及び奥行きを表す２つのパラメータを含む制御信号ＣＴＬ３をテクスチャシフト部９２に供給する。制御信号ＣＴＬ３が供給されている場合、その制御信号ＣＴＬ３に含まれる２つのパラメータにより輻輳及び奥行きを非立体画像信号ａに応じて変えることができる。

テクスチャシフト手段であるテクスチャシフト部９２は、供給される非立体画像信号ａと奥行き推定データ信号ｄと制御信号ＣＴＬ３に基づいて、非立体画像信号ａとは別視点の画像信号を生成する。例えば、画像信号復号化部６３で復号化された非立体画像信号ａを画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部９２は、視聴者に対してテクスチャを近景として表示させるときは画面右側へ非立体画像信号ａのテクスチャを所定量移動し、テクスチャを視聴者に遠景として表示させるときは画面左側へテクスチャを所定量移動する。この理由は、視聴者が左に視点移動した画像を見るとき、近景は視聴者の内側（鼻側）に見ることができ、遠景は視聴者の外側に見ることができるからである。

次に、奥行き推定データｄのそれぞれの画素の輝度値をＹｄ、飛び出し感を表す輻輳値をｍ、立体感を表す奥行き値をｎとする。テクスチャシフト部９２は、輝度値Ｙｄの小さい値から順に、その輝度値Ｙｄに対応する非立体画像信号ａのテクスチャをそれぞれの画素毎に（Ｙｄ−ｍ）／ｎ画素分右にシフトした画像信号をオクルージョン補償部９３へ供給する。オクルージョン補償部９３は、オクルージョン補償手段を有する。ここで、（Ｙｄ−ｍ）／ｎの値が負の場合、実際のテクスチャは（ｍ−Ｙｄ）／ｎ画素分左にシフトする。

なお、視聴者には、奥行き推定データｄの輝度値Ｙｄの小さいテクスチャは画面奥側に見え、輝度値Ｙｄの大きいテクスチャは画面手前に見える。輝度値Ｙｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、制御信号判定部９１に予め設定されている値は、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。

前述のテクスチャをそれぞれの画素毎にシフトさせるシフト幅は、非立体画像信号ａの色空間がＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒのいずれかである場合の輝度信号、あるいはＲＧＢの場合を示している。非立体画像信号ａの色空間をＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒのいずれかとする場合、色差信号のシフト幅は輝度信号のシフト幅からスケーリングしたものを用いる。例えば、色空間ＹＵＶで輝度信号Ｙと青の差分信号Ｕと赤の差分信号Ｖを４：２：２あるいは４：２：０とするとき、色差信号のシフト幅は、輝度信号のシフト幅に対して１／２にスケーリングした値とする。すなわち、色差信号に対しては、非立体画像信号ａのテクスチャをそれぞれの画素毎に（Ｙｄ−ｍ）／（２・ｎ）画素分右にシフトすることになる。

オクルージョン補償部９３は、テクスチャシフト部９２より供給された画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部９４に供給する。オクルージョンとは、テクスチャが所定量移動した結果、発生する値の存在しない画素の部分のことをいう。オクルージョン補償部９３は、テクスチャシフトされた画像信号に対応する元の非立体画像信号ａによりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Ｖｏｌ．５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５））に記載の手法でオクルージョンを補償してもよい。

ポスト処理手段であるポスト処理部９４は、オクルージョン補償部９３より供給された画像信号に対して平滑化やノイズの除去などのポスト処理を必要に応じて行い、左目画像信号ｅ１を出力する。このポスト処理は公知の方法で行われる。また、画像信号復号化部６３で復号化された非立体画像信号ａを右眼画像信号ｅ２とする。

右眼画像信号ｅ２とポスト処理された左眼画像信号ｅ１を表示させることにより、視聴者はステレオ画像を見ることができる。このステレオ画像は、複数のプロジェクションを用いた装置、時分割表示と液晶シャッタメガネを組み合わせたプロジェクション装置あるいはディスプレイ、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のステレオ表示装置により表示させることが可能である。また、ステレオ表示装置は３視点以上の表示が可能な多視点立体映像表示装置としてもよく、音声出力を備える装置であってもよい。音声情報を有しない静止画像の場合は、その画像に適した環境音を付加してもよい。

本実施形態によれば、３種類の制御信号ＣＴＬ１〜ＣＴＬ３を用いることにより、３種類の基本奥行きモデルの合成比率をシーンに合うように変化させることができ、また重畳するＲ信号成分の重み付け、奥行き推定データの輻輳や奥行きの調整を可能とする。そのため、予め設定されている擬似立体化の効果を画像のシーンに応じて変化させることができ、違和感のない擬似立体画像を生成することができる。

＜第２の実施形態＞
第２の実施形態の画像符号化装置１は、制御信号ＣＴＬ１〜ＣＴＬ３及び非立体画像信号ａを符号化する方式が第１の実施形態の画像符号化装置１と異なる。また、第２の実施形態の画像復号化装置５１は、符号化ビット列ｂ１及び符号化ビット列ｂ２を復号化する方式が第１の実施形態の画像復号化装置５１と異なる。それ以外については、第１の実施形態と同様であるので説明を省略する。

第２の実施形態の画像符号化装置１における画像信号符号化部１３は、Ｈ．２６４／ＡＶＣ画像符号化方式により、非立体画像信号ａを符号化する。Ｈ．２６４／ＡＶＣ画像符号化方式を用いて非立体画像信号ａを符号化する場合、制御信号ＣＴＬ１〜ＣＴＬ３は補助情報の１つであるＳＥＩ（Supplemental Enhancement Information）メッセージ用いて符号化することが可能である。

図１２は、Ｈ．２６４／ＡＶＣ画像符号化方式のデータ構造を示している。"AVC/H.264 video sequence"は、シーケンスパラメータ"SPS（Sequence Parameter Set）"、ピクチャパラメータ"PPS（Picture Parameter Set）"、補助情報"User Data Unregistered SEI"、ピクチャを構成するスライス"Slice"を含む。

制御信号符号化部１２は、制御信号ＣＴＬ１〜ＣＴＬ３を１画面毎に"User Data Unregistered SEI"のシンタックスエレメントとして規定されている"user＿data＿payload＿byte"を用いて符号化する。"user＿data＿payload＿byte"は、user＿data＿unregistered(payloadSize)関数として任意に記述される。そして、user＿data＿unregistered(payloadSize)関数は、図５で説明したuser＿data()関数と同様に、シンタックス構造を有する関数である。

図１３は、制御信号ＣＴＬ１〜ＣＴＬ３をuser＿data＿unregistered(payloadSize)関数として符号化する場合の一例である。シンタックスエレメント"uuid＿iso＿iec＿11578"は制御信号ＣＴＬ１〜ＣＴＬ３を符号化していることを示すための１２８ビットの符号を割り当てる。"uuid＿iso＿iec＿11578"の値は、任意であるが、制御信号ＣＴＬ１〜ＣＴＬ３のパラメータなどのデータ値と一致することのない値とする必要がある。"uuid＿iso＿iec＿11578"以下に続く"ctl1＿enable"等は、図５で説明したuser＿data関数と同様の方法で符号化される。

この符号化されたＳＥＩメッセージに続いて、１画面分の非立体画像信号ａが１つ以上の"Slice"で符号化される。また、ＳＥＩメッセージによって符号化される制御信号ＣＴＬ１〜ＣＴＬ３の値は、後に続く"Slice"で有効となる。

第２の実施形態の画像復号化装置５１内の分離部６１は、第２の実施形態の画像符号化装置１で符号化された符号化ビット列ｃに含まれる"User Data Unregistered SEI"が符号化されているか否かを判断する。"User Data Unregistered SEI"が符号化されていることを検出した場合、"uuid＿iso＿iec＿11578"を復号化して値をチェックする。そして、その値が予め設定した制御信号ＣＴＬ１〜ＣＴＬ３を符号化していることを示すための１２８ビットの符号であると判断した場合、符号化ビット列ｃからその"User Data Unregistered SEI"の符号化ビット列を分離して符号化ビット列ｂ１とする。その符号化ビット列ｂ１は、制御信号符号化部６２に供給される。それ以外の符号化ビット列は符号化ビット列ｂ２として画像信号復号化部６３に供給される。

制御信号復号化部６２は、図１３のデータ構造に基づく符号化ビット列ｂ１を復号化して制御信号ＣＴＬ１〜ＣＴＬ３を得る。画像信号復号化部６３は、符号化ビット列ｂ２を復号化して非立体画像信号ａを得る。

＜第３の実施形態＞
第３の実施形態の画像符号化装置２は、制御信号ＣＴＬ１〜ＣＴＬ３を符号化する方式、及び制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１をパケットのヘッダ部に含める点が第１、第２の実施形態の画像符号化装置１と異なる。また、第３の実施形態の画像復号化装置５１は、パケット化された符号化ビット列ｃから制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１と非立体画像信号ａの符号化ビット列ｂ２を分離する点と、制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１を復号化する方式が第１、第２の実施形態の画像復号化装置５１と異なる。それ以外については、第１、第２の実施形態と同様であるので説明を省略する。

図１４は、擬似立体画像符号化装置２の構成例を示すブロック図である。図１４において、図１と同じ構成ブロックには同じ符号を付している。擬似立体画像符号化装置２内のパケット生成部２３は、ＭＰＥＧ−２システム方式（ＩＳＯ／ＩＥＣ１３８１８−１）を用いて、画像信号符号化部１３から出力される非立体画像信号ａの符号化ビット列ｂ２をＰＥＳ（Packetized Elementary Stream）パケットとしてパケット化する。

その際、制御信号符号化部１２から出力される制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１を後述する方法によりパケットのヘッダ部に含める。パケット生成部２３は、パケット化された符号化ビット列をＭＰＥＧ−２ ＴＳ（Transport Stream）方式またはＭＰＥＧ−２ ＰＳ（Program Stream）方式を用いてパケット化して送信インタフェース２１に出力する。なお、本実施形態では代表して、ＭＰＥＧ−２ ＴＳ（Transport Stream）方式を用いる場合を説明する。

図１５は、ＭＰＥＧ−２システム方式（ＩＳＯ／ＩＥＣ １３８１８−１）のＰＥＳパケットのデータ構造を示している。符号化された画像信号や音声信号は、エレメンタリストリーム（ＥＳ：Elementary Stream）と呼ばれる。画像信号や音声信号のＥＳは、適当な大きさに分割され、ＰＥＳパケットのヘッダが付加されてＰＥＳパケットとしてパケット化される。

ＰＥＳパケットは、ヘッダ部"PES packet header"と画像信号や音声信号を含むペイロード部"PES packet payload"を含む。制御信号符号化部１２は、"PES packet header"内で任意に書き込み可能なユーザデータとして規定される"PES＿private＿data"によって、制御信号ＣＴＬ１〜ＣＴＬ３を符号化する。

"PES＿private＿data"は、シンタックス構造を有するPES＿packet()関数として記述される。制御信号ＣＴＬ１〜ＣＴＬ３のパラメータ値は、このPES＿packet()関数のシンタックスエレメントとして符号化される。なお、非立体画像信号ａは"PES packet payload"で符号化される。

図１６は、制御信号ＣＴＬ１〜ＣＴＬ３をPES＿packet()関数として符号化する場合の一例である。"PES＿private＿data"は、パケット生成部２３で符号化され、フラグとして規定する"PES＿extension＿flag"及び"PES＿private＿data＿flag"を"1"に設定することによって符号化を可能にする。シンタックスエレメント"associate＿3d＿parameter＿identifier"以下に続く"ctl1＿enable"等は、図５で説明したuser＿data()関数と同様の方法で制御信号符号化部１２により符号化される。

"PES＿private＿data"は１２８ビットと規定されている。そのため、制御信号ＣＴＬ１〜ＣＴＬ３を記述したシンタックスエレメントの後に、"PES＿private＿data"全体で１２８ビットとなるように５３〜９３ビットのスタッフィングビットが挿入される。また、１つのＰＥＳパケット内に含まれる符号化された制御信号ＣＴＬ１〜ＣＴＬ３は、同じＰＥＳパケット内の"PES packet payload"に含まれる符号化された非立体画像信号ａに対して有効となる。

第３の実施形態の画像符号化装置５１内の分離部６１は、符号化ビット列ｃからＴＳパケットのヘッダ部を復号化してＴＳパケットのペイロード部と分離する。更に、ＴＳパケットのペイロード部に含まれるＰＥＳパケット内の"PES packet header"を復号化して"PES packet header"と分離する。

分離部６１は、第３の実施形態の画像符号化装置２でパケット化されたＰＥＳパケット内の"PES packet header"に含まれる"associate＿3d＿parameter＿identifier"が符号化されているか否かを判断する。"associate＿3d＿parameter＿identifier"が符号化されていることを検出した場合、図１６に示す"associate＿3d＿parameter＿identifier"から"stuffing＿bits"までの１２８ビットの符号化ビット列を制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１として抽出し、制御信号符号化部６２に供給する。

また、ＰＥＳパケットの"PES packet payload"を符号化ビット列ｂ２として画像信号復号化部６３に供給する。制御信号復号化部６２は、図１６の構造に基づく符号化ビット列ｂ１を復号化して、制御信号ＣＴＬ１〜ＣＴＬ３を得る。更に、画像信号復号化部６３は符号化ビット列ｂ２を復号化して、復号された非立体画像信号ａを得る。

＜第４の実施形態＞
第４の実施形態の画像符号化装置２は、制御信号ＣＴＬ１〜ＣＴＬ３を符号化する方式、及び制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１をＴＳパケットのヘッダ部に含める点が第３の実施形態の画像符号化装置２と異なる。また、第４の実施形態の画像復号化装置５１は、ＴＳパケットの符号化ビット列ｃから制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１を分離する点と、制御信号ＣＴＬ１〜ＣＴＬ３の符号化ビット列ｂ１を復号化する方式が第３の実施形態の画像復号化装置５１と異なる。それ以外については、第３の実施形態と同様であるので説明を省略する。

図１７は、ＭＰＥＧ−２システム方式（ＩＳＯ／ＩＥＣ １３８１８−１）のＴＳのデータ構造を示している。ＴＳパケットは、ヘッダ部"TS packet header"、ペイロード部"TS packet payload"を含む。"TS packet payload"は、第３の実施形態の画像符号化装置２で説明したＰＥＳパケットである。

"TS packet header"は、適応フィールド領域"adaptation field"を含む。パケット生成部２３は、第３の実施形態の画像符号化装置２で説明したＰＥＳパケットに代わってＴＳパケットの"TS packet header"内の"adaptation field"において、制御信号ＣＴＬ１〜ＣＴＬ３のパラメータを符号化することが可能である。

制御信号符号化部１２は、"TS packet header"の"adaptation field"で任意に書き込み可能なユーザデータとして規定される"private＿data＿byte"を用いて制御信号ＣＴＬ１〜ＣＴＬ３を符号化する。"private＿data＿byte"はシンタックス構造を有するadaptation＿field()関数として記述することができる。なお、非立体画像信号ａの符号化ビット列ｂ２は"TS packet payload"に含まれる。

図１８は、制御信号ＣＴＬ１〜ＣＴＬ３をadaptation＿field()関数として符号化する場合の一例である。シンタックスエレメント"adaptation＿field＿length"は、その後に続く"adaptation field"の総バイト数を設定する。"private＿data＿byte"は、シンタックスエレメント"transport＿private＿data＿flag"を"1"に設定することによって、ユーザデータである"private＿data＿byte"の符号化を可能にする。

シンタックスエレメント"transport＿private＿data＿length"は、その後に続く制御信号ＣＴＬ１〜ＣＴＬ３の総バイト数を設定する。シンタックスエレメント"associate＿3d＿parameter＿identifier"以下に続く"ctl1＿enable"等は、図５で説明したuser＿data()関数と同様の方法により、制御信号ＣＴＬ１〜ＣＴＬ３を符号化する。

"private＿data＿byte"は、１バイト（８ビット）単位と規定されている。そのため、制御信号ＣＴＬ１〜ＣＴＬ３を記述したシンタックスエレメントの後に、１バイト単位となるように０〜７ビットのスタッフィングビットを挿入する。また、１つのＴＳパケット内に含まれる符号化された制御信号ＣＴＬ１〜ＣＴＬ３は、同じＴＳパケットの"TS packet payload"に含まれる非立体画像信号ａに対して有効となる。なお、ＴＳパケットのサイズは１８８バイトの固定長となっている。また、符号化された１画面分の非立体画像信号ａは複数のＴＳパケットに分割してパケット化される。そのため、制御信号ＣＴＬ１〜ＣＴＬ３の値は、１画面分の非立体画像信号ａに対応する各パケットで等しいものである。

画像符号化装置２内の分離部６１は、符号化ビット列ｃからＴＳパケット内の"TS packet header"を復号化して"TS packet payload"と分離する。そして、分離部６１は、"TS packet header"内の"adaptation＿field"が符号化されているか否かを判断する。"adaptation＿field"が符号化されている場合、"associate＿3d＿parameter＿identifier"が符号化されているか否かを判断する。"associate＿3d＿parameter＿identifier"が符号化されていることを検出した場合、即ち、制御信号ＣＴＬ１〜ＣＴＬ３を符号化していることを示すための３２ビットの符号であると判断した場合、以下の処理をする。

図１８のデータ構造に示す"associate＿3d＿parameter＿identifier"から"stuffing＿bits"までの符号化ビット列を、制御信号ＣＴＬ１〜ＣＴＬ３が含まれる符号化ビット列ｂ１として抽出する。抽出された符号化ビット列ｂ１は、制御信号符号化部６２に供給する。さらに、ＴＳパケット内の"TS packet payload"から、ＰＥＳパケット内の"PES packet header"を復号化してペイロード部と分離する。そして、分離部６１は、ＰＥＳパケット内の"PES packet header"を符号化ビット列ｂ２として画像信号復号化部６３に供給する。

制御信号復号化部６２は、図１８のデータ構造に基づく符号化ビット列ｂ１を復号化して、制御信号ＣＴＬ１〜ＣＴＬ３を得る。画像信号復号化部６３は、符号化ビット列ｂ２を復号化して非立体画像信号ａを得る。

以上説明した伝送方法は、放送、通信、ダウンロード等に適用可能である。なお、制御信号ＣＴＬ１〜ＣＴＬ３の符号化方法は上記方法に限定されるものではなく、ＭＰＥＧ−７等のメタデータとして符号化することも可能である。また、符号化された後のストリームの形態は、固定レートビットストリームデータあるいは可変レートビットストリームデータとすることが可能である。

符号化後のストリームをディスクへ記録する場合、ＣＡＶ（Constant Angular Velocity）方式あるいはＣＬＶ（Constant Linear Velocity）方式のどちらを用いてもよい。ＣＡＶ方式は、ランダムアクセス性に優れ、一度作成した制御信号を細かく修正する際に適している。ＣＬＶ方式は、記録密度を高める場合に適している。

また、符号化後のストリームは、制御信号ＣＴＬ１〜ＣＴＬ３及び非立体画像信号ａに加えてモノラル、あるいはステレオ用のマルチチャネルのオーディオデータ（音声信号）を含めることができる。例えば、図１４に示す"TS packet payload"内に音声信号の情報を割り当てることができる。図１９は、パケット中にアクセスユニット単位で収納される所定サンプルの音声信号のチャネル割り当てを示している。例えば、チャネル割り当て情報"000"に対してモノラル、"001"に対して２ｃｈ、"010"に対して４ｃｈ、"011"に対して６ｃｈ、"100"に対して８ｃｈ、"101"に対して１６ｃｈ、"110"に対して３２ｃｈのように割り当てることができる。

第１、第２の実施形態おける画像符号化装置の構成例を示すブロック図である。 基本奥行きモデルの画像の一例を示す図である。 基本奥行きモデルの画像の別の一例を示す図である。 基本奥行きモデルの画像の別の一例を示す図である。 第１の実施形態におけるＭＰＥＧ−２画像符号化方式のデータ構造の一例を示す図ある。 第１の実施形態におけるＭＰＥＧ−２画像符号化方式で制御信号を符号化する関数の一例を示す図である。 第１の実施形態における符号化ビット列をネットワークへ伝送する伝送方法を示すフローチャートである。 第１の実施形態における画像復号化装置及び擬似立体画像生成装置の構成例を示す図である。 第１の実施形態におけるネットワーク上のパケットを符号化ビット列として復元する方法を示すフローチャートである。 第１の実施形態における奥行き推定データ生成部の構成例を示す図である。 第１の実施形態におけるステレオペア生成部の構成の一例を示す図である。 第２の実施形態におけるＨ．２６４／ＡＶＣ画像符号化方式のデータ構造を示す図である。 第２の実施形態におけるＨ．２６４／ＡＶＣ画像符号化方式で制御信号を符号化する関数の一例を示す図である。 第３の実施形態における画像符号化装置の構成例を示すブロック図である。 第３の実施形態におけるＭＰＥＧ−２システム方式のＰＥＳパケットのデータ構造を示す図である。 第３の実施形態におけるＭＰＥＧ−２システム方式で制御信号を符号化する関数の一例を示す図である。 第４の実施形態におけるＭＰＥＧ−２システム方式のトランスポートストリームのデータ構造を示している。 第４の実施形態におけるＭＰＥＧ−２システム方式で制御信号を符号化する関数の一例を示す図である。 第４の実施形態における音声信号のチャネル割り当ての一例を示す図である。

符号の説明

１ 画像符号化装置
１２ 制御信号符号化部
１３ 画像信号符号化部
１４ 多重化部
５１ 画像復号化装置
５２ 擬似立体画像生成装置
６１ 分離部
６２ 制御信号復号化部
６３ 画像信号復号化部
７５ スイッチ
７６ 奥行きモデル合成部
７７，７８，７９ フレームメモリ
８０，９１ 制御信号判定部
８１ 重み付け部
８２ 加算部
９２ テクスチャシフト部
９３ オクルージョン補償部
９４ ポスト処理部

Claims (10)

1. 非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像信号を生成するための基本となるシーンを有する複数の基本奥行きモデルを発生する基本奥行きモデル発生手段と、
   前記複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号に基づいて、前記複数の基本奥行きモデルを合成して合成奥行きモデルを生成する合成手段と、
   前記非立体画像信号と前記合成奥行き基本モデルとから前記奥行き推定データを生成する奥行き推定データ生成手段と、
   前記奥行き推定データに基づいて非立体画像のテクスチャをシフトして前記擬似的な立体画像信号を生成するテクスチャシフト手段と
   を有することを特徴とする擬似立体画像生成装置。
2. 前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記重み付け係数を乗ずる重み付け手段を備え、
   前記テクスチャシフト手段は、前記重み付け手段により得られた乗算結果と前記奥行き推定データに基づいて前記非立体画像のテクスチャをシフトして前記擬似的な立体画像信号を生成することを特徴とする請求項１記載の擬似立体画像生成装置。
3. 前記テクスチャシフト手段は、前記奥行きデータを調整するための奥行きと輻輳を示す第３の制御信号により調整された前記奥行き推定データに基づいて、前記非立体画像のテクスチャをシフトして前記擬似的な立体画像信号を生成することを特徴とする請求項２記載の擬似立体画像生成装置。
4. 前記第１〜第３の制御信号が存在するか否かを判定する第１〜第３の判定手段を備え、
   前記第１の判定手段により前記第１の制御信号が存在しないと判定されたとき、前記合成手段は、予め設定された合成比率に基づいて合成奥行きモデルを生成し、前記第２の判定手段により前記第２の制御信号が存在しないと判定されたとき、前記重み付け手段は予め設定された重み付け係数に基づいて前記非立体画像信号に重み付けをし、前記第３の判定手段により前記第３の制御信号が存在しないと判定されたとき、前記テクスチャシフト手段は予め設定された奥行き及び輻輳を示す値に基づいて前記擬似的な立体画像信号を生成することを特徴とする請求項３記載の擬似立体画像生成装置。
5. 前記テクスチャシフト手段より生成された前記擬似的な立体画像信号に対して、テクスチャの存在しない部分であるオクルージョンを前記非立体画像信号の対応部分で補償するオクルージョン補償手段と、
   前記オクルージョン補償手段により補償された擬似的な立体画像信号に対してポスト処理をして、前記非立体像信号とは別視点の画像信号として出力するポスト処理手段と
   を備えることを特徴とする請求項１ないし４のいずれか１項に記載の擬似立体画像生成装置。
6. 非立体画像信号を符号化する画像信号符号化手段と、
   非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、前記非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、前記奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化手段と、
   前記画像信号符号化手段により符号化された非立体画像信号と前記制御信号符号化手段により符号化された制御信号を多重化して符号化ビット列を生成する多重化手段と
   を有することを特徴とする画像符号化装置。
7. 非立体画像信号を符号化する画像信号符号化ステップと、
   非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、前記非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、前記奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化ステップと、
   前記画像信号符号化ステップにより符号化された非立体画像信号と前記制御信号符号化手段により符号化された制御信号を多重化して符号化ビット列を生成する多重化ステップと
   を有することを特徴とする画像符号化方法。
8. 非立体画像信号を符号化する画像信号符号化ステップと、
   非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、前記非立体画像に重み付けをするための重み付け係数を示す第２の制御信号と、前記奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を符号化する制御信号符号化ステップと、
   前記画像信号符号化ステップにより符号化された非立体画像信号と前記制御信号符号化手段により符号化された制御信号よりなる符号化ビット列をパケット化するパケット化ステップと
   を有することを特徴とする画像伝送方法。
9. 非立体画像信号と、前記非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、前記非立体画像信号に対して重み付けをするための重み付け係数を示す第２の制御信号と、前記奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を含む符号化ビット列から、前記制御信号と前記非立体画像信号とを分離して出力する分離手段と、
   前記制御信号と前記非立体画像信号をそれぞれ復号化する復号化手段と
   を有することを特徴とする画像復号化装置。
10. 非立体画像信号と、前記非立体画像信号をもとに奥行きデータを推定して擬似的な立体画像を生成する際の基本となるシーンを有する複数の基本奥行きモデルを合成するための合成比率を示す第１の制御信号と、前記非立体画像信号に対して重み付けをするための重み付け係数を示す第２の制御信号と、前記奥行き推定データを調整するための奥行きと輻輳を示す第３の制御信号のうち少なくとも１つの制御信号を含む符号化ビット列から、前記制御信号と前記非立体画像信号とを分離して出力する分離ステップと、
    前記制御信号と前記非立体画像信号をそれぞれ復号化する復号化ステップと
    を有することを特徴とする画像復号化方法。

Images