JP2015005807A - 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム - Google Patents

Abstract

【課題】 右目用画像及び左目用画像を多重化かつ符号化した情報の一部が伝送路などで欠落しても、復号された両画像が立体感を感じられ、かつ、視野闘争を引き起こさない立体映像符号化装置及び立体映像復号装置を提供する。
【解決手段】 立体映像符号化装置では、左目用画像及び右目用画像の各横方向ラインの情報を、同じ被写体の領域が近接するように横方向に交互に混在させて多重画像の横方向ラインの情報を生成し、これにより得られた多重画像を符号化する。立体映像復号装置では、復号して戻した多重画像に対し、上記多重処理の逆の多重分離処理により、左目用画像及び右目用画像を再生する。情報の欠落があっても、左目用画像及び右目用画像の対応領域が共に消失し、片方だけの消失に伴う課題は生じない。
【選択図】 図２

Description

本発明は、立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムに関し、例えば、左目用画像、右目用画像（本明細書においては、画像データを単に画像と呼んでいることもある）をそれぞれの目に投影することで立体感が得られる動画像データを送受信する場合に適用し得るものである。

人の視覚に立体的な動画像を認知させるための方法として、それぞれ異なる方向から撮影した右目用画像（動画像）及び左目用画像（動画像）を用意し、右目用画像を右目に、左目用画像を左目に投影するような表示機器を用いて、観察者に立体感を認識させる方法が広く知られている（例えば、特許文献１参照）。このような視差を持った動画像を伝送する方法として、右目用画像及び左目用画像を符号化かつ多重化したデータを作成して伝送する方法がある。

右目用画像及び左目用画像を多重化かつ符号化する従来方法として、右目用画像及び左目用画像をそれぞれ、横方向（若しくは縦方向）に半分に圧縮した後、横方向（若しくは縦方向）に並置して１枚の画像に合成し、その合成画像を符号化する方法があった。この従来方法では、１枚の符号化データの中に同時刻の右目用画像及び左目用画像の情報が含まれるので、伝送中のエラーによりパケットロスが発生したとしても、左右視点間（右目用画像及び左目用画像間）の同期を確保することができる。

特開２００６−１３５７８３号公報

しかしながら、上述した従来の方法では、合成画像内で、対応する点同士の距離が離れているため、パケットロスが発生した場合、エラーの伝播により、復号画像の対応する領域同士の差が大きくなることが起こり得る。ここで、対応する点又は領域とは、立体視した場合（右目用画像及び左目用画像をそれぞれ、それようの表示機器で見た場合）に同じ位置に知覚される点又は領域のことを指す。合成画像は、右目用画像及び左目用画像を合成しているため、合成画像中に対応する点や領域が存在することになる。

図１３を用いて、エラーの伝播により、対応する領域同士に大きな差が生じ得ることを説明する。今、右目用画像の縮小画像と左目用画像の縮小画像とが並置合成された、図１３（Ａ）に示すｎフレーム目の合成画像において、パケットロスにより、領域Ｔが欠落したとする。なお、図１３（Ａ）及び（Ｂ）における領域ＸＬ及びＸＲは左目用画像と右目用画像の対応する領域とする。

ｎフレーム目において、パケットロスによる領域Ｙの欠落により、この領域Ｙのデータは、補間処理や前フレームのデータ流用などが行われ、その結果、復号で得られる本来のデータとは異なったものとなる。すなわち、ノイズが混入したものとなる。ｎ＋１フレーム目において、復号の際、左目用画像の領域ＸＬは領域Ｙを参照しており、右目用画像の領域ＸＲは領域Ｙを参照していなかった場合、領域ＸＬの復号データにはノイズが混入することになるが、領域ＸＲの復号データにはノイズが混入しないことになる。この場合、対応する領域にも拘わらず、左右の視点間（右目用画像及び左目用画像間）で差が生じることになる。

立体映像において、左右視点間で対応する領域間で差が大きい場合、立体感が感じられないものとなってしまう。さらに、視点間での画像の差が大きい場合、観察者の脳内で、視野闘争と呼ばれる現象が起こる。これは、右目に入る映像と左目に入る映像に大きな差がある場合、どちらかの視点の映像のみを脳が認識し、それが短時間で入れ替わって知覚されるという現象である。このような現象が起こると、ちらつきが感じられ、不快な立体映像となってしまう。

そのため、右目用画像及び左目用画像を多重化かつ符号化した情報の一部が欠落しても、復号された右目用画像及び左目用画像が立体感を感じられ、かつ、視野闘争を引き起こさない立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムが望まれている。

第１の本発明の立体映像符号化装置は、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段とを備え、（１’）上記画像多重手段は、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成することを特徴とする。

第２の本発明の立体映像復号装置は、第１の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力されるものであって、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、第１の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段とを備えることを特徴とする。

第３の本発明の立体映像符号化システムは、第１の本発明の立体映像符号化装置と、第２の本発明の立体映像復号装置とを有することを特徴とする。

第４の本発明の立体映像符号化プログラムは、コンピュータを、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成するものであって、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段として機能させることを特徴とする。

第５の本発明の立体映像復号プログラムは、第１の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力される装置に搭載されるコンピュータを、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、第１の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段として機能させることを特徴とする。

本発明によれば、右目用画像及び左目用画像を多重化かつ符号化した情報の一部が欠落しても、復号された右目用画像及び左目用画像が立体感を感じられ、かつ、視野闘争を引き起こさない立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムを提供できる。

第１の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図である。 図１の多重部の機能の説明図である。 図１の立体映像送信装置の動作を示すフローチャートである。 図１の立体映像受信装置の動作を示すフローチャートである。 第２〜第４の実施形態で視差パラメータを導入した理由と、視差パラメータを利用した多重部の機能との説明図である。 第２の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図である。 図６の立体映像送信装置の動作を示すフローチャートである。 図６の立体映像受信装置の動作を示すフローチャートである。 第３の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図である。 第４の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図である。 図１０の立体映像送信装置の動作を示すフローチャートである。 図１０の立体映像受信装置の動作を示すフローチャートである。 右目用画像及び左目用画像を多重化かつ符号化する従来方法の課題の説明図である。

（Ａ）第１の実施形態
以下、本発明による立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムの第１の実施形態を、図面を参照しながら説明する。

第１の実施形態の立体映像符号化システムは、立体映像通信システムに組み込まれたものである。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図である。

図１において、立体映像通信システム１は、立体映像送信装置１０及び立体映像受信装置２０を有する。

立体映像送信装置１０は、画像多重部１１、符号化部１２及び送信部１３を有する。ここで、画像多重部１１及び符号化部１２は、第１の実施形態の立体映像符号化装置の構成要素である。少なくとも画像多重部１１及び符号化部１２の部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良い。

画像多重部１１は、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重（合成）し、多重画像を符号化部１２に出力するものである。ここで、一対の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲは同時刻の視点（撮影を行った位置）が異なる立体視用の画像である。

左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲは、撮像装置が得たばかりのものであっても良く、記録媒体等から読み出したものであっても良く、他の装置から送信されて受信したものであっても良い。すなわち、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの入力方法は、問われないものである。

また、一対の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲは、同じ種類の画像であれば、輝度信号（Ｙ）の画像であっても良く、いずれかの色差信号（Ｃｂ、Ｃｒ）の画像であっても良く、いずれかの色信号（Ｒ、Ｇ、Ｂ）の画像であっても良い。左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの大きさは限定されるものではない。例えば、縦横１０８０ライン×１９２０画素、縦横５４０ライン×９６０画素、縦横４８０ライン×７２０画素、縦横２８８ライン×３６０画素、縦横２４０ライン×３６０画素、縦横１４４ライン×１８０画素、縦横１２０ライン×１８０画素、縦横７２ライン×９０画素などのいずれの大きさであっても良い。また、１画素当たりのビット数も限定されるものではない。

画像多重部１１は、図２（Ａ１）及び（Ａ２）に示すように、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲをそれぞれ、縦方向の分割線に沿って、複数の縦縞画像部分ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎ（Ｎは２以上の整数）に分割した後、図２（Ｂ）に示すように、左目用画像ＰＩＣＬの縦縞画像部分ＳＬ−１〜ＳＬ−Ｎと右目用画像ＰＩＣＲの縦縞画像部分ＳＲ−１〜ＳＲ−Ｎとを横方向に交互に配置した多重画像ＣＰＩＣを形成して出力する。

多重画像ＣＰＩＣは、左目用画像ＰＩＣＬの縦縞画像部分ＳＬ−１〜ＳＬ−Ｎと右目用画像ＰＩＣＲの縦縞画像部分ＳＲ−１〜ＳＲ−Ｎとを横方向に交互に配置している画像であるため、左右視点の対応する領域の画素同士の距離は短いものとなっている（左右視点の対応する領域の画素同士が近付いたものとなっている）。そのため、通信時のパケットロス等が生じた場合であっても、左右視点の対応する領域が共に欠落する可能性が高くなる。

左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを、縦方向の分割線に沿って、複数の縦縞画像部分ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎに分割するようにしたのは、以下の考え方による。人間の２つの目は横方向（左右方向）に離間しており、その左右の目で立体感を感じるため、立体視画像においては横方向が縦方向より重みが大きく、横縞画像部分を縦方向に交互に配置した場合であれば、通信時のパケットロス等が生じた場合に生じる、左右視点の対応する欠落した領域が縦方向に存在するが、上記のように、縦縞画像部分を横方向に交互に配置した場合であれば、通信時のパケットロス等が生じた場合に生じる、左右視点の対応する欠落した領域が横方向に存在し、後述する効果が有効なものとなる。

ここで、各縦縞画像部分ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎの幅は限定されるものではない。例えば、縦縞画像部分ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎの幅が１画素であっても良く、また、複数画素であっても良い。複数画像の場合、欠落領域の補間処理や符号化などで定まっているブロックの大きさを考慮して具体的な画素数を定めるようにしても良い。例えば、動きベクトルの探索で用いるブロックの一辺の半分の画素数を縦縞画像部分の幅に選定しても良い。後述する動作の項では、縦縞画像部分ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎの幅が１画素であるとして説明する。

符号化部１２は、画像多重部１１から出力された、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの多重画像ＣＰＩＣを所定の符号化方式に従って符号化するものである。ここで、符号化方式は限定されないが、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのような符号化方式を適用できる。

送信部１３は、符号化部１２から出力された符号化データから、送信データ（例えばパケット）を形成して立体映像受信装置２０に向けて送信するものである。

ここで、立体映像送信装置１０及び立体映像受信装置２０間の伝送路は、専用回線であっても良く、また、多くの人が利用できる通信網であっても良い。立体映像送信装置１０及び立体映像受信装置２０間の通信方式（例えば、暗号化の有無、通信速度、伝送路符号化方式、有線・無線通信など）は限定されるものではない。また、送信部１３は、例えば、輝度信号用の符号化データ、色差信号用の２つの符号化データから送信データを形成するものであっても良い。また、送信データに、複数フレームに係る符号化データを挿入するようにしても良い。

立体映像受信装置２０は、受信部２１、復号部２２及び画像多重分離部２３を有する。ここで、復号部２２及び画像多重分離部２３は、第１の実施形態の立体映像復号装置の構成要素である。少なくとも復号部２２及び画像多重分離部２３の部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良い。

受信部２１は、立体映像送信装置１０からの送信データを受信処理して符号化データを取り出して復号部２２に与えるものである。

復号部２２は、符号化データに対して復号を行って、図２（Ｂ）に示す多重画像ＣＰＩＣを得て画像多重分離部２３に与えるものである。

画像多重分離部２３は、多重画像ＣＰＩＣを縦縞部分ＳＬ−１、ＳＲ−１、…、ＳＬ−Ｎ、ＳＲ−Ｎに分解しつつ、奇数番目の縦縞部分ＳＬ−１、…、ＳＬ−Ｎを横方向に並置して左目用画像ＰＩＣＬを再生すると共に、偶数番目の縦縞部分ＳＲ−１、…、ＳＲ−Ｎを横方向に並置して右目用画像ＰＩＣＲを再生するものである。

再生された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲは、例えば、表示機器３０に与えられて立体視映像の表示に供される。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の立体映像符号化システムを含む立体映像通信システム１の動作を説明する。

初めに、立体映像送信装置１０の動作を、図３のフローチャートを参照しながら説明する。図３は、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重して送信する動作を示しており、この図３に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。

まず、画像多重部１１は、撮影カメラや記録ファイルといった映像ソースから、同期している一対の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ（左右の視点画像）を取得する（ステップＳ１０１）。ここで、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの取得は、並行して行っても良く、順次行っても良い。

次に、画像多重部１１は、図２に示したように、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの縦方向の画素列（縦縞画像部分）ＳＬ−１〜ＳＬ−Ｎ、ＳＲ−１〜ＳＲ−Ｎが横方向に交互に並ぶような形式で左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重する（ステップＳ１０２）。すなわち、左目用画像ＰＩＣＬから得られた縦方向画素列ＳＬ−１〜ＳＬ−Ｎが多重画像ＣＰＩＣの奇数列に並び、右目用画像ＰＩＣＲから得られた縦方向画素列ＳＲ−１〜ＳＲ−Ｎが多重画像ＣＰＩＣの偶数列に並ぶように多重処理を行う。上述したように、多重画像ＣＰＩＣは、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの対応する領域同士が近い位置に存在するものとなっている。

画像多重部１１は、得られた多重画像ＣＰＩＣを符号化部１２に与える（ステップＳ１０３）。このとき、符号化部１２は、多重画像ＣＰＩＣを所定の符号化方式に従って符号化し（ステップＳ１０４）、得られた符号化データを送信部１３に与える（ステップＳ１０５）。

送信部１３は、与えられた符号化データから送信データを組み立て（ステップＳ１０６）、その送信データを立体映像受信装置２０へ向けて送信する（ステップＳ１０７）。送信部１３は、例えば、ステップＳ１０６では、与えられた符号化データを伝送路へ送信できるサイズへ分割し、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に従ってパケット化し、送信データとなるパケットを形成する。このような場合であれば、１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲから、複数のパケットが形成されて送信されることとなる。

次に、立体映像受信装置２０の動作を、図４のフローチャートを参照しながら説明する。図４は、受信データに基づき、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重分離する動作を示しており、この図４に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。以下では、送信データがパケットであるとして説明する。

受信部２１は、送信側より送られたパケットを受信し（ステップＳ２０１）、
受信したパケットから、ヘッダ情報などを取り除いて符号化データを得て（ステップＳ２０２）、得られた符号化データを復号部２２に与える（ステップＳ２０３）。

復号部２２は、入力された符号化データを復号した後（ステップＳ２０４）、今回の復号情報を含めて１フレーム分の復号画像が得られたか否かを判別する（ステップＳ２０５）。１フレーム分の復号画像が得られなかった場合には、ステップＳ２０１へ戻り、１フレーム分の復号画像が得られた場合には、復号部２２は、得られた復号画像を画像多重分離部２３に与える（ステップＳ２０６）。ここで、送信側において、１フレーム分の符号化データを複数のパケットに振り分けて挿入している場合には、ステップＳ２０５からステップＳ２０１へ戻る処理が実行されることとなる。

画像多重分離部２３は、復号画像（復号された多重画像）から、左目用画像及び右目用画像を多重分離する（ステップＳ２０７）。この多重分離処理は、画像多重部１１で行った多重処理の逆の処理である（図２参照）。すなわち、復号された多重画像ＣＰＩＣの奇数列の縦方向画素列のみを集めて左目用画像ＰＩＣＬを得ると共に、多重画像ＣＰＩＣの偶数列の縦方向画素列のみを集めて右目用画像ＰＩＣＲを得る。

画像多重分離部２３は、得られた左目用画像及び右目用画像を表示機器３０に与え（ステップＳ２０８）、立体視表示させる。

（Ａ−３）第１の実施形態の効果
第１の実施形態においては、左目用画像及び右目用画像の縦１列を交互に並べることにより多重画像を形成したので、左目用画像及び右目用画像間の対応する領域同士が多重画像において近傍に位置する。

そのため、この多重画像を符号化した符号化データ中でも近い位置にある。仮に、伝送途中に、パケットロスが発生したとしても、片方の視点映像のみ正しく復号され、もう片方が正しく復号できない、ということが起こりにくくなる。

また、ノイズの伝播に関しても、対応する領域が近傍に存在するため、片方の視点のある点が存在する領域（例えばマクロブロック）が、復号の際に、誤りのある復号画像を参照していたとしても、もう片方の視点の対応する点が同じ領域（マクロブロック）に存在していれば、同様に誤りを参照することになるため、対応点同士は同じようなノイズとなる。そのため、立体映像受信装置から出力された映像を立体表示した場合、対応する領域には、ノイズが乗っているものの、視点間の差が小さいため、視野闘争が起きて不快な立体映像となることを回避することができる。

（Ｂ）第２の実施形態
次に、本発明による立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムの第２の実施形態を、図面を参照しながら説明する。

第２の実施形態の立体映像符号化システムは、立体映像通信システムに組み込まれたものである。

（Ｂ−１）第２の実施形態の構成
第１の実施形態の立体映像符号化方式では、符号化前の多重処理において、左目用画像及び右目用画像のそれぞれの所定幅（例えば１画素）の縦縞画像部分を横方向に交互に並べることにより、左目用画像及び右目用画像（左右視点）間の対応する領域同士が近傍となるようにしていた。

しかしながら、写されている物体の撮影カメラからの距離によっては、第１の実施形態のような多重処理では、対応する領域同士が近傍に存在しないこともあり得る。例えば、撮影カメラから物体までの距離が近付くほど、左目用画像におけるその物品領域と右目用画像におけるその物品領域との横方向の距離が離れ、視差量が大きくなる。図５（Ａ１）及び（Ａ２）に示す左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲは、このような視差領域が大きい画像の対となっている。左目用画像ＰＩＣＬにおいて、二等辺三角形形状の物品は左端から距離ＬＬだけ離れた位置にあり、右目用画像ＰＩＣＲにおいて、二等辺三角形形状の物品は左端から距離ＬＲだけ離れた位置にあり、２つの距離ＬＬ及びＬＲの差ｎ＝ＬＬ−ＬＲはかなり大きい。以上のように、撮影カメラからの距離が近い物体が位置している、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲにおける領域に関しては、第１の実施形態の多重処理を施しても、多重画像ＣＰＩＣにおいて、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲにおける対応領域同士の距離が離れている。図５の例で言えば、差ｎの距離だけ離れている。

そのため、パケットロスによるノイズの影響が、各視点（左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ）で異なるということが起こり得る。また、左右視点（左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ）の縦縞画像部分を横方向に交互に並べても、撮影カメラからの距離が近い場合には、対応しない領域の縦縞画像部分が交互に並んで相関の低い領域となるため、符号化効率が悪くなってしまう。

第２の実施形態〜後述する第４の実施形態の立体映像符号化システムは、以上の点に鑑み、撮影対象の物品の撮影カメラからの距離が近い場合でも、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲにおける対応領域同士が多重画像ＣＰＩＣで隣接するように多重しようとしたものである。

図６は、第２の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図６において、立体映像通信システム１Ａは、立体映像送信装置１０Ａ及び立体映像受信装置２０Ａを有する。

立体映像送信装置１０Ａは、画像多重部１１Ａ、符号化部１２、送信部１３Ａ及び多重設定情報部１４を有する。符号化部１２は、第１の実施形態のものと同様である。ここで、画像多重部１１Ａ、符号化部１２及び多重設定情報部１４が、第２の実施形態の立体映像符号化装置の構成要素である。

第２の実施形態で新たに設けられた多重設定情報部１４は、ユーザの指定などの形で指定された視差パラメータを保持するものである。視差パラメータは、例えば、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲにおける対応領域同士の横方向の位置ずれ量ｎである（図５参照）。視差パラメータの設定は、フレーム毎に行うものであっても良く、動画像の同一シーン毎に設定するものであっても良く、動画像のフレーム全体に共通するように設定するものであっても良い。後述する動作説明では、視差パラメータの設定はフレーム毎に行うものとして説明する。

第２の実施形態に係る画像多重部１１Ａは、多重設定情報部１４に保持されている視差パラメータを参照し、視差パラメータに応じて、入力された左目用画像ＰＩＣＬに対して、横方向に、非交互多重領域ＡＲＬ１と交互多重領域ＡＲＬ２とに区分すると共に、入力された右目用画像ＰＩＣＲに対して、横方向に、交互多重領域ＡＲＲ２と非交互多重領域ＡＲＲ１とに区分し、さらに、図５（Ａ１）及び（Ａ２）に示すように、縦方向の分割線に沿って、複数の縦縞画像部分ＡＲＬ２−１〜ＡＲＬ２−Ｍ、ＡＲＲ２−１〜ＡＲＲ２−Ｍ（Ｍは２以上の整数）に分割し、その後、図５（Ｂ）に示すように、左目用画像ＰＩＣＬの非交互多重領域ＡＲＬ１、左目用画像ＰＩＣＬの縦縞画像部分ＡＲＬ２−１〜ＡＲＬ２−Ｍと右目用画像ＰＩＣＲの縦縞画像部分ＡＲＲ２−１〜ＡＲＲ２−Ｍとの横方向の交互配置領域、右目用画像ＰＩＣＲの非交互多重領域ＡＲＲ１とを左側から配置することにより、多重画像ＣＰＩＣＡを形成して出力する。

なお、左目用画像ＰＩＣＬの非交互多重領域ＡＲＬ１は、左目用画像ＰＩＣＬでは写っているが、右目用画像ＰＩＣＲでは写っていない領域に相当し、右目用画像ＰＩＣＲの非交互多重領域ＡＲＲ１は、右目用画像ＰＩＣＲでは写っているが、左目用画像ＰＩＣＬでは写っていない領域に相当し、左目用画像ＰＩＣＬの交互多重領域ＡＲＬ２及び右目用画像ＰＩＣＲの交互多重領域ＡＲＲ２は、左目用画像ＰＩＣＬでも右目用画像ＰＩＣＲでも写っている領域に相当する。

第２の実施形態に係る送信部１３Ａは、符号化部１２から出力された符号化データと多重設定情報部１４で保持されている視差パラメータとを多重した後、送信データ（例えばパケット）を形成して立体映像受信装置２０Ａに向けて送信するものである。上記では、視差パラメータの情報は全てのフレームの送信データに多重するように説明したが、設定された視差パラメータの有効期間によっては、他の方法によって、視差パラメータの情報を立体映像受信装置２０Ａに与えるようにしても良い。例えば、一連の動画像データの最初のフレームの符号化データのみに視差パラメータを多重して立体映像受信装置２０Ａに与えるようにしても良い。また例えば、立体映像送信装置１０Ａ及び立体映像受信装置２０Ａ間で、画像データを授受し合う動作の開始前に行うネゴシエーション期間で視差パラメータを立体映像送信装置１０Ａから立体映像受信装置２０Ａへ与えるようにしても良い。

立体映像受信装置２０Ａは、受信部２１Ａ、復号部２２、画像多重分離部２３Ａ及び多重分離設定情報部２４を有する。復号部２２は、第１の実施形態のものと同様である。ここで、復号部２２、画像多重分離部２３Ａ及び多重分離設定情報部２４が、第２の実施形態の立体映像復号装置の構成要素である。

第２の実施形態に係る受信部２１Ａは、立体映像送信装置１０Ａが送信したデータを受信し、視差パラメータと符号化データとに多重分離し、視差パラメータを多重分離設定情報部２４に与え、符号化データを復号部２２に与えるものである。

第２の実施形態で新たに設けられた多重分離設定情報部２４は、受信部２１Ａから与えられた視差パラメータを保持するものである。

第２の実施形態に係る画像多重分離部２３Ａは、多重分離設定情報部２４に設定されている視差パラメータを参照し、図５を用いて説明した、上述した画像多重部１１Ａによる多重処理の逆処理（多重分離処理）を行い、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ（すなわち、左右視点画像）を再生するものである。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の立体映像符号化システムを含む立体映像通信システム１Ａの動作を説明する。

初めに、立体映像送信装置１０Ａの動作を、図７のフローチャートを参照しながら説明する。図７において、第１の実施形態に係る図３との同一ステップには同一符号を付して示している。図７は、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重して送信する動作を示しており、この図７に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。

まず、多重設定情報部１４に保持されている視差パラメータの情報が、ユーザからの指示など、外部からの指定によって更新される（ステップＳ３０１）。

そして、画像多重部１１は、撮影カメラや記録ファイルといった映像ソースから、同期している一対の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ（左右の視点画像）を取得し（ステップＳ１０１）、図５に示したように、視差パラメータに応じて、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに対して、横方向に、非交互多重領域ＡＲＬ１及びＡＲＲ１と、交互多重領域ＡＲＬ２及びＡＲＲ２とに区分し、左目用画像ＰＩＣＬの非交互多重領域ＡＲＬ１、左目用画像ＰＩＣＬの縦縞画像部分ＡＲＬ２−１〜ＡＲＬ２−Ｍと右目用画像ＰＩＣＲの縦縞画像部分ＡＲＲ２−１〜ＡＲＲ２−Ｍとの横方向の交互配置領域、右目用画像ＰＩＣＲの非交互多重領域ＡＲＲ１とを左側から配置するように、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重する（ステップＳ３０２）。

画像多重部１１は、得られた多重画像ＣＰＩＣＡを符号化部１２に与え（ステップＳ１０３）、符号化部１２は、多重画像ＣＰＩＣＡを所定の符号化方式に従って符号化し（ステップＳ１０４）、得られた符号化データを送信部１３Ａに与える（ステップＳ１０５）。

送信部１３Ａは、多重設定情報部１４から視差パラメータを取得した後（ステップＳ３０３）、例えば、符号化部１２から出力された符号化データのヘッダ部分の末尾へ、視差パラメータの情報を追加することにより、符号化データ及び視差パラメータの多重化を行う（ステップＳ３０４）。符号化データのヘッダとしては、シーケンス全体の符号化情報（シーケンスヘッダ）、各フレームに関する符号化情報（フレームヘッダ）、動画像の符号化単位であるマクロブロックを何個か合わせた各スライスに関する符号化情報（スライスヘッダ）などがあり、いずれのヘッダの末尾に追加しても良いが、以下では、フレームヘッダの末尾へ視差パラメータを含めるとして説明する。なお、符号化データの先頭に固定長の符号で視差パラメータを追加する、というような他の形式で多重しても構わない。

送信部１３Ａは、与えられた視差パラメータが追加された符号化データから送信データを組み立て（ステップＳ１０６）、その送信データを立体映像受信装置２０Ａへ向けて送信する（ステップＳ１０７）。

次に、立体映像受信装置２０Ａの動作を、図８のフローチャートを参照しながら説明する。図８において、第１の実施形態に係る図４との同一ステップには同一符号を付して示している。図８は、受信データに基づき、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重分離する動作を示しており、この図８に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。以下では、送信データがパケットであるとして説明する。

受信部２１Ａは、送信側より送られたパケットを受信し（ステップＳ２０１）、受信したパケットから、視差パラメータと符号化データを多重分離し（ステップＳ４０１）、多重分離設定情報部２４に保持されている視差パラメータの情報を、受信した視差パラメータの値に更新すると共に（ステップＳ４０２）、得られた符号化データを復号部２２に与える（ステップＳ２０３）。

復号部２２は、入力された符号化データを復号した後（ステップＳ２０４）、今回の復号情報を含めて１フレーム分の復号画像が得られたか否かを判別する（ステップＳ２０５）。１フレーム分の復号画像が得られなかった場合には、ステップＳ２０１へ戻り、１フレーム分の復号画像が得られた場合には、復号部２２は、得られた復号画像を画像多重分離部２３Ａに与える（ステップＳ２０６）。

画像多重分離部２３Ａは、多重分離設定情報部２４に保持されている視差パラメータを参照し、復号画像（復号された多重画像）に対して、画像多重部１１Ａの多重処理に対応した多重分離処理を行って（図５参照）、左目用画像及び右目用画像を得る（ステップＳ４０３）。

画像多重分離部２３Ａは、得られた左目用画像及び右目用画像を表示機器３０に与え（ステップＳ２０８）、立体視表示させる。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、利用者が視差パラメータを指定することにより、指定された視差を持つ対応点が隣接するような、左目用画像及び右目用画像の多重処理を行うので、指定された視差を持つ領域が隣接するため、この領域に対しては、パケットロスによるノイズの視点間の差が生じない。そのため、視差パラメータとして、人が注目する領域の視差量を指定した場合、その注目領域に対する、視点間の差が生じないため、主観的な画質の低下を抑えることが可能となる。また、指定された視差を持つ領域の空間的な相関性が高くなるため、この部分の符号化効率が向上し、主観品質が向上することが期待できる。このように、任意の視差量を持つ領域に関して、左右差に視野闘争を抑制し、符号化効率を向上させる効果がある。

（Ｃ）第３の実施形態
次に、本発明による立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムの第３の実施形態を、図面を参照しながら説明する。

第３の実施形態の立体映像符号化システムは、立体映像通信システムに組み込まれたものである。

上述した第２の実施形態では、視差パラメータを指定することにより、指定した視差をもつ領域の、パケットロスによるノイズの影響を低減するようにしていた。しかし、視差パラメータを指定する必要がある上、映像は時間と共に変化するため、適切な視差パラメータも変化する。この第３の実施形態では、入力画像から視差パラメータを推定する機能を追加している。

図９は、第３の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図であり、第２の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図９において、立体映像通信システム１Ｂは、立体映像送信装置１０Ｂ及び立体映像受信装置２０Ａを有する。立体映像受信装置２０Ａは、第２の実施形態のものと同一であり、その機能説明は省略する。

立体映像送信装置１０Ｂは、画像多重部１１Ａ、符号化部１２、送信部１３Ａ及び多重設定情報部１４に加え、視差パラメータ計算部１５を有する。画像多重部１１Ａ、符号化部１２、送信部１３Ａ及び多重設定情報部１４は、第２の実施形態のものと同一であり、その機能説明は省略する。

視差パラメータ計算部１５は、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに基づいて、視差パラメータを計算して多重設定情報部１４に与え
視差パラメータ計算部１５は、例えば、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの対応する点をブロックマッチング法などの方法で推定する。左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲで対応する点の画素位置を比較することで、各点の視差量を推定する。そして、得られた複数の視差量から、例えば、以下のようにして多重設定情報部１４に与える視差量（視差パラメータ）を決定する。第１に、最も大きい視差量を、多重設定情報部１４に与える視差量（視差パラメータ）に決定する。第２に、最大頻度の視差量を、多重設定情報部１４に与える視差量（視差パラメータ）に決定する。

以上では、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲから、多重設定情報部１４に与える視差量（視差パラメータ）を決定する場合を説明したが、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに加えて、他の情報（以下、補助情報と呼ぶ）をも、視差量（視差パラメータ）の決定に利用するようにしても良い。補助情報として、奥行き情報を利用できる。例えば、撮像カメラの焦点距離や、ズーム時の倍率などを、奥行情報として取込んで用いることができる。左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに加えて、奥行き情報を利用することにより、視差量の探索処理を迅速化できる。例えば、視差パラメータの第１の決定方法に係る最も視差量の大きい点というのは、奥行きが最も短い点ということであるので、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの一方の点に対応する他方の画像の点は、奥行き情報で定まる視差量、若しくは、その近傍の値だけずれて存在する。従って、探索範囲を、奥行き情報に応じて定まる狭い範囲に限定し、視差量を計算するようにしても良い。

第３の実施形態によれば、フレーム毎に視差パラメータを入力画像から推定するようにしたので、時間の変化に伴い、奥行きの変化が起こる立体映像に対しても、視差パラメータを動的に設定することができる。

ここで、設定する視差パラメータを左右視点画像内の最大視差とした場合には、最も拒離の近い領域に対して、ノイズの影響を低減し、符号化効率を向上させる効果がある。また、このような視差量の大きい領域は、手前に写る領域となるため、この領域の符号化効率の向上と、視野闘争の抑制により、主観画質の向上が期待できる。また、設定する視差パラメータを左右視点画像内の視差量で最も多いものとした場合には、左右視点画像間の全体的な相関を高めることとなり、符号化効率が向上する。

（Ｄ）第４の実施形態
次に、本発明による立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラムの第４の実施形態を、図面を参照しながら説明する。

第４の実施形態の立体映像符号化システムは、立体映像通信システムに組み込まれたものである。

（Ｄ−１）第４の実施形態の構成
第１〜第３の実施形態では、画像全体に対して全て同一の多重処理を行っていた。しかし、左右視点画像内の視差量は領域によって異なる。例えば、画像の上部には、視差量が小さい領域、すなわち、背景となるような奥行きが深い領域が広く写っており、画像の下部には、視差量が大きい領域、すなわち、手前に存在する物体の領域が広く写っている、ということがある。

第４の実施形態の立体映像符号化システムは、このような点に鑑み、横方向のライン毎（１ライン毎に限定されず、複数ライン毎であっても良い）に視差パラメータを設定して多重処理を行う。以下では、１ライン毎に視差パラメータを設定する場合を説明する。

図１０は、第４の実施形態の立体映像符号化システムを含む立体映像通信システムの構成を示すブロック図であり、既述した図面との同一、対応部分には同一、対応符号を付して示している。

図１０において、立体映像通信システム１Ｃは、立体映像送信装置１０Ｃ及び立体映像受信装置２０Ｃを有する。

立体映像送信装置１０Ｃは、画像多重部１１Ｃ、符号化部１２、送信部１３Ｃ、多重設定情報部１４Ｃ及び視差パラメータ計算部１５Ｃを有する。符号化部１２は、第１の実施形態のものと同様である。ここで、画像多重部１１Ｃ、符号化部１２、多重設定情報部１４Ｃ及び視差パラメータ計算部１５Ｃが、第４の実施形態の立体映像符号化装置の構成要素である。

第４の実施形態における視差パラメータ計算部１５Ｃは、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに基づいて（さらに、第３の実施形態で言及したように、補助情報を利用しても良い）、ライン毎の視差パラメータを計算し、ライン毎の視差パラメータを多重設定情報部１４Ｃに与えるものである。ライン毎の視差パラメータの計算方法も、第３の実施形態で説明した画像全体の視差パラメータの計算方法とほぼ同様である。すなわち、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの対応する点をブロックマッチング法などの方法で推定し、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲで対応する点の画素位置を比較することで、各点の視差量を推定する。そして、１ラインについて得られた複数の視差量から、例えば、最も大きい視差量を、多重設定情報部１４に与えるライン毎の視差量（視差パラメータ）に決定したり、最大頻度の視差量を、多重設定情報部１４に与えるライン毎の視差量（視差パラメータ）に決定したりする。

第４の実施形態における多重設定情報部１４Ｃは、視差パラメータ計算部１５Ｃから与えられたライン毎の視差パラメータを保持する。

第４の実施形態における画像多重部１１Ｃは、多重設定情報部１４Ｃに保持されているライン毎の視差パラメータに基づいて、ライン毎に多重方法を切り替えながら、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲをライン毎に多重し、多重画像ＣＰＩＣＣを符号化部１２に与えるものである。画像多重部１１Ｃは、あるラインが多重処理の対象ラインとなったときには、多重設定情報部１４に保持されているそのラインの視差パラメータを参照し、視差パラメータに応じて、入力された左目用画像ＰＩＣＬの処理対象ラインに対して、横方向に、非交互多重領域と交互多重領域とに区分すると共に、入力された右目用画像ＰＩＣＲの処理対象ラインに対して、横方向に、交互多重領域と非交互多重領域とに区分し、その後、左目用画像ＰＩＣＬの処理対象ラインの非交互多重領域、左目用画像ＰＩＣＬの処理対象ラインの交互多重領域の画素と右目用画像ＰＩＣＲの処理対象ラインの交互多重領域の画素とを交互に配置させた領域、右目用画像ＰＩＣＲの処理対象ラインの非交互多重領域とを左側から配置することにより、多重画像ＣＰＩＣＡにおける処理対象ラインを形成する。

第４の実施形態に係る送信部１３Ｃは、符号化部１２から出力された符号化データと多重設定情報部１４Ｃで保持されているライン毎の視差パラメータとを多重した後、送信データ（例えばパケット）を形成して立体映像受信装置２０Ｃに向けて送信するものである。

立体映像受信装置２０Ｃは、受信部２１Ｃ、復号部２２、画像多重分離部２３Ｃ及び多重分離設定情報部２４Ｃを有する。復号部２２は、第１の実施形態のものと同様である。ここで、復号部２２、画像多重分離部２３Ｃ及び多重分離設定情報部２４Ｃが、第４の実施形態の立体映像復号装置の構成要素である。

第４の実施形態に係る受信部２１Ｃは、立体映像送信装置１０Ｃが送信したデータを受信し、ライン毎の視差パラメータと符号化データとに多重分離し、ライン毎の視差パラメータを多重分離設定情報部２４Ｃに与え、符号化データを復号部２２に与えるものである。

第４の実施形態における多重分離設定情報部２４Ｃは、受信部２１Ｃから与えられたライン毎の視差パラメータを保持するものである。

第４の実施形態に係る画像多重分離部２３Ｃは、多重分離設定情報部２４Ｃに設定されているライン毎の視差パラメータを参照し、上述した画像多重部１１Ｃによるライン毎の多重処理の逆処理（ライン毎の多重分離処理）を行い、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ（すなわち、左右視点画像）を再生するものである。

（Ｄ−２）第４の実施形態の動作
次に、第４の実施形態の立体映像符号化システムを含む立体映像通信システム１Ｃの動作を説明する。

初めに、立体映像送信装置１０Ｃの動作を、図１１のフローチャートを参照しながら説明する。図１１において、第２の実施形態に係る図７との同一ステップには同一符号を付して示している。図１１は、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重して送信する動作を示しており、この図１１に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。

まず、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに基づいて（補助情報を利用する場合には補助情報にも基づく）、視差パラメータ計算部１５Ｃが、ライン毎の視差パラメータを計算し、多重設定情報部１４Ｃに保持されているライン毎の視差パラメータの情報が、計算によって得られたライン毎の視差パラメータに更新される（ステップＳ５０１）。

そして、画像多重部１１Ｃは、一対の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲ（左右の視点画像）を取得し（ステップＳ１０１）、ライＮ毎の視差パラメータに応じて、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに対して、上述したライン毎の多重処理を行い、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの多重画像ＣＰＩＣＣを形成する（ステップＳ５０２）。

画像多重部１１Ｃは、得られた多重画像ＣＰＩＣＣを符号化部１２に与え（ステップＳ１０３）、符号化部１２は、多重画像ＣＰＩＣＣを所定の符号化方式に従って符号化し（ステップＳ１０４）、得られた符号化データを送信部１３Ｃに与える（ステップＳ１０５）。

送信部１３Ｃは、多重設定情報部１４Ｃからライン毎の視差パラメータを取得した後（ステップＳ５０３）、例えば、符号化部１２から出力された符号化データのヘッダ部分の末尾へ、ライン毎の視差パラメータの情報を追加することにより、符号化データ及びライン毎の視差パラメータの多重化を行う（ステップＳ５０４）。

送信部１３Ｃは、与えられたライン毎の視差パラメータが追加された符号化データから、送信データを組み立て（ステップＳ１０６）、その送信データを立体映像受信装置２０Ｃへ向けて送信する（ステップＳ１０７）。

次に、立体映像受信装置２０Ｃの動作を、図１２のフローチャートを参照しながら説明する。図１２において、第２の実施形態に係る図８との同一ステップには同一符号を付して示している。図１２は、受信データに基づき、同期している１フレーム分の左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲを多重分離する動作を示しており、この図１２に示す動作が立体視の動画像を構成しているフレーム数分だけ繰り返される。以下では、送信データがパケットであるとして説明する。

受信部２１Ｃは、送信側より送られたパケットを受信し（ステップＳ２０１）、受信したパケットから、ライン毎の視差パラメータと符号化データを多重分離し（ステップＳ６０１）、多重分離設定情報部２４Ｃに保持されているライン毎の視差パラメータの情報を、受信したライン毎の視差パラメータの値に更新すると共に（ステップＳ６０２）、得られた符号化データを復号部２２に与える（ステップＳ２０３）。

復号部２２は、入力された符号化データを復号した後（ステップＳ２０４）、今回の復号情報を含めて１フレーム分の復号画像が得られたか否かを判別する（ステップＳ２０５）。１フレーム分の復号画像が得られなかった場合には、ステップＳ２０１へ戻り、１フレーム分の復号画像が得られた場合には、復号部２２は、得られた復号画像を画像多重分離部２３Ｃに与える（ステップＳ２０６）。

画像多重分離部２３Ｃは、多重分離設定情報部２４Ｃに保持されているライン毎の視差パラメータを参照し、復号画像（復号された多重画像）に対して、画像多重部１１Ｃによるライン毎の多重処理に対応したライン毎の多重分離処理を行って、左目用画像及び右目用画像を得る（ステップＳ６０３）。

画像多重分離部２３Ｃは、得られた左目用画像及び右目用画像を表示機器３０に与え（ステップＳ２０８）、立体視表示させる。

（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、ライン毎に視差パラメータを設定し、ライン毎の視差パラメータに応じてライン毎に多重処理を切り替えるようにしたので、様々な奥行きを持つ左右視点画像に対して、パケットロスによるノイズの影響による視野闘争の発生を抑えることができる。また、ライン毎に適切な視差パラメータを設定するため、ライン内での相関が高くなり、符号化効率の向上が期待できる。

（Ｅ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記各実施形態では、入力された左目用画像及び右目用画像をそのまま多重し、多重画像の横方向の長さが、左目用画像、右目用画像の横方向の長さの２倍になるものを示したが、入力された左目用画像及び右目用画像をそれぞれ、横方向に１／２に縮小した後、２つの縮小画像に対して、上記各実施形態で説明した多重処理を行って、左目用画像、右目用画像の横方向の長さと同じ多重画像を形成するようにしても良い。

第４の実施形態では、１又は複数の画素ライン単位に、その単位毎の視差パラメータに応じた多重処理を行うものを示したが、マクロブロックの縦方向の幅（例えば、８画素×８画素のマクロブロックであれば、縦方向の８画素）を単位に視差パラメータを計算し、その幅を単位に多重処理を行うようにしても良い。

上記各実施形態では、左右視点画像の多重画像の符号化データを、２つの装置からで送受信するものを示したが、左右視点画像の多重画像の符号化データを記録媒体に記録し、その記録媒体から再生した符号化データを復号する場合にも、本発明の技術思想を適用することができる。

輝度信号の左右視点画像を多重化した後、符号化して輝度符号化データを得ると共に、色差信号の左右視点画像を多重化した後、符号化して色差符号化データを得る装置に、上記第３や第４の実施形態の技術思想を適用する場合であれば、例えば、輝度信号について得た視差パラメータやライン毎の視差パラメータを、色差信号の処理系でそのまま流用するようにしても良い。

１、１Ａ、１Ｂ、１Ｃ…立体映像通信システム、
１０、１０Ａ、１０Ｂ、１０Ｃ…立体映像送信装置、
１１、１１Ａ、１１Ｃ…画像多重部、１２…符号化部、１３、１３Ａ、１３Ｃ…送信部、１４、１４Ｃ…多重設定情報部、１５、１５Ｃ…視差パラメータ計算部、
２０、２０Ａ、２０Ｃ…立体映像受信装置、
２１、２１Ａ、２１Ｃ…受信部、２２…復号部、２３、２３Ａ、２３Ｃ…画像多重分離部、２４、２４Ｃ…多重分離設定情報部。

図１３を用いて、エラーの伝播により、対応する領域同士に大きな差が生じ得ることを説明する。今、右目用画像の縮小画像と左目用画像の縮小画像とが並置合成された、図１３（Ａ）に示すｎフレーム目の合成画像において、パケットロスにより、領域Ｙが欠落したとする。なお、図１３（Ａ）及び（Ｂ）における領域ＸＬ及びＸＲは左目用画像と右目用画像の対応する領域とする。

第１の本発明の立体映像符号化装置は、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段とを備え、（３）上記画像多重手段は、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成し、（４）上記横方向ラインの所定範囲が、全ての横方向ラインで同じであって、上記左目用画像及び上記右目用画像の視差量に応じて定まり、上記左目用画像及び上記右目用画像に対応する領域が存在する範囲であることを特徴とする。
第２の本発明の立体映像符号化装置は、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段とを備え、（３）上記画像多重手段は、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成し、（４）上記横方向ラインの所定範囲が、横方向ライン毎、若しくは、数ラインでなる横方向ラインの組毎に相違し、処理対象の横方向ライン若しくは横方向ライン組の、上記左目用画像及び上記右目用画像の視差量に応じて定まり、上記左目用画像及び上記右目用画像に対応する領域が存在する範囲であり、（５）上記左目用画像及び上記右目用画像の相関が高い領域の探索を行い、その探索により得られた複数の視差量のうち、最大の視差量若しくは最大頻度の視差量を、上記左目用画像及び上記右目用画像の視差量とする視差パラメータ算出手段を備えることを特徴とする。

第３の本発明の立体映像復号装置は、第１の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力されると共に第１の本発明の立体映像符号化装置から視差量の情報が入力されるものであって、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、入力された視差量の情報を適用して、第１の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段とを備えることを特徴とする。
第４の本発明の立体映像復号装置は、第２の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力されると共に第２の本発明の立体映像符号化装置から視差量の情報が入力されるものであって、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、入力された視差量の情報を適用して、第２の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段とを備えることを特徴とする。

第５の本発明の立体映像符号化システムは、第１の本発明の立体映像符号化装置と、第３の本発明の立体映像復号装置とを有することを特徴とする。
第６の本発明の立体映像符号化システムは、第２の本発明の立体映像符号化装置と、第４の本発明の立体映像復号装置とを有することを特徴とする。

第７の本発明の立体映像符号化プログラムは、コンピュータを、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成するものであって、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段として機能させる立体映像符号化プログラムであって、（３）上記横方向ラインの所定範囲が、全ての横方向ラインで同じであって、上記左目用画像及び上記右目用画像の視差量に応じて定まり、視差に拘わらず、上記左目用画像及び上記右目用画像に対応する領域が存在する範囲であることを特徴とする。
第８の本発明の立体映像符号化プログラムは、コンピュータを、（１）縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成するものであって、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成する画像多重手段と、（２）生成された多重画像を符号化する符号化手段と、（３）上記左目用画像及び上記右目用画像の相関が高い領域の探索を行い、その探索により得られた複数の視差量のうち、最大の視差量若しくは最大頻度の視差量を、上記左目用画像及び上記右目用画像の視差量とする視差パラメータ算出手段として機能させる立体映像符号化プログラムであって、（４）上記横方向ラインの所定範囲が、横方向ライン毎、若しくは、数ラインでなる横方向ラインの組毎に相違し、処理対象の横方向ライン若しくは横方向ライン組の、上記左目用画像及び上記右目用画像の視差量に応じて定まり、視差に拘わらず、上記左目用画像及び上記右目用画像に対応する領域が存在する範囲であることを特徴とする。

第９の本発明の立体映像復号プログラムは、第１の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力されると共に第１の本発明の立体映像符号化装置から視差量の情報が入力される装置に搭載されるコンピュータを、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、入力された視差量の情報を適用して、第１の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段として機能させることを特徴とする。
第１０の本発明の立体映像復号プログラムは、第２の本発明の立体映像符号化装置が形成した多重画像の符号化データが入力されると共に第２の本発明の立体映像符号化装置から視差量の情報が入力される装置に搭載されるコンピュータを、（１）入力された多重画像の符号化データを復号する復号手段と、（２）復号により得られた多重画像に対して、入力された視差量の情報を適用して、第２の本発明の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段として機能させることを特徴とする。

視差パラメータ計算部１５は、入力された左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲに基づいて、視差パラメータを計算して多重設定情報部１４に与えるものである。視差パラメータ計算部１５は、例えば、左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲの対応する点をブロックマッチング法などの方法で推定する。左目用画像ＰＩＣＬ及び右目用画像ＰＩＣＲで対応する点の画素位置を比較することで、各点の視差量を推定する。そして、得られた複数の視差量から、例えば、以下のようにして多重設定情報部１４に与える視差量（視差パラメータ）を決定する。第１に、最も大きい視差量を、多重設定情報部１４に与える視差量（視差パラメータ）に決定する。第２に、最大頻度の視差量を、多重設定情報部１４に与える視差量（視差パラメータ）に決定する。

上記各実施形態では、左右視点画像の多重画像の符号化データを、２つの装置間で送受信するものを示したが、左右視点画像の多重画像の符号化データを記録媒体に記録し、その記録媒体から再生した符号化データを復号する場合にも、本発明の技術思想を適用することができる。

Claims (12)

1. 縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成する画像多重手段と、
   生成された多重画像を符号化する符号化手段とを備え、
   上記画像多重手段は、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成する
   ことを特徴とする立体映像符号化装置。
2. 上記所定の画素数単位が１画素単位であることを特徴とする請求項１に記載の立体映像符号化装置。
3. 上記横方向ラインの所定範囲が、全ての横方向ラインで同じであって、横方向ラインの全範囲であることを特徴とする請求項１又は２に記載の立体映像符号化装置。
4. 上記横方向ラインの所定範囲が、全ての横方向ラインで同じであって、上記左目用画像及び上記右目用画像の視差量に応じた範囲であることを特徴とする請求項１又は２に記載の立体映像符号化装置。
5. 上記左目用画像及び上記右目用画像の視差量の情報が外部から与えられることを特徴とする請求項４に記載の立体映像符号化装置。
6. 上記左目用画像及び上記右目用画像の相関が高い領域の探索により、上記左目用画像及び上記右目用画像の視差量の情報を算出する視差パラメータ算出手段をさらに備えることを特徴とする請求項４に記載の立体映像符号化装置。
7. 上記横方向ラインの所定範囲が、横方向ライン毎、若しくは、数ラインでなる横方向ラインの組毎に相違し、処理対象の横方向ライン若しくは横方向ライン組の、上記左目用画像及び上記右目用画像の視差量に応じた範囲であることを特徴とする請求項１又は２に記載の立体映像符号化装置。
8. 上記左目用画像及び上記右目用画像の相関が高い領域の探索により、上記左目用画像及び上記右目用画像の、横方向ライン毎、若しくは、横方向ラインの組毎の視差量の情報を算出する視差パラメータ算出手段をさらに備えることを特徴とする請求項７に記載の立体映像符号化装置。
9. 請求項１に記載の立体映像符号化装置が形成した多重画像の符号化データが入力される立体映像復号装置において、
   入力された多重画像の符号化データを復号する復号手段と、
   復号により得られた多重画像に対して、請求項１に記載の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段とを備える
   ことを特徴とする立体映像復号装置。
10. 請求項１に記載の立体映像符号化装置と、請求項９に記載の立体映像復号装置とを有することを特徴とする立体映像符号化システム。
11. コンピュータを、
    縦横の画素数が同じ左目用画像及び右目用画像を多重して多重画像を生成するものであって、縦方向が同一の上記左目用画像及び上記右目用画像の横方向ラインの所定範囲の情報を、所定の画素数単位で横方向に交互に混在させて、縦方向が同じ上記多重画像の横方向ラインの情報を生成する画像多重手段と、
    生成された多重画像を符号化する符号化手段と
    して機能させることを特徴とする立体映像符号化プログラム。
12. 請求項１に記載の立体映像符号化装置が形成した多重画像の符号化データが入力される装置に搭載されるコンピュータを、
    入力された多重画像の符号化データを復号する復号手段と、
    復号により得られた多重画像に対して、請求項１に記載の立体映像符号化装置における画像多重手段の逆処理の多重分離を行うことにより、左目用画像及び右目用画像を分離抽出する画像多重分離手段と
    して機能させることを特徴とする立体映像復号プログラム。

Images