JP2019004271A - 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム - Google Patents

Abstract

【課題】立体映像の効率的なデータ圧縮を行いつつ、画質の低下を抑制した立体像を復元する。【解決手段】画像符号化装置１０ａは、複数の要素画像を変換した多視点画像群を取り込み、その多視点画像群のうち符号化の対象とする多視点画像を決定する際に、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理により決定するスウィーピング処理手段１２と、符号化の対象に決定した多視点画像とその奥行き画像情報とを圧縮符号化して符号化データを生成する画像符号化手段１３と、を備える。【選択図】図１４

Description

インテグラル方式を用いた立体映像の、画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラムに関する。

従来、任意の視点から視認することができる立体テレビ用の撮像・表示方式の一つとして、平面上または球面上に配列されたレンズ群（レンズアレイ）を用いるインテグラル方式が使用されている。このインテグラル方式を使用したカメラからの出力信号は、レンズ群から得られる立体撮像信号が集積されたものとなる。
基本原理に基づくインテグラル方式での立体像の撮影は、図１５に示すように、被写体１をレンズ２を介し、微小なレンズを多数並べたレンズアレイ３を通して撮像カメラ４で撮影する。また、立体像を表示する際は、各レンズにより撮影された画像（以下、「要素画像」と称する。）が配列された要素画像群を液晶パネル等の表示デバイス５に表示し、その前面にレンズアレイ６を配置することにより、元々の被写体１が放つ光線を再現することで、空間上に立体像７を再生する。

再生される立体像の解像度は、撮像カメラもしくは撮像素子、および、上記のレンズ群（レンズアレイ）を構成するレンズ（以下、「要素レンズ」と称する。）の個数に関係することが知られている。要素レンズの個数が増大し、一つのレンズに割り当てられる画素（以下、「要素画素」と称する。）の画素数が多ければ、再生される立体像の解像度も増大する。

ここで自然な（つまり、像が立体であると問題なく認識できる画質の）立体像を再現できる要素画像から構成される要素画像群の伝送や記録を考えると、そのデータサイズは、符号化後においても、画面解像度が高いことから増大する。

データサイズの圧縮に用いられる従来の符号化方式であるＡＶＣ（Advanced Video Coding）やＨＥＶＣ（High Efficiency Video Coding）では、符号化画像に対して離散コサイン変換などの直行変換処理を行う。この処理では画像に含まれる周波数成分を周波数ごとに分離している。人の眼では高い周波数成分の絵柄の変化には気付きにくいことから、ＡＶＣやＨＥＶＣの符号化処理では、高周波成分を量子化することでデータサイズを小さくする処理が行われている。
ここで、図１６（ａ）に示すような、要素画像群を符号化する場合について考える。なお、図１６（ｂ）は、要素画像群の一部を拡大して各要素画像を示した図である。要素画像に含まれる各画素は、その画素位置に応じたある特定の方向から来た光線の輝度情報を示している。

この図１６（ａ）のような要素画像群の符号化では、要素画像の画面解像度と符号化処理で直行変換を行う画像サイズが一致しない場合において、ある要素画像が隣の要素画像の影響を受けるため、直行変換後の画像には高周波成分が多く存在してしまう。そして、これらの高周波成分は量子化処理で丸められるため、丸めを多くすればするほど符号化時の画像劣化が顕著に表れてしまう。
この問題を解決する手法として、要素画像と直行変換処理を行う画像のサイズを一致させる技術が開発されている（例えば、特許文献１参照）。

さらに、要素画像群を効率的に符号化する技術として、特許文献２に記載の技術が開発されている。特許文献２に記載の技術では、要素画像を構成する一つ一つの画素が画素位置に応じて特定の方向から来た光線の強度を表わしていることに基づき、全ての要素画像から同じ画素位置にある画素を抽出して集めることにより、ある特定の方向（視点）から視認される画像（以下、「多視点画像」と称する。）を生成する。つまり、要素画像群を、各要素画像における同一位置の画素を要素とする集合に変換し、多視点画像が集まった画像群（以下、「多視点画像群」と称する。）を生成する。なお、多視点画像群は、各多視点画像をそれぞれの視点位置に応じて水平方向・垂直方向に並べたものである。そして、それらの多視点画像が集まった多視点画像群に対して、符号化処理を行う手法が報告されている。図１７に、要素画像群から変換した多視点画像群の一例を示す。図１７では、前景のキャラクタと背景の魚との位置関係が、各視点によって異なっている。

また、多視点画像群に変換した後で符号化を行う手法については、全ての多視点画像を符号化する手法と、多視点画像群から奥行き画像情報（以下、「デプス」と称する。）を生成することにより、一部の多視点画像と生成したデプスとを符号化する手法が報告されている。

この一部の多視点画像と生成したデプスとを符号化する手法を、図１８を参照して説明する。
図１８では、要素画像群から変換した多視点画像群のうち、上下左右の視域の端にあたる多視点画像、および、視域の中心にある多視点画像を抽出し、その抽出した多視点画像と、それらの画像に対応するデプスとを符号化の対象としている。エンコード側では、伝送や記録をするために符号化される画像が、全ての画像を符号化する場合と比べて画像の数が少ないことから効率的なデータ圧縮を行うことができる。一方、デコード側では伝送されなかった多視点画像を補間（以下、「視点内挿」と称する。）する処理が必要となる。視点内挿では、エンコード側で生成したデプスを用いることにより、原画像に近い映像を生成することが可能となる。

特開２００６−１４８８８５号公報 特開２０１３−２５１６６３号公報

上記した一部の多視点画像と生成したデプスとを符号化する手法を用いた場合、現状では、視点間の映像の相関が高く、ＣＧ（Computer Graphics）で生成した映像であれば、デコード側で画質劣化の少ない多視点画像群を得ることができる。しかしながら、実写の映像ではデコード側での実用サービスに耐えられる充分な画質の映像が生成できていないことに改善の余地があった。

本発明は、以上のような点を鑑みてなされたものであり、立体映像の効率的なデータ圧縮を行いつつ、画質の低下を抑制した立体像を復元することができる、画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラムを提供することを課題とする。

前記課題を解決するために、本願発明の画像符号化装置は、レンズアレイを介して得られる複数の要素画像から生成された多視点画像群を取り込んで符号化する画像符号化装置であって、スウィーピング処理手段と、画像符号化手段と、を備える構成とした。

かかる構成によれば、画像符号化装置は、スウィーピング処理手段によって、レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を用いて、複数の要素画像それぞれにおける同一の位置の部分画像が抽出され、抽出された部分画像を要素画像の配列にしたがって配列して部分画像の集合とすることにより生成された多視点画像群を取り込み、多視点画像群のうち符号化の対象とする多視点画像を決定する際に、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理により決定することができる。
これにより、画像符号化装置は、従来技術のように、常に同じ位置のある多視点画像を符号化するのではなく、フレーム毎に符号化する多視点画像を隣接する多視点画像に切り替える。よって、複数フレームの符号化を行えば、全ての視点での多視点画像の符号化を行うことができる。つまり、符号化されない多視点画像をなくすことができ、より多くの視点の多視点画像を利用して、復号する際の画質を均一にすることができる。

また、画像符号化装置は、画像符号化手段によって、スウィーピング処理手段が符号化の対象に決定した多視点画像の奥行き画像情報を生成し、符号化の対象に決定した多視点画像と当該多視点画像に関して生成した奥行き画像情報とを圧縮符号化して符号化データを生成することができる。
これにより、画像符号化装置は、全ての多視点画像のうちスウィーピング処理手段が符号化の対象に決定した多視点画像とその奥行き画像情報とを、圧縮符号化して符号化データを生成することができる。よって、全ての多視点画像を符号化する場合に比べ、符号化の対象となる多視点画像を削減することができるため、符号化データのデータサイズを小さくすることができる。

このように、本願発明の画像符号化装置は、フレーム毎に符号化の対象とする多視点画像を予め設定した方向で隣接する多視点画像に切り替えて符号化データを生成することができる。これにより、常の同じ位置の多視点画像を符号化した符号化データを取り込む場合に比べ、この画像符号化装置による符号化データを取り込むことにより、画像復号化装置において、不足する画像を復元する際に画質を均一にでき、立体像の画質低下を抑えることができる。

また、本発明の画像復号化装置は、上記した画像符号化装置が生成した符号化データを取得する画像復号化手段と、多視点画像生成手段と、を備える構成とした。

かかる構成によれば、画像復号化装置は、画像復号化手段によって、画像符号化装置が生成した符号化データを取得し、その符号化データを、符号化の対象に決定した多視点画像と当該多視点画像に関して生成された奥行き画像情報とに復号することができる。
また、画像復号化装置は、多視点画像生成手段によって、フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する復号化した多視点画像およびフレーム間で隣接する復号化した多視点画像を、参照する多視点画像として抽出し、参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより不足する多視点画像を補間してフレーム毎の多視点画像群を生成して出力することができる。
これにより、画像復号化装置は、１フレーム内での多視点画像を利用した視点内挿に加え、フレーム間での多視点画像を利用した視点内挿を行い、多視点画像群を生成することができる。よって、補間する多視点画像の画質低下を抑えることができる。

このように、本発明の画像復号化装置は、画像符号化装置が生成した符号化データを取得し、１フレーム内やフレーム間での視点内挿を行い、不足している多視点画像を生成することができる。また、画像符号化装置のスウィーピング処理により、より多くの視点での多視点画像の情報を利用できるため、多視点画像群の画質を均一にし、立体像の画質低下を抑えることができる。よって、画面解像度が高くデータサイズが大きな実写の映像についても、実用サービスに耐えられる充分な画質の立体映像を生成することが可能となる。

本発明によれば、立体映像の効率的なデータ圧縮を行いつつ、画質の低下を抑制した立体像を復元することができる、画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラムを提供することができる。

本実施形態に係る画像符号化装置が実行するスウィーピング処理の概念を説明するための図である。 本実施形態に係る画像符号化装置と画像復号化装置の構成を示す機能ブロック図である。 各多視点画像とそのデプスとを簡略化して表わした多視点画像群を示す図である。 多視点画像群の内、符号化を行う多視点画像を示す図である。 符号化を行う多視点画像をフレーム毎に切り替えるスウィーピング処理の方向を示す図である。 １フレーム目において符号化を行う多視点画像の例を示す図である。 ２フレーム目において符号化を行う多視点画像の例を示す図である。 ３フレーム目において符号化を行う多視点画像の例を示す図である。 ４フレーム目において符号化を行う多視点画像の例を示す図である。 ５フレーム目において符号化を行う多視点画像の例を示す図である。 視点内挿処理において参照する多視点画像を説明するための図である。 多視点画像群の内、符号化を行う多視点画像の他の例を示す図である。 符号化を行う多視点画像をフレーム毎に切り替えるスウィーピング処理の方向を示す他の例の図である。 本実施形態に係る画像符号化装置と画像復号化装置の構成を示す機能ブロック図である。 インテグラル方式での立体像の撮影および表示手法を説明するための図である。 図１６（ａ）は、要素画像群の一例を示す図である。図１６（ｂ）は、要素画像の拡大図を示す図である。 要素画像群から変換した多視点画像群の一例を示す図である。 一部の多視点画像とそのデプスとを符号化する手法を説明するための図である。

以下、本発明を実施するための形態（以下、「実施形態」と称する。）について図面を参照して説明する。
まず、本実施形態に係る、画像符号化装置１０および画像復号化装置２０（共に後記する、図２参照）が実行する処理の概要について説明する。

本実施形態に係る画像符号化装置１０は、上記した一部の多視点画像と生成したデプスとを符号化する手法を改良し、次に示す構成を備える。（１）符号化を行う多視点画像の数を増やし、現状の視点合成技術で対応できる範囲での符号化を行う。つまり、図１８において説明した、従来の技術における、上下左右の視域の端にあたる多視点画像、および、視域の中心にある多視点画像を符号化する場合に比べて、全多視点画像のうち符号化を行う多視点画像を増加させる。（２）動画のフレーム毎に符号化の対象とする多視点画像を隣接する多視点画像（例えば、水平方向若しくは垂直方向の多視点画像）に切り替えていくことで、新たに符号化する多視点画像を選択するスウィーピング処理を行う。

本実施形態に係る画像符号化装置１０が実行するスウィーピング処理の概念を、図１を参照して説明する。
従来の多視点画像群の符号化においては、画像全体の中で符号化される多視点画像の位置が予め固定されていた。例えば、図１８に示すように、上下左右の視域の端や視域の中心の画像が予め選択され、全フレームにおいて、その固定した位置の多視点画像が符号化されていた。つまり、１フレーム内の空間軸上の位置においても、フレーム間の時間軸上の位置においても、符号化する多視点画像が固定されていた。
これに対し、本実施形態の画像符号化装置１０では、符号化の対象とする多視点画像を、フレーム毎に切り替えていく。例えば、図１に示すように、動画の１フレーム目では、「多視点画像１」と「多視点画像３」とを抽出し符号化する。２フレーム目では、「多視点画像２」と「多視点画像４」とを抽出し符号化する。３フレーム目以降も同様に、フレーム毎に符号化の対象となる多視点画像を切り替える。このように、フレーム毎に符号化する多視点画像を切り替えて決定する処理を、本実施形態ではスウィーピング処理と称する。

このスウィーピング処理を行うことで、画像復号化装置２０において、１フレーム空間内の視点内挿（空間軸上での距離の近い画像を用いた視点内挿）に加えて、フレーム間での画像を利用した視点内挿（時間軸上での距離の近い画像を用いた視点内挿）を行うことができる（詳細は、図１１を参照して後記する。）。よって、生成される画像の画質を向上させることができる。また、常に同じ位置にある多視点画像を視点内挿した場合、符号化されなかった画像（視点内挿を行った多視点画像）の画質劣化が符号化・復号化した多視点画像と比較して目立ってしまう。スウィーピング処理を行うことにより、全ての視点での多視点画像の情報を含んだ画像が生成されるため、デコード側で出力される多視点画像群は画質が均一となり、立体映像を見る位置によって変化する立体像の画質低下を抑えることができる。

＜画像符号化装置、画像復号化装置＞
次に、図２を参照して、本実施形態に係る画像符号化装置１０および画像復号化装置２０について説明する。
画像符号化装置１０は、例えば、インテグラル方式の撮影装置（撮像カメラ）に接続されたり、組み込まれたりすることにより、要素画像群データを多視点画像群に変換した上で符号化し、画像復号化装置２０側へ出力する装置である。画像復号化装置２０は、伝送装置（図示省略）等を介して、画像符号化装置１０から符号化データを取得し、その符号化データを復号化して多視点画像群を生成し、元の要素画像群データに復元する装置である。この画像復号化装置２０は、例えば、インテグラル方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。

≪画像符号化装置≫
画像符号化装置１０は、図２に示すように、多視点画像変換手段１１と、スウィーピング処理手段１２と、画像符号化手段１３とを備える。

多視点画像変換手段１１は、図示を省略したレンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像（要素画像群データ）を取り込む。そして、多視点画像変換手段１１は、取り込んだ複数の要素画像（要素画像群データ）について、各要素画像における同一の位置の部分画像を、要素画像における配列にしたがって配列した多視点画像群（部分画像の集合）に変換する。なお、部分画像は、要素画像の一部を切り出した画像であり、一画素で構成されてもよいし、隣接する複数の画素で構成されてもよい。

本実施形態においては、インテグラル方式の立体テレビカメラにより撮影された要素画像群データを取り込み、正方の要素レンズから構成されるレンズアレイを用いて表示装置に立体像を構成するときの要素画像群を例として説明する。
ここで、要素画像の解像度を一例として２０×２０画素とする。また、表示装置に配置されるレンズアレイの有効レンズ数を一例として２４０×１６０個とする。この場合、要素画像群のサイズは、４８００×３２００画素となる。さらに、この要素画像群を変換して得られる多視点画像群は、２４０×１６０画素からなる多視点画像が２０×２０視点となる。
以下、図３に示すように、多視点画像とそのデプスとを説明のため簡略化し一つの矩形で表記する。また、図３は、要素画像群から変換された多視点画像群（図３の符号Ｘ）として、２０×２０視点の多視点画像があることを示している。

図２に示すように、スウィーピング処理手段１２は、フレーム毎の各多視点画像（およびそのデプス。以下適宜省略。）について、符号化する多視点画像を決定する処理を行う。そして、スウィーピング処理手段１２は、フレーム毎に符号化の対象とする多視点画像を、隣接する視点位置（例えば、水平方向もしくは垂直方向）の多視点画像に切り替える。
ここで、例えば、スウィーピング処理手段１２は、多視点画像の２０×２０視点（全４００視点）のうち、図４で示した１００視点（矩形内を斜線で示す多視点画像）を符号化する多視点画像の基準点として予め決定しておく。そして、スウィーピング処理手段１２は、この１００視点を予め設定した図５で示す方向に、フレームが切り替わる毎に視点位置を移動していくスウィーピング処理を実行する。これにより、スウィーピング処理手段１２は、図６に示す１フレーム目、図７に示す２フレーム目、図８に示す３フレーム目、図９に示す４フレーム目、図１０に示す５フレーム目、というように、符号化する多視点画像の位置を切り替えていく。この場合には、４フレームあれば全ての視点の多視点画像（およびそのデプス）の成分を含めることができる。
また、スウィーピング処理手段１２が、全４００視点を符号化する場合と比較して符号化の対象となる多視点画像は１００視点となるため、符号化されたデータサイズを小さくすることができる。

なお、スウィーピング処理手段１２が１フレームにおいて符号化を決定する視点数や、フレーム毎に切り替わるスウィーピングの方向（水平方向、垂直方向、もしくは、斜め方向等）は、予め設定しておく。

図２に示すように、画像符号化手段１３は、スウィーピング処理手段１２が符号化すると決定した多視点画像についてデプス（奥行き画像情報）を生成する。そして、画像符号化手段１３は、符号化すると決定した多視点画像とそのデプスとを、例えば、二次元画像用の従来の符号化方式（ＡＶＣ、ＨＥＶＣ等）により圧縮符号化して符号化データを生成し、この符号化データを出力する。出力された符号化データは、図示を省略した伝送装置等により、画像復号化装置２０へ送信される。なお、多視点画像についてのデプスの生成と符号化については、例えば、特開２００７−３６８００号公報に記載の技術を用いることができる。

≪画像復号化装置≫
画像復号化装置２０は、図２に示すように、画像復号化手段２１と、多視点画像生成手段２２と、要素画像変換手段２３とを備える。

画像復号化手段２１は、画像符号化装置１０が生成した符号化データを、例えば、伝送装置を介して取得し、この符号化データを復号して多視点画像とそのデプスとを取得する。

多視点画像生成手段２２は、画像復号化手段２１が復号化した多視点画像とそのデプスと用いて、視点内挿処理を実行することにより、デコード側では伝送されなかった多視点画像を補間し、多視点画像群を生成する処理を実行する。
多視点画像生成手段２２は、この視点内挿処理を、予め設定しておいた、空間軸上で隣接する多視点画像（同一フレーム内で距離の近い画像）や、時間軸上で隣接する多視点画像（フレーム間で距離の近い画像）を参照することにより、不足している多視点画像を生成する。
なお、多視点画像生成手段２２は、多視点画像を生成する際に用いる画像を決定した後は、例えば、特開２０１０−２００１８８号公報に記載の視点内挿を行うための視点合成技術を用いて、不足している多視点画像を生成する。
以下、多視点画像生成手段２２が、視点内挿を行うために参照する多視点画像を決定する処理について、図４〜図１０等で示した例を用いて説明する。

図１１は、図５で示したフレーム毎の順番で、符号化する多視点画像を切り替えるスウィーピング処理が行われた場合における視点内挿処理を説明するための図である。図１１では、多視点画像の２０×２０視点（全４００視点）のうち、１フレーム目〜７フレーム目について、各フレーム中の一部である５×５視点を抜き出して図示している。例えば、１フレーム目は、図６に示す符号αの領域に含まれる多視点画像を示している。この図１１に示す１フレーム目〜７フレーム目において、中心に位置する３行３列目の視点の視点内挿を行うことを考える。
なお、３フレーム目では「５５」の番号が割り当てられた多視点画像が既に存在するため、視点内挿を行う必要はない。７フレーム目の「５４」の番号が割り当てられた多視点画像についても同様に視点内挿を行う必要はない。

ここで、多視点画像生成手段２２は、例えば、３フレーム目の「５５」の番号が割り当てられた多視点画像と、７フレーム目の「５４」の番号を割り当てられた多視点画像とが同じ（例えば、同じ輝度値）であれば、４〜６フレーム目も同一の画像である可能性が高く、その画像をコピーすることにより補間することができる。
なお、３フレーム目の「５５」の番号が割り当てられた多視点画像全体と、７フレーム目の「５４」の番号を割り当てられた多視点画像全体を比較するのではなく、これを分割した領域で扱ってもかまわない。３フレーム目の「５５」の番号が割り当てられた多視点画像と、７フレーム目の「５４」の番号が割り当てられた多視点画像の一部領域が同じであれば、４〜６フレーム目における、その同一である一部領域と同じ位置関係にある画像領域も同一の画像である可能性が高いため、その画像領域をコピーすることにより補間することができる。また、この場合における一部領域の一例として符号化における分割ブロックを単位とすることも可能である。

また、例えば、３フレーム目の「５５」の番号が割り振られた多視点画像と７フレーム目の「５４」の番号が割り振られた多視点画像とで視差が生じている場合、時間軸上での変化は、カメラのパン、チルトや被写体の動きによるものと考えられることができ、多視点画像生成手段２２は、動き予測を行った上で視点内挿処理を行う。

例えば、２フレーム目の３行３列目の多視点画像の視点内挿では、上記した時間軸上での差分情報に加えて、空間軸上の距離が近い「５１」および「５５」の番号を割り当てられた多視点画像を用いて視点内挿を行う。
同様に、４フレーム目の３行３列目の多視点画像の視点内挿でも時間軸上での差分情報に加えて、空間軸上の距離が近い「５５」および「６０」の番号を割り当てられた多視点画像を用いて視点内挿を行う。
同様に、６フレーム目の３行３列目の多視点画像の視点内挿でも時間軸上での差分情報に加えて、空間軸上の距離が近い「５０」および「５４」の番号を割り当てられた多視点画像を用いて視点内挿を行う。

また、１フレーム目の３行３列目の多視点画像の視点内挿では、上下左右の空間軸方向に参照可能な多くの多視点画像があることから、例えば、上下左右両方に同じ距離にある多視点画像である「４６」と「６５」、「５５」と「５６」を用いて視点内挿を行う。
同様に、５フレーム目の３行３列目の多視点画像の視点内挿では、例えば、上下左右両方に同じ距離にある多視点画像である「４５」と「６４」、「５４」と「５５」を用いて視点内挿を行う。

また、例えば、空間軸上で隣接する多視点画像（同一フレーム内で距離の近い画像）と、時間軸上で隣接する多視点画像（フレーム間で距離の近い画像）の両方を用いる手法として、次のようにしてもよい。多視点画像生成手段２２が、視点内挿を行うとする多視点画像の同一フレーム内で隣接する（周囲の）８つの多視点画像と、前後のフレームの各９つ（合計１８）の多視点画像とにより構成される立方体に相当する位置の多視点画像に関する情報を用いて、視点内挿を行う。
例えば、２フレーム目の３行３列目の多視点画像の視点内挿において、多視点画像生成手段２２は、空間軸上で隣接する多視点画像（同一フレーム内で距離の近い画像）として、「５５」と「５１」の番号が割り当てられた多視点画像を抽出する。また、多視点画像生成手段２２は、時間軸上で隣接する多視点画像（フレーム間で距離の近い画像）として、１フレーム目の「５１」と「６１」の番号が割り当てられた多視点画像を抽出し、３フレーム目の「５１」と「６０」の番号が割り当てられた多視点画像を抽出する。

このように、多視点画像生成手段２２は、空間軸上で隣接する多視点画像や、時間軸上で隣接する多視点画像を用いて視点内挿を行い、符号化されなかった多視点画像を補間する。
なお、多視点画像生成手段２２が、空間軸上や時間軸上で隣接する多視点画像のうち、どの多視点画像を視点内挿処理の際の参照するかについては、予め多視点画像生成手段２２に設定しておくものとする。

図２に示すように、要素画像変換手段２３は、多視点画像生成手段２２が視点内挿により生成した多視点画像群について、その多視点画像群を複数の要素画像（要素画像群）に変換し、要素画像群データとして復元して出力する。
具体的には、要素画像変換手段２３は、多視点画像生成手段２２が生成した多視点画像群における各部分画像から、同一の位置の画素を抽出し、抽出したこれらの画素を、要素レンズにおけるレンズ座標で示される部分画像の位置にしたがって配列した要素画像とすることにより、要素画像群を復元する。

以上説明したように、本実施形態に係る画像符号化装置１０および画像復号化装置２０によれば、画像符号化装置１０が、スウィーピング処理により、フレーム毎に符号化の対象とする多視点画像を、予め設定した方向で隣接する多視点画像に切り替えて決定し、符号化することができる。そして、画像復号化装置２０が、１フレーム空間内（空間軸上）での視点内挿やフレーム間（時間軸上）での視点内挿を行い、不足している多視点画像を生成することができる。よって、従来技術のように、常に同じ位置にある多視点画像を視点内挿した場合と比べ、スウィーピング処理を行うことにより、より多くの視点での多視点画像の情報を含んだ画像を生成できる。このため、デコード側で出力される多視点画像群は画質が均一となり、立体像の画質低下を抑えることができる。
よって、画像符号化装置１０および画像復号化装置２０によれば、立体映像の効率的なデータ圧縮を行いつつ、画質の低下を抑制した立体像を復元することができる。これにより、画面解像度が高くデータサイズが大きな実写の映像についても、実用サービスに耐えられる充分な画質の立体映像を生成することが可能となる。

なお、本実施形態に係る画像符号化装置１０のスウィーピング処理手段１２が実行するスウィーピング処理で多視点画像を切り替える方向は、図４で示した多視点画像の基準点と図５で示した方向に限定されない。
図１２は、多視点画像の基準点の他の例であり、図１３は、図１２の基準点からのスウィーピング処理の方向を示す図である。スウィーピング処理手段１２は、図１２で示す１００視点（矩形内を斜線で示す多視点画像）を符号化する多視点画像の基準点として予め決定しておく。そして、スウィーピング処理手段１２は、この１００視点を予め設定した図１３で示す方向に、フレームが切り替わる毎に視点位置を移動していくスウィーピング処理を実行する。このようにすることによっても、４フレームあれば全ての視点の多視点画像（およびそのデプス）を含めた視点内挿を、画像複合化装置２０において行うことができる。

また、本実施形態に係る画像符号化装置１０および画像復号化装置２０を、図１４に示す、画像符号化装置１０ａおよび画像復号化装置２０ａとして構成してもよい。
画像符号化装置１０ａは、スウィーピング処理手段１２および画像符号化手段１３を備えているが、図２に示した画像符号化装置１０と比べ、多視点画像変換手段１１を備えていない。この場合、画像符号化装置１０ａのスウィーピング処理手段１２は、レンズアレイを介して得られた複数の要素画像を変換した結果としての多視点画像群のデータを取り込むようにする。
この画像符号化装置１０ａは、図２の画像符号化装置１０と同様に、フレーム毎に符号化の対象とする多視点画像を予め設定した方向で隣接する多視点画像に切り替えて符号化データを生成することができる。よって、従来技術のように、常の同じ位置の多視点画像を符号化した符号化データを取り込む場合に比べ、画像符号化装置１０ａによる符号化データを取り込むことにより、画像復号化装置２０ａにおいて、不足する画像を復元する際に画質を均一にでき、立体像の画質低下を抑えることができる。

画像復号化装置２０ａは、画像復号化手段２１および多視点画像生成手段２２を備えているが、図２に示した画像復号化装置２０と比べ、要素画像変換手段２３を備えていない。この場合、画像復号化装置２０ａの多視点画像生成手段２２は、生成した多視点画像群を出力するようにする。
この画像復号化装置２０ａは、図２の画像復号化装置２０と同様に、画像符号化装置１０ａが生成した符号化データを取得し、１フレーム内やフレーム間での視点内挿を行い、不足している多視点画像を生成することができる。その際、画像符号化装置１０ａのスウィーピング処理により、より多くの視点での多視点画像の情報を利用できるため、多視点画像群の画質を均一にし、立体像の画質低下を抑えることができる。

なお、本実施形態においては、本発明に係る画像符号化装置および画像復号化装置を独立した装置として説明したが、これに限定されない。例えば、本発明では、一般的なコンピュータのハードウェア資源を、画像符号化装置、画像復号化装置それぞれの各手段として動作させるプログラム（画像符号化プログラムおよび画像復号化プログラム）によって実現することができる。また、このプログラム（画像符号化プログラムおよび画像復号化プログラム）は、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。

１０，１０ａ 画像符号化装置
１１ 多視点画像変換手段
１２ スウィーピング処理手段
１３ 画像符号化手段
２０，２０ａ 画像復号化装置
２１ 画像復号化手段
２２ 多視点画像生成手段
２３ 要素画像変換手段

Claims (6)

1. レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を用いて、前記複数の要素画像それぞれにおける同一の位置の部分画像が抽出され、前記抽出された部分画像を前記要素画像の配列にしたがって配列して前記部分画像の集合とすることにより生成された多視点画像群を取り込み、
   前記多視点画像群のうち符号化の対象とする多視点画像を決定する際に、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理により決定するスウィーピング処理手段と、
   前記スウィーピング処理手段が符号化の対象に決定した多視点画像の奥行き画像情報を生成し、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成した前記奥行き画像情報とを圧縮符号化して符号化データを生成する画像符号化手段と、
   を備えることを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置が生成した符号化データを取得し、前記符号化データを、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成された前記奥行き画像情報とに復号する画像復号化手段と、
   前記フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する前記復号化した多視点画像およびフレーム間で隣接する前記復号化した多視点画像を、参照する多視点画像として抽出し、抽出した前記参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより前記不足する多視点画像を補間して前記フレーム毎の多視点画像群を生成して出力する多視点画像生成手段と、
   を備えることを特徴とする画像復号化装置。
3. レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を取り込み、前記複数の要素画像それぞれにおける同一の位置の部分画像を抽出し、前記抽出した部分画像を、前記要素画像の配列にしたがって配列した前記部分画像の集合とすることにより、前記複数の要素画像を前記部分画像の集合を示す多視点画像群に変換する多視点画像変換手段と、
   前記変換した多視点画像群のうち符号化の対象とする多視点画像を決定する際に、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理により決定するスウィーピング処理手段と、
   前記スウィーピング処理手段が符号化の対象に決定した多視点画像の奥行き画像情報を生成し、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成した前記奥行き画像情報とを圧縮符号化して符号化データを生成する画像符号化手段と、
   を備えることを特徴とする画像符号化装置。
4. 請求項３に記載の画像符号化装置が生成した符号化データを取得し、前記符号化データを、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成された前記奥行き画像情報とに復号する画像復号化手段と、
   前記フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する前記復号化した多視点画像およびフレーム間で隣接する前記復号化した多視点画像を、参照する多視点画像として抽出し、抽出した前記参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより前記不足する多視点画像を補間して前記フレーム毎の多視点画像群を生成する多視点画像生成手段と、
   前記多視点画像生成手段が生成した多視点画像群で示される部分画像を、要素レンズにおける元の位置に戻すことにより、当該生成した多視点画像群を複数の要素画像に変換する要素画像変換手段と、
   を備えることを特徴とする画像復号化装置。
5. コンピュータを、請求項１または請求項３に記載の画像符号化装置として機能させるための画像符号化プログラム。
6. コンピュータを、請求項２または請求項４に記載の画像復号化装置として機能させるための画像復号化プログラム。