JP2013098740A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】２次元のアレイ状に並んだＭ×Ｎ個の撮像手段で撮像された画像の符号化データから、或る１つの視点位置の画像を復号する際に、復号処理に係る負荷の軽減、復号処理に速度を向上させる。
【解決手段】２次元に配置されたＭ×Ｎ個のカメラ部による四隅の視点位置を、単独で符号化する画像を接続する第１階層に属する視点として決定し、第１階層に属する２視点位置で得られる画像を参照画像とする視点位置を第２階層に属する視点位置として決定し、第１、第２階層のいずれにも属さない視点位置を第３階層に属する視点位置として決定する。そして、第３階層に属する着目視点位置に対する参照視点位置を、当該着目視点位置に対する参照画像を撮像する第２階層の各視点位置候補の中から、第２階層の各視点位置候補にとっての参照画像を撮像する第１階層に属する視点位置数が少ない方を着目視点位置に対する参照視点位置として決定する。
【選択図】図９

Description

本発明は多視点画像の符号化技術に関するものである。

従来から、複数の視点で映像を撮影し、撮影した多視点映像を利用してステレオ立体視や、自由視点映像合成といった映像表現を実現する方法が知られている。そのような映像表現を実現するためには、多視点で撮影した映像を保存する必要がある。当然、それらを圧縮符号化するにしても、１枚の画像の符号量に対し、視点数に比例した符号量になってしまう。

このような状況を顧み、多視点映像の相関を利用してデータ量を削減する符号化方式が検討されている。代表的なものとしてＨ．２６４／ＭＰＥＧ−４ ＡＶＣ ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ （以下、ＭＶＣ）が知られている。ＭＶＣでは、ある視点（以下、視点１）の映像を、異なる視点（以下、視点２）の映像を用いて視差補償予測によって予測し、視点１の映像と予測画像との差分を符号化することで、視点１の映像そのものを符号化する場合に比べてデータ量を削減する。ここで、視差補償予測は、動画のフレーム間の相関を利用した圧縮技術として知られている動き補償予測を、異なる視点間の映像に適用したものである。ＭＶＣの規格では、ある視点の映像を予測するためにどの視点の映像を用いるかまでは規定されていないが、それによって圧縮率や符号化速度、各視点の復号に必要なステップ数などが変化するため、目的に沿って視点間の予測関係を最適に決める必要がある。

ここで、各視点の復号に必要なステップ数について本明細書中での意味を補足する。別の視点の映像を用いて注目視点の映像を予測復号する場合は、まず予測に用いた視点の映像を復号して、その後予測符号化した視点の映像を復号する必要がある。このように、各視点の映像を復号するために必要な映像の総数を、本明細書では復号に必要なステップ数と呼ぶ。先ほどの例では、まず視点２を復号し、その復号結果を利用して視点１を復号する必要がある。この場合は視点１の復号に必要なステップ数は２である。また、視点２が視点３の映像から予測符号化されている場合には、視点１の復号には視点３の復号も必要となるため、視点１の復号に必要なステップ数は３となる。

圧縮率を決める主な要因は、予測に用いる視点数、視点間の位置関係が挙げられる。予測に用いる視点数が増えるほど予測の精度が向上し差分データ量が削減できる可能性が高い。また、視点間の位置関係は予測に用いる視点と予測される視点とが近い位置にあり同じ向きを向いているほど、撮影した映像の類似性が高くなるためデータ量が削減できる可能性が高い。また、視点間の位置関係は、複数の視点を予測に用いる場合は内挿予測になっている方がデータ量を削減できる可能性が高い。ここで内挿予測とは、視点数が２つの場合は、予測に用いる２つの視点の位置座標を線分で結んだ場合に、予測対象の視点がその線分上に位置することを意味する。

符号化速度を決める主な要因は、予測に用いる視点数がある。予測に用いる視点数が増えるほど、視差補償予測の際に画像間の類似した領域を探索する際の探索範囲が増え、符号化に時間がかかる。

視点間の予測関係を検討した従来技術には特許文献１に記載の方法が知られている。特許文献１では、第１ステップで複数のカメラの中心にあるカメラを符号化し、第２ステップでは中央のカメラに隣接するカメラを予測して符号化し、以下、前のステップで符号したカメラに隣接するカメラを繰り返す符号化が述べられている。例えば２次元アレイ状に３×３個並んだカメラを符号化する場合は、まず中心にあるカメラを符号化し、次に中心のカメラに対して上下左右に隣接する４つのカメラを符号化し、最後に４隅にある４つのカメラを符号化する。

また、１列に配置したカメラで撮影した静止画像の視点間の予測関係は、単視点で撮影した動画のフレーム間予測の予測関係と同様であると見なせる。動画のフレーム間予測では、数フレーム毎にキーピクチャを設定し、２つのキーピクチャの間にあるフレームについては、２つのキーピクチャの外側にあるフレームは参照しないという制約を設けることで、部分復号を可能にする技術が知られている（非特許文献１）。ここでキーピクチャは一般に、他のフレーム（もしくは他の視点）の映像を利用した予測を行わずに符号化するＩピクチャ、もしくは１つのフレーム（もしくは他の１つの視点）から予測を行うＰピクチャとして符号化される。また、キーピクチャ以外の画像はＰピクチャ、もしくは複数の画像を用いて予測を行うＢピクチャとして符号化される。非特許文献１ではさらに、階層Ｂピクチャ構造を用いて、キーピクチャ以外のフレームを全て２枚の画像を用いた内挿予測で行うことで、圧縮率を向上させている。

特許第４５７０１５９号

Ｓｃｈｗａｒｚ Ｈ．， Ｍａｒｐｅ Ｄ．， Ｗｉｅｇｒａｎｄ Ｔ．，「Ａｎａｌｙｓｉｓ ｏｆ Ｈｉｅｒａｒｃｈｉｃａｌ Ｂ Ｐｉｃｔｕｒｅｓ ａｎｄ ＭＣＴＦ」， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ ２００６．

多視点映像のメリットは、先に説明したように、ステレオ立体視や、自由視点映像合成といった映像表現を利用できる点である。このためには、符号化された多視点画像データから指定した視点位置の画像を復号するまでに要する復号ステップ数が少ないことが望まれる。復号ステップ数が少ないほど高速に復号できるのは勿論、処理能力の低いプロセッサでも実用的な時間内で復号することができるからである。

しかしながら、これまでの多視点映像の符号化に係る技術は文字通り符号化側の都合に合わせるものであって、復号する側の復号処理に係るステップ数まで考慮していず、まだまだ改善の余地がある。

本発明はかかる課題に鑑みなされたものであり、復号側における復号処理に係るステップ数がこれまでよりも少なくできる、多視点画像の符号化データを生成することを可能ならしめる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
多視点画像を生成するために２次元のアレイ状に並んだＭ×Ｎ個の撮像手段を有するカメラ装置における、Ｍ×Ｎ個の各画像の符号化順序、ならびに、単独で符号化するか、参照して予測符号化するのかを示す情報を格納したテーブルを生成する画像処理装置であって、
前記２次元アレイの「Ｍ×Ｎ」のＭ、Ｎの値を設定する設定手段と、
該設定手段で設定された２次元アレイにおける各撮像手段の視点位置を、最初に単独で符号化を行う第１階層、その次に予測符号化する第２階層、最後に予測符号化を行う第３階層のいずれかに分類し、当該分類した結果を示すテーブルを生成するテーブル生成手段とを備え、
当該テーブル生成手段は、
前記２次元アレイのＭ×Ｎ個の撮像手段における、少なくとも四隅の位置に配置された各撮像手段の視点位置を前記第１階層に属する視点位置として決定し、
前記第１階層に属する２視点位置の撮像手段を参照画像を撮像する参照視点位置の撮像手段とし、当該参照視点位置を結ぶ線上に位置する撮像手段の各視点位置を第２階層に属する視点位置として決定し、
前記第１、第２階層のいずれにも属さない視点位置を第３階層に属する視点位置として決定する決定手段を有し、
該決定手段は、
前記第３階層に属する着目視点位置に対する参照視点位置を、当該着目視点位置に対する参照画像を撮像する前記第２階層の各視点位置候補の中から、該第２階層の各視点位置候補にとっての参照画像を撮像する第１階層に属する視点位置数が少ない方を、前記着目視点位置に対する参照視点位置として決定することで前記テーブルを生成することを特徴とする。

本発明によれば、多視点画像を生成するために２次元のアレイ状に並んだＭ×Ｎ個の撮像手段で撮像された画像の符号化データから、或る１つの視点位置の画像を復号する際に、その画像を復号するまでに要するステップを少なくでき、復号処理に係る負荷の軽減、復号処理に速度を向上させることができる。

５×５個のカメラ部の視点位置におけるキーピクチャーを撮像する視点位置の関係を示す図。 第２階層の視点位置の画像を予測符号化する際の、第１，第２階層の視点位置の関係を示す図。 第３階層の視点位置の画像を予測符号化する際の、第１乃至第３階層の視点位置の関係を示す図。 第３階層の視点位置の画像を予測符号化する際の、第１乃至第３階層の視点位置の関係を示す図。 ５×５個のカメラ部の場合の参照視点テーブルの構造を示す図。 第１の実施形態における多視点画像符号化装置のブロック構成図。 第１の実施形態における多視点画像符号化装置の処理手順を示すフローチャート。 図７のＳ１０７の処理内容を示すフローチャート。 図８のＳ２０５の詳細を示すフローチャート。 キーピクチャーの設定例を示す図。 一般的な動画像符号化における階層Ｂピクチャ構造における予測関係を示す図。 第２の実施形態における階層化のアルゴリズムを説明するための図。 第２の実施形態で生成されるテーブルを説明するための図。 第２の実施形態における処理手順を示すフローチャート。 図１４のＳ４０６の詳細を示すフローチャート。 コンピュータのブロック構成図。 多視点画像符号化装置の正面図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、あくまで特許請求の範囲に記載の具体的な例であることに注意されたい。

［原理の説明］
２次元アレイ状にＭ×Ｎ個のカメラを配置して撮影したＭ×Ｎ枚の多視点画像から、或る１つの視点位置の映像を復号するための都合の良い符号化データを生成する場合について考察する。

符号化効率を無視するのであれば、個々のカメラで撮影して得られた映像を、それぞれ独立して符号化することである。しかし、これでは符号量がカメラの個数に比例したものとなってしまう。そこで、Ｍ×Ｎ個のカメラのうち、限られた数のカメラからの映像については独立して符号化し、それ以外のカメラからの映像については予測符号化を用いる。予測符号化の場合、その予測画像（予測映像）を生成し、実際の映像との差分を算出し、その算出した差分を符号化することになる。当然、その予測画像を生成する際に参照する映像をどれにするかを決める必要がある。予測画像の生成方法として内挿予測を用いるものとすると、予測画像を生成する際に参照する２つの画像を撮影する２視点位置を結ぶ直線上で、且つ、その２視点位置の間に、予測符号化しようとする映像を撮影する視点位置があることが望ましいことになる。当然、２次元配列の四隅の各視点位置の１つに着目すると、その視点位置を通る直線上に、それを挟む他の２つの視点位置は存在しない。それ故、少なくとも２次元配列の四隅にある各視点位置の映像それぞれについては単独で符号化する必要がある。換言すれば、四隅以外の視点位置については、内挿予測符号化を適用できることになり、高い圧縮率が期待できることとなる。

一方、復号装置にて予測符号化された画像を復号する場合を考察する。この場合、それ以前にその予測画像を生成するための他の２つの映像が復号済みとなっていなければならない。結局のところ、単独で符号化した映像を先ず復号しなければならない。それ故、以降では、単独に符号化する映像をキーピクチャと呼ぶこととする。

ここで、より具体的に説明するため、２次元アレイ状に５×５個のカメラ部を等間隔で配置して撮影した５×５（＝２５）枚の多視点画像を符号化する画像処理装置（多視点画像符号化装置）場合について考察する。図１７は、５×５個のカメラ部（符号７０２はその１つを示している）を有する撮像ユニットを接続した多視点画像符号化装置７００を示している。図示の符号７０１がシャッターボタンである。

図１に、２次元アレイ状に５×５個のカメラ部７０２を配置した場合の、各視点位置の関係を示す。図示のＶ１乃至Ｖ２５が各視点位置を特定する符号である。以降、例えば右下隅位置の視点を、図１に従い「視点Ｖ５」と表現する。また、実施形態における、内挿予測画像の生成に係る条件としては、内挿予測画像を生成する際に参照することになる２つの視点が共にキーピクチャの視点となり得るのは、符号化対象の視点とその参照画像を生成する２つの視点の並びが、垂直、水平、又は、斜め４５度の直線上にある場合とする。そして、内挿予測画像を生成する際に参照する２つの視点が共に非キーピクチャの視点である場合には、符号化対象の視点とその参照画像を生成する２つの視点の並びは、垂直、又は、水平のいずれかであるとする。

図１に示す如く、四隅の太枠の視点Ｖ１、Ｖ５、Ｖ２１、Ｖ２５がキーピクチャの視点である。そして、視点Ｖ３の内挿予測画像は、図示の通り視点Ｖ１、Ｖ５における２つのキーピクチャから生成できることを示している。視点Ｖ７の内挿予測画像は視点Ｖ１、Ｖ２５の２つのキーピクチャから生成できることを示し、視点Ｖ９の内挿予測画像は視点Ｖ５、Ｖ２１の２つのキーピクチャから生成できることを示している。そして、視点Ｖ１３（配列の中心）の内挿予測画像は視点Ｖ５、Ｖ２１の２つのキーピクチャから生成できることを示している。なお、視点Ｖ１３の内挿予測画像は、視点Ｖ１、Ｖ２５のキーピクチャの組からも作成しても構わない。

当業者であれば容易に推察されるように、視点Ｖ１乃至Ｖ５並びにおいて、視点Ｖ１、Ｖ５におけるキーピクチャは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ Ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇに定められた形式のｉピクチャに相当する。そして、視点Ｖ１、Ｖ５の中間に位置する視点Ｖ３の非キーピクチャは同Ｂピクチャに相当する。すなわち、空間軸か時間軸かの違いであって、同じ原理で予測画像を生成できる。

さて、視点Ｖ３、Ｖ７、Ｖ９、Ｖ１３の映像を復号する場合の復号装置における復号処理を各段階で分けると、図２に示すようになる。先ず、最初に復号する必要がある映像はキーフレームであり、そのキーフレームの映像を得る視点Ｖ１、Ｖ５、Ｖ２１、Ｖ２５が第１階層に配置される。そして、その第１階層の次に復号することになる第２階層には、視点Ｖ３、Ｖ７、Ｖ９、Ｖ１３が配置されることになる。

ここで、図１における破線で示された視点Ｖ８、Ｖ１２、Ｖ１４、Ｖ１８を着目すると、そのいずれもが、その視点位置を通る直線上に位置し、その視点位置を挟む垂直、水平、斜め４５度の線上には２つのキーピクチャは存在しない。それ故、例えば視点Ｖ８に着目した場合、質の高い内挿予測画像を生成するには、その視点に最も近い左右に位置する視点Ｖ７、Ｖ９の映像を参照して生成するか、もっとも近い上下に位置する視点Ｖ３、Ｖ１３の映像を参照して生成するかのいずれかとなる。かかる点を復号する側の見地から言えば、視点Ｖ８の映像は、視点Ｖ７、Ｖ９、又は、Ｖ３、Ｖ１３の映像の復号処理が完了するのを待って復号しなければならないことになる。つまり、視点Ｖ８の映像を復号するには、第２階層までの視点の映像の復号処理が完了していることが必要になる。それ故、この視点Ｖ８は、最後に符号化する第３階層に属することとなる。

ここで、視点Ｖ８の映像を復号する際に参照する２つの映像の視点の組がＶ７、Ｖ９の場合の復号処理の階層構造を示したのが図３である。

図３に示すように、視点Ｖ７は視点Ｖ１、Ｖ２１の映像を参照することになる。そして、視点Ｖ９は視点Ｖ５、Ｖ２５の映像を参照することになる。つまり、視点Ｖ８の映像の復号する以前に、図３の破線で示す第１階層のＶ１、Ｖ５、Ｖ２１、Ｖ２５、第２階層のＶ７、Ｖ９の計６個の映像の復号が完了していなければならない。しかも、第２階層の視点Ｖ７、Ｖ９の映像は、それ以前に第１階層の視点Ｖ１、Ｖ５、Ｖ２１、Ｖ２５の復号処理が完了するまで開始できない。そして、第３階層の視点Ｖ８の映像は、第２階層の視点Ｖ７、Ｖ９の映像の復号処理が完了するまで開始できない。

更に、もし復号装置が、３つのプロセッサを有する場合（或いは、同時実行できる復号回路が３つの場合）、視点Ｖ８の映像を復号するまでのサイクルは次の通りとなる。すなわち、最初のサイクルでは、３つのプロセッサで視点Ｖ１，Ｖ５，Ｖ２１の映像をそれぞれ復号する。次のサイクルでは、視点Ｖ７、Ｖ２５の２つの映像しか復号できない（視点Ｖ９の映像は、視点Ｖ５とＶ２５の両方の復号処理が完了しないと開始できない点に注意）。つまり、第２サイクルでは１つのプロセッサが利用できないことになる。その次の第３サイクルでは１つのプロセッサで視点Ｖ９の映像のみが復号し、残りの２つのプロセッサは利用できない（視点Ｖ８の映像は視点Ｖ７、Ｖ９の両方がないと復号を開始できない点に注意）。そして、第４サイクル目になってはじめて視点Ｖ８の映像の復号が開始できることになり、復号効率面で問題が残る。

次に、視点Ｖ８の映像を復号する際に参照する映像の視点の組がＶ３、Ｖ１３の場合について考察する。この場合の復号処理階層を示したのが図４である。

図４に示すように、視点Ｖ３は視点Ｖ１、Ｖ５の映像を参照することになる。そして、視点Ｖ１３は視点Ｖ５、Ｖ２１の映像を参照することになる。つまり、視点Ｖ８の映像の復号する以前に、図３の破線で示す第１階層のＶ１、Ｖ５、Ｖ２１、第２階層のＶ３、Ｖ１３の計５個の映像の復号が完了していれば良いことになる。視点Ｖ８を復号するために視点Ｖ３、Ｖ１３の組を利用した場合、視点Ｖ７、Ｖ９の組を利用する場合と比較し、復号する画像数が１つ少なくできることになる。言い換えれば、処理の負荷が５／６にできることになる。

因に、同時実行できるプロセッサ数が３の場合に当てはめてみる。この場合第１サイクルでは視点Ｖ１、Ｖ５、Ｖ２１のキーピクチャを復号する。そして、第２サイクルでは視点Ｖ３、Ｖ１３を復号し、第３サイクルで視点Ｖ８が復号できることなる。この結果、プロセッサ（もしくは復号回路）の稼働率を上げることが可能になり、短時間に視点Ｖ８の映像を復号できることになる。

ここまでの説明をまとめると、第３階層に属する視点（以下、着目視点）の映像を復号する場合、その視点位置を挟む最寄りの水平線上にある第２階層の２視点位置、その視点位置を挟む最寄りの垂直線上にある第２階層の２視点位置のいずれ一方を採用する。そしてその採用は、それぞれの第１階層の参照する視点位置の個数が少ない方を採用すれば良い。図３の場合の第１階層における参照視点数は４であり、図４の場合の第１階層における参照視点数は３である。

上記のように、図５に示す２次元アレイ状に５×５個のカメラを配置して撮像ユニットを有する装置の場合、視点Ｖ１乃至Ｖ２５を上記の原理に従い３つの階層Ｌ１、Ｌ２、Ｌ３のいずれかに分類する。キーピクチャを撮影する視点Ｌ１を除く他の視点位置Ｌ２、Ｌ３については、その視点位置の予測画像を生成するために参照する２つの画像それぞれの視点を上記のアルゴリズムに従い決定する。図５の下図がこの原理に従って生成されたテーブルを示している。例えば、視点Ｖ８の場合、テーブル内では「Ｌ３（Ｖ３、Ｖ１３）」となっているので、視点Ｖ８は第３階層に属している点、ならびに、予測符号化する際に参照する視点位置はＶ３、Ｖ１３であることがわかる。以降、この２次元アレイ状の５×５個のカメラで撮影した画像を符号化するとき、このテーブルを参照して、先ず第１階層Ｌ１に属する視点の画像をキーピクチャとして符号化する。第１階層Ｌ１に属する全ての視点の画像の符号化を終えると、第２階層Ｌ２に属する視点の画像について予測符号化を行う。そして、その後第３階層Ｌ３に属する視点の画像を予測符号化することになる。以上実施形態における符号化に係る原理を説明した。

［装置構成の説明］
図６は本実施形態における多視点画像符号化装置７００のブロック構成図である。

撮像ユニット１０１は、２次元アレイ状に配置したカメラ部７０２を有する撮影ユニットであり、その搭載されているカメラ部の数に応じた種類がある。撮像ユニット判定部１０２は、接続した撮像ユニット１０１と通信し、搭載されたカメラ部の配列「Ｍ×Ｎ」のＭ，Ｎの値を判定する。そして、判定したＭ，Ｎから先に説明したテーブル、すなわち、Ｍ×Ｎ個の各画像の符号化順序、ならびに、単独で符号化するか、参照して予測符号化するのかを示す情報を格納したテーブル（実施形態では参照視点ルックアップテーブル）を作成し、参照視点ＬＵＴ記憶部１０３に格納する。このため、撮像ユニット判定部１０２は、「機種識別情報＋搭載しているカメラの配列情報（Ｍ×Ｎ）」を１レコードとするデータベースを保持するためのメモリを内蔵する。撮像ユニット１０１との通信で、機種識別情報を取得すると、取得した機種識別情報をキーにして、データベースを検索することで、接続された撮像ユニット１０１におけるカメラの配列「Ｍ×Ｎ」を判定する。なお、ユーザが操作部１１１を操作して、Ｍ、Ｎの値を直接設定しても構わない。また、撮像ユニット１０１を交換しないかぎり、生成した参照視点ルックアップテーブルは変更がないので、参照視点ＬＵＴ記憶部１０３は不揮発性の記憶媒体であることが望ましい。

ピクチャ選択部１０４は、内部にバッファメモリ（不図示）を有し、そのバッファメモリ内に、撮像ユニット１０１から供給されてきたＭ×Ｎ枚の画像を一時的に格納する。そして、ピクチャ選択部１０４は、参照視点ＬＵＴ記憶部１０３に記憶された参照視点ルックアップテーブルを参照し、バッファメモリに格納された画像の選択と、その選択画像の第１の符号化部１０５、参照画像生成部１０６、第２の符号化部１０７へと出力を行う。なお、係る処理の操作は後述する説明から明らかにする。

第１の符号化部１０５は、キーピクチャーをＭＶＣにおけるｉピクチャーと同様にして符号化し、符号化データを出力する。なお、符号化の種類としては、ＪＰＥＧ、ＪＰＥＧ２０００、ＪＰＥＧ ＸＲ等でも良く、その種類は問わない。

参照画像生成部１０６は、ピクチャ選択部１０４からの２枚の画像から、その２枚の画像中の指定された内挿位置における参照画像を生成し、第２の符号化部１０７に出力する。第２の符号化部１０７は、ピクチャ選択部１０４からの画像を、参照画像生成部１０６からの画像を予測画像として用いて予測符号化し、その符号化データを出力する。つまり、参照画像生成部１０６及び第２の符号化部１０７により、予測符号化部を構成することになる。

出力部１０８は、所定のファイルヘッダを生成し、それをメモリ１０９に格納すると共に、第１の符号化部１０５、第２の符号化部１０７からの符号化データを、そのファイルヘッダに後続して格納することで、多視点画像ファイルを生成する。

制御部１１０は、本装置全体の制御を司るものであり、操作部１１１はユーザインタフェースとして機能するためにシャッターボタン７０１をはじめ、各種ボタン、スイッチ、更には液晶表示部で構成されている。

図７は、実施形態における多視点画像符号化装置の電源がＯＮになった際の処理手順を示すフローチャートである。以下同図に従い説明する。

先ず、制御部１１０は、Ｓ１０１にて、接続された撮像ユニット１０１が、前回とは異なるタイプであるかどうかを判定する。もし、異なるタイプであると判定した場合、Ｓ１０２に進み、接続された撮像ユニット１０１に対応する参照視点ルックアップテーブルを作成し、撮像ユニットＬＵＴ記憶部１０３に格納（更新）する（詳細後述）。

また、Ｓ１０３にて、操作部１１１のシャッターボタン７０１が押下されたか否かを判定する。シャッターボタンの押下を検出すると、Ｓ１０４にて、制御部１１０は画像ファイルを作成すべく、ファイルヘッダを作成させる。

次いで、Ｓ１０５に進み、参照視点テーブルを参照し、キーフレーム（第１階層に属する視点の映像）を第１の符号化部１０５に順に供給し、符号化を行なわせる。この後、Ｓ１０６にて、参照視点テーブルに基づく第２階層に属する視点の予測符号化を行う。例えば、図５の第２階層に属する視点Ｖ３を予測符号化する場合には、ピクチャ選択部１０４は、視点Ｖ１、Ｖ５の映像と、その中央の位置を示すパラメータを参照画像生成部１０６に供給する。また、ピクチャ選択部１０４は、視点Ｖ３の映像を第２の符号化部１０７に供給する。参照画像生成部１０６は、与えられた視点Ｖ１、Ｖ５の映像とパラメータに従って視点Ｖ３用の予測画像を生成させる。第２の符号化部１０７は、視点Ｖ３の映像と、生成された予測画像を用いて予測符号化を行う。このようにして、第２階層に属する全視点の画像について予測符号化が完了すると、Ｓ１０７に進み、参照視点テーブルを参照して第３階層に属する視点の画像の予測符号化を行う。このＳ１０７でも、予測画像生成部１０６、第２の符号化部１０７を利用することになる。

ここで、図７のＳ１０２の参照視点テーブルの生成処理の詳細を図８のフローチャートに従って説明する。

先ず、Ｓ２０１にて、撮像ユニット１０１の種別から、搭載しているカメラ部の２次元配列「Ｍ×Ｎ」のＭ，Ｎの値を決定する。Ｍ，Ｎの値の決定は先に説明したデータベースを検索することで行う。次いで、Ｓ２０２にて、２次元配列の四隅の視点を第１階層に属する視点（キーフレームを撮影するカメラ部）として決定する。

次に、Ｓ２０３にて、第１階層に登録された４つの視点中の２つを選択し、その２視点間を結ぶ直線上にある視点を第２階層に属する視点として決定する。４つの視点中２つを選択する組み合わせは６通りであるので、この処理を６回行う。この結果、第２階層に属する視点が決定する。このとき、第２の階層に属する視点を決定した際に、利用した第１階層に属する２視点位置が、第２階層の視点位置の画像を予測符号化する際に参照する画像を撮影するための参照視点位置となる。この後、Ｓ２０４にて、第２階層に属する各視点に対する予測画像を生成する際に参照する２参照視点を決定する。

上記の結果、第１階層に属する視点が決定すると共に、第２階層に属する視点、及び、第２階層に属する視点における２参照視点が決定される。従って、Ｓ２０５では、第１，第２階層のいずれにも属さず、残った視点を第３階層に属するものとして決定する。そして、Ｓ２０６にて、第３階層に属する各視点における２参照視点を決定する。

第１乃至第３階層の視点位置の決定手順、並びに、第１、第２階層の視点位置における２参照視点の決定手順については説明するまでもないであろう。そこで、以下ではＳ２０６における第３階層に属する視点の予測符号化時に参照する２参照視点の決定処理を図９のフローチャートに従って説明する。

先ず、Ｓ３０１にて、第３階層に属する視点の１つを選択する（以降、この選択した視点を着目視点と呼び、その位置を着目視点位置と呼ぶ）。次いで、Ｓ３０２にて、注目視点位置を挟む垂直方向に位置する最寄りの第２階層の２参照視点位置候補を探し、それぞれが参照する第１階層の視点位置数Ｎｖをカウントする。例えば、図１において、第３階層に位置する視点Ｖ８を着目視点としたとき、その着目視点位置を挟む垂直方向に位置する最寄りの第２階層の２参照視点位置候補はＶ３、Ｖ１３である。これら視点Ｖ３、Ｖ１３が参照する第１階層の視点は、図４から、Ｖ１、Ｖ５、Ｖ２１の３つであるので、視点位置数Ｎｖは“３”となる。

次に、Ｓ３０３に進み、注目視点を挟む水平方向に位置する最寄りの第２階層の２参照視点位置候補を探し、それぞれが参照する第１階層の視点位置数Ｎｈをカウントする。例えば、図１において、視点Ｖ８を着目視点としたとき、その視点を挟む水平方向に位置する最寄りの第２階層の２参照視点位置候補は、Ｖ７、Ｖ９である。これら視点Ｖ３、Ｖ１３が参照する第１階層の視点は、図３から、Ｖ１、Ｖ５、Ｖ２１、Ｖ２５であるので、視点位置数Ｎｈは“４”となる。

この後、Ｓ３０４にて、ＮｖとＮｈとを比較する。Ｎｖ＜Ｎｈであった場合、Ｓ３０５にて、着目視点を挟む垂直方向に位置する第２階層の２参照視点が、着目視点に対する最終的な２参照視点として決定する。一方、Ｎｖ＜Ｎｈを満たさない場合、Ｓ３０６にて、着目視点を挟む水平方向に位置する最寄りの第２階層の２参照視点が、着目視点に対する最終的な２参照視点として決定する。

そして、Ｓ３０７にて、第３階層に属する全ての視点についての処理が完了したか否かを判定し、否の場合にはＳ３０１以降の処理を繰り返す。

以上説明したように本実施形態によれば、２次元アレイ状にＭ×Ｎ個のカメラを配置して撮影したＭ×Ｎ枚の多視点画像を効率良く圧縮符号化できると共に、或る１つの視点位置の映像を復号する際の復号装置側の負荷も軽減させることが可能になる。

なお、実施形態では、例をして２次元アレイの配列として５×５を例にして説明したが、配列はこれに限らず、一般にＭ×Ｎで表わせる。ただし、Ｍ、Ｎが共に４以下の場合、全ての視点は、第１，第２階層に属することとなり、第３階層に属する視点はないので、５×５以上の場合に特に有効である。また、例えば、２次元アレイとして９×９個としたとき、その四隅の視点だけを第１階層の属するものとすると、第１階層に属する２視点間の距離が長くなり、結果、その間の予測画像の精度が落ち、符号化効率も落ちる可能性がある。そこで、例えば図１０に示す斜線部のように、四隅だけでなく、各辺の中央、もしくは中央近傍にある視点も第１階層に属する視点としても構わない。このようにする例としては、２次元配列のＭ×Ｎ個のカメラ部のＭ，Ｎが判明したとき、それらが閾値Ｔｈよりも大きい場合、その中央位置を第１階層に属するようにしれも良いし、場合によってはユーザに問い合わせて設定させても良い。また、図１０の場合、５×５の配列が、その一辺が互いに重複して４つ存在するものとして扱えば良いので、その４つのそれぞれに対して、上記実施形態の処理を適用すれば良い。

なお、実施形態では、静止画画像を撮影する例を説明したが、撮影を連続的に行えば、多視点動画像データを生成することができるので、上記静止画撮影にのみ本願発明が限定されるものではない。

＜第１の実施形態の変形例＞
図６に示した各部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能（図６に示した各部の機能）を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。第１の実施形態に係る多視点画像符号化装置に適用可能なコンピュータのハードウェア構成例について、図１６のブロック図を用いて説明する。

ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、多視点画像符号化装置が行うものとして説明した上述の各処理を実行する。即ち、図６に示した各部が行うものとして上述した各処理を実行する。

ＲＡＭ６０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ６０２は、外部記憶装置６０７や記憶媒体ドライブ６０８、更にはネットワークインタフェース６１０からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ６０２は、各種のエリアを適宜提供することができる。ＲＯＭ６０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。

キーボード６０４、マウス６０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ６０１に対して入力することができる。表示装置６０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ６０１による処理結果を画像や文字などでもって表示することができる。例えば、上記入力画像を表示や、多視点画像符号化装置で変換した結果の表示ができる。

外部記憶装置６０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置６０７には、ＯＳ（オペレーティングシステム）や、図６に示した各部の機能をＣＰＵ６０１に実現させるためのコンピュータプログラムやデータ、上記の各種テーブル、データベース等が保存されている。外部記憶装置６０７に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。

記憶媒体ドライブ６０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置６０７やＲＡＭ６０２に出力する。なお、外部記憶装置６０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ６０８に読み取らせても良い。

Ｉ／Ｆ６０９は、２次元配列の撮像ユニット６５０を接続するためのインタフェースであり、一例として示すのであればＵＳＢ（Universal Serial Bus）である。６１１は、上述の各部を繋ぐバスである。

ＣＰＵ６０１は、多視点カメラ装置６５０との接続を検出し、参照視点テーブルを生成し、多視点カメラ装置６５０を特定し、参照視点テーブルを例えば外部記憶装置６０７にファイルとして作成する。
そして、シャッターボタン７０１の押下により、多視点カメラ装置６５０から転送されてくる各画像を、２次元配列の各カメラ部で撮影された各画像とし入力し、上記第１の実施形態と同様の工程を経て、符号化する。

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ６０１はＲＯＭ６０３に格納されているブートプログラムに従って、外部記憶装置６０７からＯＳをＲＡＭ６０２にロードする。この結果、キーボード６０４、マウス６０５を介した情報入力操作が可能となり、表示装置６０６にＧＵＩを表示することが可能となる。ユーザが、キーボード６０４やマウス６０５を操作し、外部記憶装置６０７に格納された多視点画像符号化用のアプリケーションプログラムの起動指示を入力すると、ＣＰＵ６０１はこのプログラムをＲＡＭ６０２にロードし、実行する。これにより、本コンピュータが多視点画像符号化装置として機能することになる。

なお、ＣＰＵ６０１が実行する多視点画像符号化用のアプリケーションプログラムは、基本的に図６に示す各構成要素に相当する関数を備えることになる。ここで、符号化データは外部記憶装置６０７に保存することになる。なお、このコンピュータは、以降の各実施形態に係る画像処理装置にも同様に適用可能であることは、以下の説明より明らかである。

［第２の実施形態］
上記第１の実施形態では、多視点画像から或る１つの視点位置の映像を復号するための都合の良い符号化データを生成する場合を説明した。それ故、以下では、第１の実施形態における処理を復号優先モードと呼ぶ。そして、第２の実施形態では、符号化効率を優先する符号化優先モードを搭載し、ユーザにその何れかを選択させる例を説明する。

復号優先モードは実施形態で説明してあるので、以下では、符号化優先モードにつて説明する。なお、装置構成は、図６と同じである。

圧縮率を向上する予測符号化を行う場合、参照画像のペアの選択が重要となる。すなわち、参照画像のペアは、着目画像に近いことが望ましい。非特許文献１によると、動画のフレーム間の予測においては階層Ｂピクチャ構造が圧縮率向上に有効である。

ここで階層Ｂピクチャ構造について簡単に説明する。図１１に代表的な階層Ｂピクチャ構造を示す。図１１における矩形は動画中の各フレームの画像を表し、時系列順にＦ１〜Ｆ５５の番号を振って示している。階層Ｂピクチャ構造ではまず、キーピクチャを符号化する。図１１の例ではフレームＦ１とＦ５をキーピクチャとして符号化する。次に２つのキーピクチャの間にあり、キーピクチャ間を時間的に２分割するフレームを内挿予測によって符号化する。この場合はフレームＦ３を予測符号化する。次にフレームＦ１とＦ３の間にあるフレームＦ２、およびフレームＦ３とＦ５の間にあるフレームＦ４をそれぞれ内挿符号化する。ここではキーピクチャを４フレーム置きに配置する例を示したが、フレーム数を増やしても、符号化済みの２枚のフレームを２分割する位置の画像を内挿予測で符号化する処理を繰り返せば、一般に適用可能である。また、１列に配置したカメラで撮影した静止画像の視点間の予測関係にも応用可能である。

本第２の実施形態では、このような階層Ｂピクチャ構造を２次元アレイ状に並べたカメラで撮影した画像に拡張する。

なお、先に説明したように、圧縮率を向上する予測符号化を行う場合、参照画像のペアの選択が重要となる。或る着目画像を予測符号化する際に、その着目画像と参照する参照画像への距離は近いほど、予測誤差の発生が抑制でき、高い符号化効率が期待できる。そこで、本第２の実施形態では、予測符号化対象の着目画像に対する２参照画像は、その着目画像を挟む、垂直、水平方向のいずれかに位置する画像とし、斜め４５度方向に位置する画像は参照画像から除外するものとして説明する。

具体的な例を説明するため、図１２の５×５配列を用いて説明する。

第１階層に属する視点（キーピクチャを撮影するカメラ部の視点）は、２次元配列の四隅に位置する視点Ｖ１、Ｖ５、Ｖ２１、Ｖ２５とする。

次に第２階層に属する視点を決定する。第２階層に属する視点は次の条件である。
・第１階層に属する視点は第２階層から除外する。
・第１階層に属する２視点のペアのうち、斜めになる組み合わせを除外し、水平、垂直となるペアを求め、そのペアの中央に位置する視点を第２階層に属する視点とする。図１２の場合、第１階層に属する水平に並ぶ２視点のペアは｛Ｖ１、Ｖ５｝、｛Ｖ２１、Ｖ２５｝であるので、その中央位置にある視点Ｖ３、Ｖ２３が第２階層に属する視点となる。また、ペア｛Ｖ１、Ｖ２１｝、｛Ｖ５、Ｖ２５｝は垂直に並ぶので、それらの中央に位置する視点Ｖ１１、Ｖ１５も第２階層に属する。

第３階層以降の下位層については、その階層を示す値を“ｉ”で表わすと次の通りである（実際は第２階層でも以下の条件は成立する）。
・第ｉ層の上位層（第１乃至第ｉ−１階層）に属する視点は第ｉ階層の視点から除外する。
・未定の視点を着目し、その着目視点を挟む垂直方向、又は、水平方向に同じ距離だけ隔てた第１乃至第ｉ−１階層のいずれかに属する２つの視点があれば、着目視点を第ｉ階層に属する視点として決定する。

図１３は上記の論理に従って作成された符号化優先モードにおける参照視点テーブルを示している（図５に示すテーブルを第１のテーブルとするなら、図１３のそれは第２のテーブルと定義できる）。図示における文字“Ｌ”に後続する数値が階層の番号を示している。図示の如く、符号化優先モードの場合、階層数は２次元配列のサイズに応じたものとなる。

ここで、２次元配列の外側に配置された視点を除く、内側に位置する視点については印“＊”を付けた。これは、その視点位置を予測符号化する際に、参照画像となるペアは２通りあることを示すためである。例えば、視点Ｖ１３（図１参照）については「Ｌ３＊」として示しているが、実際は、第１の実施形態に対応して示すのであれば、Ｌ３｛（Ｖ１１、Ｖ１５）、（Ｖ３、Ｖ２３）｝と記述されている。この結果、視点Ｖ１３は第３階層に属するのは勿論、その視点位置の画像を予測符号化する際に参集する画像のペアは｛Ｖ１１、Ｖ１５｝と｛Ｖ３、Ｖ２３｝の２つ存在することを示している。また、視点Ｖ７の場合には、｛Ｖ６、Ｖ８｝、｛Ｖ２，Ｖ１２｝の２つ存在する。当然、「＊」が付かない視点では、参照画像となり得るペアは１つだけである。

本第２の実施形態では、例えば、視点Ｖ１３を予測符号化する場合、視点ペア｛Ｖ１１、Ｖ１５｝、｛Ｖ３、Ｖ２３｝のいずれを用いた場合に符号化効率が良いかを推定し、その推定に基づき予測符号化する。最も単純な処理の仕方は、視点ペア｛Ｖ１１、Ｖ１５｝を用いて視点Ｖ１３の映像を符号化した場合の符号化データの符号量と、視点ペア｛Ｖ３、Ｖ２３｝用いて視点Ｖ１３の映像を符号化した場合の符号化データの符号量と比較し、符号量の少なかった視点ペアに決定することである。しかし、この場合、それぞれのペアでの予測画像を生成、差分の生成等の負荷の多い処理が２倍になり、符号化処理に多くの時間を必要になってしまう。そこで、本第２の実施形態では、以下に説明する更に単純な類似度を用いたアルゴリズムで一方の参照画像ペアを決定する。

説明のため、着目視点の画像をＰｉとし、それを挟む水平方向に位置する参照画像候補のペアを｛Ｐｈ１、Ｐｈ２｝とし、それを挟む垂直方向に位置する参照画像候補のペアを｛Ｐｖ１、Ｐｖ２｝とする。

２つの画像Ａ，Ｂの類似度を、それぞれの画像内の同じ座標の画素の値の差の絶対値の総和を｜Ａ−Ｂ｜と定義する。本第２の実施形態では、次式（１）、（２）
Ｄｈ＝｜Ｐｈ１−Ｐｉ｜＋｜Ｐｈ２−Ｐｉ｜ …（１）
Ｄｖ＝｜Ｐｖ１−Ｐｉ｜＋｜Ｐｖ２−Ｐｉ｜ …（２）
を算出し、ＤｈがＤｖより少ない場合（Ｄｈ＜Ｄｖの場合）に、参照画像候補のペア｛Ｐｈ１、Ｐｈ２｝を着目画像Ｐｉの参照画像として決定する。そして、それ以外の場合（Ｄｈ≧Ｄｖの場合）、参照画像候補のペア｛Ｐｖ１、Ｐｖ２｝を着目画像Ｐｉの参照画像として決定する。画像の画素値の差分の絶対値を加算するという処理で良いので、簡単にハードウェア化できるし、ソフトウェアでも高速に処理できる。

先に説明したアルゴリズムに従って各視点の階層への割り振りを行えば、着目画像に対する参照画像のペアが１つか２つかは勿論、各参照画像候補となる視点位置は、２次元配列のＭ×ＮのＭ，Ｎの値で一義的に決まる。従って、予測符号化に利用するものとして決定した参照画像ペアが、着目画像を挟んで水平方向、或いは、垂直方向のいずれに並んでいるのかを示す識別情報（１ビットで良い）を、着目画像の符号化データのヘッダに配置すれば、正しく復号できる。なお、着目画像の符号化データのヘッダではなく、ファイルヘッダにまとめて記述しても良い。

以上であるが、本第２の実施形態における全体の動作処理手順を図１４のフローチャートに従って説明する。同図は、第２の実施形態における多視点画像符号化装置の電源がＯＮになった際の処理手順を示すフローチャートである。

先ず、制御部１１０は、Ｓ４０１にて、接続された撮像ユニット１０１が、前回とは異なるタイプであるかどうかを判定する。もし、異なるタイプであると判定した場合、Ｓ４０２に進み、接続された撮像ユニット１０１に対応する２つの参照視点ルックアップテーブルを作成し、参照視点ＬＵＴ記憶部１０３に格納（更新）する。すなわち、撮像ユニット判定部１０２は、第１のテーブルを生成する第１のテーブル生成手段、第２のテーブルを生成する第２のテーブル生成手段として機能することになる。ここで、第１のテーブルは第１の実施形態と同様（図５の下部）である。もう一方の第２のテーブルは、第２の実施形態に特有の図１３のルックアップテーブルである。

また、Ｓ４０３にて、操作部１１１のシャッターボタン７０１が押下されたか否かを判定する。シャッターボタン７０１の押下を検出すると、Ｓ４０４にて、操作部１１１による指定されたモードが符号化優先モードであるか、復号優先モードかを判定する。復号優先モードである場合には、Ｓ４０５に進み、第１の実施形態で説明した符号化処理（図７のＳ１０４乃至Ｓ１０７）の処理を行う。一方、符号化優先モードであると判断した場合、処理はＳ４０６に進み、圧縮率優先符号化処理を実行する。

ここで、Ｓ４０６の処理の詳細を図１５のフローチャートに従い説明する。

先ず、Ｓ５０１にて、参照視点ＬＵＴ記憶部１０３より、符号化優先モード用の参照視点ルックアップテーブルから階層数Ｌを取得する。次いで、Ｓ５０２にて、第１階層に属する視点における画像を第１の符号化部１０５に供給することで、キーピクチャーの符号化を行う。次に、Ｓ５０３に進み、第２階層以降の符号化を行うため、変数ｉに初期値として“２”を設定する。

Ｓ５０４では、第ｉ階層の着目視点の映像の１つを取得する。そして、Ｓ５０５にてその映像に対する参照視点ペアが複数（２つ）あるか否かを判定する。２つある場合には、Ｓ５０６に進み、先に示した式（１）、（２）を演算し、参照ペアを１つに絞り込む。Ｓ５０７に処理が進んだ場合、参照ペアは１つになっているので、そのペアを構成する２視点の画像と、予測画像はその中央位置であることを示すパラメータとを参照画像生成部１０６に供給する。また、着目視点の画像を第２の符号化部１０７に供給する。これにより、着目画像の予測符号化が実行される。この後、Ｓ５０８に進み、第ｉ階層に属する全映像の符号化が完了したか否かを判定し、否の場合にはＳ５０４に処理を戻す。

一方、第ｉ階層に属する全映像の符号化が完了したと判定した場合、Ｓ５０９に進み、変数ｉとＬとを比較し、ｉ＜Ｌであるか否か、すなわち、全階層に対する符号化が完了したか否かを判断する。否の場合には、Ｓ５１０にて変数ｉを“１”だけ増加させ、Ｓ５０４以降の処理を行う。また、Ｓ５０９の判定で全階層の視点位置の画像の符号化を終えたと判断した場合には、本処理を終える。

以上説明したように、本第２の実施形態によれば、復号装置の復号処理に係る負担をへらすのではなく、圧縮率を優先した符号化モードが選択できる。本第２の実施形態は、例えば、復号装置が十分な処理能力を持っていることが予め判明している場合に特に有効なものと言える。

なお、上記第２の実施形態でも、２次元アレイのＭ×ＮのＭ，Ｎが奇数である例を説明した。しかし、例えば、図１８に示すように６×６の水平、垂直とも偶数としても構わない。この場合、四隅をキーピクチャを撮像する第１階層に属する視点位置として定義できても、その中央位置には視点が存在しない。従って、図示の通り、四隅の視点位置における水平、垂直に並ぶ２つを結ぶ線上の、中央位置を挟む最寄りの２視点を第１階層に属するものとして設定すればよい。

また、本第２の実施形態をコンピュータプログラムでもって実現できることは、先に説明した第１の実施形態の変形例と同様明らかである。

上記第２の実施形態では、２次元配列の四隅のキーピクチャーは、ｉピクチャと同じく独立符号化（イントラ符号化）を行うものとしたが、キーピクチャーの１つを独立符号化し、他のキーピクチャーは独立符号化したキーピクチャーを用いた予測符号化を行ってもよい。この場合、画質については多少犠牲になるかもしれないが、符号化効率を更に上げることができる。この場合の独立符号化するキーピクチャーは、２次元配列の中央の視点の映像が望ましい。この中央に位置する視点を先ず独立符号化し、次いで、四隅の視点を予測符号化する。後は、これまでに説明した手順に従えば良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 多視点画像を生成するために２次元のアレイ状に並んだＭ×Ｎ個の撮像手段を有するカメラ装置における、Ｍ×Ｎ個の各画像の符号化順序、ならびに、単独で符号化するか、参照して予測符号化するのかを示す情報を格納したテーブルを生成する画像処理装置であって、
   前記２次元アレイの「Ｍ×Ｎ」のＭ、Ｎの値を設定する設定手段と、
   該設定手段で設定された２次元アレイにおける各撮像手段の視点位置を、最初に単独で符号化を行う第１階層、その次に予測符号化する第２階層、最後に予測符号化を行う第３階層のいずれかに分類し、当該分類した結果を示すテーブルを生成するテーブル生成手段とを備え、
   当該テーブル生成手段は、
   前記２次元アレイのＭ×Ｎ個の撮像手段における、少なくとも四隅の位置に配置された各撮像手段の視点位置を前記第１階層に属する視点位置として決定し、
   前記第１階層に属する２視点位置の撮像手段を参照画像を撮像する参照視点位置の撮像手段とし、当該参照視点位置を結ぶ線上に位置する撮像手段の各視点位置を第２階層に属する視点位置として決定し、
   前記第１、第２階層のいずれにも属さない視点位置を第３階層に属する視点位置として決定する決定手段を有し、
   該決定手段は、
   前記第３階層に属する着目視点位置に対する参照視点位置を、当該着目視点位置に対する参照画像を撮像する前記第２階層の各視点位置候補の中から、該第２階層の各視点位置候補にとっての参照画像を撮像する第１階層に属する視点位置数が少ない方を、前記着目視点位置に対する参照視点位置として決定することで前記テーブルを生成する
   ことを特徴とする画像処理装置。
2. 画像を単独で符号化する第１の符号化手段と、
   画像を、指定された参照画像から予測符号化する第２の符号化手段と、
   前記テーブル生成手段で生成されたテーブルを参照して、前記第１階層に属する視点位置の画像については前記第１の符号化手段で符号化させ、
   前記第２階層、第３階層に属する視点位置の画像については、前記テーブルを記憶された参照視点位置の画像を参照して前記第２の符号化手段で予測符号化させる制御手段と
   を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記テーブル生成手段を第１のテーブル生成手段、生成する前記テーブルを第１のテーブルとしたとき、
   前記設定手段で設定された２次元アレイにおける各撮像手段の視点位置を、最初に単独で符号化を行う第１階層、それ以降に予測符号化する第２階層を含む下位層のいずれかに分類し、下位層に属する着目視点位置については、当該着目視点位置を挟み、当該着目視点位置から同じ距離にある、着目視点位置の層よりも上位層の２視点位置を前記着目視点位置の画像の予測符号化する際の参照画像を撮像する参照視点位置候補として定義した第２のテーブルを生成する第２のテーブル生成手段と、
   前記第１のテーブル、前記第２のテーブルのいずれを用いて符号化するかを選択する選択手段とを有し、
   前記制御手段は、該選択手段で前記第２のテーブルを用いて符号化することが選択された場合、
   前記第２のテーブルにおける前記第１階層に属する視点位置の画像については前記第１の符号化手段で符号化させ、
   前記第２のテーブルにおける第２階層を含む下位層の着目視点位置に対する参照視点位置候補が１つである場合には、当該参照視点位置候補で示された視点位置の画像を参照して前記第２の符号化手段で符号化させ、
   前記第２のテーブルにおける第２階層を含む下位層の着目視点位置に対する参照視点位置候補が複数ある場合には、当該参照視点位置候補の画像と、各参照視点位置候補との類似度を算出することで１つの参照視点位置候補に絞り込み、当該絞り込んだ参照視点位置候補で示された視点位置の画像を参照して前記第２の符号化手段で符号化させる
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の符号化手段はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ Ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇに定められた形式のｉピクチャとして符号化し、
   前記第２の符号化手段はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ Ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇに定められた形式のＢピクチャとして符号化することを特徴とする請求項２又は３に記載の画像処理装置。
5. コンピュータが読み込み実行することで、前記コンピュータを、請求項１に記載の各手段として機能させるためのプログラム。
6. 請求項５に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
7. 多視点画像を生成するために２次元のアレイ状に並んだＭ×Ｎ個の撮像手段を有するカメラ装置における、Ｍ×Ｎ個の各画像の符号化順序、ならびに、単独で符号化するか、参照して予測符号化するのかを示す情報を格納したテーブルを生成する画像処理装置の制御方法であって、
   設定手段が、前記２次元アレイの「Ｍ×Ｎ」のＭ、Ｎの値を設定する設定工程と、
   テーブル生成手段が、該設定工程で設定された２次元アレイにおける各撮像手段の視点位置を、最初に単独で符号化を行う第１階層、その次に予測符号化する第２階層、最後に予測符号化を行う第３階層のいずれかに分類し、当該分類した結果を示すテーブルを生成するテーブル生成工程とを備え、
   当該テーブル生成工程は、
   前記２次元アレイのＭ×Ｎ個の撮像手段における、少なくとも四隅の位置に配置された各撮像手段の視点位置を前記第１階層に属する視点位置として決定し、
   前記第１階層に属する２視点位置の撮像手段を参照画像を撮像する参照視点位置の撮像手段とし、当該参照視点位置を結ぶ線上に位置する撮像手段の各視点位置を第２階層に属する視点位置として決定し、
   前記第１、第２階層のいずれにも属さない視点位置を第３階層に属する視点位置として決定する決定工程を有し、
   該決定工程は、
   前記第３階層に属する着目視点位置に対する参照視点位置を、当該着目視点位置に対する参照画像を撮像する前記第２階層の各視点位置候補の中から、該第２階層の各視点位置候補にとっての参照画像を撮像する第１階層に属する視点位置数が少ない方を、前記着目視点位置に対する参照視点位置として決定することで前記テーブルを生成する
   ことを特徴とする画像処理装置の制御方法。

Images