JP2014056466A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】自由視点画像合成技術における各視点間の撮像画像を高精度、かつ、高速に合成する。
【解決手段】画像処理装置であって、複数の視点から撮像された複数視点画像の中から、１の代表画像及び当該代表画像とは視点が異なる１以上の補助画像を設定する設定手段と、設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成手段とを有し、前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合する手段を備える、ことを特徴とする。
【選択図】図１１

Description

本発明は、複数の視点から撮像された画像データ及び距離情報を用いた自由視点画像合成技術に関する。特に多眼方式の撮像装置で撮像された複数視点画像データの自由視点画像合成技術に関するものである。

近年、映画業界を中心に３Ｄコンテンツの利用が活発である。より高い臨場感を求めて複数視点撮像技術、複数視点表示技術の開発が進んでいる。

２視点表示では眼鏡式３Ｄディスプレイが主流である。右目用の画像データと左目用の画像データを生成し、眼鏡の制御によりそれぞれの眼で見える画像を切り替えることで、観察者は立体画像を見ることができる。また複数視点表示ではレンチキュラレンズ、パララックスバリア方式を用いた眼鏡無し３Ｄディスプレイが開発されており、主にデジタル・サイネージ用途で利用されている。

撮像装置においても、２視点撮像ではステレオカメラ、３視点以上の複数視点撮像ではＰｌｅｎｏｐｔｉｃカメラやカメラアレイシステム、といった多眼方式の撮像装置が開発されている。また撮像装置に工夫を加えることで、既存のカメラ構成を比較的変更することなく複数視点画像を撮像できるコンピュテーショナル・フォトグラフィー（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）と呼ばれる分野の研究も盛んに行われている。

多眼方式の撮像装置で撮像された複数視点画像を複数視点表示装置で表示する場合、撮像装置と表示装置との間の視点数の違いを調整する必要がある。例えば、３眼のカメラで撮像された３視点画像を９視点の眼鏡無し３Ｄディスプレイで表示するとき、撮像されていない６視点分の画像を補完生成しなければならない。またステレオカメラで撮像された画像を眼鏡式３Ｄディスプレイで表示する場合、どちらも２視点ではあるが、ディスプレイによって視聴に最適な視差が異なるため、撮像した画像とは異なる視点で画像を再構成して出力する場合がある。

以上のようなユースケースを実現するため、撮像された視点以外の画像データを生成する技術として自由視点画像合成技術が開発されている。

関連技術として、ＭＰＥＧ−３ＤＶ（３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準化作業が進行している。ＭＰＥＧ−３ＤＶは複数視点の画像データと共に奥行き情報を符号化する方式である。複数視点画像データの入力から、既存の２Ｄディスプレイ、眼鏡式３Ｄディスプレイ、眼鏡無し３Ｄディスプレイなど様々な視点数の表示装置に出力することを想定し、自由視点画像合成技術を用いて視点数の制御を行う。また複数視点映像を対話的に視聴するための技術としても、自由視点画像合成技術が開発されている（特許文献１）。

特開２００６−０１２１６１号公報

自由視点画像合成技術における課題として、合成画像の画質向上と計算量の抑制が挙げられる。自由視点画像合成では、複数視点の参照画像群から仮想視点の画像を合成する。まず、各参照画像から仮想視点の画像を生成するが、距離情報の誤差が要因で生成された仮想視点画像間にずれが生じてしまう。次に、各参照画像から生成した仮想視点画像群を合成するが、ずれのある仮想視点画像群を合成すると出来上がった合成画像にボケが生じてしまう。また、画像合成に利用する参照画像数、画像領域が多くなる程、計算量が増大してしまう。

本発明に係る画像処理装置は、複数の視点から撮像された複数視点画像の中から、１の代表画像及び当該代表画像とは視点の異なる１以上の補助画像を設定する設定手段と、設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成手段とを有し、前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合する手段を備える、ことを特徴とする。

本発明によれば、複数視点画像データを用いた自由視点画像合成を高画質、かつ、高速に行うことができる。

複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。 多眼方式の画像処理装置の内部構成を示すブロック図である。 撮像部の内部構成を示す図である。 画像処理部の内部構成を示す機能ブロック図である。 距離情報推定処理の流れを示すフローチャートである。 図６は、距離情報推定処理の経過を説明する図である。（ａ）及び（ｃ）は視点画像の例を示す図、（ｂ）は視点画像にフィルタをかけて小領域に分割した状態を示す図、（ｄ）はある視点画像に他の撮像部の視点画像における小領域を重ねた状態を示す図、（ｅ）は（ｄ）で生じているずれが解消された状態を示す図である。 ヒストグラムの一例を示す図であり、（ａ）は高いピークを持つヒストグラム、（ｂ）は低いピークのヒストグラムをそれぞれ示している。 初期視差量の調整を説明する図である。 画像分離処理の流れを示すフローチャートである。 視点画像内の各画素が、境界画素、通常画素の２つに分類される様子を説明する図である。 自由視点画像生成処理の流れを示すフローチャートである。 主層の３次元モデル生成の様子を説明する図である。 主層のレンダリングの様子を説明する図である。 代表画像の主層を補助画像の視点位置でレンダリングしたときの一例を示す図である。 補助主層を生成する様子を説明する図である。 主層と補助主層のレンダリング結果の一例を示す図である。 境界層の３次元モデル生成の様子を説明する図である。 境界層のレンダリングの様子を説明する図である。 実施例２における補助主層を生成する様子を説明する図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。

図１は、本実施例に係る、複数の撮像部を備えた多眼方式による画像処理装置の一例を示した図である。

撮像装置１００の筺体には、カラー画像データを取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。９個の撮像部は、すべて同一の焦点距離を有し、正方格子上に均等に配置されている。

ユーザが撮像ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群（複数視点画像データ）を得ることができる。

なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

図２は、撮像装置１００の内部構成を示すブロック図である。

中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。

ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。

バス２０４は、各種データの転送経路であり、例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。

操作部２０５は、ボタンやモードダイヤルなどが該当し、これらを介してユーザ指示が入力される。

表示部２０６は、撮影画像や文字の表示を行う。表示部２０６には一般的に液晶ディスプレイが広く用いられる。また、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。

表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。

撮像部制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。

デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコーダ部２１０は、デジタルデータを所定のファイルフォーマットに変換する処理を行う。

外部メモリ制御部２１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

画像処理部２１２は、撮像部１０１〜１０９で取得された複数視点画像データ或いは、デジタル信号処理部２０９から出力される複数視点画像データから、距離情報を算出し、自由視点合成画像データを生成する。画像処理部２１２の詳細については後述する。

なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。

図３は、撮像部１０１〜１０９の内部構成を示す図である。

撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。

センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。

なお、本実施例では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明するが、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、カラーフィルタ３０８は省略される。

図４は、画像処理部２１２の内部構成を示す機能ブロック図である。

画像処理部２１２は、距離情報推定部４０１、分離情報生成部４０２、自由視点画像生成部４０３を有している。実施例における画像処理部２１２は、撮像装置内の一構成要素として説明しているが、この画像処理部２１２の機能をＰＣ等の外部装置で実現してもよい。すなわち、本実施例における画像処理部２１２は、撮像装置の一機能としても、又は独立した画像処理装置としても実現し得るものである。

以下、画像処理部２１２の各構成要素について説明する。

撮像部１０１〜１０９で取得されたカラーの複数視点画像データ或いは、デジタル信号処理部２０９から出力されるカラーの複数視点画像データ（本実施例ではいずれも９視点）が画像処理部２１２に入力されると、まず、距離情報推定部４０１に送られる。

距離情報推定部４０１は、入力された複数視点画像データ内の各視点の画像それぞれについて、撮像部から被写体までの距離を表す距離情報（以下、「距離情報」と呼ぶ。）を推定する。距離情報推定の詳細については後述する。なお、距離情報推定部４０１を設ける代わりに、同等の距離情報を外部から入力するように構成してもよい。

分離情報生成部４０２は、複数視点画像データを構成する各視点画像を、２つの層（被写体の境界である境界層、被写体の境界でない主層）に分離するための基礎となる情報（分離情報）を生成する。具体的には、各視点画像内の各画素を、被写体の境界（以下、「オブジェクト境界」と呼ぶ。）に隣接する境界画素、及び、境界画素以外の通常画素の２種類に分類し、各画素がいずれの種類に該当するかを特定可能な情報を生成する。分離情報生成の詳細については後述する。

自由視点画像生成部４０３は、主層（補助主層を含む）および境界層の各３次元モデルをレンダリングして、任意の視点位置における画像データ（自由視点画像データ）を生成する。自由視点画像生成の詳細については後述する。

（距離情報推定処理）
距離情報推定部４０１における距離情報の推定方法について説明する。図５は、本実施例に係る距離情報推定処理の流れを示すフローチャートである。以下では、入力される複数視点画像データは、図１に示した９個の撮像部１０１〜１０９を有する撮像装置１００によって撮像された９視点の画像データであるものとして説明を行う。

ステップ５０１において、距離情報推定部４０１は、入力された９視点画像データ内の１の視点画像（対象視点画像）に対し、エッジ保持型の平滑化フィルタをかける。

ステップ５０２において、距離情報推定部４０１は、対象視点画像を所定のサイズの領域（以下、「小領域」と呼ぶ。）に分割する。具体的には、色差が閾値以下の隣接する画素（画素群）同士を順次統合していき、最終的に所定の画素数からなる小領域（例えば、１００〜１６００画素の領域）に対象視点画像を分割する。閾値は、比較される色同士が同程度の色であると判断するのにふさわしい値、例えばＲＧＢをそれぞれ８ビット（２５６色）で量子化した場合であれば「６」といった値に設定される。初めは、隣り合う画素同士を比較して色差が上記閾値以下であれば、両画素を統合する。そして、次に、統合された画素群について平均色をそれぞれ求め、隣接する画素群の平均色と比較し、色差が上記閾値以下となった画素群同士を統合していく。このような処理を、画素群の大きさ（画素数）が、上述の一定の画素数で構成される小領域に達するまで繰り返す。

ステップ５０３において、距離情報推定部４０１は、９視点画像データに含まれる９つの視点画像のすべてに対して、小領域への分割が完了したかどうかを判定する。小領域への分割が完了している場合には、ステップ５０４に進む。一方、領域分割が完了していない場合にはステップ５０１に戻り、次の視点画像を対象視点画像として、平滑化フィルタをかける処理及び小領域への分割処理を行う。

ステップ５０４において、距離情報推定部４０１は、すべての視点画像について、それぞれ周囲の視点画像（ここでは、上下左右に位置する視点画像）を参照して、分割された小領域毎に初期視差量を算出する。例えば、中央の撮像部１０５に係る視点画像の初期視差量を算出するときは、撮像部１０２・１０４・１０６・１０８の各視点画像が参照される。端部の撮像部に係る視点画像の場合、例えば撮像部１０７の視点画像は撮像部１０４・１０８の各視点画像が参照され、撮像部１０８の視点画像の場合は撮像部１０５・１０７・１０９の各視点画像が参照されて、初期視差量が算出される。初期視差量の算出は以下のようにして行う。

まず、初期視差量を求める視点画像の各小領域と、参照する視点画像（参照視点画像）における対応する小領域との比較を行う。ここで、対応する小領域とは、初期視差量を求める視点画像の各小領域の位置に対して視差量分シフトした参照視点画像における小領域である。

次に、初期視差量を求める視点画像の各画素と視差量分シフトした参照視点画像における対応する画素との色差を、小領域内の全ての画素について算出し、ヒストグラムを作成する。

そして、視差量を変化させて、それぞれヒストグラムを作成する。

こうして得られたヒストグラムにおいて、ピークが高い視差量が求める初期視差量となる。なお、参照する視点画像における対応する領域は、縦方向と横方向で視差量を調整して設定する。縦方向の１ピクセルの視差量と横方向の１ピクセルの視差量が同じ距離を示さないためである。

ここまでの処理について、具体例を用いて説明する。

図６の（ａ）は、撮像部１０５の視点画像の例を示す図であり、オブジェクト６０１が写っている。図６の（ｂ）は、撮像部１０５の視点画像にエッジ保持型のフィルタをかけ、小領域に分割した状態を示す図である。ここで、小領域の一つを小領域６０２、小領域６０２の中心座標を６０３とする。図６の（ｃ）は、撮像部１０４の視点画像の例を示す図である。撮像部１０４の場合、同じオブジェクトを撮像部１０５の右側から撮像することになるため、撮像部１０４の視点画像におけるオブジェクト６０４は、撮像部１０５の視点画像におけるオブジェクト６０１よりも左側に写っている。

いま、対象視点画像を撮像部１０５の視点画像、参照する視点画像を撮像部１０４の視点画像として、小領域６０２を対象とした対応領域の比較を行う。図６の（ｄ）は撮像部１０４の視点画像に、撮像部１０５の視点画像における小領域６０２を重ねた状態であり、対応領域においてずれがある。そして、撮像部１０５の視点画像における小領域６０２の画素値（エッジ保持型のフィルタをかけたもの）と撮像部１０４の視点画像における画素値（エッジ保持型のフィルタをかけたもの）との比較を行い、ヒストグラムを作成する。具体的には、対応する小領域の各画素の色差を取得し、横軸に色差、縦軸にマッチングした画素数を取る。そのようにして、視差量を変化させて（例えば、小領域を１画素ずつ移動させて）、視差量毎のヒストグラムを順次作成する。図７は、ヒストグラムの一例を示しており、図７の（ａ）のように高いピークを持つヒストグラム分布は視差量の信頼度が高く、図７の（ｂ）のようにピークの低いヒストグラム分布は視差量の信頼度が低いと判断する。ここでは、高いピークを持つヒストグラムの視差量を、初期視差量として設定する。図６の（ｅ）は、図６の（ｄ）で生じているずれが解消された状態であり、撮像部１０５の視点画像における小領域６０２が撮像部１０４の視点画像における対応領域にずれなく重なっている。この図６の（ｅ）における矢印６０５で示される視差量が、求める初期視差量に相当する。なお、ここでは小領域を１画素ずつ移動させてヒストグラムを生成したが、０．５画素ずつ移動させるなど移動量は任意に設定して構わない。

図５のフローチャートの説明に戻る。

ステップ５０５において、距離情報推定部４０１は、小領域間の色差、初期視差量の差などを用いて反復的に初期視差量を調整する。具体的には、色差が近い近隣の小領域は似た視差量を持ち、所期視差量の差が近い近隣の小領域は似た視差量を持つ可能性が高いとの考えに基づいて初期視差量の調整を行う。

図８は、初期視差量の調整を説明する図である。図８の（ａ）は、図６の（ｂ）の小領域毎に初期視差量を算出した結果（調整前の状態）を示す図であり、図８の（ｂ）は調整を行った後の状態を示す図である。図８の（ａ）では、オブジェクト領域８００（太線の内側の領域）における３つの小領域の視差量をそれぞれ斜線８０１、斜線８０２、斜線８０３で表している。ここで、斜線８０１／８０３は左上から右下に向かう斜線であり、斜線８０２は右上から左下に向かう斜線であるが、これは両者の視差量が異なっていることを示す。この場合において、背景領域（太線の外側の領域）については右上から左下に向かう斜線が正解の視差量であり、オブジェクト領域については左上から右下に向かう斜線が正解の視差量であるとする。図８の（ａ）では、視差量８０１及び８０３に関しては、オブジェクト領域の視差量として正しい視差量が算出できているが、視差量８０２に関しては、背景領域の視差量を算出してしまっており正しい視差量ができていないことが分かる。視差量の調整では、このような小領域単位に視差量を推定したときに生じた誤りが、周囲の小領域との関係を利用して正される。例えば、図８の（ａ）の場合、背景領域の視差量になってしまっていた視差量８０２が、隣接する小領域の視差量８０１及び視差量８０３を利用して調整された結果、図８の（ｂ）に示すとおり、左上から右下に向かう正しい視差量８０４となる。

ステップ５０６において、距離情報推定部４０１は、初期視差量の調整によって得られた視差量を距離に変換する処理を行って距離情報を得る。距離情報は、（カメラ間隔×焦点距離）／（視差量×１ピクセルの長さ）で算出されるが、１ピクセルの長さは縦と横とでは異なるため、縦と横の視差量が同一距離を示すように必要な変換が施される。

さらに、変換された距離情報は、例えば８ビット（２５６階調）に量子化される。そして８ビットに量子化された距離情報は、８ビットのグレイスケール（２５６階調）の画像データとして保存される。距離情報のグレイスケール画像では、オブジェクトの色は、カメラからの距離が近い程、白（値：２５５）に近い色、カメラからの距離が遠い程、黒（値：０）に近い色で表現される。例えば、図８におけるオブジェクト領域８００は白で表現され、背景領域は黒で表現される。もちろん、距離情報は１０ビット、１２ビットなど他のビット数で量子化しても良いし、量子化せずバイナリファイルとして保存しても構わない。

このようにして、各視点画像の各画素に対応した距離情報が算出される。本実施例では、画像を所定の画素数からなる小領域に分割して距離を算出しているが、複数視点画像間の視差を基に距離を得るのであれば他の推定方法を用いても構わない。

上記の処理で得られた各視点画像に対応する距離情報と複数視点画像データは、後続の分離情報生成部４０２および自由視点画像生成部４０３に送られる。なお、各視点画像に対応する距離情報と複数視点画像データを分離情報生成部４０２のみに送り、分離情報生成部４０２からこれらのデータを自由視点画像生成部４０３に送るようにしてもよい。

（分離情報生成処理）
次に、分離情報生成部４０２における、各視点画像を画像中のオブジェクトの境界付近である境界層、オブジェクトの境界以外である主層の２つの層に分離する処理について説明する。図９は、本実施例に係る画像分離処理の流れを示すフローチャートである。

ステップ９０１において、分離情報生成部４０２は、複数視点画像データ、及び、距離情報推定処理によって得られた距離情報を取得する。

ステップ９０２において、分離情報生成部４０２は、視点画像内のオブジェクト境界を抽出する。本実施例では、対象画素の距離情報と近隣画素の距離情報との差分（以下、「距離情報の差分」と呼ぶ。）が閾値以上の箇所をオブジェクトの境界として特定している。具体的には、以下のとおりである。

まず、縦方向に走査し、距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。次に、横方向に走査し、同様に距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。そして、縦方向と横方向でそれぞれ特定された画素の和集合をとり、オブジェクト境界として特定する。なお、閾値としては、距離情報が８ビットで量子化（０〜２５５）されている場合においては、例えば「１０」のような値に設定される。

ここでは、オブジェクト境界を距離情報に基づいて得ているが、画像を領域分割してオブジェクト境界にするなど他の方法を用いても構わない。ただ、画像の領域分割により得られるオブジェクト境界と、距離情報から得られるオブジェクト境界とは、出来る限り一致していることが望ましい。画像の領域分割によってオブジェクト境界を得たときは、得られたオブジェクト境界に合わせて距離情報を補正すると良い。

ステップ９０３において、分離情報生成部４０２は、視点画像内の各画素を、境界画素、通常画素の２種類に分類する。具体的には、ステップ９０１で取得した距離情報を参照して、ステップ９０２で特定されたオブジェクト境界に隣接する画素を境界画素と決定する。図１０は、視点画像内の各画素が、境界画素、通常画素の２つに分類される様子を説明する図である。オブジェクト境界１００１を跨ぐ隣接画素が境界画素１００２、残りの画素が通常画素１００３にそれぞれ分類されている。ここでは、オブジェクト境界１００１に隣接する１画素のみを境界画素としているが、例えば、オブジェクト境界に隣接する２画素（オブジェクト境界１００１から２画素の幅）を境界画素としてもよい。オブジェクト境界付近の境界画素とそれ以外の通常画素とを特定することができるのであれば、どのように分類しても構わない。

ステップ９０４において、分離情報生成部４０２は、入力された複数視点画像データに含まれるすべての視点画像について画素の分類が完了したかどうかを判定する。未処理の視点画像がある場合にはステップ９０２に戻り、次の視点画像に対しステップ９０２及びステップ９０３の処理を行う。一方、すべての視点画像について画素の分類が完了していた場合には、ステップ９０５に進む。

ステップ９０５において、分離情報生成部４０２は、境界画素、通常画素を特定可能な分離情報を自由視点画像生成部４０３に送る。分離情報としては、例えば境界画素と判定された画素について“１”、通常画素と判定された画素について“０”といったフラグを別途付加すること等が考えられる。ただし、境界画素が分かれば、その余の画素は通常画素であると判明するので、分離情報としては、境界画素が特定可能な情報であればよい。後述の自由視点画像生成処理では、このような分離情報を用いて、所定の視点画像が２つの層（すなわち、境界画素で構成される境界層、通常画素で構成される主層）に分離されることになる。

（自由視点画像生成処理）
続いて、自由視点画像生成部４０３における、自由視点画像の生成処理について説明する。図１１は、本実施例に係る自由視点画像生成処理の流れを示すフローチャートである。

ステップ１１０１において、自由視点画像生成部４０３は、出力される自由視点画像における任意の視点（以下、「自由視点」と呼ぶ。）の位置情報を取得する。自由視点の位置情報は、例えば以下のような座標によって与えられる。本実施例では、撮像部１０５の位置を基準となる座標位置（０．０，０．０）とした場合における、自由視点の位置を示す座標情報を与えるものとする。この場合、撮像部１０１は（１．０，１．０）、撮像部１０２は（０．０，１．０）、撮像部１０３は（−１．０，１．０）、撮像部１０４は（１．０，０．０）の座標でそれぞれ表される。同様に、撮像部１０６は（−１．０，０．０）、撮像部１０７は（１．０，−１．０）、撮像部１０８は（０．０，−１．０）、撮像部１０９は（−１．０，−１．０）の座標で表される。ここで、例えば、４つの撮像部１０１、１０２、１０４、１０５の中間位置を自由視点とした画像を合成したいと考えたとき、ユーザは、座標（０．５，０．５）を入力すればよいことになる。当然のことながら、座標定義の方法は上記に限るものではなく、撮像部１０５以外の撮像部の位置を基準となる座標位置としてもよい。また、自由視点の位置情報の入力方法は上述した座標を直接入力する方法に限られるものではなく、例えば、撮像部の配置を示すＵＩ画面（不図示）を表示部２０６に表示し、タッチ操作等によって所望の自由視点を指定するようにしてもよい。

なお、本ステップにおける取得対象としては説明していないが、上述のとおり各視点画像に対応する距離情報と複数視点画像データも、距離情報推定部４０１或いは分離情報生成部４０２から取得される。

ステップ１１０２において、自由視点画像生成部４０３は、指定された自由視点の位置における自由視点画像データの生成において参照する、複数の視点画像（以下、「参照画像群」と呼ぶ。）を設定する。本実施例では、指定された自由視点の位置に近い４つの撮像部で撮像された視点画像を参照画像群として設定する。上記のように、自由視点の位置として座標（０．５，０．５）が指定されたときの参照画像群は、撮像部１０１、１０２、１０４、１０５で撮像された４つの視点画像によって構成されることになる。もちろん、参照画像群を構成する視点画像の数は４つに限定されるものではなく、指定された自由視点の周囲の３つでも構わない。さらに、指定された自由視点の位置を内包するものであれば足り、例えば指定された自由始点位置の直近ではない４つの撮像部（例えば、撮像部１０１、１０３、１０７、１０９）で撮像された視点画像を参照画像群に設定してもよい。

ステップ１１０３において、自由視点画像生成部４０３は、設定された参照画像群に対して、１の代表画像と１以上の補助画像を設定する処理を行う。本実施例では、参照画像群のうち、指定された自由視点の位置に最も近い視点画像を代表画像とし、その他の視点画像を補助画像として設定する。例えば、自由視点の位置として座標（０．２、０．２）が指定され、撮像部１０１、１０２、１０４、１０５で撮像された４つの視点画像からなる参照画像群が設定されたとする。この場合、指定された自由視点の位置（０．２、０．２）に最も近い撮像部１０５で撮像された視点画像が代表画像に設定され、撮像部１０１、１０２、１０４で撮像された各視点画像が補助画像に設定される。もちろん、代表画像の決定方法はこれに限るものではなく、各撮像部の配置等に応じて、例えばカメラ中心により近い撮像部で撮像された視点画像を代表画像にするなど、他の方法を用いても構わない。

ステップ１１０４において、自由視点画像生成部４０３は、代表画像の主層の３次元モデルを生成する処理を行う。主層の３次元モデルは、オブジェクト境界に掛かっていない通常画素を含む４つの画素を相互に接続して四辺形メッシュを構築することにより生成する。図１２は、代表画像の主層の３次元モデル生成の様子を説明する図である。図１２において例えば、いずれもオブジェクト境界１００１に掛かってない通常画素を含む４つの画素（２つの通常画素１００３、１２０１及び２つの境界画素１２０２、１２０３）を接続して四辺形メッシュ１２０４が構築される。このような処理を繰り返し行い、主層の３次元モデルとなるすべての四辺形メッシュが構築される。このときの四辺形メッシュの大きさは最小で１画素×１画素である。本実施例では、主層は全て１画素×１画素の大きさの四辺形メッシュで構築しているが、より大きな四辺形メッシュとしてもよい。または、四辺形以外の形状、例えば三角形のメッシュを構築するようにしても構わない。

上記のようにして構築される、１画素単位の四辺形メッシュのＸ座標とＹ座標は撮像装置１００のカメラパラメータから算出されたグローバル座標が相当し、Ｚ座標は距離情報から得られる各画素における被写体までの距離が相当する。そして、各画素の色情報を四辺形メッシュにテクスチャマッピングして、主層の３次元モデルを生成する。

図１１のフローチャートの説明に戻る。

ステップ１１０５において、自由視点画像生成部４０３は、代表画像の主層を補助画像の視点位置でレンダリングする。図１３は、代表画像の主層のレンダリングの様子を説明する図である。横軸にＸ座標、縦軸にＺ座標を取っている。図１３において、線分１３０１及び１３０２は、代表画像の視点位置である基準視点（白塗りの逆三角１３０３）から３次元モデル生成した場合における主層の四辺形メッシュをそれぞれ示している。ここでは、境界画素１３０４と境界画素１３０５との間にオブジェクト境界（不図示）が存在するものとする。主層として、通常画素１３０６と境界画素１３０４とを接続した四辺形メッシュ１３０１、及び、通常画素１３０７と境界画素１３０５とを接続した四辺形メッシュ１３０２が３次元モデル生成されている。このような四辺形メッシュ１３０１及び１３０２を、補助画像の視点位置である対象視点（黒塗りの逆三角形１３０８）でレンダリングした画像がレンダリング画像となる。レンダリング処理において、色が存在しない画素部分は、穴として残ることになる。図１３において、矢印１３０９／１３１０は、四辺形メッシュ１３０２が、基準視点１３０３／対象視点１３０８でどの位置から見えるかを示している。基準視点１３０３より左側にある対象視点１３０８では、四辺形メッシュ１３０２は、基準視点１３０３より右側に位置する。矢印１３１１／１３１２も同様に、四辺形メッシュ１３０１が、基準視点１３０３／対象視点１３０８でどの位置から見えるかを示している。

図１４は、代表画像の主層を補助画像の視点位置でレンダリングしたときの一例を示した図である。ここでは、撮像部１０５で撮像された視点画像を代表画像とし、撮像部１０４で撮像された視点画像を補助画像とした場合のレンダリング結果を示す。図１４の（ａ）は代表画像（撮像部１０５で撮像）、同（ｂ）は補助画像（撮像部１０４で撮像）をそれぞれ示している。撮像部１０５と撮像部１０４によってオブジェクト１４０１が撮像されているが、撮像部１０５で撮像された視点画像では右側に、撮像部１０４で撮像された視点画像では左側にオブジェクト１４０１が写っているのが分かる。図１４の（ｃ）は、代表画像における主層と境界層を表しており、斜線で示された領域１４０２が主層であり、黒の太線で示された領域１４０３が境界層である。図１４の（ｄ）は、図１４の（ｃ）において斜線で示された領域１４０２、すなわち、代表画像の主層を、補助画像の視点位置でレンダリングした結果を示している。代表画像の境界層がレンダリングされないことから境界領域１４０３が穴として残り、また、代表画像の視点位置で撮像されていないオクルージョン領域１４０４も穴として残ることが分かる。すなわち、図１４の（ｄ）では、代表画像の主層を補助画像の視点位置でレンダリングすることにより、境界領域１４０３及びオクルージョン領域１４０４が穴として残る。

図１１のフローチャートの説明に戻る。

ステップ１１０６において、自由視点画像生成部４０３は、補助画像の補助主層を生成する。ここで、補助主層とは、補助画像における主層と、ステップ１１０５で得られたレンダリング画像（代表画像の主層を補助画像の視点位置でレンダリングした画像）との差分に相当する。図１５は、補助主層生成の様子を説明する図である。ここでも、撮像部１０５で撮像された視点画像を代表画像とし、撮像部１０４で撮像された視点画像を補助画像とする。図１５の（ａ）は、補助画像における境界層と主層を表しており、図１４の（ｃ）と同様、斜線で示された領域１５０１が主層であり、黒の太線で示された領域１５０２が境界層である。ここで、図１４の（ｄ）で示されたように、代表画像の主層を補助画像の視点位置でレンダリングした画像では、境界領域１４０３及びオクルージョン領域１４０４が穴として残っていた。その結果、図１５の（ａ）における斜線領域１５０１と図１４の（ｄ）における斜線領域１４０２との差分に相当する領域１５０３（図１４の（ｄ）におけるオクルージョン領域１４０４）が、補助画像の補助主層となる。このように本実施例では、補助主層の生成に視点画像の構造情報のみを利用し、色情報は利用していない。そのため、色情報のレンダリングを省略でき、結果的に計算量を削減することができる。

図１１のフローチャートの説明に戻る。

ステップ１１０７において、自由視点画像生成部４０３は、補助画像の補助主層の３次元モデルを生成する処理を行う。補助主層の３次元モデルは、ステップ１１０４で説明した代表画像の主層の３次元モデルと同様の処理で生成される。ここでは、補助主層として設定された画素を通常画素、その他の画素を境界画素として扱う。補助主層の３次元モデルは、オブジェクト境界に掛かっていない通常画素を含む４つの画素を相互に接続して四辺形メッシュを構築することにより生成する。その他の処理はステップ１１０４と同様のため、ここでの説明は省略する。代表画像の主層の３次元モデリングに比べ、補助画像の補助主層の３次元モデリングは、通常画素として処理する画素数が少ないため、３次元モデル生成に要する計算量は少なくて済む。

ステップ１１０８において、自由視点画像生成部４０３は、代表画像の主層を自由視点位置でレンダリングする。代表画像の主層の３次元モデルを、ステップ１１０５では補助画像の視点位置でレンダリングしたが、本ステップでは、ステップ１１０１で取得した自由視点位置でレンダリングする。これは、図１３において、基準視点１３０３が代表画像の視点位置を指し、対象視点１３０８が自由視点位置を指すことを意味する。その他の処理はステップ１１０５と同様のため、ここでの説明は省略する。

ステップ１１０９において、自由視点画像生成部４０３は、補助画像の補助主層を自由視点位置でレンダリングする。すなわち、ステップ１１０７で生成した補助画像の補助主層の３次元モデルを、ステップ１１０１で取得した自由視点位置でレンダリングする。これは、図１３において、基準視点１３０３が補助画像の視点位置を指し、対象視点１３０８が自由視点位置を指すことを意味する。その他の処理はステップ１１０５と同様のため、ここでの説明は省略する。

ここまでで自由視点画像合成に必要な画像生成を行ったが、計算負荷の大きい処理を整理すると以下のようになる。
・代表画像の主層の３次元モデル生成（ステップ１１０４）
・補助画像の補助主層の３次元モデル生成（ステップ１１０７）
・代表画像の主層を補助画像の視点位置でレンダリング（ステップ１１０５）
・代表画像の主層を自由視点位置でレンダリング（ステップ１１０８）
・補助画像の補助主層を自由視点位置でレンダリング（ステップ１１０９）

ステップ１１０４及び１１０７における３次元モデル生成について言えば、補助画像の補助主層の画素数が代表画像の主層の画素数よりも少ないため、複数の参照画像において共に主層を利用する場合と比べて計算量を大幅に削減できる。

また、ステップ１１０５、１１０８及び１１０９におけるレンダリング処理を、例えばＧＰＵ（画像処理専用の演算装置）を用いて行うなど、３次元モデル生成に対してレンダリング処理を高速化できれば、本発明の効果はより大きくなる。

図１１のフローチャートの説明に戻る。

ステップ１１１０において、自由視点画像生成部４０３は、自由視点位置でなされた２つのレンダリング結果（代表画像の主層のレンダリング結果と補助画像の補助主層のレンダリング結果）を統合して、主層と補助主層の統合画像データを生成する。本実施例の場合、代表画像の主層をレンダリングした１つのレンダリング画像と、補助画像の補助主層をレンダリングした３つのレンダリング画像とが統合されることになる。以下、統合処理について説明する。

まず、統合処理は、画素毎に行われる。そして、統合後の色は、様々な手法によって取得し得るが、ここでは各レンダリング画像の重み付き平均、具体的には、指定された自由視点の位置と参照画像との距離に基づく重み付き平均を用いる場合について説明する。例えば、指定された自由始点位置が、参照画像群を構成する各視点画像に対応する４つの撮像部から等距離だけ離れた位置であった場合には、０．２５ずつの等しい重みとなる。指定された自由始点位置が、いずれかの撮像部に近寄った位置であった場合には、その距離が近いほど大きい重みとなる。この際、各レンダリング画像で穴が空いている箇所は、統合の色計算には用いない。つまり穴が空いていないレンダリング画像からの重み付き平均によって統合後の色は計算される。全てのレンダリング画像で穴が空いている箇所は穴として残ることになる。図１６を用いて、この統合処理の様子を説明する。ただし、説明の簡易化のために、代表画像を撮像部１０５で撮像された視点画像、補助画像を撮像部１０４で撮像された１の視点画像とする。そして、自由視点位置は、撮像部１０５と撮像部１０４との中間視点とする。図１６の（ａ）では代表画像の主層が、同（ｂ）では補助画像の補助主層が、それぞれ斜線によって表されている。図１６の（ａ）に示された代表画像の主層を中間視点でレンダリングした結果を表わしているのが図１６の（ｃ）であり、網掛けで示される領域１６０１が主層からのレンダリング領域である。境界領域１６０２及びオクルージョン領域１６０３は穴として残っている。そして、図１６の（ｂ）に示された補助画像の補助主層を中間視点でレンダリングした結果を表しているのが図１６（ｄ）であり、網掛けで示される領域１６０４が補助主層からのレンダリング領域である。境界領域１６０５とその他の領域１６０６は穴として残っている。図１６の（ｃ）を見ると、撮像部１０５の視点画像におけるオブジェクトよりも左側に（図１６の（ａ）参照）、撮像部１０４の視点画像におけるオブジェクトよりも右側に（図１６の（ｂ）参照）オブジェクトが位置しているのが分かる。そして、図１６の（ｃ）では、オブジェクトの右側にオクルージョン領域１６０３が残っていることが分かる。一方、図１６の（ｄ）では、図１６の（ｃ）におけるオクルージョン領域１６０３に相当する領域１６０４が、補助主層からのレンダリング領域となっていることが分かる。このように、補助画像の補助主層をレンダリングした結果、代表画像の主層のレンダリング画像において欠落している部分を補うようなレンダリング領域が得られる。このような相互補完の関係にある２つのレンダリング画像（代表画像の主層のレンダリング画像と補助画像の補助主層のレンダリング画像）を統合することで、穴のない画像（図１６の（ｅ）参照）が得られることになる。ここでは、説明の便宜上２つの視点画像での中間視点画像を生成しているため、色計算の重みはそれぞれ０．５となる。そして、統合された画像における各画素の色は、共に穴が空いていない箇所については、両レンダリング画像の平均色となる。そして、いずれか一方のレンダリング画像において穴が空いている箇所は、穴が空いていない方のレンダリング画像における画素の色が採用されることになる。このようにして、撮像部１０５の視点画像と撮像部１０４の視点画像との中間視点の画像が生成される。説明の簡易化のために２つの画像（１つの代表画像と１つの補助画像）のレンダリング結果を統合する場合を例に説明したが、４つの画像（１つの代表画像と３つの補助画像）のレンダリング結果を統合する場合も考え方は同じである。なお、この統合処理で穴が埋まらない部分は、後述する境界層のレンダリング結果の統合処理によって埋められることになる。本ステップにおける統合処理では、代表画像の主層のレンダリング結果と、補助画像の補助主層のレンダリング結果との間で重複する領域が少ないため、合成時のボケを抑制できると共に、計算量も削減できる。

このようにして、主層の統合画像データが生成される。

図１１のフローチャートの説明に戻る。

ステップ１１１１において、自由視点画像生成部４０３は、代表画像における境界層及び補助画像における境界層の３Ｄモデルを生成する。オブジェクト境界に接する境界層では、メッシュ生成時に隣接画素との接続を行わない。具体的には、１つの画素に対して１つの四辺形メッシュを構築して３次元モデルを生成する。図１７は、境界層の３次元モデル生成の様子を説明する図である。本ステップでは、境界画素１７０１に対して、１画素×１画素の大きさの四辺形メッシュ１７０２が構築される。このような処理をすべての境界画素に対して繰り返し行い、境界層の３次元モデルとなるすべての四辺形メッシュを構築する。このようにして構築される、１画素単位の四辺形メッシュのＸ座標とＹ座標は、撮像装置１００のカメラパラメータから算出されたグローバル座標が相当し、Ｚ座標は距離情報から得られる各境界画素における被写体までの距離となる。そして、各境界画素の色情報を四辺形メッシュの色として境界層の３次元モデルを生成する。
図１１のフローチャートの説明に戻る。

ステップ１１１２において、自由視点画像生成部４０３は、代表画像における境界及び補助画像における境界層のレンダリングを行う。図１８は、境界層のレンダリングの様子を説明する図である。図１３と同様、横軸にＸ座標、縦軸にＺ座標を取っており、境界画素１３０４と境界画素１３０５との間にオブジェクト境界（不図示）が存在するものとする。図１８において、線分１８０１、１８０２は、白塗りの逆三角で示される参照視点１３０３から３次元モデル生成した場合における境界層の四辺形メッシュを示している。そして、境界層１８０１は境界画素１３０５の距離情報と色情報を持つ１画素単位の四辺形メッシュであり、境界層１８０２は境界画素１３０４の距離情報と色情報を持つ１画素単位の四辺形メッシュである。このような１画素単位の四辺形メッシュ１８０１、１８０２を、ステップ１１０１で指定された自由視点の位置（図１８中の黒塗りの逆三角１３０８）でレンダリングした画像が境界層のレンダリング画像となる。なお、境界層のレンダリングの場合も、色が存在しない画素部分は、穴として残ることになる。そして、このようなレンダリング処理を、代表画像と補助画像の双方について行い、境界層のレンダリング画像群を得る。図１８において、矢印１８０３／１８０４は、四辺形メッシュ１８０２が、視点１３０３／視点１３０８でどの位置から見えるかを示している。視点１３０３より左側にある視点１３０８では、四辺形メッシュ１８０２は、視点１３０３より右側に位置するのが分かる。

図１１のフローチャートの説明に戻る。

ステップ１１１３において、自由視点画像生成部４０３は、境界層のレンダリング画像群を統合して、境界層の統合画像データを得る。具体的には、ステップ１１１０と同様の統合処理によって、４つの視点画像（１つの代表画像と３つの補助画像）それぞれから生成された境界層のレンダリング画像（４つ）が統合される。

ステップ１１１４において、自由視点画像生成部４０３は、ステップ１１１０で得た主層と補助主層の統合画像データと、ステップ１１１３で得た境界層の統合画像データとを統合して、２層（主層（補助主層を含む）と境界層）の統合画像データを得る。この統合処理も画素毎に行われる。この際、主層と補助主層の統合画像の方が境界層の統合画像よりも安定的に精度の高い画像が得られることから、主層と補助主層の統合画像を優先して利用する。すなわち、主層と補助主層の統合画像に穴が空いていて、境界層の統合画像に穴が空いていないという場合にのみ、境界層の統合画像の色で補完がなされる。主層と補助主層の統合画像と境界層の統合画像との双方に穴が空いているときは、穴として残ることになる。

なお、本実施例において、主層、補助主層のレンダリング、境界層のレンダリングの順に処理を行うのは、オブジェクト境界付近の画質劣化を抑えるためである。

ステップ１１１５において、自由視点画像生成部４０３は、穴埋め処理を行う。具体的には、ステップ１１１４で得た２層統合画像データにおいて穴として残っている部分を周囲の色を用いて補完する。本実施例では、穴埋め対象画素に隣接する周辺画素のうち距離情報が奥にある画素を選択して穴埋め処理を行う。もちろん穴埋めの方法は他の方法を用いても構わない。

ステップ１１１６において、自由視点画像生成部４０３は、穴埋め処理の終わった自由視点画像データを、エンコーダ部２１０に出力する。エンコーダ部２１０では、任意の符号化方式（例えばＪＰＥＧ方式）で符号化して画像出力される。

本実施例によれば、複数視点画像データにおける各視点間の撮像画像を高精度、かつ、高速に合成することが可能となり、撮像した画像とは視点数の異なるディスプレイにおける違和感のない表示、リフォーカス処理など画像処理の高画質化、などを実現できる。

実施例１では、補助主層の生成に、代表画像の主層を補助画像の視点位置でレンダリングしたときに穴が空いた領域の情報を利用した。つまり構造情報のみで補助主層を生成していた。次に、補助主層の生成に、構造情報に加えて色情報を利用することで、より高い画質を実現する態様について、実施例２として説明する。なお、実施例１と共通する部分（距離情報推定部４０１、分離情報生成部４０２における処理）については説明を省略し、ここでは差異点である自由視点画像生成部４０３における処理を中心に説明することとする。

本実施例では、自由視点画像生成処理における補助主層の生成処理において、構造情報に加えて色情報を利用する点が異なるのみである。そこで、前述の図１１のフローチャートに沿って本実施例に特有な点を中心に説明する。

ステップ１１０１における自由視点の位置情報の取得、ステップ１１０２における参照する画像群の設定、ステップ１１０３における代表画像と補助画像の設定は、実施例１と同様である。また、ステップ１１０４における代表画像の主層の３Ｄモデルを生成する処理、ステップ１１０５における代表画像の主層を補助画像の視点位置でレンダリングする処理も、実施例１と同様である。

ステップ１１０６において、自由視点画像生成部４０３は、補助画像の補助主層を、色情報を用いて生成する。具体的には、以下のとおりである。

実施例１の場合と同様、撮像部１０５で撮像された視点画像を代表画像とし、撮像部１０４で撮像された視点画像を補助画像とする。本ステップでは、補助画像の境界層と主層を示す情報（図１５の（ａ）参照）、及び代表画像の主層を補助画像の視点位置でレンダリングしたレンダリング画像の情報（図１４の（ｄ）参照）から補助画像の補助主層を生成する。

まず、実施例１と同様、構造情報を基に補助主層を決定する。この段階では、オクルージョン領域１５０３（図１５の（ｂ）参照）が補助主層として決定される。続いて、色情報を基に最終的な補助主層を決定する。すなわち、代表画像の主層を補助画像の視点位置でレンダリングして得られたレンダリング画像の色情報と補助画像における主層の色情報との差分を取り、当該差分の値が所定の閾値以上となる領域を、さらに補助主層として決定する。所定の閾値としては、例えば、ＲＧＢの各色が０〜２５５で色情報が表される場合であれば１０といった任意の値である。これにより、色情報の差分値が閾値以上となるような色変化のある領域が、補助主層に追加されることになる。図１９は、本実施例に係る補助主層の一例を示す図である。オクルージョン領域１５０３に相当する領域に加えて、２つの領域１９０１が補助主層として決定されているのが分かる。

このように、本実施例では、補助画像における補助主層の生成に、構造情報だけでなく色情報も利用される。

以降の処理（ステップ１１０７からステップ１１１６）は、実施例１と同様であるため、ここでの説明は省略する。

本実施例によれば、補助画像の補助主層の生成に、構造情報に加えて色情報を利用することで、代表画像の主層のみのレンダリングでは表現できない色変化のある領域に対して、補助画像の補助主層からもレンダリングして合成処理を行う。これにより、より高い画質を実現することが可能となる。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (15)

1. 複数の視点から撮像された複数視点画像の中から、１の代表画像及び当該代表画像とは視点の異なる１以上の補助画像を設定する設定手段と、
   設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成手段と
   を有し、
   前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合する手段を備える、
   ことを特徴とする画像処理装置。
2. 前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層を前記補助画像の視点でレンダリングし、得られたレンダリング画像と前記補助画像におけるオブジェクトの境界以外を示す主層との差分を取ることにより前記代表画像の視点からは撮像されない領域となる領域を取得して、前記補助主層を生成する補助主層生成手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記補助主層生成手段は、さらに、前記代表画像の前記主層を前記補助画像の視点でレンダリングして得られたレンダリング画像の色情報と前記補助画像における前記主層の色情報との差分を取り、当該差分が閾値以上となる領域を前記補助主層に追加することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合する手段をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像との統合は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像との統合よりも後に行われることを特徴とする請求項４に記載の画像処理装置。
6. 前記主層及び前記境界層は、画像の距離情報を用いて分離されることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記主層及び前記境界層は、画像の色情報を用いて分離されることを特徴とする請求項４又は５に記載の画像処理装置。
8. 複数の視点から撮像された複数視点画像の中から、１の代表画像及び当該代表画像とは視点の異なる１以上の補助画像を設定する設定ステップと、
   設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成ステップと
   を含み、
   前記合成ステップは、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合するステップを含む、
   ことを特徴とする画像処理方法。
9. 前記合成ステップは、前記代表画像におけるオブジェクトの境界以外を示す主層を前記補助画像の視点でレンダリングし、得られたレンダリング画像と前記補助画像におけるオブジェクトの境界以外を示す主層との差分を取ることにより前記代表画像の視点からは撮像されない領域をとなる領域を取得して、前記補助主層を生成する補助主層生成ステップをさらに含むことを特徴とする請求項８に記載の画像処理方法。
10. 前記補助主層生成ステップは、さらに、前記代表画像の前記主層を前記補助画像の視点でレンダリングして得られたレンダリング画像の色情報と前記補助画像における前記主層の色情報との差分を取り、当該差分が閾値以上となる領域を前記補助主層に追加するステップをさらに含むことを特徴とする請求項９に記載の画像処理方法。
11. 前記合成ステップは、前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合するステップをさらに備えることを特徴とする請求項８〜１０のいずれか１項に記載の画像処理方法。
12. 前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合するステップは、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されない領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合するステップよりも後に行われることを特徴とする請求項１１に記載の画像処理方法。
13. 前記主層及び前記境界層は、画像の距離情報を用いて分離されることを特徴とする請求項１１又は１２に記載の画像処理方法。
14. 前記主層及び前記境界層は、画像の色情報を用いて分離されることを特徴とする請求項１１又は１２に記載の画像処理方法。
15. コンピュータを、請求項１〜７のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。

Images