JP2017010549A - ライトフィールドデータベースでのデータ取り出しのための方法及び装置 - Google Patents

Abstract

【課題】ライトフィールドデータベースでのデータ取り出しのための方法及び装置を提供する。
【解決手段】装置の取得ユニットは、サンプルデータを取得する。動作ユニットは、ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２Ｄ画像を決定し、サンプルデータの幾何学パラメータ及び２Ｄ画像の幾何学パラメータに従ってサンプルデータを決定された２Ｄ画像と照合する。２Ｄ画像の１つは、照合の結果に基づき対象画像として選択され、対象画像が決定される４Ｄライトフィールドデータが取り出される。
【選択図】図２

Description

ライトフィールドデータベースでのデータ取り出しのための方法及び装置が提案される。加えて、そのような方法及び装置に適したコンピュータ可読媒体も提案される。

サンプル画像を用いた且つ画像間の類似に基づいた、２次元（２Ｄ）画像のデータベースでの２Ｄ画像の検索及び取り出しは、当該分野においてよく知られている。類似は、任意に、種々の局面に基づくことができる。例えば、サンプル画像において示されているサンプルオブジェクトがデータベースにおいて検索され、サンプルオブジェクトと類似したオブジェクトを示す画像が検索結果として取り出される。取り出し方法は、通常、データベース内の画像の特徴を計算し、それらの特徴をサンプル画像又はサンプルデータと比較して、類似する画像を見つけ出す。特徴は、例えば、色ヒストグラム、エッジ、及び特徴点を含むことができる。検索の性能は、一般に、特徴解析の品質及びロバスト性に依存する。

ロバストな特徴の計算には課題及び問題が存在する。第１に、不鮮明な画像からは、エッジ又は特徴点のような信頼できる特徴を計算し抽出することが難しい。透明な又は部分的に透明なオブジェクトを含む画像について、色ヒストグラム、エッジ検出及び特徴点検出は、透明な又は半透明なオブジェクトの後ろに見えている背景に苦しむ。枝葉を持った木のような散在性のオブジェクトは、大きく且つ空間的に散在しているデプス範囲をあらわにする。更には、複数の画像の間で異なるビューポイントから見られるオブジェクトについて、幾何学的且つ測光的ゆがみは、画像の取り出しを難しくする。

シーンの４次元（４Ｄ）ライトフィールドは、画像捕捉のための代替の選択肢として導入されてきた。４Ｄライトフィールドは、例えば、プレンオプティックカメラ又はカメラのグリッドによって、捕捉可能であり、スナップショット後の捕捉のリフォーカシングと、捕捉の際にシーンのデプスを推定することと、捕捉データのための多数の他の柔軟な編集オプションとを可能にする。複数の旧来の２Ｄ画像は、同じシーンについての４Ｄライトフィールドデータから計算され得る。計算された２Ｄ画像、いわゆるライトフィールド画像は、ビューポイント、ビューイング方向、解像度、ビューのデプス、フォーカスプレーン、などにおいて異なってよい。例えば、リフォーカシングされた２Ｄ画像をライトフィールドから計算する方法は、下記の非特許文献１において説明されている。この中で、カメラセンサのロー画像からのサブ画像は、画像プレーンにおいて空間的にシフトされ、その後に集約される。

更なるライトフィールドデータが近い将来に入手可能であり使用されると期待され得る。ライトフィールドデータの検索及び取り出しのための技術及び解決法も、ユーザにとって必須となる。

R. Ng, et al.，"Light field photography with a hand-held plenoptic camera"，Stanford University Computer Science Tech Report CSTR，２００５年４月 K.E.A. van de Sande, et al.，"Evaluating color descriptors for object and scene recognition"，IEEE Transactions on Pattern Analysis and Machine Intelligence，32(9)，pp.1582-1596，２０１０年

従って、４Ｄライトフィールドデータを含むライトフィールドデータベースでのデータ取り出しのための解決法を提案することを目的とする。特に、解決法は、所与のサンプルデータに類似したライトフィールドデータをデータベースにおいて検索するために使用される。

一実施形態に従って、ライトフィールドデータベースでのデータ取り出しの方法が提案される。前記ライトフィールドデータベースは４Ｄライトフィールドデータを含む。当該方法は、サンプルデータを取得するステップと、前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる、ステップと、前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合するステップと、前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択するステップと、前記対象画像が決定される４Ｄライトフィールドデータを取り出すステップとを有する。前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む。前記サンプルデータは、任意に、２Ｄ画像サンプル又はライトフィールドデータサンプルであることができる。

望ましくは、前記ライトフィールドデータベースから決定される前記２Ｄ画像は、前記ライトフィールドデータベースの変更されたビューポイント、変更された視差、又は変更されたデプスマップを使用する、サブアパーチャビュー、リフォーカシングされた画像、全焦点画像、クロッピングされた画像、インペイントされた画像、ノイズ除去された画像、及び同期化された画像のうちの少なくとも１つを有する。

望ましくは、前記サンプルデータを前記決定された２Ｄ画像と照合するステップは、前記ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像の間の幾何学リンクを使用することを含む。前記幾何学リンクは、前記複数の２Ｄ画像の幾何学パラメータの間の関係を表す。

一実施形態において、前記サンプルデータは、ライトフィールドデータサンプルである。当該方法は、前記ライトフィールドデータサンプルから複数の２Ｄ画像サンプルを決定し、夫々の２Ｄ画像サンプルは、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像サンプルと異なる、ステップと、前記２Ｄ画像サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記サンプルデータの前記２Ｄ画像サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するステップとを更に有する。

望ましくは、当該方法のこの実施形態は、前記複数の２Ｄ画像サンプルから、シャープネスが最も高い２Ｄ画像サンプル、又は目標とするサンプルオブジェクトが前記ライトフィールドデータサンプルの代表サンプルとしてフロントビューにおいて示される２Ｄ画像サンプルを選択するステップと、前記代表サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記代表サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するステップとを更に有する。

一実施形態に従って、ライトフィールドデータベースからデータを取り出すよう構成される装置が導入される。当該装置は、取得ユニット及び動作ユニットを有する。前記取得ユニットは、サンプルデータを取得するよう構成される。前記動作ユニットは、前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なり、前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合し、前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択し、前記対象画像が決定される４Ｄライトフィールドデータを取り出すよう構成される。前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む。

望ましくは、前記動作ユニットは、前記ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像の間の幾何学リンクを使用するよう更に構成される。前記幾何学リンクは、前記複数の２Ｄ画像の幾何学パラメータの間の関係を表す。

一実施形態において、前記サンプルデータは、ライトフィールドデータサンプルである。前記動作ユニットは、前記ライトフィールドデータサンプルから複数の２Ｄ画像サンプルを決定し、夫々の２Ｄ画像サンプルは、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像サンプルと異なり、前記２Ｄ画像サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記サンプルデータの前記２Ｄ画像サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するよう更に構成される。望ましくは、前記動作ユニットは、前記複数の２Ｄ画像サンプルから、シャープネスが最も高い２Ｄ画像サンプル、又は目標とするサンプルオブジェクトが前記ライトフィールドデータサンプルの代表サンプルとしてフロントビューにおいて示される２Ｄ画像サンプルを選択し、前記代表サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記代表サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するよう更に構成される。

また、コンピュータ可読記憶媒体は、ライトフィールドデータベースでのデータ取り出しのための命令であって、コンピュータによって実行される場合に、該コンピュータに、サンプルデータを取得するステップと、前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる、ステップと、前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合するステップと、前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択するステップと、前記対象画像が決定される４Ｄライトフィールドデータを取り出すステップとを実行させる命令を記憶している。前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む。

コンピュータ可読記憶媒体は、例えば、ハードディスク、光又は磁気ディスク又はテープ、ソリッドステートメモリデバイス、などのような、非一時的な揮発性又は不揮発性記憶媒体であることができる。記憶媒体は、ここで記載されるプログラムステップを実施するようコンピュータ又はプロセッシングデバイスによって実行可能な命令のプログラムをこのようにして有形に具現する。

提案される方法は、ライトフィールドデータベースが、捕捉されたシーンに関する豊富な情報を含む、という見識を利用する。従来の画像データベースの幾つかの欠点は、ライトフィールドデータベース及びそれが提供する視覚情報の使用により解消され得る。例えば、異なるデプスにおける目標とされるオブジェクトは、部分的に透明なオブジェクト及び部分的に散在したオブジェクトと同様に、検索され取り出され得る。加えて、異なるビューポイントによって見られるオブジェクトも、ライトフィールドデータベースにおいて検索され得る。検索及び取り出しは、幾何学リンクが使用される場合に、更に改善され、より有効であることができる。

より良い理解のために、提案される解決法は、これより、図を参照して以下の記載において更に詳細に説明されるべきである。解決法は、開示されている例となる実施形態に制限されず、且つ、特定される特徴は、添付の特許請求の範囲で定義されている提案される解決法の適用範囲から逸脱することなしに、便宜上も、結合及び／又は変更され得ることが理解される。
ライトフィールドデータベースにおいてデータを取り出すよう構成される装置の例となる実施形態を表す概略図である。 ライトフィールドデータベースでのデータ取り出しのための方法の好適な実施形態を表すフローチャートである。 ライトフィールドデータベースでのデータ取り出しのための方法の他の好適な実施形態を表すフローチャートである。 ライトフィールドデータベースでのデータ取り出しのための方法の更なる他の好適な実施形態を表すフローチャートである。

明細書中で使用される語「ライトフィールド」は、当該分野で一般に定義されるものとして理解されるべきである。すなわち、４Ｄビデオデータは、如何なる瞬間においても、空間シーン内のあらゆる方向において移動するあらゆる点での全ての光線に関する角度及び空間情報を含み、例えば、プレンオプティックビデオカメラ、ビデオカメラアレイ、又は何らかの他の実現可能なカメラデバイスによって、捕捉され得る。特に、本明細書中のライトフィールドは、ライトフィールドの２Ｄ画像データの生成を可能にするシーンについて捕捉されたデータの全体として又は全体のサブセットとして理解され得る。

図１は、４Ｄライトフィールドデータを含むライトフィールドデータベースからデータを取り出すよう構成される装置１０の例となる実施形態を概略的に表す。装置は、取得ユニット１１、動作ユニット１２、及び任意の記憶ユニット１３を有する。

取得ユニット１１は、サンプルデータを取得するよう構成される。サンプルデータは、装置１０のユーザ入力（図示せず。）又は外部の入力デバイスを通じてユーザから取得され得る。代替案において、サンプルデータは、利用可能なデータベースから取り出されて取得され得る。そのデータベースは、例えば、記憶ユニット１３において記憶され得る。

記憶ユニット１３は、如何なる実現可能な且つ適切なメモリデバイスであることもでき、装置１０に組み込まれるか、あるいは、装置１０に追加され得る。４Ｄライトフィールドデータが取り出されるライトフィールドデータベースも、任意に、記憶ユニット１３において記憶され得る。

動作ユニット１２は、ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２Ｄ画像を決定するよう構成される。決定された２Ｄ画像の夫々は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる。動作ユニット１２は、サンプルデータ及び決定された２Ｄ画像の幾何学パラメータに従って、取得されたサンプルデータを、決定された２Ｄ画像と照合し、その照合結果に基づき、２Ｄ画像の１つを対象画像として選択し、対象画像が決定される特定の４Ｄライトフィールドデータを取り出すよう更に構成される。

一実施形態において、動作ユニット１２は、ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像の間の幾何学リンクを使用するよう更に構成される。幾何学リンクは、複数の２Ｄ画像の幾何学パラメータの間の関係を表す。

装置１０の動作に関する更なる詳細は、ライトフィールドデータベースでのデータ取り出しのための提案される方法とともに、以下で記載される。当然、装置１０は、提案される方法の実施形態の実施のための何らかの他の追加又は代替のデバイスを任意に有することができる。

図２は、４Ｄライトフィールドデータを含むライトフィールドデータベースでのデータ取り出しのための方法の好適な実施形態を概略的に表す。図１を参照すると、方法の実施形態は、装置１０の例となる実施形態を用いて以下で詳細に説明される。方法は、当該分野で知られており且つ利用可能な如何なる他の適切なシステム又は装置でも実施され得る。

上述されたように、ライトフィールドデータベースは、望ましくは、装置１０の記憶ユニット１３において記憶されている。代替案において、ライトフィールドデータベースは、外部のメモリデバイスにおいても記憶され得る。装置１０は、外部のメモリデバイスへのアクセスを得て、そこからライトフィールドデータを取り出すことができる。ライトフィールドデータベースは、４Ｄライトフィールドデータを含む。

装置１０の動作ユニット１２は、ライトフィールドデータベースの４Ｄライトフィールドデータから複数の２Ｄ画像を決定する（２１）。２Ｄ画像の夫々は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる。望ましくは、幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、サンプルデータと２Ｄ画像との相違、及びサンプルデータと２Ｄ画像とにおいて捕捉された画像オブジェクト、のうちの少なくとも１つを含む。任意に、決定された２Ｄ画像も、記憶ユニット１３において記憶され得る。

装置１０の取得ユニット１１は、サンプルデータを取得する（２０）。サンプルデータは、原則として、検索又は取り出しクエリを定義し、任意に、２Ｄ画像、３Ｄ画像、ライトフィールドデータ、などであることができる。加えて、サンプルデータにおいて示され捕捉される少なくとも１つのサンプルオブジェクトが存在することが好ましい。

動作ユニット１２は、次いで、サンプルデータ及び２Ｄ画像の幾何学パラメータに従って、サンプルデータを、決定された２Ｄ画像と照合する（２２）。照合の結果に基づき、動作ユニット１２は、２Ｄ画像の１つを対象画像として選択し（２３）、対象画像が取り出し結果として決定される４Ｄライトフィールドデータを然るべく取り出す（２４）。

提案される方法は、ライトフィールドデータベースが、それらのライトフィールドによって捕捉されたシーンに関する豊富な情報を含む、という見識を利用する。従って、サンプルデータとライトフィールドデータとの間の類似を正確に且つはっきりと推定するために、サンプルデータを、ライトフィールドデータベースに含まれている最大数の異なった視覚情報と比較し照合することが有利であり好ましく、このようにして、改善された取り出し結果が達成される。

ライトフィールドデータベースの夫々のライトフィールドデータから決定（２１）される２Ｄ画像の性質は、様々であることができる。例えば、２Ｄ画像はサブアパーチャビューであることができ、夫々のサブアパーチャビューは特定のビューイング方向を特徴とする。２Ｄ画像は、リフォーカシングされた画像、あるいは、全ての画像コンテンツが焦点を合わせられている全焦点画像であることができる。他のタイプの画像も、ライトフィールドデータから決定され計算され得る。例えば、クロッピングされた画像、インペイントされた画像、ノイズ除去された画像、デプスマップ、視差マップ、又は何らかの他のタイプの画像がある。

望ましくは、ライトフィールドデータベースのライトフィールドデータから決定（２１）された２Ｄ画像は、ライトフィールドデータベースの変更されたビューポイント、変更された視差、又は変更されたデプスマップを使用する、サブアパーチャビュー、リフォーカシングされた画像、全焦点画像、クロッピングされた画像、インペイントされた画像、ノイズ除去された画像、及び同期化された画像のうちの少なくとも１つを有する。

図３を参照すると、一実施形態において、取得（２０）されたサンプルデータは、それだけでライトフィールドデータサンプルである。よって、方法は、ライトフィールドデータサンプルから複数の２Ｄ画像サンプルを決定すること（２５）を更に有する。このとき、２Ｄ画像サンプルの夫々は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像サンプルと異なる。これは、望ましくは、装置１０の動作ユニット１２によって実施され得る。然るに、動作ユニット１２は、２Ｄ画像サンプル及びライトフィールドデータベースの決定された２Ｄ画像の幾何学パラメータに従って、サンプルデータの２Ｄ画像サンプルを、ライトフィールドデータベースの決定された２Ｄ画像と照合する（２２）。

望ましくは、方法は、所与のライトフィールドデータサンプルから決定された複数の２Ｄ画像サンプルの中から代表２Ｄ画像サンプルを選択すること（２６）を更に有する。これは、同様に、動作ユニット１２によって実施されることが好ましい。この選択は、データベース内の画像の、又は画像内のオブジェクトの、取り出しが、大体において画像と最も良く連携する、という考えに基づく。オブジェクト又はオブジェクトの少なくとも部分は、画像において明らかに示されており、例えば、高いシャープネスを有して最適に認識され得るか、あるいは、好ましいビューポイントから見られる。よって、選択された代表２Ｄ画像サンプルは、最も高いシャープネスを有する２Ｄ画像サンプル、及び／又は目標とされるサンプルオブジェクトがフロントビューにおいて示され、あるいは、最も鮮明であり、あるいは、最も良く表されている２Ｄ画像サンプルである。例えば、人の顔がフロントビューにおいて示されており、２Ｄ画像サンプルの１つで高いシャープネスを有する場合に、この２Ｄ画像サンプルは、よって、対応するライトフィールドデータのための代表２Ｄ画像サンプルである優れた候補である。然るに、動作ユニット１２は、ライトフィールドデータベースでのデータ取り出しのために、代表サンプルをライトフィールドデータベースの決定された２Ｄ画像と照合する（２２）。

図４を参照すると、他の実施形態において、方法は、ライトフィールドデータベースのライトフィールドデータから決定される複数の２Ｄ画像の間の幾何学リンクを使用すること（２７）を更に有する。幾何学リンクは、複数の２Ｄ画像の幾何学パラメータの間の関係を表す。幾何学リンクは、望ましくは、複数の２Ｄ画像を順序付けることを可能にする。例えば、幾何学リンクは、複数の２Ｄ画像を、順序付けられたリスト、又はグリッドに整理することができる。一次元のグリッド、又は順序付けられたリストは、例えば、幾何学パラメータである焦点長さを持ったフォーカススタックであることができる。そして、２次元のグリッドは、例えば、異なるビューイング方向を持った複数のビューのグリッドであることができ、このとき、ビューイング方向ベクトルの座標が幾何学パラメータである。グリッドを埋める前に、検索ストラテジは、比較され照合されるべき夫々の次の２Ｄ画像を決定する。幾何学リンクを使用することによって、ライトフィールドデータベースから決定される全ての起こり得る２Ｄ画像を照合し見直すことが不要になり、よって、ライトフィールドデータベースでの検索及び取り出しを加速させる。

一実施形態において、フォーカススタックの幾何学リンクが使用される（２７）。それは、複数の２Ｄ画像の夫々におけるフォーカスプレーンと画像プレーンとの間の距離に従って順に複数の２Ｄ画像のフォーカスプレーンを表す。

提案される方法のこの実施形態は、ライトフィールドデータベースにおける夫々のライトフィールドデータについて、サンプルデータを複数の２Ｄ画像の第１及び第２の２Ｄ画像と照合し（２２）、第１及び第２の特徴距離を夫々計算することを更に有する。計算された第１及び第２の特徴距離は、次いで、フォーカススタックに対応する照合ストラテジを決定するために使用される。照合ストラテジの例は、以下で与えられる。望ましくは、照合ストラテジの決定は、サンプルデータを、ライトフィールドデータベースの夫々のライトフィールドデータから決定された複数の２Ｄ画像サンプルのサブセットと再帰的に照合することを含む。例えば、第１及び第２の２Ｄ画像との照合に続いて、第３の２Ｄ画像が、サンプルデータと照合されるべく選択され、照合結果は、照合ストラテジの決定に寄与する。言い換えると、照合及び計算のステップは、最も小さい特徴距離を有する候補２Ｄ画像を複数の２Ｄ画像の中から選択するために、計算された特徴距離及び照合ストラテジに従って再帰的に実施される。続いて、照合結果及び幾何学リンクの使用に基づき、ライトフィールドデータの候補画像の１つが対象画像として選択される。その後に、対象画像が決定される４Ｄライトフィールドデータの取り出し２４が続く。

フォーカススタックの幾何学リンクを利用することによって、動作ユニット１２は、意図的な取り出しストラテジにより、サンプルデータを、ライトフィールドデータベースからのそれらの複数の２Ｄ画像と照合することができる（２２）。照合ストラテジの例は、次のように与えられる。

出発点として、サンプルデータは、順序付けられたフォーカススタックにおける第１のインデックス（Ｉ_１）（例えば、フォーカスプレーンと画像プレーンとの間の平均焦点距離にあるフォーカスプレーンに対応する。）を有する第１の２Ｄ画像と照合され（２２）、特徴ベクトルの結果として現れる第１の距離（Ｄ_１）が然るべく計算される。次いで、サンプルデータは、順序付けられたフォーカススタックにおける第２のインデックス（Ｉ_２）を有する第２の２Ｄ画像と照合され、特徴ベクトルの対応する第２の距離（Ｄ_２）が計算される。

Ｄ_２＜Ｄ_１の場合に、Ｄ_２は、最も小さい特徴距離として記録に残され、特徴距離は、インデックスが大きくなるにつれて小さくなると予想され得る。次いで、サンプルデータを、第３のインデックス（Ｉ_３）を有する第３の画像と照合すること（２２）が妥当である。第３のインデックスは、Ｉ_２の後であり、Ｉ_１とＩ_２との間のインターバルをＩ_２に加えたものに等しい。結果として現れる特徴距離Ｄ_３は、次いでＤ_２と比較され、どちらがより小さいかが確認される。

Ｄ_２≧Ｄ_１の場合に、サンプルデータは、Ｉ_１とＩ_２との間にある第３のインデックス（Ｉ_３）を有する第３の画像と、更には、Ｉ_１よりも小さい第４のインデックス（Ｉ_４）を有する第４の画像と照合される（２２）。これは、最も小さい、結果として現れる特徴距離を見つけ出し、最も小さい特徴距離を有する対象画像として最適な２Ｄ画像を然るべく選択する（２３）同じ目的のためであることが理解され得る。

他の実施形態において、複合デプスマップの幾何学リンクが使用される（２７）。複合デプスマップは、ライトフィールドデータベースの夫々のライトフィールドデータから決定された全焦点画像に関連する。全焦点画像は、シーン内の異なるオブジェクトのデプスから独立した、焦点が合っている捕捉されたシーンを示す。

ここで使用される複合デプスマップは、ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像に関連する複数の視差マップをただ１つの複合デプスマップにまとめることによって、計算され生成される。複数の視差マップの夫々は、一般に、異なるビューポイントにより同じシーン又は同じオブジェクトを捕捉する複数の２Ｄ画像の２つの異なる出力から計算される。複合デプスマップの各ピクセルは、全焦点画像の対応するピクセルで見られるオブジェクトのデプスを示す。任意に、視差マップ及び複合デプスマップは、ライトフィールドデータのために使用される何らかの他の実現可能な方法及び技術、例えば、フォーカススタックでのデフォーカスからのデプス、によっても生成され得る。

この実施形態において、ライトフィールドデータベースの夫々の４Ｄライトフィールドデータについて、全焦点２Ｄ画像は特に決定される（２１）。夫々の全焦点２Ｄ画像は、シーン内の異なるオブジェクトのデプスから独立した、焦点が合っている捕捉されたシーンを示す。加えて、全焦点画像の夫々に関連するデプスマップも生成される。

然るに、提案される方法は、ライトフィールドデータベースの夫々のライトフィールドデータについて、サンプルデータを、決定された全焦点画像と照合し（２２）、サンプルデータと最も高い類似を有する全焦点画像内の１つの幾何学ポジションを決定することを更に有する。この照合は、サンプルデータのスケールの変化及び回転のような幾何学的動作を含んでよい。全焦点画像を使用することによって、照合及び比較は、焦点が合っていないブラーが存在しないことで、有効且つ時間節約的である。対応する全焦点画像に関連する複合デプスマップは、次いで、具体的に、全焦点画像における決定されたポジションのデプスを特定するために、使用される（２７）。夫々のライトフィールドデータについて、複数の２Ｄ画像の候補２Ｄ画像は、このようにして選択され得る。候補２Ｄ画像は、決定されたポジションのデプスを有する／そのデプスでのフォーカスプレーンを有する２Ｄ画像である。

サンプルデータと夫々のライトフィールドデータの夫々の候補２Ｄ画像との間の特徴距離が次いで計算される。続いて、特徴距離が最も小さい候補２Ｄ画像が対象画像として選択される（２３）。その後に、対象画像が決定される４Ｄライトフィールドデータを取り出すこと（２４）が続く。

この実施形態において、検索は、フォーカススタックのサイズと無関係に実施され得る。これによって、ライトフィールドデータベースでの検索及び取り出しは加速され得る。

任意に、特徴距離の計算は、当該分野における如何なる利用可能な又は知られている技術に従っても、実施され得る（例えば、上記の非特許文献２に記載される方法）。

更なる他の実施形態において、サンプルデータとライトフィールドデータベースからの２Ｄ画像との照合２２は、特徴記述子及び／又はBag-of-features法を用いて実施され得る。

１０ 装置
１１ 取得ユニット
１２ 動作ユニット
１３ 記憶ユニット

Claims (14)

1. ４次元（４Ｄ）ライトフィールドデータを含むライトフィールドデータベースでのデータ取り出しの方法であって、
   サンプルデータを取得するステップと、
   前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる、ステップと、
   前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合するステップと、
   前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択するステップと、
   前記対象画像が決定される４Ｄライトフィールドデータを取り出すステップと
   を有し、
   前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む、
   方法。
2. 前記サンプルデータは、２Ｄ画像サンプルである、
   請求項１に記載の方法。
3. 前記サンプルデータは、ライトフィールドデータサンプルであり、
   当該方法は、
   前記ライトフィールドデータサンプルから複数の２Ｄ画像サンプルを決定し、夫々の２Ｄ画像サンプルは、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像サンプルと異なる、ステップと、
   前記２Ｄ画像サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記サンプルデータの前記２Ｄ画像サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するステップと
   を有する、請求項１に記載の方法。
4. 前記複数の２Ｄ画像サンプルから、シャープネスが最も高い２Ｄ画像サンプル、又は目標とするサンプルオブジェクトが前記ライトフィールドデータサンプルの代表サンプルとしてフロントビューにおいて示される２Ｄ画像サンプルを選択するステップと、
   前記代表サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記代表サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合するステップと
   を更に有する請求項３に記載の方法。
5. 前記ライトフィールドデータベースから決定される前記２Ｄ画像は、前記ライトフィールドデータベースの変更されたビューポイント、変更された視差、又は変更されたデプスマップを使用する、サブアパーチャビュー、リフォーカシングされた画像、全焦点画像、クロッピングされた画像、インペイントされた画像、ノイズ除去された画像、及び同期化された画像のうちの少なくとも１つを有する、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. 前記サンプルデータを前記決定された２Ｄ画像と照合するステップは、
   前記ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像の間の幾何学リンクを使用することを含み、
   前記幾何学リンクは、前記複数の２Ｄ画像の幾何学パラメータの間の関係を表す、
   請求項１乃至５のうちいずれか一項に記載の方法。
7. 前記幾何学リンクは、前記複数の２Ｄ画像の夫々におけるフォーカスプレーンと画像プレーンとの間の距離に従って順に前記複数の２Ｄ画像のフォーカスプレーンを表すフォーカススタックであり、
   当該方法は、
   前記ライトフィールドデータベースの夫々のライトフィールドデータについて、
   前記サンプルデータを前記複数の２Ｄ画像の中の第１の２Ｄ画像と照合し、第１の特徴距離を計算し、
   前記サンプルデータを前記複数の２Ｄ画像の中の第２の２Ｄ画像と照合し、第２の特徴距離を計算し、
   前記計算された第１及び第２の特徴距離に基づき、マッチングストラテジを決定し、
   前記マッチングストラテジに従って、最も小さい特徴距離を有する前記複数の２Ｄ画像の中の候補２Ｄ画像を選択する
   ステップと、
   前記照合の結果及び前記幾何学リンクの使用に基づき、前記候補２Ｄ画像の１つを前記対象画像として選択するステップと
   を更に有する、請求項６に記載の方法。
8. 前記マッチングストラテジを決定することは、前記サンプルデータを、前記ライトフィールドデータベースの夫々のライトフィールドデータから決定された前記複数の２Ｄ画像のサブセットと再帰的に照合することを含む、
   請求項７に記載の方法。
9. 前記幾何学リンクは、ライトフィールドデータから決定された全焦点画像に関連する複合デプスマップであり、
   当該方法は、
   前記ライトフィールドデータベースの夫々のライトフィールドデータについて、
   全焦点２Ｄ画像を決定し、
   前記全焦点画像に関連する複合デプスマップを生成し、
   前記サンプルデータを前記全焦点画像と照合して、前記サンプルデータと最も高い類似を有する１つのポジションを決定し、
   前記複合デプスマップを使用して、前記決定されたポジションのデプスを特定し、
   前記決定されたポジションのデプスを有するフォーカスプレーンを有する前記複数の２Ｄ画像の中の候補２Ｄ画像を選択し、
   前記サンプルデータと前記候補２Ｄ画像との間の特徴距離を計算する
   ステップと、
   最も小さい特徴距離を有する前記候補２Ｄ画像の１つを前記対象画像として選択するステップと
   を更に有する、請求項６に記載の方法。
10. ４次元（４Ｄ）ライトフィールドデータを含むライトフィールドデータベースでのデータ取り出しのための装置であって、
    サンプルデータを取得するよう構成される取得ユニットと、
    動作ユニットと
    を有し、
    前記動作ユニットは、
    前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なり、
    前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合し、
    前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択し、
    前記対象画像が決定される４Ｄライトフィールドデータを取り出す
    よう構成され、
    前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む、
    装置。
11. 前記サンプルデータは、ライトフィールドデータサンプルであり、
    前記動作ユニットは、
    前記ライトフィールドデータサンプルから複数の２Ｄ画像サンプルを決定し、夫々の２Ｄ画像サンプルは、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像サンプルと異なり、
    前記２Ｄ画像サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記サンプルデータの前記２Ｄ画像サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合する
    よう更に構成される、請求項１０に記載の装置。
12. 前記動作ユニットは、
    前記複数の２Ｄ画像サンプルから、シャープネスが最も高い２Ｄ画像サンプル、又は目標とするサンプルオブジェクトが前記ライトフィールドデータサンプルの代表サンプルとしてフロントビューにおいて示される２Ｄ画像サンプルを選択し、
    前記代表サンプルの幾何学パラメータ及び前記ライトフィールドデータベースの前記決定された２Ｄ画像の幾何学パラメータに従って、前記代表サンプルを前記ライトフィールドデータベースの前記決定された２Ｄ画像と照合する
    よう更に構成される、請求項１１に記載の装置。
13. 前記動作ユニットは、前記ライトフィールドデータベースの同じライトフィールドデータから決定された複数の２Ｄ画像の間の幾何学リンクを使用するよう更に構成され、
    前記幾何学リンクは、前記複数の２Ｄ画像の幾何学パラメータの間の関係を表す、
    請求項１０乃至１２のうちいずれか一項に記載の装置。
14. ４次元（４Ｄ）ライトフィールドデータを含むライトフィールドデータベースでのデータ取り出しのための命令を記憶しているコンピュータ可読記憶媒体であって、
    前記命令は、コンピュータによって実行される場合に、該コンピュータに、
    サンプルデータを取得するステップと、
    前記ライトフィールドデータベースの夫々の４Ｄライトフィールドデータから複数の２次元（２Ｄ）画像を決定し、夫々の２Ｄ画像は、少なくとも１つの幾何学パラメータにおいて他の２Ｄ画像と異なる、ステップと、
    前記サンプルデータの幾何学パラメータ及び前記２Ｄ画像の幾何学パラメータに従って、前記サンプルデータを前記決定された２Ｄ画像と照合するステップと、
    前記照合の結果に基づき、前記２Ｄ画像の１つを対象画像として選択するステップと、
    前記対象画像が決定される４Ｄライトフィールドデータを取り出すステップと
    を実行させ、
    前記幾何学パラメータは、解像度、ビューポイント、ビューイング方向、フォーカスプレーン、前記サンプルデータと前記２Ｄ画像との相違、及び前記サンプルデータと前記２Ｄ画像とにおいて捕捉される画像オブジェクト、のうちの少なくとも１つを含む、
    コンピュータ可読記憶媒体。

Images