JP2016157421A - レンズ関連メタデータを生成するための方法及び装置 - Google Patents

Abstract

【課題】ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成する。【解決手段】ライトフィールドキャプチャからディスプレイ画像を生成するための方法及び装置５０であって画像レンダラ８は、レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成する。メタデータアセンブラ９は次いで、ディスプレイ画像を生成するために使用されるレンズモデルのパラメータを、ライトフィールド画像形成デバイスに関するレンズ関連メタデータとして出力する。【選択図】図７

Description

本発明は、レンズ関連メタデータを生成するための方法及び装置に関係する。特に本発明は、とりわけ動画に関して、ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するための方法及び装置に関係する。

焦点及び被写体深度は、画像取得の視覚的品質及び美的価値観に大きく影響する２つのパラメータである。それらは、とりわけ動画フィルムにおいて重要であり、その場合、例えば、移動物体の後に続くために、又は視聴者の注意を別の物体にシフトさせるために、焦点を１つの面から別のものに、場面の間に動かすことが要求され得る。レンズの焦点を手動で調整することは、この状況では、とりわけ、浅い被写体深度によって作業してフィルムルックを作成するときには困難である。プロフェッショナルフィルム製作は、この課業のためのカメラ助手を有する。しかしながら、このことは、焦点及び／又は被写体深度が常に正しくセットされるということを意味しない。ピンぼけ誤りは、ポスト製作では修整され得ないので、それらが許容されなければならないか、又は撮影が撮り直しされなければならないかのいずれかである。

それでも、焦点長、焦点距離、及び、焦点比、例えば口径又はアイリス値などのレンズメタデータは、通常、プロフェッショナルカメラに対してだけでなく、消費者カメラに対してもまた、画像データとともに記憶される。ポスト製作でのそれらの値は、かなり情報価値のあるものである。

ビデオ及びオーディオ記録を同期に保つために、タイムコード信号が、デバイスの中で、フィルムセット上で分散される。ＬＴＣ（ＬＴＣ：リニア又は長手方向タイムコード（Linear or Longitudinal Timecode））は、ＳＭＰＴＥ（映画テレビ技術者協会）タイムコード標準の符号化であり、５ピンＬＥＭＯコネクタ又はＨＤ−ＳＤＩ信号（ＨＤ−ＳＤＩ：高精細シリアルディジタルインターフェイス（High Definition Serial Digital Interface））のいずれかを介して分散され得る。

ライトフィールドカメラは、撮影の後に焦点及び被写体深度を調整することを可能とする。このことは、ピンぼけ場面の問題を克服するための潜在的な利点として考慮され得る。しかしながら、例えば焦点及び被写体深度をセットするプロセスが、撮影から後の時点まで延期されるのみであるということも意味する。

判断が、ユーザにゆだねられる場合さえある。例えば、同じ場面の複数のビューをレンダリングするためにユーザが焦点距離を対話的にセットし、視角をわずかに変動させることを可能とする、いわゆる「リビングピクチャ」が導入されている。

撮影の後に焦点及び被写体深度を調整することの可能性は、どのようにライトフィールドキャプチャのフレーム毎にレンダリングインテントを定義すべきか、及びどのようにそれを動画製作ワークフローに通すべきかの問題点を生じる。

ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するための、及び、そのようなメタデータの使用をするための解決策を提案することが、本原理の目的である。

本原理の１つの特徴によると、ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するための方法は、
− レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップと、
− ディスプレイ画像を生成するために使用されるレンズモデルのパラメータを、ライトフィールド画像形成デバイスに関するレンズ関連メタデータとして出力するステップと、
を備える。

それに応じて、コンピュータ可読記憶媒体は、ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成することを可能にする命令を記憶し、その命令は、コンピュータにより実行されるときに、そのコンピュータに、
− ディスプレイ画像をライトフィールドキャプチャからレンズモデルを使用して生成することと、
− そのディスプレイ画像を生成するために使用されるそのレンズモデルのパラメータを、そのライトフィールド画像形成デバイスに関するレンズ関連メタデータとして出力することと、
を行わせる。

そのコンピュータ可読記憶媒体は、例えば、ハードディスク、光学又は磁気のディスク又はテープ、固体状態メモリデバイス、その他などの、非一時的揮発性又は不揮発性記憶媒体である。したがってその記憶媒体は、コンピュータ又は処理デバイスにより実行可能な命令のプログラムを有形に実施して、本明細書で説明されるようなプログラムステップを実行する。

さらに、１つの実施形態では、ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するように構成された装置は、
− レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成するように構成された画像レンダラと、
− ディスプレイ画像を生成するために使用されるレンズモデルのパラメータを、ライトフィールド画像形成デバイスに関するレンズ関連メタデータとして出力するように構成されたメタデータアセンブラと、
を備える。

別の実施形態では、ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するように構成された装置は、処理デバイスと、命令を記憶したメモリデバイスと、を備え、その命令は、その処理デバイスにより実行されるときに、その装置に、
− ディスプレイ画像をライトフィールドキャプチャからレンズモデルを使用して生成するステップと、
− そのディスプレイ画像を生成するために使用されるそのレンズモデルのパラメータを、そのライトフィールド画像形成デバイスに関するレンズ関連メタデータとして出力するステップと、
を行わせる。

さらに、記憶媒体は、ライトフィールドキャプチャと、ライトフィールドキャプチャからディスプレイ画像を生成するためのレンズモデルのパラメータと、を備える。

本原理の別の特徴によると、ライトフィールドキャプチャからディスプレイ画像を生成するための方法は、
− ライトフィールドキャプチャを記憶媒体から索出するステップと、
− ディスプレイ画像を生成するためのレンズモデルのパラメータをライトフィールドキャプチャから索出するステップと、
− レンズモデル及び索出されたパラメータを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップと、
− ディスプレイ画像をディスプレイに提供するステップと、
を備える。

それに応じて、コンピュータ可読非一時的記憶媒体は、ディスプレイ画像をライトフィールドキャプチャから生成することを可能にする命令を記憶し、その命令は、コンピュータにより実行されるときに、そのコンピュータに、
− ライトフィールドキャプチャを記憶媒体から索出するステップと、
− ディスプレイ画像を生成するためのレンズモデルのパラメータをライトフィールドキャプチャから索出するステップと、
− レンズモデル及び索出されたパラメータを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップと、
− ディスプレイ画像をディスプレイに提供するステップと、
を行わせる。

さらに、１つの実施形態では、ライトフィールドキャプチャからディスプレイ画像を生成するように構成される装置は、
− ライトフィールドキャプチャを記憶媒体から索出し、レンズモデルのパラメータを索出し、レンズモデル及び索出されたパラメータを使用してライトフィールドキャプチャからディスプレイ画像を生成するように構成される画像レンダラと、
− ディスプレイ画像を表示するように構成されたディスプレイ、又はディスプレイ画像をディスプレイに提供するように構成された出力端と、
を備える。

別の実施形態では、ディスプレイ画像をライトフィールドキャプチャから生成するように構成される装置は、処理デバイスと、命令を記憶したメモリデバイスと、を備え、その命令は、その処理デバイスにより実行されるときに、その装置に、
− ライトフィールドキャプチャを記憶媒体から索出するステップと、
− ディスプレイ画像を生成するためのレンズモデルのパラメータをライトフィールドキャプチャから索出するステップと、
− レンズモデル及び索出されたパラメータを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップと、
− ディスプレイ画像をディスプレイに提供するステップと、
を行わせる。

本明細書で説明される一般的な観念は、ライトフィールド取得デバイスからの動画ストリームに対する焦点長、焦点比及び焦点距離などのパラメータを伴う、仮想レンズのパラメータを説明するフレームアキュレートなメタデータを生成することである。仮想レンズの適用から結果として生じる画像は、パラメータの調整をリアルタイム又は非リアルタイムのいずれかで可能にするために、予めレンダリングされて予め視覚化される。ライトフィールドキャプチャは、ライトフィールド画像形成デバイスから、例えばレンズ関連メタデータのオンセット生成のために直接受信されるか、記憶システムから、例えばレンズ関連メタデータのオフセット又はニアセット生成のために読み出されるかのいずれかである。

その解決策は、それが、同期したレンズメタデータであって、このメタデータを固有に提供しないか又はメタデータが固定されたライトフィールド取得デバイスに関するプロフェッショナルフィルム製作の間記憶される、レンズメタデータを配送するという利点を有する。このことは、ポスト製作での最終的なレンダリングインテントに関するフレームアキュレートな手がかり（clues）を提供する。

１つの実施形態では、レンズモデルのパラメータは、焦点距離、焦点比、焦点長、レンズティルト及びレンズシフトの１つ又は複数に関係付けられる。従前の写真撮影での画像形成プロセスの大部分は、これらのレンズ特性により定義される。したがって、これらのパラメータは、フィルム製作者のレンダリングインテントを説明するための有用な制約を表す。

１つの実施形態では、レンズ関連メタデータは、メタデータパケットとして出力される。各々のフレームに対応するレンズパラメータを伴うメタデータストリームは、このようにして生成される。レンダリングされた出力は、必ずしも記憶されるのではなく、当然ながら、利用可能にされる場合もある。

１つの実施形態では、レンズモデルのパラメータの１つ又は複数を調整するためのユーザ入力は、ユーザインターフェイスを介して受信される。レンズモデルの調整されたパラメータに基づいて、更新されたディスプレイ画像が生成される。このようにして、オペレータは、その画像をモニター上で点検し、そのパラメータを、彼が結果として生じるディスプレイ画像によって満足するまで、対話的に調整することが可能である。

１つの実施形態では、タイムコードは、そのライトフィールドキャプチャに関して索出される。例えばタイムコードは、ライトフィールドキャプチャから読み出されるか、又はタイムコード生成器から受信される。タイムコードは次いで、レンズ関連メタデータに追加される。このようにして、レンズ関連メタデータと、ライトフィールドカメラ信号、すなわち、ライトフィールドキャプチャとの間の同期が確実にされる。

その提案される解決策は、動画のストリームを処理することに焦点付けするが、それはさらには、単一の静止画を処理するために使用され得る。その事例では、同期は考慮される必要がない。

ライトフィールドカメラに関するレンズ関連メタデータを生成するためのオンセット解決策の例示的なセットアップを図解する図である。 提案されるディジタルレンズのより詳述される図解を示す図である。 画像レンダラの主な動作ステップを図示する図である。 メタデータアセンブラの主な動作ステップを図示する図である。 ニアセット環境に対する図１のそのオンセット解決策の修正を示す図である。 ライトフィールド画像形成デバイスに関するレンズ関連メタデータを生成するための方法の実施形態を概略的に図解する図である。 図６の方法を実行するように構成される装置の第１の実施形態を概略的に図示する図である。 図６の方法を実行するように構成される装置の第２の実施形態を概略的に示す図である。

より良好な理解のために、一部の実施形態の原理が、ここでより詳細に、後に続く説明において、図への参照とともに解説されることになる。提案される解決策は、これらの例示的な実施形態に制限されないということ、ならびに、指定される特色が、さらには好都合に、添付される特許請求の範囲で定義されるような本原理の範囲から逸脱することなく組み合わされ得る、及び／又は、修正され得るということが理解される。

ライトフィールドカメラは、同じ場面の異なるビューをレンダリングすることを可能にする。パラメータ設計空間は大きいが、有用な制約は、当然のこととして、従前の写真撮影に関して考えることにより生じる。従前の写真撮影での画像形成プロセスの大部分は、レンズ特性により定義される。プライムレンズは通常、焦点距離及び焦点比を調整することを可能とし、一方でズームレンズは追加的に焦点長を調整することを可能とする。レンズティルト及びシフトなどの、さらなるパラメータがモデリングされ得る。焦点長が修正される事例では、幾何学的歪み及び色収差が、フレームからフレームで変化し得る。簡潔さのために、上記で説明されたような３つの最も有名な特性のみが、後に続くもので考慮されることになる。

図１は、ライトフィールドカメラ１に関するレンズ関連メタデータを生成するためのオンセット解決策の例示的なセットアップを示す。ディジタルレンズ２は、上記のパラメータの依存で光学レンズの性状をモデリングする。これは、リアルタイムレンダリングエンジンにより達成され、そのエンジンは、ライトフィールドキャプチャのストリームから各々のフレームをとり、現在のパラメータを伴うレンズモデルを供給し、最終的なレンダリングをモニター３に出力する。ディジタルレンズ２は、したがって、実レンズをモデリングする仮想レンズである。オペレータは、画像をモニター３上で点検し、パラメータに関する調整をユーザインターフェイス４を介して実行する。レンダリングされる出力は、必ずしも記憶されない。しかしながら、メタデータ記録器５が、メタデータストリームを、各々のフレームに対応するレンズパラメータ及び一意的なタイムコードスタンプとともに、ローカル又はリモートの記憶システム６上に記憶する。ライトフィールドカメラ信号とのディジタルレンズ２の同期は、従来のオンセット同期技法を使用して、例えば、タイムコード生成器７を使用して実現される。

ディジタルレンズ２のより詳細な例示が、図２に図示される。この図では、ディジタルレンズ２は、各々のフレームサイクルｎに対して同期して動作する、２つの独立した処理ブロック、画像レンダラ８及びメタデータアセンブラ９により説明される。画像レンダラ８は、ライトフィールドカメラ１からライトフィールドキャプチャを、及び、パラメータ化ユニット１０により出力されるレンズパラメータを受信し、レンダリングされた画像を出力として提供する。メタデータアセンブラ９はさらには、パラメータ化ユニット１０により出力されるレンズパラメータを第１のレジスタ１１を介して、及び、タイムコード生成器７により提供されるタイムコードを第２のレジスタ１２を介して受信し、これらのデータをメタデータパケットに集成する。

画像レンダラ８の主な動作ステップが、図３に図示される。画像レンダラ８により実行されるレンダリングループは、各々のフレームサイクルによって再開し、サイクルの間実行することを継続する。第１のステップでは、フレームＦ（ｎ）が、ライトフィールドキャプチャの同期させられるストリームから獲得（grab）される（２０）。レンズモデル及び現在のパラメータセットＰ（ｎ）を使用して、ビューがレンダリングされ（２１）、モニターに出力される（２２）。次いで、ｎが変化したかどうかがチェックされ（２３）、その事例では、画像レンダラ８は、第１のステップに戻り、次のフレームを獲得するか（２０）、又は、パラメータセットＰ（ｎ）が変化したかどうかがチェックされ（２４）、その事例では、更新されるビューがレンダリングされる（２１）。ループは、レンダリング出力をモニターし、パラメータを人手により調整するオペレータにより閉じられる。

フレームレート及びレンダリング速度に依存して、レンダリングループは、フレームあたりでまさに１回、又は、複数の回数のいずれかで実行され得る。ライトフィールドキャプチャの同期させられるストリームは、例えば、ＨＤ−ＳＤＩを介して提供され得る。

メタデータアセンブラ９の主な動作ステップが、図４で例示される。第１のステップでは、メタデータアセンブラ９は、前フレームのレンズパラメータセットＰ（ｎ−１）及びタイムコードＴ（ｎ−１）を、第１のレジスタ１１及び第２のレジスタ１２からそれぞれ取得する（３０）。これらのデータから、メタデータアセンブラ９は次いで、メタデータパケットＭ（ｎ−１）を集成し（３１）、そのメタデータパケットが最終的にメタデータストリームに書き込まれる（３２）。メタデータ手順は、フレームあたりでまさに１回実行される。それは、前フレームの最終的なパラメータセットをサンプリングし（３０）、集成し（３１）、書き込む（３２）。同期させられるメタデータパケットは、例えば、ＨＤ−ＳＤＩを介して、アンシラリデータパケットを使用してフィールド記録器に配送され得る。

ここまで、提案される解決策は主として、リアルタイム使用法の対象を動画フィルムセットにして説明された。これは、決まったフレームレートで、入力ビデオに対処し、メタデータストリームを出力する能力がある専用化されたデバイスを要する。しかしながら、解決策はさらには、リアルタイムデータ処理に対する必要性を伴わないニアセット環境で使用され得る。代わりに、インジェスト（ingest）上で作業するファイルベースの手法が、さらには、ＰＣベースのソフトウェアを使用して適用され得る。これは、ライトフィールドキャプチャファイルがタイムコードメタデータを提供するということを要する。図５は、図１に対する対応する修正を示す。特に、ライトフィールドキャプチャは、ライトフィールドカメラ１の代わりに記憶システム１３から取得される。加えて、タイムコード生成器７はもはや使用されない。

図６は、ライトフィールド画像形成デバイス１に関するレンズ関連メタデータを生成するための方法のより一般的な実施形態を概略的に例示する。第１のステップでは、ディスプレイ画像が、ライトフィールドキャプチャからレンズモデルを使用して生成される（４０）。ディスプレイ画像を生成するために使用されるレンズモデルのパラメータは、次いで、ライトフィールド画像形成デバイス１に関するレンズ関連メタデータとして出力される（４１）。

ライトフィールド画像形成デバイス１に関するレンズ関連メタデータを生成するための提案される方法を実行するように構成される装置５０の１つの実施形態が、図７に概略的に図示される。装置５０は、ライトフィールドキャプチャを、例えばライトフィールド画像形成デバイス１から受信するための入力端５１を有する。あるいは、ライトフィールドキャプチャは、記憶システム１３から索出される。図では、記憶システム１３は、ローカルの記憶システムである。当然ながら、それは、同様に、装置５０に直接接続されるか又はネットワークを介して接続される、リモートの記憶システムであり得る。画像レンダラ８は、ディスプレイ画像をライトフィールドキャプチャからレンズモデルを使用して生成する（４０）。生成されるディスプレイ画像は、デバイス５０のディスプレイ３上に表示されるか、外部ディスプレイ５２に画像出力５３を介して提供されるかのいずれかである。ユーザインターフェイス４を介して、レンズモデルのパラメータに対する調整がオペレータから受信される。メタデータアセンブラ９は、レンズモデルの最終的なパラメータを、ライトフィールド画像形成デバイス１に関するレンズ関連メタデータとして出力する（４１）。メタデータアセンブラ９はさらに、クロック入力５４を介して接続されるタイムコード生成器７により提供されるか、又はライトフィールドキャプチャと一体で提供されるタイムコードを処理し得る。結果として生じるメタデータは、出力端５５を介して利用可能にされる。それらはさらには、記憶システム１３上に記憶され得る。様々なインターフェイス５１、５３、５４、５５はさらには、１つ又は複数の双方向インターフェイスに、完全に、又は部分的に組み合わされ得る。画像レンダラ８及びメタデータアセンブラ９は、専用化されたハードウェアとして、又は、１つもしくは複数のプロセッサー上でランするソフトウェアとして実施され得る。当然ながらそれらは、同じように、単一のハードウェアユニットに組み合わされ得る。

提案される方法を実行するように構成される装置６０の別の実施形態が、図８で概略的に例示される。装置６０は、処理デバイス６１と、命令を記憶するメモリデバイス６２と、を備え、それらの命令は、実行されるときに、装置に、説明される方法の１つによるステップを実行することを行わせる。

例えば、処理デバイス６１は、説明される方法の１つによるステップを実行するように適合させられるプロセッサーであり得る。実施形態では、適合は、プロセッサーが、説明される方法の１つによるステップを実行するように構成される、例えばプログラムされることを備える。

本明細書で使用されるようなプロセッサーは、マイクロプロセッサ、ディジタル信号プロセッサー、又は、それらの組み合わせなどの、１つ又は複数の処理ユニットを含み得る。

ローカルの記憶システム１３及びメモリデバイス６２は、揮発性及び／又は不揮発性メモリ領域、ならびに、ハードディスク駆動装置及びＤＶＤ駆動装置などの記憶デバイスを含み得る。メモリの部分は、処理デバイス６１により実行可能な命令のプログラムを有形に実施して、本明細書で説明されるような原理によるプログラムステップを実行する、処理デバイス６１により可読な非一時的プログラム記憶デバイスである。

Claims (15)

1. ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータを生成するための方法であって、
   − レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
   − 前記ディスプレイ画像を生成するために使用される前記レンズモデルのパラメータを、前記ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータとして出力するステップ（４１）と、
   を備えた、前記方法。
2. 前記レンズモデルの前記パラメータは、焦点距離、焦点比、焦点長、レンズティルト及びレンズシフトの１つ又は複数に関係付けられる、請求項１に記載の方法。
3. 前記レンズ関連メタデータをメタデータパケットとして出力するステップをさらに備えた、請求項１又は２に記載の方法。
4. 前記レンズモデルの前記パラメータの１つ又は複数を調整するためのユーザ入力を受信するステップと、
   前記レンズモデルの前記調整されたパラメータに基づいて、更新されたディスプレイ画像を生成するステップと、
   をさらに備えた、請求項１から３のいずれかに記載の方法。
5. 前記ライトフィールドキャプチャに関するタイムコードを索出するステップと、
   前記タイムコードを前記レンズ関連メタデータに追加するステップと、
   をさらに備えた、請求項１から４のいずれかに記載の方法。
6. 前記タイムコードは、前記ライトフィールドキャプチャから読み出されるか、又はタイムコード生成器（７）から受信される、請求項５に記載の方法。
7. 前記ライトフィールドキャプチャは、ライトフィールド画像形成デバイス（１）から受信されるか、又は記憶システム（１３）から読み出される、請求項１から６のいずれかに記載の方法。
8. ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータを生成することを可能にする命令を記憶したコンピュータ可読非一過性記憶媒体であって、前記命令は、コンピュータにより実行されるときに、前記コンピュータに、
   − レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
   − 前記ディスプレイ画像を生成するために使用される前記レンズモデルのパラメータを、前記ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータとして出力するステップ（４１）と、
   を行わせる、コンピュータ可読非一過性記憶媒体。
9. ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータを生成するように構成された装置（５０）であって、
   − レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成する（４０）ように構成された画像レンダラ（８）と、
   − 前記ディスプレイ画像を生成するために使用される前記レンズモデルのパラメータを、前記ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータとして出力する（４１）ように構成されたメタデータアセンブラ（９）と、
   を備えた、前記装置（５０）。
10. ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータを生成するように構成される装置（６０）であって、前記装置は、処理デバイス（６１）と、命令を記憶したメモリデバイス（６１）と、を備え、前記命令は、前記処理デバイス（６１）により実行されるときに、前記装置（６０）に、
    − レンズモデルを使用してライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
    − 前記ディスプレイ画像を生成するために使用される前記レンズモデルのパラメータを、前記ライトフィールド画像形成デバイス（１）に関するレンズ関連メタデータとして出力するステップ（４１）と、
    を行わせる、前記装置（６０）。
11. ライトフィールドキャプチャを備えた記憶媒体（１３）であって、前記ライトフィールドキャプチャからディスプレイ画像を生成するためのレンズモデルのパラメータをさらに備えた、前記記憶媒体（１３）。
12. ライトフィールドキャプチャからディスプレイ画像を生成するための方法であって、前記方法は、
    − ライトフィールドキャプチャを記憶媒体（１３）から索出するステップと、
    − 前記ライトフィールドキャプチャからディスプレイ画像を生成するためのレンズモデルのパラメータを索出するステップと、
    − 前記レンズモデル及び前記索出されたパラメータを使用して前記ライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
    − 前記ディスプレイ画像をディスプレイに提供するステップ（３、５２）と、
    を備えた、前記方法。
13. ディスプレイ画像をライトフィールドキャプチャから生成することを可能にする命令を記憶したコンピュータ可読非一時的記憶媒体であって、前記命令は、コンピュータにより実行されるときに、前記コンピュータに、
    − ライトフィールドキャプチャを記憶媒体（１３）から索出するステップと、
    − 前記ライトフィールドキャプチャからディスプレイ画像を生成するためのレンズモデルのパラメータを索出するステップと、
    − 前記レンズモデル及び前記索出されたパラメータを使用して前記ライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
    − 前記ディスプレイ画像をディスプレイに提供するステップ（３、５２）と、
    を行わせる、前記コンピュータ可読非一時的記憶媒体。
14. ライトフィールドキャプチャからディスプレイ画像を生成するように構成された装置（５０）であって、前記装置（５０）は、
    − ライトフィールドキャプチャを記憶媒体（１３）から索出し、レンズモデルのパラメータを索出し、前記レンズモデル及び前記索出されたパラメータを使用して前記ライトフィールドキャプチャからディスプレイ画像を生成する（４０）ように構成された画像レンダラ（８）と、
    − 前記ディスプレイ画像を表示するように構成されたディスプレイ（３）、又は前記ディスプレイ画像をディスプレイ（５２）に提供するように構成された出力端（５３）と、
    を備えた、前記装置（５０）。
15. ライトフィールドキャプチャからディスプレイ画像を生成するように構成された装置（６０）であって、処理デバイス（６１）と、命令を記憶したメモリデバイス（６２）と、を備え、前記命令は、前記処理デバイス（６１）により実行されるときに、前記装置（６０）に、
    − ライトフィールドキャプチャを記憶媒体（１３）から索出するステップと、
    − 前記ライトフィールドキャプチャからディスプレイ画像を生成するためのレンズモデルのパラメータを索出するステップと、
    − 前記レンズモデル及び前記索出されたパラメータを使用して前記ライトフィールドキャプチャからディスプレイ画像を生成するステップ（４０）と、
    − 前記ディスプレイ画像をディスプレイに提供するステップ（３、５２）と、
    を行わせる、前記装置（６０）。

Images