JP2017022694A - ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品 - Google Patents

Abstract

【課題】ユーザのデバイスに少なくとも１つの明視野ベースの画像を表示するための方法および装置を提供する。
【解決手段】ユーザのデバイス５２の姿勢に応じて決定される少なくとも１つの焦点合わせパラメータに従って焦点が合わされたプレノプティックカメラ５２によって記録された画像５１を表示する。ハンドヘルドデバイスとすることができるユーザのデバイスに埋め込まれたセンサは、姿勢を推定する。明視野画像またはビデオデータセットをユーザのデバイスの姿勢に応じて、ユーザ当たり１つの視点／リフォーカスに変換する。
【選択図】図５

Description

１．技術分野
本開示は明視野イメージングに関し、ならびに明視野データを獲得および処理するための技術に関する。より正確には本開示は一般に、ユーザのデバイスに明視野ベースの画像を表示するための方法および装置に関し、画像またはビデオレンダリングの領域に応用例が見出される。

２．背景技術
この項は、以下で述べられおよび／または特許請求される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介するためのものである。この考察は、本発明の様々な態様のより良い理解を容易にするために、背景情報を読者にもたらすのに役に立つと考えられる。従ってこれらの記述はこの観点から読まれるべきであり、従来技術を認めるものではないことが理解されるべきである。

従来型の画像捕捉デバイスは、３次元シーンを２次元センサに投影する。動作時に従来型の捕捉デバイスは、デバイス内の光センサ（または光検出器）に到達する光量を表すシーンの２次元（２−Ｄ）画像を捕捉する。しかしこの２−Ｄ画像は、光センサに到達する光線（これは明視野と呼ばれ得る）の方向分布についての情報を含まない。例えば入射光の方向はこのような２Ｄ獲得時に失われ、深度のような情報は単一のシステムに対して回復され得ない。従って従来型の捕捉デバイスは、シーンからの光分布についての情報の殆どを記憶しない。

明視野捕捉デバイス（「明視野データ獲得デバイス」とも呼ばれる）は、シーンの４次元（４Ｄ）明視野を、そのシーンの異なる視点からの光を捕捉することによって測定するように設計されている。従って光センサに交差する各光のビームに沿って進む光量を測定することによって、これらのデバイスは後処理によって新しいイメージングアプリケーションをもたらすために、追加の光学的情報（光線の束の方向分布についての情報）を捕捉することができる。明視野捕捉デバイスによって獲得／取得される情報は、明視野データと呼ばれる。本明細書では明視野捕捉デバイスは、明視野データを捕捉する能力がある任意のデバイスとして定義される。いくつかのタイプの明視野捕捉デバイスがあり、中でも以下がある：
− 文献ＵＳ ２０１３／０２２２６３３で述べられているような、画像センサと主レンズの間に配置されたマイクロレンズアレイを用いるプレノプティックデバイス、
− カメラアレイ。

明視野データはまた、従来型のハンドヘルドカメラの使用によって別の視点からそれぞれ撮られた、シーンの一連の２−Ｄ画像から、コンピュータ生成画像（ＣＧＩ）によりシミュレーションすることができる。

明視野データ処理は特に、シーンのリフォーカスされた画像を発生すること、シーンの透視図を発生すること、シーンの深度マップを発生すること、拡張被写界深度（ＥＤＯＦ）画像を発生すること、２眼式立体(ステレオスコピック)画像を発生すること、および／またはこれらの任意の組み合わせを含むが、それらに限定されない。

従って中でも４Ｄ明視野（４ＤＬＦ）は、調整可能な被写界深度、合焦距離、および観察位置を有する様々なリフォーカスされた画像を計算することを可能にする。しかしユーザエクスペリエンスは、しばしばテレビ、またはモニタ、２Ｄコンピュータおよびモバイルディスプレイ上の簡単なレンダリングに限定される。

ユーザが、明視野ベースの獲得システムから計算され得る複数の方向および被写界深度の画像から、個人化されたビュー（所与の視点、ユーザに依存する深度ぼけ・・・に従って）を視覚化できるようにすることは興味深いものとなり得る。

この目的のためにいくつかの学術的な著作は、「Ｌｉｇｈｔ ｆｉｅｌｄｓ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｍａｇｉｎｇ」 ＩＥＥＥ Ｃｏｍｐｕｔｅｒ ３９， ｎｏ．８ （２００６）：４６−５５におけるＭａｒｃ Ｌｅｖｏｙ、および「Ｌｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ」 Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ ２， ｎｏ．１１ （２００５）におけるＮｇ Ｒｅｎらなど、再合焦、または明視野画像からの視点方向を変化させることに焦点を合わせている。

Ｌｙｔｒｏ（登録商標）またＲａｙｔｒｉｘ（登録商標）などのいくつかのカメラ製造業者はまた、ユーザに表示される画像の個人化のためのソリューションを提供している。

これらの技法によれば、ユーザとディスプレイの間の対話（インタラクション）は、マウスポインティングを用いて、または触覚画面に触れることによってもたらされる。例えばユーザはシーン内の対象物をポイントすることができ、ユーザに表示される画像は選択された対象物を焦点が合って示すようになる。

従来技術と比較してユーザと明視野コンテンツの間の対話を強化し得る、明視野画像を表示するための技法をもたらすことは望ましいものとなり得る。特に、明視野画像またはビデオコンテンツにおけるユーザナビゲーションを表す視点および／またはリフォーカスパラメータの発生および使用を最適化することによって、明視野コンテンツとの対話を強化し得るこのような技法をもたらすことは望ましいものとなり得る。

３．発明の概要
一実施形態では、ユーザのデバイスに少なくとも１つの明視野ベースの画像を表示するための方法がもたらされる。このような方法は、ユーザのデバイスの姿勢に応じて決定される少なくとも１つの焦点合わせパラメータに従って焦点が合わされた画像を表示するステップを含む。

姿勢とは、ここでおよび本文書の全体にわたって、基準系に対する位置および方位の組み合わせを意味する。

従って本開示は、明視野ベースのビデオなど、明視野ベースのコンテンツにおけるユーザナビゲーションの新規で特許性のある手法に基づく。実際、それは明視野画像またはビデオデータセットをユーザのデバイスの姿勢に応じて、ユーザ当たり１つの視点／リフォーカスに変換することを可能にする。ユーザのデバイスを移動することにより、ユーザは、能動的な方法で視点／リフォーカスのパラメータを駆動する（例えば空間内の主光線の方向、フォーカス点および深度ぼけ距離など）。ユーザのデバイスとのユーザの対話は、視点および／またはリフォーカスパラメータに変換または変形される。

従って本開示のこの技法は、ユーザのデバイスを用いた上記ユーザの自然なアクションが、ユーザのデバイス上での画像の４Ｄから２Ｄへの再投影またはリフォーカスにおける視覚的変化を発生するので、ビデオ明視野データセットの視覚化における、より良好なユーザエクスペリエンスを可能にする。

このような技法は、いくつかのユーザに拡張することができ、各ユーザは所与のビデオデータセットにおいて異なる視点／リフォーカスを駆動する。それはまた例えば立体または多視点ディスプレイに対処するために、ユーザ当たりいくつかの視点に拡張することができる。実際、いくつかの視点／リフォーカスは、多視点ディスプレイ幾何学図形的配列を既知として、明視野から抽出することができる。例えば立体レンダリングに対しては、デバイスからの姿勢／方位情報は、発生されるのではなく２眼式立体ディスプレイのために必要な２つのビューによって置き換えられる、中心ビューを定義することができる。幾何学的変換が用いられ、中心ビューに基づいて２つの２眼式立体ビューを定義する。

明視野データセットは、複数の画像捕捉デバイス（カメラアレイなど）、またはプレノプティック画像捕捉デバイスによって捕捉され得ることが留意されなければならない。これはまたコンピュータ生成画像（ＣＧＩ）によりシミュレーションすることができる。

本開示の実施形態によれば、上記姿勢は、上記ユーザのデバイスに埋め込まれた少なくとも１つの検知デバイスを用いることによって推定される。従って１つまたはいくつかのセンサは、上記ユーザのデバイスに対する上記ユーザの対話を捕捉し、上記ユーザのデバイスの位置および方位は、上記センサによって捕捉された情報から容易に導出することができる。

本開示の実施形態によれば、このような検知デバイスは、
− 内部モーションキャプチャシステム、
− 慣性計測装置（ＩＭＵ）、
− 少なくとも１つの基準要素に向いたカメラ、
を含む群に属する。

慣性計測装置は、加速度計とジャイロスコープの組み合わせからなるデバイスであり、磁力計をさらに備え得る。それらは加速度、方位、および重力測度をもたらし、これらは上記デバイスの方位（回転）、および相対もしくは絶対位置（並進）の計算を可能にする。

カメラは、上記ユーザを撮影するカメラである上記ユーザのデバイス上の前面カメラ、または上記ユーザの前方のシーンを撮影するカメラである背面カメラのいずれかとすることができる。前面カメラにより上記ユーザの顔を十分接近して撮影することで、上記ユーザの顔の幾何学図形的配列についてのいくつかの仮定を行って、顔に付加された座標系に対する上記カメラ姿勢を計算することが可能である。前面カメラにより、上記センサはまた視線追跡システム内に構成され得る。背面カメラは、ＡＲタグなどの上記シーン内の基準パターンに向けることができる。

このような検知デバイスはまた、以下などの外部モーションキャプチャシステムとすることができる：
− ＡＲタグから姿勢および方位を推定する室内のカメラ、
− 例えば２眼式立体視または多視点から、姿勢および方位を推定する室内のカメラ、
− 再帰反射要素（受動マーカとしても知られる）から姿勢および方位を推定する、光源およびカメラ、
− ならびにより一般的に、任意の種類のモーションキャプチャ（ｍｏｃａｐ）技術。

本開示の実施形態によれば、上記ユーザのデバイスは、タブレットまたはスマートフォンなどのハンドヘルドデバイスである。

タブレットまたは電話機（フォン）画面上の明視野ビデオを見ているユーザは、容易に上記タブレット画面またはフォン画面上を動かして、画像の視点および焦点パラメータを駆動し得る。

本開示の他の実施形態によれば、上記表示される画像は、上記デバイスの少なくとも１つの姿勢パラメータに依存した交差面とのフォーカルスタックの交差として決定されるスライス画像である。

実際、明視野画像またはビデオのデータセットは、その焦点面の近傍にレンズによって発生される明視野と同様に、前面レンズの焦点面の近傍に光データボリュームを形成するように再構成され得る。このようなフォーカルスタックは、図１に概略的に示される。カメラによる従来型の焦点合わせは、フォーカルスタック１００内の画像１０１、１０２、１０３の１つ選択することによってシミュレーションされ、これはカメラの主光軸に垂直に合焦平面を移動することに対応する。これに対して明視野カメラは、異なる視点および異なる焦点からピクチャを探索する能力をもたらす。従って明視野カメラのユーザは、通常と異なる方法で焦点を制御することができ、例えば図１に示されるようにフォーカルスタックにわたって交差面を定義することによって、フォーカルスタック１００内でスライス画像１１０を抽出することができる。本開示の実施形態は、この原理をユーザが彼／彼女のデバイスの画面上において明視野画像またはビデオを視覚化することに拡張し、追跡されたユーザのデバイス姿勢パラメータによって、上記フォーカルスタックの画像データボリュームにおける交差面を駆動(ドライブ：drive)することを可能にする。空間における上記ユーザのデバイス位置は、上記ユーザのデバイス画面に表示される結果としての画像の焦点距離を制御する。

本開示の他の実施形態によれば、上記フォーカルスタックはシーンの焦点の合った画像のセットを備え、２つの連続した焦点の合った画像は上記フォーカルスタック内でサンプリング間隔だけ互いに離間される。方法は、
− 上記シーンのレイアウトに応じて、上記サンプリング間隔を調整するステップと、
− 上記フォーカルスタックを、調整されたサンプリング間隔だけ互いに離間された、連続した焦点の合った画像の上記セットとして決定するステップと、
をさらに含む。

従って、上記シーンの上記異なる焦点の合った画像は、従来技術での場合のように、上記フォーカルスタック内において規則的に間があけられていない。このような規則的に間があけられる代わりに、上記フォーカルスタック内の画像サンプルの焦点は、上記シーンのレイアウトによって変化される。言い換えれば、上記フォーカルスタックの上記画像の焦点が合わされる平面は、一様に間があけられない。例えばこれらの平面は、関心のある対象物が上記シーンに現れるときはより近接する。この方法は上記フォーカルスタック内の同じ数のスライスで上記シーンを、より良好にカバーすることを可能にし、これは余分の記憶装置は必要ないことを意味する。

本開示の実施形態はまた、少なくとも１つの明視野ベースの画像を表示するための装置であって、
− 上記装置の姿勢に応じて、上記画像に対する少なくとも１つの焦点合わせパラメータを決定するためのモジュールと、
− 上記少なくとも１つの焦点合わせパラメータに応じて焦点が合わされた上記画像を表示するための表示ユニットと、
を備える、装置に関する。

本開示の実施形態によれば、このような装置は、上記姿勢を推定することを可能にする少なくとも１つの検知デバイスを埋め込む。このような検知デバイスは、いくつかのセンサを備えることができる。

本開示の実施形態によれば、上記検知デバイスは、
− 慣性計測装置（ＩＭＵ）、
− 少なくとも１つの基準要素に向いたカメラ、
− 内部モーションキャプチャシステム、
を含む群に属する。

本開示の他の実施形態によれば、上記装置はハンドヘルドデバイスである。

本開示の他の実施形態によれば、上記装置は、上記デバイスの少なくとも１つの姿勢パラメータに依存した交差面とのフォーカルスタックの交差として定義されるスライス画像として、上記表示される画像を決定するためのユニットを備える。

本開示の他の実施形態によれば、上記フォーカルスタックはシーンの焦点の合った画像のセットを備え、２つの連続した焦点の合った画像は上記フォーカルスタック内でサンプリング間隔だけ互いに離間され、上記装置は、
− 上記シーンのレイアウトに応じて、上記サンプリング間隔を調整するための調整モジュールと、
− 上記フォーカルスタックを、調整されたサンプリング間隔だけ互いに離間された、連続した焦点の合った画像のセットとして決定するためのモジュールと、
をさらに備える。

ユーザのデバイスに明視野ベースの画像を表示するための方法の実施形態に関連して上述された上記ユーザのデバイスの記述のすべての特徴は、このようなユーザのデバイスまたは装置にも当てはまる。

本開示はまた、通信ネットワークからダウンロード可能であり、および／またはコンピュータによって読み出し可能な媒体に記録され、および／またはプロセッサによって実行可能であるコンピュータプログラム製品であって、上述のようなユーザのデバイスに明視野ベースの画像を表示するための方法を実施するためのプログラムコード命令を備えた、コンピュータプログラム製品に関する。

本開示はまた、非一時的コンピュータ可読媒体であって、それに記録され、プロセッサによって実行されることができるコンピュータプログラム製品を含み、上述のようなユーザのデバイスに明視野ベースの画像を表示するための方法を実施するためのプログラムコード命令を含む、非一時的コンピュータ可読媒体に関する。

このようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶される。本明細書で用いられるコンピュータ可読記憶媒体とは、その中に情報を記憶する固有の能力、ならびにそれからの情報取り出しをもたらす固有の能力を前提とした、非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、または上述の任意の適切な組み合わせとすることができるが、それらに限定されない。以下は、本原理が適用され得るコンピュータ可読記憶媒体のより具体的な例を示すが、当業者には容易に理解されるように単に例示的および非網羅的な列挙であることが理解されるべきである：すなわち可搬コンピュータディスケット、ハードディスク、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたフラッシュメモリ）、可搬コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせである。

上記の全体的な説明および以下の詳細な説明は共に、例示および説明目的であって本発明を限定するものではなく、特許請求される通りであることが理解されるべきである。

また本明細書において「一実施形態」、「実施形態」（an embodiment）への言及は、述べられる実施形態は特定の機能、構造、または特徴を含み得るが、その特定の機能、構造、または特徴を必ずしもあらゆる実施形態が含む必要はないことが理解されなければならない。さらにこのような語句は、必ずしも同じ実施形態を指さない。さらに特定の機能、構造、または特徴が、実施形態に関連して述べられるときは、明示的に述べられているかどうかに関わらず、他の実施形態に関連してこのような機能、構造、または特徴に影響を及ぼすことは当業者の知識の範囲内であることが提起される。

４．図面の簡単な説明
本発明の実施形態は、例として示され保護の範囲を限定するものではない、以下の説明および図面を参照して、よりよく理解され得る。

図内の構成要素は必ずしも原寸に比例して描かれておらず、代わりに本発明の原理を示すことに重点が置かれる。
画像のフォーカルスタック内のスライス画像の例を示す図である。 プレノプティックカメラおよびマルチアレイカメラの例を示す図である。 画像センサの検知面に配置されたセンサ領域の例を概略的に示す平面図である。 理想的な完全薄肉レンズモデルを備えた概略の明視野カメラを示す図である。 本開示の実施形態による、ハンドヘルドデバイス上の明視野レンダリングを概略的に示す図である。 パターン座標系における図５のハンドヘルドデバイスの姿勢の決定を可能にする変換行列を示す図である。 本開示の実施形態による、ユーザのデバイスに明視野ベースの画像を表示するためのプロセスを説明するためのフローチャートである。 本開示の実施形態による、ユーザの個人化された視点に従って明視野ベースの画像を表示するための装置の例を示す概略ブロック図である。 本開示の実施形態による、関心のある対象物を有するシーン、およびこのようなシーンに画像のフォーカルスタックが適応され得る方法を概略的に示す図である。 図９のシーンに適応された、画像のフォーカルスタックの例を示す図である。

５． 詳細な説明
本開示の一般的原理は、デバイスの位置および方位に応じた、ユーザのデバイス上の明視野ベースの画像の個人化されたレンダリングに基づく。

次に、本開示の実施形態における、ユーザのデバイスに明視野ベースの画像を表示するための方法、装置、およびコンピュータ可読記憶媒体について述べる。

初めに、明視野カメラおよび画像に当てはまるいくつかの一般的原理を想起する。

５．１ 明視野カメラ
図２は、プレノプティックカメラおよびマルチアレイカメラの例を示す図である。明視野カメラは、４Ｄ明視野データを記録する能力を有する。例えば４Ｄ明視野カメラは、主レンズ２０５、マイクロレンズアレイ２１０、および画像センサ２１５を備えたプレノプティックカメラ２００（図２Ａ）、またはレンズアレイ２５５、および単一の画像センサ２６０を備えたマルチアレイカメラ２５０（図２Ｂ）とすることができる。例えばマルチカメラアレイは、文献ＷＯ ２０１４１４９４０３ Ａ１に示されているもののようなＰｅｌｉｃａｎアレイカメラとすることができる。

図２Ａに示されるプレノプティックカメラ２００の例では、主レンズ２０５は主レンズ２０５の対象物視野内の対象物（図示せず）からの光を受け、光を主レンズ２０５の画像視野を通過させる。マイクロレンズアレイ２１０は、２次元アレイに配置された複数のマイクロレンズ２１５を含む。明らかに、主レンズ２０５およびマイクロレンズ２１５は、例えば文献ＧＢ２４８８９０５の図１２および１３、または文献ＥＰ２２４４４８４（Ａ１）に示されているもののように、より複雑な光学系とすることができる。

図３は、画像センサの検知面に配置されたセンサ領域の例を概略的に示す平面図である。図３に示されるように画像センサ３００は、２次元アレイに配置された複数の画素３０５を含み、マイクロレンズアレイ３１０を通して対象物からの光を受ける。マイクロレンズアレイ３１０のマイクロレンズ３１１のそれぞれは、画像センサ３００上の円形領域３１５に光を導くようなレンズ特性を有する。円形領域３１５の外形は、画像センサ３００上のマイクロレンズによって形成され捕捉されるマイクロ画像の形状を表すことができ、その形状はマイクロレンズ３１１の形状に依存する。画像センサ３００上のすべての画素３０５の中でも、円形領域３１５の実質的に内側に位置する画素３０５のみが、イメージングに寄与する。言い換えればイメージングに寄与する画素３０５の画素領域（または検知領域）は、円形領域３１５の実質的に内側に位置する。

明視野カメラの画像センサ３００は、２Ｄ画像内に配置された２Ｄマイクロ画像の集合を備えた画像を記録する。マイクロレンズアレイ３１０の各マイクロレンズ３１１は、円形領域３１５によって表されるマイクロ画像を形成する。図３に示されるように、センサ３００上の画素３０５の座標は、画像センサ３００の表面上のｘ−ｙ座標系における（ｘ，ｙ）によって示される。図３に示される距離ｐは、２つの連続したマイクロ画像の間の距離である。マイクロレンズ３１１は、距離ｐが画素３０５のサイズより大きくなるように選定される。図３に示される距離ｗは、２つの連続したマイクロ画像の間の視差距離である。図３に示されるようにマイクロ画像は、画像センサ３００の表面上のｉ−ｊ座標系におけるそれらのそれぞれの座標（ｉ，ｊ）によって参照される。

上述のように、円形領域３１５の実質的に内側に位置する画素３０５のみが、マイクロレンズ３１１を通して光を受ける。マイクロレンズ間の空間は、マイクロレンズ３１１の外側を光子が通過するのを防ぐためにマスクすることができる（マイクロレンズ３１１が正方形であり、マイクロレンズ間の空間が形成されない場合は、このようなマスキングは必要ない）。

マイクロ画像（ｉ，ｊ）の中心は、画像センサ３００上で座標（ｘ_i,j，ｙ_i,j）に位置する。図３のθは、画素３０５の正方格子と、マイクロレンズ３１１の正方格子の間の角度を表す。座標（ｘ_i,j，ｙ_i,j）は、マイクロレンズ画像（０，０）の画素座標である（ｘ_0,0，ｙ_0,0）を考慮して、以下の式（１）によって導き出すことができる：

距離ｐおよびｗは、画素の単位で与えられる。それらはそれぞれ画素サイズδを乗算することによって距離の物理単位（メートル）ＰおよびＷに変換される：Ｗ＝δｗおよびＰ＝δｐ。これらの距離は、明視野カメラの特性に依存する。

５．２明視野カメラの光学特性
従って、理想的な完全薄肉レンズモデルを備えた概略の明視野カメラを示す図４を参照して明視野カメラの例示的光学特性が論じられる。

主レンズは、焦点距離Ｆおよび口径Φを有する。マイクロレンズアレイは、焦点距離ｆを有するマイクロレンズを備える。マイクロレンズアレイのピッチはφである。マイクロレンズアレイは、主レンズから距離Ｄ、およびセンサから距離ｄに位置する。対象物（図示せず）は、主レンズから距離ｚに位置する。この対象物は主レンズによって、主レンズから距離ｚ’に焦点が合わされる。図４は、Ｄ＞ｚ’の場合を示す。この場合、マイクロ画像は、ｄおよびｆに依存してセンサ上に焦点が合ったものとなることができる。

視差Ｗは、対象物（図示せず）と主レンズの間の距離ｚと共に変化する。Ｗとｚの関係を確立するためには、これは薄肉レンズ式（２）、およびタレスの定理式（３）に基づくことができる：

次いで、式（２）および（３）を結合することによって、以下の式（４）が導き出される：

Ｗとｚの関係は、マイクロレンズ画像の焦点が合っていることを前提としていない。マイクロ画像は、薄肉レンズ式に従って厳密に焦点が合ったものとなる：

５．３ 画像リフォーカス
明視野カメラの主要な特性は、画像の撮影の後に再合焦距離が自由に調整可能な、２Ｄのリフォーカスされた画像を計算することが可能なことである。サイズ［Ｎ_x，Ｎ_y］の４Ｄ明視野画像Ｌは、単にマイクロレンズ画像をシフトおよびズームし、次いでそれらを２Ｄ画像に合計することによって、２Ｄ画像に投影される。マイクロレンズ画像のシフトの大きさは、再合焦距離を制御する。４Ｄ明視野画素Ｌ（ｘ，ｙ，ｉ，ｊ）の、リフォーカスされた２Ｄ画像座標（Ｘ，Ｙ）への投影は、

によって定義され、ただしｓは２Ｄのリフォーカスされた画像のサイズを制御し、ｇはリフォーカスされた画像の合焦距離を制御する。この式（６）は、式（１）を考慮することによって、式（７）として書き直される：

パラメータｇは、式（８）においてｐおよびｗの関数として表現され得る。パラメータｇは、同じ対象物の様々なズームされたビューが重畳されるように、それらの中心を基準として用いて、マイクロレンズ画像に対して行われなければならないズームを表す。

式（７）は以下となる：

４Ｄ明視野画素（ｘ，ｙ，ｉ，ｊ）は、２Ｄのリフォーカスされた画像に投影される。予備的に、リフォーカスされた画像Ｒ、およびリフォーカスされた画像重みＲ_weightはゼロに設定される。リフォーカスされた画像のサイズ［Ｎ_X，Ｎ_Y］＝［ｓＮ_x，ｓＮ_y］は、４Ｄ明視野画像のサイズのｓ倍に設定される。投影は、座標（Ｘ，Ｙ）に投影された画素を、リフォーカスされた画像に合計することによって行われる。各投影された４Ｄ明視野画素に対して、リフォーカスされた画像重みは、画素座標（Ｘ，Ｙ）において１を加えることによって更新される：
Ｒ（Ｘ，Ｙ）＋＝Ｌ（ｘ，ｙ，ｉ，ｊ） （１０）
Ｗ（Ｘ，Ｙ）＋＝１
リフォーカスされた画像重みは、座標（Ｘ，Ｙ）当たり投影された４Ｄ明視野画素の数を表す。Ｌのすべての４Ｄ明視野画素を投影した後に、リフォーカスされた画像Ｒは、リフォーカスされた画像重みＲ_weightによって除算される。この最後のステップは、座標（Ｘ，Ｙ）当たり受け取られた画素の数を正規化する。

投影された座標（Ｘ，Ｙ）は、必ずしも整数座標ではないので、任意選択で非整数画素座標（Ｘ，Ｙ）をリフォーカスされた画像Ｒのグリッド、およびリフォーカスされた画像重みＲ_weightにマップするために、補間技法を用いることができる。補間技法は一般に用いられ、当業者にはよく知られており、本明細書ではそれについてさらに述べられない。

５．４ フォーカルスタック
図１に示されるようにフォーカルスタック１００は、異なる距離にリフォーカスされたＮ個の画像の集合Ｒ_n（ｎ∈［１，Ｎ］）であり、これは画像（１０１，１０２，１０３・・・）の立方体を定義し、Ｎはユーザが選択した画像の数である。従ってフォーカルスタック１００内の２つの連続した画像の間の距離または距離間隔（ｚ軸上の）は、これら２つの連続した画像に結び付けられた２つの焦点面の間の距離に対応する。Ｎ個のリフォーカスされた画像は、式（４）および（８）によって定義されるｚ_minとｚ_maxの間の合焦距離の範囲に対応するｇ_minとｇ_maxの間で線形的に変化するｇに対して計算される。他のオプションはフォーカルスタックを、式（４）によって定義されるｚ_minとｚ_maxの間の合焦距離の範囲に対応するｗ_minからｗ_maxまで線形的に変化するｗにより計算することである。ｇおよびｗの最小最大限界は、ｚ_minとｚ_max内の合焦距離によりリフォーカスされた画像を包含するようにユーザによって定義される。

この実施形態において述べられたフォーカルスタックの計算は、４Ｄ明視野が、レンズアレイおよび任意選択で主レンズを有する、単一の画像センサによって記録されることを前提とする。しかしフォーカルスタックの計算は、このようなタイプの明視野カメラによって記録された４Ｄ明視野に限定されず、従って任意のタイプの明視野カメラによって記録された４Ｄ明視野に基づいて、リフォーカスされた画像のフォーカルスタックを計算することが可能であることが留意されるべきである。

５．５ ユーザの個人化された視点に従って画像をリフォーカスする
本開示の実施形態によれば、ユーザのデバイスに表示された明視野画像を、デバイスの姿勢に適応させるための手法がユーザにもたらされる。

図５は、画像またはムービーに対応し得る４Ｄ明視野データを捕捉した、プレノプティックカメラ５０を示す。最新技術では、４Ｄ明視野データを表す（または定義する）ためのいくつかの方法がある。実際に、２００６年７月に発表されたＲｅｎ Ｎｇによる「Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という名称の博士論文の３．３章では、４Ｄ明視野データを表すための３つの異なる方法が述べられている。第１に４Ｄ明視野データは、例えば図２（ａ）に示されるもののようなプレノプティックカメラによって記録されたときに、マイクロレンズ画像の集合によって表すことができる。この表現での４Ｄ明視野データは、生の画像（または生の４Ｄ明視野データ）と名付けられる。第２に４Ｄ明視野データは、プレノプティックカメラによってまたはカメラアレイによって記録されたときに、サブアパーチャ画像のセットによって表すことができる。サブアパーチャ画像は、ある視点からのシーンの捕捉された画像に対応し、視点は２つのサブアパーチャ画像の間でわずかに異なる。これらのサブアパーチャ画像は、イメージングされたシーンの視差および深度についての情報を与える。第３に４Ｄ明視野データは、エピポーラ画像のセットによって表すことができる（例えばＩＳＶＣ２０１１の会議議事録において発表されたＳ．Ｗａｎｎｅｒらによる「Ｇｅｎｅｒａｔｉｎｇ ＥＰＩ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」という名称の論文を参照されたい）。他の実施形態では当業者は、２平面パラメータ表現に基づく４Ｄ明視野データを用いることができる。

図５の実施形態では、単に例としてプレノプティック捕捉５１は、ビューの行列、またはサブアパーチャ画像として表示され得る。

ユーザは、この４Ｄ明視野ムービーをタブレット５２などのハンドヘルドデバイス上で見る。このようなレンダリングは、リアルタイムレンダリングとすることができる。図５では１つだけが示されるが、明視野ムービーはいくつかのユーザにブロードキャストされ得る。タブレット５２は、任意の種類の有線または無線接続を通して明視野ムービーを受信する。ユーザはタブレット５２を動かし、従ってその位置およびその方位の両方を変化させることができる。タブレットの画面上では、タブレットの姿勢と共に、画像の合焦距離および視点の両方が変化する。

タブレット５２は背面カメラ（図示せず）を装備し、これはユーザの前方のシーン、および特に図６によって示されるようにシーン内に挿入された特定のマーカ６０（例えばＡＲタグ（拡張現実タグ））を撮影する。マーカ６０は、パターン座標系に関連付けられる。パターン座標系からタブレット５２の位置を記述する変換が見出されたときは、回転および並進がもたらされるので、空間におけるタブレット５２の位置を示すことが可能になる。

この目的のために、タブレット平面の式が表現されなければならない。

５．５．１ タブレット平面式
パターン座標系に対するデバイス座標系を定義するために、デバイス座標系のユニタリベクトル、およびマーカ座標系からのデバイスの並進を書き表すことができる。

次いでマーカＣＳから見たタブレット座標系（ＣＳ）を記述する同次変換行列は、以下のように書き表される。

次いでタブレットの平面は

（平面への法線ベクトル）、および

（平面の１つの点の位置）点によって定義される。平面の点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）のセットは以下の式によってもたらされる：

これは以下の形式により書き表され得る。

別法として座標は、画素（Ｘ_p，Ｙ_p，Ｚ_p）において評価され得る。
画素座標（ｕ，ｖ）を有する画像を発生するために、変換

および

を定義しなければならない。
一実施形態では、変換は

により定義され得る。
これは（Ｘ，Ｙ）空間を範囲［−１／２；＋１／２］内に正規化することに対応する。
次いでＺ_p、すなわちマーカ座標系における画素の位置を決定することは容易である：

この式は投影と等価であることに留意されたい。

５．５．２ フォーカルスタックからスライス画像を抽出する
本開示の実施形態によれば、タブレット５２に表示される画像は、追跡されるタブレット姿勢パラメータによって制御される交差面との、フォーカルスタック１００の交差として決定されるスライス画像である。言い換えればフォーカルスタック１００内のスライス１１０の位置は、マーカ６０に対するタブレット５２の位置によって与えられる。タブレットをあちこちに向けて動かすことは、フォーカルスタック内でスライスを移動させる。スライス画像１１０は、タブレット５２の画面に表示される。ユーザはタブレット５２をあちこちに向けて動かすことによって、合焦平面を自由に選択することができ、これは必ずしもカメラ５０の主軸に垂直ではない。

図７は、本開示の実施形態による、タブレット５２に明視野ベースの画像を表示するためのプロセスを示すフローチャートを示す。

ステップＳ７０１ ＩＮＩＴでは、タブレットの初期位置

が定義され、マーカ６０に関して、基準として用いられる。この初期位置は、フォーカルスタックの焦点の合った画像番号Ｎ／２、すなわち画像のスタックの中間の画像に対応する画像に関連付けられる。

ステップＳ７０２では、センサ７０５によって捕捉された情報は、タブレット５２の姿勢、すなわちその方位およびその位置を推定することを可能にする。マーカに対するタブレット５２の位置は、３Ｄ座標

によって特性化される。タブレット５２を初期タブレット位置

のまわりで動かすことは、フォーカルスタックのスライスを動かすことに関連付けられる。

従ってステップＳ７０３では、現在のタブレット姿勢に関連付けられる、フォーカルスタック１００のスライス画像として、タブレット５２に表示されることになる画像が計算される。
［Ｎ_X，Ｎ_Y］画素のサイズ（すなわちフォーカルスタック１００内の焦点の合った画像と同じサイズ）を有するスライスインデックス画像Ｓ_iは、以下のように定義される：

スライス画像Ｓは、［Ｎ_X，Ｎ_Y］画素のサイズを有する。これはスライスインデックス画像Ｓ_i

により計算される。

におけるインデックスＳ_iは、各画素（Ｘ，Ｙ）に対するフォーカルスタック内部のどの焦点の合った画像が、画素（Ｘ，Ｙ）におけるスライス画像Ｓにコピーされる（関数Ｒ）ことになるかを示す。パラメータαは、タブレットが

および

軸の周りにシフトされる間に、どれだけ速くスライスが傾けられるかを制御する。パラメータβは、

軸上をスライスがどれだけ移動するかを制御する。これらのパラメータは、タブレットを過大に動かすことを必要とせずに、フォーカルスタック内のいずれのスライスも抽出され得るように調整される。

における典型的な１０ｃｍの総偏位（最大およそ２０ｃｍ）が、フォーカルスタック画像数Ｎにマッピングされるべきである。

ステップＳ７０４では、スライス画像Ｓがタブレット５２に表示される。Ｓは矢印７０６によって示されるように、カメラによって取得された各新しい画像に対して、およびまたタブレットの各新しい位置に対して実現される。

同じ導出が、画素座標（Ｘ_p，Ｙ_p，Ｚ_p）によりなされ得ることが留意されなければならない。

図８は、本開示の実施形態により、装置位置および方位に応じて個人化される方法で、明視野ベースの画像を表示するための装置の例を示す概略ブロック図である。

図８に示される装置８０は、プロセッサ８１、記憶ユニット８２、入力デバイス８３、出力デバイス８４、インターフェースユニット８５、およびセンサ７０５を含み、これらはバス８６によって接続される。もちろんコンピュータ装置８０の構成する要素は、バス８６を用いたバス接続以外の接続によって接続され得る。このような装置８０は、例えば図５および６のタブレット５２、またはスマートフォンなどの任意の他のタイプのハンドヘルドデバイスである。

プロセッサ８１は、装置８０の動作を制御する。記憶ユニット８２は、プロセッサ８１によって実行されることなる少なくとも１つのプログラム、ならびに、明視野カメラによって捕捉され、もたらされる４Ｄ明視野画像のデータ、プロセッサ８１によって行われる計算によって用いられるパラメータ、プロセッサ８１によって行われる計算の中間データ、センサ７０５によって捕捉された情報などを含む、様々なデータを記憶する。記憶ユニット８２は特に、明視野捕捉デバイスによってもたらされる、フォーカルスタック１００を記憶する。プロセッサ８１は、任意の知られているおよび適切なハードウェアもしくはソフトウェア、またはハードウェアとソフトウェアの組み合わせによって形成され得る。例えばプロセッサ８１は、処理回路などの専用ハードウェアによって、またはそれのメモリに記憶されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理装置によって形成され得る。

記憶ユニット８２は、任意の適切な記憶装置、またはプログラム、データなどをコンピュータ可読の形で記憶する能力がある手段によって形成され得る。記憶ユニット８２の例は、半導体メモリデバイス、または読み出しおよび書き込みユニットにロードされる磁気、光、または光磁気記録媒体などの、非一時的コンピュータ可読記憶媒体を含む。プログラムはプロセッサ８１に、図７を参照して上述されたような本開示の実施形態による、装置の姿勢パラメータに従って合焦パラメータが設定される、明視野画像を表示するためのプロセスを行わせる。

入力デバイス８３は、コマンドを入力するためのユーザによる使用のための、キーボード、マウスなどのポインティングデバイスによって形成され得る。出力デバイス８４は、例えばグラフィカルユーザインターフェース（ＧＵＩ）、またはユーザの視点に対して個人化された明視野ベースの画像を表示するための、表示デバイスによって形成され得る。入力デバイス８３および出力デバイス８４は、例えばタッチスクリーンパネルによって一体化されて形成され得る。

インターフェースユニット８５は、装置８０と外部装置の間のインターフェースをもたらす。インターフェースユニット８５は、ケーブルまたは無線通信によって外部装置と通信可能とすることができる。この実施形態では外部装置は、明視野カメラとすることができる。この場合は、明視野カメラによって捕捉された４Ｄ明視野画像のデータを、明視野カメラから装置８０にインターフェースユニット８５を通して入力し、次いで記憶ユニット８２に記憶し、画面８４に表示することができる。

装置８０および明視野カメラは、ケーブルまたは無線通信によって互いに通信することができる。

図８にはただ１つのプロセッサ８１が示されるが、このようなプロセッサは以下などの、本開示の実施形態により装置８０によって実行される機能を具体化した種々のモジュールおよびユニットを備え得ることが理解されなければならない：
− センサ７０５によってもたらされる情報に基づいて、装置の姿勢を推定するためのモジュール、
− 推定される装置の姿勢に応じて、表示されることになる画像に対する焦点合わせパラメータを決定するためのモジュール、
− 焦点合わせパラメータおよび／または装置の姿勢パラメータに応じて、フォーカルスタックのスライス画像として表示されることになる画像を計算するためのユニット。

これらのモジュールおよびユニットはまた、互いに通信し協働するいくつかのプロセッサ８１において具体化することができる。

５．６ フォーカルスタックをシーンのレイアウトに適応させる
図９は、カメラ４００によって捕捉されたシーンの例を示す。このようなシーンは、２つの関心のある対象物４０１および４０２を備える。関心のある対象物４０１はカメラ４００から距離ｄ１に位置し、もう一方の関心のある対象物４０２はカメラ４００から距離ｄ２に位置する。

シーン内で関心のある対象物４０１または４０２が検出されたときは、その位置（距離ｄ１またはｄ２）は知られており、従ってフォーカス値を計算することができる。次いでまた、この位置に対する近いフォーカス値を計算することが可能である。これは図９に示され、ここで距離ｄ１およびｄ２において、より多くの画像がフォーカルスタックに対して計算される。従ってフォーカルスタック５００は、最も近い焦点距離に対応する焦点の合った画像、最も遠い焦点距離に対応する焦点の合った画像、および中間に以下の焦点の合った画像の２つのセットを備える：
− 関心のある対象物４０１に関連する焦点の合った画像の第１のグループ５０１、
− 関心のある対象物４０２に関連する焦点の合った画像の第２のグループ５０２。

関心のある対象物と、他の平面（例えば背景または前景）との間に位置する画像の計算は、深度によって線形的に進められる。

変形形態では、フォーカルスタック内の２つの連続した画像の間の距離（ステップとも呼ばれる）は、デフォルトで小さいものとして定義される（２つの連続した画像は、シーン空間内でおよそ２０ｃｍ互いに間があけられた焦点面に関連付けられる）。次いでユーザは、彼／彼女には関心のないゾーンを選択するように決定することができ（例えば、背景に位置付けられた対象物）、背景内の対象物は重要ではないことを考慮してフォーカルスタックが決定される（従ってこれらの画像の間の距離は、決定されたフォーカルスタック内のデフォルト値と比べて増加される）。

図１０は、シーンに適応された不規則なサンプリンググリッドにより構築された、フォーカルスタック５００を示す。

関心のある対象物４０１または４０２に関連するセット５０１または５０２における焦点の合った画像の数は、関心のある対象物の深度に依存し、深度は関心のある対象物の前部から後部までの距離に対応する（対象物の前部はカメラに最も近い対象物の部分に対応し、対象物の後部はカメラから最も遠い対象物の部分に対応する）。関心のある対象物が深いほど、フォーカルスタック内の対応する焦点の合った画像のセット内の画像は多くなり、ＡＩＦ画像における関心のある対象物のより精細なレンダリング、またはシーンのより良好なリフォーカス能力を可能にする。

実際、図９および１０に実施形態により、より多くの「焦点が合った領域」が関心のある対象物に付加される。ＡＩＦ画像は、すべての対象物の焦点が合って見える焦点の合った画像に対応し、焦点融合によって構成される。従って関心のある対象物に対して、ＡＩＦ画像において、ＤｏＦ（被写界深度）の品質は向上することになる。

さらに、関心のある対象物に関連するフォーカルスタックのスライスの数は大きく、これは特にユーザが、表示された画像を特有の合焦距離および／または視点に調整するようにタブレット５２をあちこちに向けて動かすことによって、この特有の関心のある対象物にシーンをリフォーカスすることを望むときに、彼／彼女により多くの情報をもたらすことになる。

本開示の実施形態によれば、関心のある対象物４０１および４０２は以下とすることができる：
− 顕著な対象物（例えばＮｉａｎｙｉ Ｌｉ、Ｊｉｎｗｅｉ Ｙｅ、Ｙｕ Ｊｉ、Ｈａｉｂｉｎ Ｌｉｎｇ、およびＪｉｎｇｙｉ Ｙｕによる「Ｓａｌｉｅｎｃｙ Ｄｅｔｅｃｔｉｏｎ ｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ」に述べられているような）、
− シーン内で検出された顔、または人体の一部もしくは全体、
− 前景対象物（例えば、Ｎ．Ｓａｂａｔｅｒ、Ｖ．Ｄｒａｚｉｃ、Ｍ．Ｓｅｉｆｉ、Ｇ．Ｓａｎｄｒｉ、およびＰ．ＰｅｒｅｚによるＩＣＣＰ２０１４における「Ａｃｃｕｒａｔｅ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｐｌｅｎｏｐｔｉｃ Ｉｍａｇｅｓ」に述べられているような視差推定によって識別される）、
− ユーザによって選択された対象物（例えば特定のフレーム上でユーザによって手動で選択され、ビデオシーケンスに沿って追跡される対象物）。

同じシーン内で、１つまたはいくつかの関心のある対象物が検出され得る。フォーカルスタックに対するサンプリンググリッドは、シーン内で検出されたのと同数の関心のある対象物に適応することになる。

もちろん図９および１０の実施形態では、図８の装置８０によって使用される、または図７のプロセスにおけるステップＳ７０３で使用されるフォーカルスタックは、図１の通常のフォーカルスタック１００ではなく、図１０の適応されたフォーカルスタック５００である。

この特有の実施形態では、装置８０のプロセッサ８１は、シーンのレイアウトに応じた適応型フォーカルスタックの計算の機能を具体化するためのユニットおよびモジュールのセット、ならびに特に下記をさらに備えることができる。

− シーンのレイアウトに従ってサンプリング間隔を減少また増加させるための調整モジュール、
− 調整されたサンプリング間隔だけ互いに離間された、連続した焦点の合った画像のセットとしてフォーカルスタックを決定するためのモジュール、
− シーン内の関心のある対象物を識別するためのモジュール、
− 関心のある対象物の深度を評価するためのモジュール、
− 各関心のある対象物に関連付けられることになる焦点の合った画像の数を決定するためのモジュール、
− 明視野データセットから、または明視野データセットから発生されたビューの行列から、視差を推定するための視差推定モジュール、
− 推定された視差からシーン内の関心のある対象物の位置を計算するための計算ユニット。

当業者には理解されるように、本原理の態様は、システム、方法、またはコンピュータ可読媒体として具体化され得る。従って本原理の態様は、専らハードウェアの実施形態、専らソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書においてすべて一般に「回路」、「モジュール」、もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェア態様を組み合わせた実施形態の形をとることができる。

本原理が１つまたはいくつかのハードウェア構成要素によって実施されるときは、ハードウェア構成要素は、中央処理装置などの集積回路であるプロセッサ、および／またはマイクロプロセッサ、および／または特定用途向け集積回路（ＡＳＩＣ）、および／または特定用途向け命令セットプロセッサ（ＡＳＩＰ）、および／またはグラフィックス処理装置（ＧＰＵ）、および／または物理演算処理装置（ＰＰＵ）、および／またはディジタル信号プロセッサ（ＤＳＰ）、および／または画像プロセッサ、および／またはコプロセッサ、および／または浮動小数点ユニット、および／またはネットワークプロセッサ、および／またはオーディオプロセッサ、および／またはマルチコアプロセッサを備えることが留意され得る。さらにハードウェア構成要素は、ベースバンドプロセッサ（例えばメモリユニットおよびファームウェアを備える）、および／または無線信号を受信もしくは送信する無線電子回路（これはアンテナを備え得る）をさらに備えることができる。一実施形態ではハードウェア構成要素は、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、ＧｌｏｂａｌＰｌａｔｆｏｒｍ（すなわちセキュアエレメント）などの１または複数の標準に準拠する。変形形態ではハードウェア構成要素は、無線周波数識別（ＲＦＩＤ）タグである。一実施形態ではハードウェア構成要素は、ブルートゥース通信、および／またはＷｉ−ｆｉ通信、および／またはＺｉｇＢｅｅ通信、および／またはＵＳＢ通信および／またはＦｉｒｅｗｉｒｅ通信および／またはＮＦＣ（ニアフィールドの略）通信を可能にする回路を備える。

さらに本原理の態様は、コンピュータ可読記憶媒体の形をとることができる。１または複数のコンピュータ可読記憶媒体の任意の組み合わせが利用され得る。

従って例えば、当業者には、本明細書において示されたブロック図は、本発明の原理を具体化する例示的システム構成要素および／または回路の概念的な図を表すことが理解されるであろう。同様にいずれのフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読記憶媒体内に実質的に表され得る様々なプロセスを表し、それに従ってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているかどうかに関わらず、実行されることが理解されるであろう。

本開示は１または複数の例を参照して述べられたが、当業者は、本開示および／または添付の特許請求の範囲から逸脱せずに、形および詳細において変更がなされ得ることを認識するであろう。

Claims (14)

1. ユーザのデバイス（５２）に少なくとも１つの明視野ベースの画像を表示するための方法であって、前記デバイス（５２）の姿勢に応じて決定される少なくとも１つの焦点合わせパラメータに従って焦点が合わされた前記画像を表示するステップ（Ｓ７０４）を含む、前記方法。
2. 前記姿勢は、前記ユーザのデバイス（５２）に埋め込まれた少なくとも１つの検知デバイス（７０５）を用いることによって推定される（Ｓ７０２）、請求項１に記載の方法。
3. 前記検知デバイス（７０５）は、
   − 慣性計測装置（ＩＭＵ）、
   − 少なくとも１つの基準要素に向いたカメラ、
   − 内部モーションキャプチャシステム、
   を含む群に属する、請求項２に記載の方法。
4. 前記ユーザのデバイス（５２）はハンドヘルドデバイスである、請求項１乃至３のいずれか一項に記載の方法。
5. 前記表示される画像は、前記デバイスの少なくとも１つの姿勢パラメータに依存した交差面とのフォーカルスタック（１００；５００）の交差として決定されるスライス画像（１１０）である、請求項１乃至４のいずれか一項に記載の方法。
6. 前記フォーカルスタック（５００）はシーンの焦点の合った画像のセットを備え、２つの連続した焦点の合った画像は前記フォーカルスタック内でサンプリング間隔だけ互いに離間され、
   − 前記シーンのレイアウトに応じて、前記サンプリング間隔を調整するステップと、
   − 前記フォーカルスタックを、調整されたサンプリング間隔だけ互いに離間された、連続した焦点の合った画像の前記セットとして決定するステップと、
   をさらに含む、請求項５に記載の方法。
7. 少なくとも１つの明視野ベースの画像を表示するための装置であって、
   − 前記装置の姿勢に応じて、前記画像に対する少なくとも１つの焦点合わせパラメータを決定するためのモジュール（８１）と、
   − 前記少なくとも１つの焦点合わせパラメータに応じて焦点が合わされた前記画像を表示するための表示ユニット（８４）と、
   を備える、前記装置。
8. 前記姿勢を推定することを可能にする少なくとも１つの検知デバイス（７０５）を埋め込んだ、請求項７に記載の装置。
9. 前記検知デバイス（７０５）は、
   − 慣性計測装置（ＩＭＵ）、
   − 少なくとも１つの基準要素に向いたカメラ、
   − 内部モーションキャプチャシステム、
   を含む群に属する、請求項８に記載の装置。
10. ハンドヘルドデバイスである、請求項７乃至９のいずれか一項に記載の装置。
11. 前記デバイスの少なくとも１つの姿勢パラメータに依存した交差面とのフォーカルスタック（１００）の交差として定義されるスライス画像（１１０）として、前記表示される画像を決定するためのユニットを備える、請求項７乃至１０のいずれか一項に記載の装置。
12. 前記フォーカルスタック（５００）はシーンの焦点の合った画像のセットを備え、２つの連続した焦点の合った画像は前記フォーカルスタック内でサンプリング間隔だけ互いに離間され、
    − 前記シーンのレイアウトに応じて、前記サンプリング間隔を調整するための調整モジュールと、
    − 前記フォーカルスタックを、調整されたサンプリング間隔だけ互いに離間された、連続した焦点の合った画像の前記セットとして決定するためのモジュールと、
    をさらに備える、請求項１１に記載の装置。
13. 通信ネットワークからダウンロード可能であり、および／またはコンピュータによって読み出し可能な媒体に記録され、および／またはプロセッサによって実行可能であるコンピュータプログラム製品であって、請求項１乃至６のいずれか一項に記載の方法を実施するためのプログラムコード命令を備えた、前記コンピュータプログラム製品。
14. 非一時的コンピュータ可読媒体であって、それに記録され、プロセッサによって実行されることができるコンピュータプログラム製品を含み、請求項１乃至６のいずれか一項に記載の方法を実施するためのプログラムコード命令を含む、前記非一時的コンピュータ可読媒体。