JP2019505148A - パノラマ画像を生成する装置及び方法 - Google Patents

Abstract

パノラマ画像を生成するためのイメージング装置、及び方法の種々の特徴が開示される。イメージング装置は、イメージング装置の視野（ＦＯＶ）に関連するライトフィールド（ＬＦ）データをキャプチャするよう構成されたマイクロレンズアレイを含む。イメージング装置の１つ又はそれ以上の回路は、第１の被写体に焦点合わせして第１のフレームを決定する。第１のフレームは、ＦＯＶにおける第１の被写体の格納されたＬＦデータの第１のリアラインメントに基づく。１又はそれ以上の回路が１又はそれ以上の他の被写体に動的に再焦点合わせしたときに、１又はそれ以上の他のフレームの決定が行われる。決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームの結合から、パノラマ画像が生成される。生成されたパノラマ画像は、選択された１つ又はそれ以上の被写体の深度の知覚に寄与する疑似３次元画像に対応する。

Description

［0001］ 本開示の種々の実施形態は、パノラマ画像を生成するための装置及び方法に関する。より具体的には、本開示の種々の実施形態は、ライトフィールド（ＬＦ）データに基づいてパノラマ画像を生成するための装置及び方法に関する。

［0002］ ライトフィールド写真の分野における最近の進展は、ライトフィールド（ＬＦ）データをキャプチャする高性能のプレノプティック（plenoptic）イメージング装置の開発につながった。このイメージング装置は、イメージング装置の視野（ＦＯＶ）に存在する複数の被写体及び／又は物体に関連するＬＦデータをキャプチャする。典型的には各物体について、ＬＦデータは、イメージング装置のＦＯＶにおけるすべての点を通してすべての方向に流れる光の量を記述するベクトル関数に対応する。このベクトル関数は、各光線の光軸に関する位置及び方向といった変数を特徴づける多次元（例えば５次元又はそれ以上）のプレノプティック関数に対応し得る。プレノプティック関数は、時間、波長、偏光角といった追加の変数に基づいてより高い次元数を表すこともできる。このようなより高い次元のプレノプティック関数は、イメージング装置のＦＯＶにおけるすべての瞬間において、すべての位置から、すべての波長において複数の被写体及び／又は物体のすべての可能性のある光景のリアラインメントを可能とし得る。

［0003］ あるシナリオでは、プレノプティックイメージング装置は、視差誤差を最小限に抑えて複数のＦＯＶに基づいてパノラマ画像を生成することができる。複数のＦＯＶに関連するＬＦデータをスティッチング（stitch）してパノラマ画像を生成することができる。しかしながら、このようなパノラマ画像は、平らな２次元画像又は３次元画像に対応し得る。また、このようなパノラマ画像の生成には、複数のＦＯＶに関連するＬＦデータを格納するためのかなりのメモリを必要とし得る。生成されたパノラマ画像は、最適化されたメモリ利用で、選択されたＦＯＶに存在するキャプチャされた被写体及び／又は物体の深度の知覚を与えることが望まれている。

［0004］ 本出願のこの後に図面を参照して記載される本開示のいくつかの観点を伴ったシステムとの比較を通して、従来の伝統的な方法のさらなる制約及び不都合が当業者に明らかとなるだろう。

［0006］ 少なくとも１つの図面に示され及び／又は少なくとも１つの図面との関連で説明されるように、特許請求の範囲により完全に記載されるものとして、パノラマ画像を生成するための装置及び方法が実質的に示される。

［0007］ 本開示の特徴及び有利な点は、以下の詳細な説明を添付図面と共に読むことにより理解されるだろう。図面において同じ符号は全体を通して同様の部品を表す。

本開示の実施形態であるパノラマ画像の生成のためのネットワーク図を例示したブロック図である。 本開示の実施形態であるパノラマ画像を生成する典型的な電子装置を例示した詳細なブロック図である。 本開示の実施形態であるパノラマ画像を生成する典型的な電子装置を例示した詳細なブロック図である。 本開示の実施形態であるパノラマ画像の生成のための典型的なシナリオを例示する図である。 本開示の実施形態であるパノラマ画像の生成のための典型的なシナリオを例示する図である。 本開示の実施形態であるパノラマ画像の生成のための典型的なシナリオを例示する図である。 本開示の実施形態であるパノラマ画像の生成のための典型的なシナリオを例示する図である。 本開示の実施形態であるパノラマ画像の生成のための典型的なシナリオを例示する図である。 本開示の実施形態であるパノラマ画像の生成のための方法を例示するフローチャートである。

［0013］ パノラマ画像を生成するための装置及び／又は方法には、種々の実施形態が考えられるだろう。本開示の典型的な観点は、マイクロレンズアレイを含むイメージング装置を含むことができ、マイクロレンズアレイはさらに複数のマイクロレンスを含むことができる。マイクロレンズアレイは、光センサと共に、イメージング装置の視野（ＦＯＶ）と関連するライトフィールド（ＬＦ）データをキャプチャするよう構成することができる。第１フレームを決定するために、この方法はＦＯＶにおける第１の被写体の格納されたＬＦデータの第１のリアラインメント（realignment）に基づいて第１の被写体に焦点を合わせることを含むことができる。1つ又はそれ以上の他のフレームを決定するために、ＦＯＶ内の１つ又はそれ以上の他の被写体それぞれのキャプチャされたＬＦデータの第２のリアラインメントに基づいて当該１つ又はそれ以上の他の被写体への動的な焦点合わせが必要とされ得る。決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームの組み合わせに基づいて、パノラマ画像が生成され得る。生成されたパノラマ画像のフォーマットは、動画（motion picture）、ライトフィールド・ピクチャ（ＬＦＰ）画像、グラフィックス・インタチェンジ・フォーマット（ＧＩＦ）画像、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）画像のうちの１つに対応し得る。

［0014] 実施形態に従って、ＦＯＶでキャプチャされＬＦデータはイメージング装置に格納することができる。実施形態に従って、第１の被写体及び１つ又はそれ以上の他の被写体は、バウンディングボックス及び／又はオブジェクト・マーカに基づいてイメージング装置のディスプレイスクリーン上に表示され得る。

［0015］ 実施形態に従って、第１の被写体に焦点を合わせるようにとのユーザ入力は、イメージング装置によって受け取られ得る。さらにユーザ入力は、１つ又はそれ以上の被写体への動的な再焦点合わせのために受信され得る。実施形態に従って、このユーザ入力は、第１の被写体及び１つ又はそれ以上の他の被写体からの１つ又はそれ以上の被写体の選択に対応し得る。選択された１つ又はそれ以上の被写体それぞれは、生成されたパノラマ画像がディスプレイスクリーン上でレンダリングされるときに、連続的に焦点合わせされる。

［0016］ 実施形態に従って、ユーザ入力には、ユーザによって実行されるピンチイン操作又はピンチアウト操作が含まれ得る。ピンチイン操作又はピンチアウト操作は、第１の被写体及び１つ又はそれ以上の他の被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカ上で実行され得る。

［0017］ 実施形態に従って、ＦＯＶに関連づけられたキャプチャされたＬＦデータは、不揮発性メモリに格納することができる。格納されたＬＦデータは、第１の被写体及び１つ又はそれ以上の他の被写体から選択された１つ又はそれ以上の被写体に対応し得る。実施形態に従って、第１の被写体への焦点合わせ及び１つ又はそれ以上の他の被写体への動的な再焦点合わせは、予め格納されているアルゴリズムに基づくものとすることができる。実施形態に従って、キャプチャされたＬＦデータの第１のリアラインメント及び第２のリアラインメントは、ＦＯＶに関するＬＦデータに関連づけられた１つ又はそれ以上のパラメータの修正に対応し得る。実施形態に従って、１つ又はそれ以上のパラメータは、少なくとも、ＦＯＶにおける焦点合わせされた第１の被写体及び動的に再焦点合わせされた１つ又はそれ以上の他の被写体の被写界深度（depth-of-field）、メインのレンズの絞り径（aperture diameter）、マイクロレンズアレイにおける複数のマイクロレンズの逆拡大係数（inverse magnification factor）、マイクロレンズアレイにおける複数のマイクロレンズに対するＦナンバー、マイクロレンズアレイにおける複数のマイクロレンズの焦点距離、ＦＯＶの被写界深度、光の波長、イメージング装置の１つ又はそれ以上のフォトセンサにおけるピクセルのピクセル寸法、フレームレート、及び／又は、選択された前記第１の被写体、前記１つ又はそれ以上の他の被写体の第２の被写体、及び１つ又はそれ以上の物体（ホワイトボード及びハイライターなど）の間での焦点合わせの変化率を含むことができる。

［0018］ 実施形態に従って、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームとの組み合わせは、当該決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームからの２つ又はそれ以上のフレームのＬＦ画像スティッチング（stitching）を含むことができる。このような場合、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームからのスティッチンされた２つ又はそれ以上のフレームに対応する視差誤差を最小限に抑え得る。実施形態に従って、生成されたパノラマ画像は、１つ又はそれ以上のユーザの好み及び／又は不揮発性メモリに予め格納された値に基づいてレンダリングすることができる。１つ又はそれ以上のユーザの好みには、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームに関連づけられたフレームレート、又は、焦点合わせされた第１の被写体と動的に再焦点合わせされる１つ又はそれ以上の他の被写体との間でのイメージング装置の焦点合わせの変化率が含まれ得る。

［0019］ 図１は、本開示の実施形態に従った、パノラマ画像の生成のためのネットワーク図を例示したブロック図である。図１を参照すると、ネットワーク環境１００には、電子装置１０２、アプリケーション・サーバ１０４、コンテンツ・サーバ１０６、及び通信ネットワーク１０８が含まれ得る。ネットワーク環境１００はさらに、ディスプレイ装置１１０及びユーザ１１２のような１つ又はそれ以上のユーザを含むことができる。ディスプレイ装置１１０は電子装置１０２に含まれていてもよい。ユーザ１１２は電子装置１０２に関連づけられていてもよい。電子装置１０２、アプリケーション・サーバ１０４及びコンテンツ・サーバ１０６は、通信ネットワーク１０８を介して互いに通信可能に接続されている。

［0020］ 電子装置１０２は、複数のライトフィールド（ＬＦ）画像に関連づけられたＬＦデータをキャプチャするよう構成された適切なロジック、回路、インターフェイス、及び／又は、コードを含むことができる。電子装置１０２はさらにディスプレイ装置１１０を介してユーザ１１２からユーザ入力を受信するよう構成されていてもよい。電子装置１０２はさらに、キャプチャされたＬＦデータ及び／又は受信したユーザ入力に基づいてパノラマ画像を生成するよう構成されていてもよい。電子装置１０２はさらに、生成されたパノラマ画像をディスプレイ装置１１０上に表示するよう構成されていてもよい。電子装置１０２の例としては、以下には限定されないが、標準的なプレノプティックカメラ、焦点合わせされる（focused）プレノプティックカメラ、コード化された（coded）アパチャカメラ、ステレオプレノプティックカメラ、及び／又は、位相距離（CAFADIS）カメラが含まれる。

［0021］ アプリケーション・サーバ１０４は、複数のＦＯＶに関連づけられたＬＦデータを処理するために１つ又はそれ以上のアプリケーョンをホストするよう構成された適切なロジック、回路、インターフェイス及び／又はコードを含むことができる。アプリケーション・サーバ１０４は、電子装置１０２のような１つ又はそれ以上の登録された装置のために１つ又はそれ以上のアプリケーションをホストするよう構成することができる。アプリケーション・サーバ１０４は、当業者に周知のいくつかの技術を使用することによって実現することができる。

［0022］ コンテンツ・サーバ１０６は、ＬＦデータ（複数のＦＯＶに関連づけられた）を電子装置１０２に提供するよう構成された適切なロジック、回路、インターフェイス及び又はコードを含むことができる。コンテンツ・サーバ１０６は、当業者に周知のいくつかの技術を使用することによって実現することができる。

［0023］ 通信ネットワーク１０８は、電子装置１０２がアプリケーション・サーバ１０４及び／又はコンテンツ・サーバ１０６のような１つ又はそれ以上のサーバと通信することができる媒体を含むことができる。通信ネットワーク１０８の例としは、以下には限定されないが、インターネット、クラウドネットワーク、ロングタームイーボルーション（ＬＴＥ）ネットワーク、ワイヤレスフィデリィティ（Ｗｉ−Ｆｉ）ネットワーク、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話回線（ＰＯＴＳ）、及び／又は、メトロポリタンエリアネットワーク（ＭＡＮ）が含まれ得る。ネットワーク環境１００における種々の装置は、種々の有線及び無線の通信プロトコールに従って通信ネットワーク１０８へ接続するよう構成され得る。このような有線及び無線の通信プロトコールの例としては、以下には限定されないが、トランスミッションコントロールプロトコール及びインターネットプロトコール（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコール（ＵＤＰ）、ハイパーテキストトランスファプロトコール（ＨＴＴＰ）、ハイパーテキストトランスファプロトコール（ＨＴＴＰＳ）、ファイルトランスファプロトコール（ＦＴＰ）、Ｚｉｇｂｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ８０２．１１、８０２．１６、セルラー通信プロトコール、ブルートゥース（ＢＴ）通信プロトコール、及び／又は、近接無線トランスフェプロトコール又は近接場通信（ＮＦＣ）又はトランスファジェット（Ｔｒａｎｓｆｅｒ Ｊｅｔ）のような技術が含まれる。

［0024］ ディスプレイ装置１１０には、複数のＦＯＶにおける複数の被写体を取り囲むバウンディングボックス及び／又はオブジェクトマーカを表示するよう構成された適切なロジック、回路、インターフェイス及び／又はコードが含まれ得る。ディスプレイ装置１１０はさらに、ユーザ１１２のような１つ又はそれ以上のユーザから１つ又はそれ以上のユーザ入力の行動を受信するよう構成され得る。ディスプレイ装置１１０の例としては、以下には限定されないが、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及び／又は、他のディスプレイ技術が含まれる。

［0025］ 動作時に、マイクロレンズアレイは、電子装置１０２のＬＦセンサ(図２Ｂに示す)と共に、電子装置１０２の第１のＦＯＶにおける複数の被写体のＬＦデータをキャプチャするよう構成することができる。ＬＦセンサは、ＬＦデータに加え、第１のＦＯＶの生の画像データをキャプチャするよう構成することができる。簡単のために、生のデータ及びＬＦデータは、ＬＦセンサから得られた２つの別々の測定値と考えている。しかしながら、通常の知識を有する者であれば、ＬＦデータは、第１のＦＯＶにおける複数の被写体と関連づけられたＬＦ画像として知られる、生のデータとＬＦデータの組み合わせに対応し得ることが理解されるだろう。

［0026］ 実施形態に従って、電子装置１０２は、電子装置１０２に予め格納されているアプリケーョンを使用してキャプチャされたＬＦデータを処理するよう構成することができる。実施形態に従って、電子装置１０２は、アプリケーション・サーバ１０４から１つ又はそれ以上のアプリケーションをダウンロードしてＬＦデータを処理するように構成することができる。この１つ又はそれ以上のアプリケーションは、アプリケーション・サーバ１０４から通信ネットワーク１０８を介してダウンロードされ得る。

［0027］ 実施形態に従って、電子装置１０２は、コンテンツ・サーバ１０６から通信ネットワーク１０８を介して複数の被写体のＬＦデータを引き出すよう構成することができる。この受信されたＬＦデータは、それより前の時点に電子装置１０２によってキャプチャされたＬＦデータに対応し得る。この以前にキャプチャされたＬＦデータは、電子装置１０２による後の使用のために、通信ネットワーク１０８を介してコンテンツ・サーバ１０６へ転送され得る。実施例に従って、コンテンツ・サーバ１０６は、通信ネットワーク１０８を介してリアルタイムで、ＬＦデータを電子装置１０２へ送出することができる。

［0028］ 電子装置１０２は、ＦＯＶに関連づけられたＬＦデータを、ランダムアクセスメモリ（ＲＡＭ）又はキャッシュメモリのような揮発性メモリに格納するよう構成することができる。電子装置１０２はさらに、電子装置１０２の第１のＦＯＶに存在する複数の被写体から、焦点合わせ可能な被写体の組を特定するよう構成することかできる。この焦点合わせ可能な被写体の組は、この分野で知られるアクティブ自動フォーカスシステム、パッシブ自動フォーカスシステム又はこれらの組み合わせを使用して、１つ又はそれ以上の被写体のＬＦデータに基づいて識別することができる。焦点合わせ可能な被写体の組は、１つ又はそれ以上の被写体を含む、第１のＦＯＶの光景深度（scene depth）に関連づけられたフォーカスメトリックが最適なフォーカスメトリックであるときに、さらに識別され得る。

［0029］ 実施形態に従って、電子装置１０２は、識別された焦点合わせ可能な被写体の組をディスプレイ装置１１０に表示するよう構成することができる。電子装置１０２はさらに、バウンディングボックス及び／又はオブジェクトマーカに基づいて、識別された焦点合わせ可能な被写体の組を示すよう構成することができる。実施形態に従って、バウンディングボックス及び／又はオブジェクトマーカは、識別された焦点合わせ可能な被写体の組を包含する領域を囲むことができる。

［0030］ 実施形態に従って、電子装置１０２は、ユーザ１１２からの入力を受信するよう構成することができる。電子装置１０２は、ユーザ入力を、ディスプレイ装置１１０を通して接触感応（touch-sensitive）ジェスチャの使用によって受信するよう構成することができる。受信されたユーザ入力は、ディスプレイ装置１１０上に表示された焦点合わせ可能な被写体の組からの１つ又はそれ以上の被写体の選択に対応し得る。実施形態に従って、受信されたユーザ入力はさらに、焦点合わせ可能な被写体の組からの１つ又はそれ以上の被写体の選択解除に対応し得る。１つ又はそれ以上の選択された被写体は、１つ又はそれ以上の選択された被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカの削除に基づいて選択解除することができる。

［0031］ 実施形態に従って、ピンチイン又はピンチアウト操作に対応する他のユーザ入力をユーザ１１２から受信することができる。電子装置１０２は、１つ又はそれ以上の選択された被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカによって囲まれた領域を調整するよう構成することができる。この領域は、バウンディングボックス及び／又はオブジェクトマーカへのピンチイン又はピンチアウト操作によって調整することができる。例えばユーザ１１２は、ディスプレイ装置１１０の接触感応スクリーン上に表示されている選択された被写体の１つへの長い接触ジェスチャを与えることができる。これにより、選択された被写体を包含する対応するバウンディングボックス及び／又はオブジェクトマーカが、ディスプレイ装置１１０上に表示され得る。その後ユーザ１１２は、バウンディングボックス及び／又はオブジェクトマーカの少なくとも縁部又は頂部に再度接触し、バウンディングボックス及び／又はオブジェクトマーカによって囲まれた領域の縁部又は頂部をドラグイン（又はドラグアウト）することができる。あるいはユーザ１１２は、２つの縁部又は頂部に接触し、囲まれた領域の少なくとも２つの縁部又は頂部を同時にドラグイン（又はドラグアウト）するようにピンチイン（又はピンチアウト）操作を実行することができる。ドラグイン（又はドラグアウト）操作は、バウンディングボックス及び／又はオブジェクトマーカによって囲まれた領域を調整することができる。より具体的には、この調整は、ピンチイン又はピンチアウト操作に基づいて、バウンディングボックス及び／又はオブジェクトマーカによって囲まれた領域の拡大及び／又は縮小に対応することができる。

［0032］ 実施形態に従って、電子装置１０２は、選択された１つ又はそれ以上の被写体のキャプチャされたＬＦデータを、電子装置１０２の不揮発性メモリに格納するよう構成することができる。電子装置１０２はさらに、焦点合わせ可能な被写体の組における１つ又はそれ以上の選択されていない被写体に対応するキャプチャされたＬＦデータを不揮発性メモリから削除するよう構成することができる。

［0033］ 受信されたユーザ入力に基づいて、電子装置１０２は、選択された１つ又はそれ以上の被写体から第１の被写体に焦点を合わせるよう構成することができる。この第１の被写体への焦点合わせは、第１の被写体の格納されたＬＦデータの第１のリアラインメント（realignment）に基づいて行うことができる。格納されたＬＦデータの第１のリアラインメントが第１の被写体に関する格納されたＬＦデータに対して実行される１つ又はそれ以上の操作に基づくことは、通常の知識を有する者にとって明らかであり得る。１つ又はそれ以上の操作には少なくとも、第１の被写体のＬＦデータの彩度の積分（integration of intensities）（ＬＦ画像平面の１つ又はそれ以上の位置における）、スクリーン深度計算（screen depth computation）及び／又は第１の被写体のＬＦデータに実行されるティルト／シフトレンズのシミュレーションが含まれ得る。１つ又はそれ以上の操作に基づいて、電子装置１０２は、ＬＦデータに関連づけられる１つ又はそれ以上のパラメータを修正することができる。１つ又はそれ以上のパラメータの例としては、以下には限定されないが、焦点合わせされた第１の被写体の被写界深度、主レンズの絞り径（aperture diameter）、マイクロレンズアレイにおける複数のマイクロレンズの逆拡大係数、マイクロレンズアレイにおける複数のマイクロレンズに対するＦナンバー、マイクロレンズアレイにおける複数のマイクロレンズの焦点距離、第１のＦＯＶの被写界深度、光の波長、及び／又は、電子装置１０２の１つ又はそれ以上のフォトセンサにおけるピクセルの寸法が含まれ得る。電子装置１０２は、格納されているＬＦデータの第１のリアラインメントに基づいて、焦点合わせされた第１の被写体を含む第１のフレームを決定するよう構成することができる。

［0034］ 実施形態に従って、受信されたユーザ入力に基づいて、電子装置１０２は、選択された１つ又はそれ以上の被写体から、１つ又はそれ以上の他の被写体、例えば第２の被写体へ動的に再度焦点を合わせるよう構成することができる。この場合、第２の被写体へ再度の焦点合わせは、格納されているＬＦデータの第２のリアラインメントに基づくことができる。第２の被写体に関して、格納されているＬＦデータの第２のリアラインメントは、第２の被写体に関する格納されたＬＦデータに対して実行される１つ又はそれ以上の操作に基づくことができる。この第２の被写体へ焦点を合わせる１つ又はそれ以上の操作は、第１の被写体に焦点を合わせる１つ又はそれ以上の操作に類似したものであり得る。電子装置１０２は、格納されているＬＦデータの第２のリアラインメントに基づいて、焦点合わせされた第２の被写体を含む第２のフレームを決定するよう構成することができる。同様に、電子装置１０２は、１つ又はそれ以上の他の被写体に対応する格納されたＬＦデータのリアラインメントに基づいて、それらを含む１つ又はそれ以上のフレームを決定することができる。

［0035］ 実施形態に従って、電子装置１０２は、第１のＦＯＶに対応する第１のフレームの集積（stack）を生成するよう構成することができる。第１のフレームの集積は、決定された第１のフレーム及び／又は決定された１つ又はそれ以上の他のフレームを含むことができる。決定された第１のフレーム及び／又は決定された１つ又はそれ以上の他のフレームはそれぞれ、焦点合わせされた第１の被写体及び／又は焦点合わせされた１つ又はそれ以上の他の被写体を含むことができる。したがって、第１のＦＯＶに対し生成された、第１のフレームの集積における各フレームは、選択された被写体の組からの少なくとも１つの焦点合わせされた被写体を含むことができる。実施形態に従って、電子装置１０２はさらに、１つ又はそれ以上の後続するＦＯＶに対応する、後続のフレームの集積を生成するよう構成することができる。

［0036］ 電子装置１０２は、生成された第１のフレームの集積及び生成された後続のフレームの集積を結合するよう構成することができる。生成された第１のフレームの集積及び生成された後続のフレームの集積の結合は、この分野で知られる、１つ又はそれ以上のＬＦ画像スティッチング技術を使用することで、パノラマ画像のスティッチングを含むことができる。ＬＦ画像スティッチング技術には、以下には限定されないが、不変の局所特徴（invariant local feature）マッピング、カメラメトリックの使用によるＬＦ画像認識の幾何学、少なくとも２のＬＦ画像の間のホログラフィ生成、及び／又は、パノラマ画像の最適品質のためのピクセル間での補間（interpolation）が含まれ得る。電子装置１０２はさらに、スティッチングされた第１のフレームの集積及び後続のフレームの集積に基づいてパノラマ画像を生成するよう構成することができる。スティッチングされた第１のフレームの集積及び後続のフレームの集積には、視差誤差、レンズの歪み、光景の動き、及び露出差といった、１つ又はそれ以上の不整合（inconsistencies）が含まれ得る。このような１つ又はそれ以上の不整合は、この分野で知られる１つ又はそれ以上の画像処理及び／又はコンピュータビジョン・アルゴリズムを使用して解消することができる。

［0037］ 実施形態に従って、電子装置１０２は、ユーザ１１２から１つ又はそれ以上のユーザの好みを受信するよう構成することができる。１つ又はそれ以上のユーザの好みを、１つ又はそれ以上の接触感応ジェスチャに基づいてディスプレイ装置１１０を介して受信するようにしてもよい。実施形態に従って、１つ又はそれ以上のユーザの好みを、１つ又はそれ以上の音声入力動作に基づいて電子装置１０２によって受信するようにしてもよい。実施形態に従って、１つ又はそれ以上のユーザの好みが、ＦＯＶに関連づけられて決定された第１のフレーム及び決定された第２のフレームの表示に関連づけられたフレームレートに対応するものとすることができる。フレームレートはさらに、電子装置１０２の複数のＦＯＶの１つ又はそれ以上の後続のＦＯＶに関連づけられた１つ又はそれ以上のフレームの表示に関連づけることができる。実施形態に従って、フレームレートは、フレームの集積からのフレームがディスプレイ装置１１０上に表示される持続時間を決定することができる。実施形態に従って、１つ又はそれ以上のユーザの好みは、生成されたパノラマ画像における第１のＦＯＶにおける選択された１つ又はそれ以上の被写体の間での焦点合わせの変化率に対応することができる。少なくとも１つの焦点合わせされた被写体を含む各フレームを、生成されたパノラマ画像における第１のＦＯＶにおける選択された１つ又はそれ以上の被写体の間での焦点合わせの変化率に基づいて表示することができる。しかしながら本開示はこれらに限定されるものではなく、生成されたパノラマ画像のフレームレート及び／又は焦点合わせの変化率は、本開示の範囲は限定されることなく、電子装置１０２によって自動的に決定されるようにすることもできる。

［0038］ 実施形態に従って、生成されたパノラマ画像は、受信した１つ又はそれ以上のユーザの好み、及び／又は、フレームレート及び／又は焦点合わせの変化率に対応する自動的に決定された値に基づいて、ディスプレイ装置１１０上にレンダリングされ得る。実施形態に従って、電子装置１０２は、生成されたパノラマ画像を、コンテンツサーバ１０６に送信して格納するよう構成することができる。

［0039］ 図２Ａ及び図２Ｂは、本開示の実施形態に従う、パノラマ画像を生成する典型的な電子装置を例示した詳細なブロックズである。図２Ａ及び図２Ｂにつて、図１の構成要素と関連づけて説明する。図２Ａを参照すると、電子装置１０２は、アプリケーション・プロセッサ２０２、ＬＦセンシング装置２０４、揮発性メモリ２０６、不揮発性メモリ２０８、入出力（Ｉ／Ｏ）装置２１０、トランシーバ２１２などの１つ又はそれ以上の回路を含むことができる。アプリケーション・プロセッサ２０２は、ＬＦセンシング装置２０４、揮発性メモリ２０６、不揮発性メモリ２０８、Ｉ／Ｏ装置２１０、トランシーバ２１２と通信可能に接続され得る。

［0040］ アプリケーション・プロセッサ２０２は不揮発性メモリ２０８に格納されている命令の組を実行するよう構成された適切なロジック、回路、インターフェイス、及び／又は、コードを含むことができる。アプリケーション・プロセッサ２０２は、電子装置１０２の複数のＦＯＶのＬＦデータを処理するよう構成され得る。実施形態に従って、アプリケーション・プロセッサ２０２は、格納されているＬＦデータのリアラインメントに基づいてＬＦデータを処理することができる。ＬＦデータのリアラインメントに基づいて、複数の視野（ＦＯＶ）のそれぞれにおける複数の被写体が、次々と再焦点合わせされる。アプリケーション・プロセッサ２０２はさらに、複数のＦＯＶのそれぞれに関連づけられたＬＦデータのリアラインメントに基づいてパノラマ画像を生成するよう構成され得る。アプリケーション・プロセッサ２０２の例としては、Ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、複雑命令セットコンピューティング（ＣＩＳＣ）プロセッサ、中央処理装置（ＣＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、画像処理プロセッサユニット（ＧＰＵ）、コプロセッサ、及び／又は他のプロセッサ又は集積回路が含まれ得る。

［0041］ ＬＦセンシング装置２０４は、アプリケーション・プロセッサ２０２によって実行可能な少なくとも１つのコード部分を有するマシンコード及び／又はコンピュータプログラムを格納するよう構成された適切なロジック、回路及び／又はインターフェイスを含むことができる。ＬＦセンシング装置２０４は、マイクロレンズアレイを含むことができる。マイクロレンズアレイは、複数のマイクロレンズを含む。ＬＦセンシング装置２０４はさらに、複数の感光素子を含む１つ又はそれ以上のフォトセンサを含むことができる。１つ又はそれ以上のフォトセンサは、光線が１つ又はそれ以上のフォトセンサを照射する前にマイクロレンズを通過するよう配置され得る。さらにマイクロレンズアレイは、１つ又はそれ以上のフォトセンサと連係して、電子装置１０２の複数のＦＯＶと関連するＬＦデータをキャプチャすることができる。ＬＦセンシング装置２０４のマイクロレンズアレイ及び１つ又はそれ以上のフォトセンサは、この分野で知られている１つ又はそれ以上の技術に基づいて実装することができる。

［0042］ 揮発性メモリ２０６は、アプリケーション・プロセッサ２０２によって実行可能な少なくとも１つのコード部分を有する機械読取可能なコード及び／又はコンピュータプログラムを格納するよう構成された適切なロジック、回路及び／又はインターフェイスを含むことができる。揮発性メモリ２０６は、複数のＦＯＶのそれぞれにおける複数の被写体のＬＦデータを一時的に格納するよう構成することができる。揮発性メモリ２０６の例には、以下には限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、サイリスタランダムアクセスメモリ（Ｔ−ＲＡＭ）、ゼロキャパシタランダムアクセスメモリ（Ｚ−ＲＡＭ）及び／又はキャッシュメモリが含まれ得る。

［0043］ 不揮発性メモリ２０８は、アプリケーション・プロセッサ２０２によって実行可能な少なくとも１つのコード部分を有する機械読取可能なコード及び／又はコンピュータプログラムを格納するよう構成された適切なロジック、回路及び／又はインターフェイスを含むことができる。不揮発性メモリ２０８はさらに、電子装置１０２の複数のＦＯＶにおける１つ又はそれ以上の被写体に動的に再焦点合わせする１つ又はそれ以上のアルゴリズムを格納するよう構成することができる。不揮発性メモリ２０８はさらに、ＬＦデータに関連づけられたプレノプティック関数を格納するよう構成することができる。不揮発性メモリ２０８はさらに、ユーザ１１２等のユーザから受信した１つ又はそれ以上のユーザの好みを格納するよう構成することができる。１つ又はそれ以上のユーザの好みには、フレームレート及び／又は１つ又はそれ以上の被写体の焦点合わせの変化率を含むことができる。不揮発性メモリ２０８の実装例には、以下には限定されないが、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ及び／又はセキュアデジタル（ＳＤ）カードが含まれ得る。

［0044］ Ｉ／Ｏ装置２１０は、複数のＦＯＶのそれぞれの複数の被写体をディスプレイ装置１１０上に表示するよう構成された適切なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２１０はさらに、アプリケーション・プロセッサ２０２と通信するよう構成された種々の入出力装置を含むことができる。Ｉ／Ｏ装置２１０の入力装置はさらに、焦点合わせ可能な被写体の組から１つ又はそれ以上の被写体を選択するための、１つ又はそれ以上の入力をユーザ１１２から受信するよう構成することができる。入力装置はさらに、パノラマ画像の生成のための１つ又はそれ以上のユーザの好みに対応した１つ又はそれ以上の入力動作をユーザ１１２から受信するよう構成することができる。Ｉ／Ｏ装置２１０の出力装置はさらに、生成されたパノラマ画像をディスプレイ装置１１０上に表示するよう構成することができる。入力装置の例には、以下には限定されないが、キーボード、タッチスクリーン、マイクロフォン、カメラ、モーションセンサ、光センサ及び／又はドッキングステーションが含まれ得る。出力装置の例には、以下には限定されないが、ディスプレイ装置１１０及び／又はスピーカが含まれ得る。ディスプレイ装置１１０は、タッチスクリーンを介して１つ又はそれ以上のユーザから１つ又はそれ以上の入力動作を受信するよう構成することができる。このような１つ又はそれ以上の入力動作は、仮想キーボード、スタイラス、接触ベースの入力動作及び／又はジェスチャによって、１つ又はそれ以上のユーザから受信することができる。ディスプレイ装置１１０には、いくつかの周知の技術、例えば液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ及び／又は有機ＬＥＤ（ＯＬＥＤ）ディプレイ技術によって実現され得るが、これらには限定されない。

［0045］ トランシーバ２１２は、通信ネットワーク１０８を介してアプリケーション・サーバ１０４及び／又はコンテンツ・サーバ１０６と通信するよう構成された適切なロジック、回路、インターフェイス及び／又はコードを含むことができる。トランシーバ２１２は、電子装置１０２による通信ネットワーク１０８との有線又は無線での通信をサポートする周知の技術を実行することができる。トランシーバ２１２は、以下には限定されないが、アンテナ、周波数変調（ＦＭ）トランシーバ、無線周波数（ＲＦ）トランシーバ、１つ又はそれ以上の増幅器、同調器、１つ又はそれ以上の発信器、デジタル信号プロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者特定モジュール（ＳＩＭ）カード及び／又は局所バッファを含むことができる。トランシーバ２１２は、インターネット、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などのインターネット及び／又は無線ネットワークなどのネットワークを介して無線で通信することができる。無線通信は、複数の通信規格、プロトコール及び技術のいずれをも使うことができる。例えば、ロングタームイーボルーション（ＬＴＥ）、移動通信のためのグローバルシステム（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域コード分割多重アクセス（Ｗ−ＣＤＭＡ）、コード分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、ブルートゥース、ワイファイ（Ｗｉ−Ｆｉ）、（ｅ．１２０ｇ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、インターネットプロトコールを介した音声（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール、インスタントメッセージのためのプロトコール及び／又はショートメッセージサービス（ＳＭＳ）がある。

［0046］ 動作において、電子装置１０２のＬＦセンシング装置２０４は、電子装置１０２の第１のＦＯＶと関連づけられたＬＦデータをキャプチャするよう構成することができる。この第１のＦＯＶは複数の被写体を含むことができる。第１のＦＯＶのＬＦデータは、ＬＦセンシング装置２０４のＬＦセンサの照射に基づいてキャプチャされうる。実施形態に従って、第１のＦＯＶと関連するキャプチャされたＬＦデータは、アプリケーション・プロセッサ２０２の制御のもとで揮発性メモリ２０６に格納されうる。格納されたＬＦデータは、ライトフィールド写真の分野で知られる７次元（７Ｄ）プレノプティック関数に対応しうる。プレノプティック関数の７Ｄは、３次元における光線の位置、２次元平面２つの方向における光線の角度、入射時刻、及び、入射光線の波長に対応しうる。アプリケーション・プロセッサ２０２は、複数の被写体のＬＦデータに基づいて、第１のＦＯＶにおける複数の被写体のそれぞれに関連づけられる１つ又はそれ以上のパラメータを決定するよう構成することができる。１つ又はそれ以上のパラメータには、以下には限定されないが、複数のＦＯＶのそれぞれにおける複数の被写体のそれぞれの被写界深度、複数の被写体に基づいて決定された１つ又はそれ以上のフレームに関連するフレームレート、及び／又は、複数の被写体のうちの１つの被写体から別の被写体への焦点合わせの変化率が含まれ得る。１つ又はそれ以上のパラメータは、不揮発性メモリ２０８から引き出され得る。

［0047] 実施形態に従って、アプリケーション・プロセッサ２０２は、不揮発性メモリ２０８から１つ又はそれ以上のアルゴリズムを引き出すよう構成することができる。１つ又はそれ以上のアルゴリズムは、第１のＦＯＶにおける複数の被写体から焦点合わせ可能な被写体の組を特定することができる。引き出された１つ又はそれ以上のアルゴリズムは、パターンマッチング、エッジ検出、グレースケールマッチング及び／又はグラディエントマッチングなどの１つ又はそれ以上の物体識別技術に対応し得る。しかしながら、開示の範囲が限定されることなく任意の他の物体識別技術を用いることができる。

［0048］ 実施形態に従って、アプリケーション・プロセッサ２０２は、引き出された１つ又はそれ以上のアルゴリズムに基づいて、第１のＦＯＶに存在する複数の被写体から焦点合わせ可能な被写体の組を特定するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、Ｉ／Ｏ装置２１０に対して特定された焦点合わせ可能な被写体の組を表示するよう命令するように構成することができる。アプリケーション・プロセッサ２０２から引き出された命令に基づいて、Ｉ／Ｏ装置２１０は、特定された焦点合わせ可能な被写体の組をディスプレイ装置１１０上に表示するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、ディスプレイ装置１１０上の特定された焦点合わせ可能な被写体の組を囲むバウンディングボックス及び／又はオブジェクトマーカをレンダリングするよう構成することができる。バウンディングボックス及び／又はオブジェクトマーカは、特定された焦点合わせ可能な被写体の組を囲む幾何学的形状に対応し得る。このような幾何学的形状は、長方形、正方形、円形、楕円形等に類似とすることができる。

［0049］ 実施形態に従って、Ｉ／Ｏ装置２１０は、接触感応ジェスチャによって、ディスプレイ装置１１０を介して、ユーザ１１２からユーザ入力を受信するよう構成することができる。しかしながら、他の入力提供方法、例えば音声ベースの入力、ジェスチャに基づいた入力、ハードウェア又はソフトウェアのボタンによる入力、ジョイスティック、又はこの分野で知られる他の入力提供方法を使って、ユーザ入力を受信することができる。受信されたユーザ入力は、ディスプレイ装置１１０上に表示された焦点合わせ可能な被写体の組からの第１の被写体及び１つ又はそれ以上の被写体の選択に対応し得る。実施形態に従って、受信された入力は、焦点合わせ可能な被写体の組からの１つ又はそれ以上の被写体の選択に対応し得る。１つ又はそれ以上の選択された被写体は、１つ又はそれ以上の被写体に関連づけられているバウンディングボックス及び／又はオブジェクトマーカの削除によって選択解除とすることができる。

［0050］ 実施形態に従って、選択された１つ又はそれ以上の被写体に関連づけられているバウンディングボックス及び／又はオブジェクトマーカによって囲まれている領域を調整するために、ユーザ１１２から別のユーザ入力を受信することができる。この別の入力は、開示の範囲を限定することなく、自由形態のジェスチャ又は音声入力を介してユーザ１１２から与えられ得る。

［0051］ 実施形態に従って、アプリケーション・プロセッサ２０２は、選択された１つ又はそれ以上の被写体のキャプチャされたＬＦデータを、電子装置１０２の不揮発性メモリ２０８に格納するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、焦点合わせ可能な被写体の組における他の被写体に対応するキャプチャされたＬＦデータを揮発メモリから削除するよう構成することができる。

［0052］ アプリケーション・プロセッサ２０２は、選択された１つ又はそれ以上の被写体から第１の被写体に焦点合わせするよう構成することができる。第１の被写体への焦点合わせは、第１の被写体の格納されているＬＦデータの第１のリアラインメントに基づくものとすることができる。アプリケーション・プロセッサ２０２は、第１の被写体に関する格納されているＬＦデータに対して実行される１つ又はそれ以上の操作に基づいて、格納されているＬＦデータの第１のリアラインメントを実行するよう構成することができる。第１の被写体への焦点合わせに基づいて、アプリケーション・プロセッサ２０２は、格納されたＬＦデータの第１のリアラインメントに基づいて、焦点合わせされた第１の被写体を含む第１のフレームを決定するよう構成することができる。

［0053］ 受信したユーザ入力に基づいて、アプリケーション・プロセッサ２０２は、選択された１つ又はそれ以上の被写体から、第２の被写体である１つ又はそれ以上の他の被写体に、動的に再焦点合わせするよう構成することができる。この場合、第２の被写体への再焦点合わせは、格納されているＬＦデータの第２のリアラインメントに基づくものとすることができる。格納されているＬＦデータの第２のリアラインメントは、第２の被写体に関する格納されているＬＦデータに対して実行される１つ又はそれ以上の操作に基づくものとすることができる。この第１の被写体に焦点合わせする１つ又はそれ以上の操作は、第１の被写体に焦点合わせするよう実行される１つ又はそれ以上の操作に類似するものであってもよい。実施形態に従って、アプリケーション・プロセッサ２０２は格納されているＬＦデータの第１のリアラインメントに基づいて、焦点合わせされた第１の被写体を含む第２のフレームを決定するよう構成することができる。アプリケーション・プロセッサ２０２は、第２のリアラインメントに基づいて、動的に再焦点合わせされた第２の被写体に対応する第２のフレームを決定するよう構成することができる。同様に、アプリケーション・プロセッサ２０２は、対応するＬＦデータのリアラインメントに基づいて、焦点合わせされた１つ又はそれ以上の被写体を含む１つ又はそれ以上の他のフレームを決定することができる。

［0054］ 実施形態に従って、格納されているＬＦデータの第１のリアラインメント及び第２のリアラインメントは、ＦＯＶに関連するＬＦデータに関連づけられた１つ又はそれ以上のパラメータの修正に対応し得る。この１つ又はそれ以上のパラメータの例には、以下には限定されないが、ＦＯＶにおける焦点合わせされた第１の被写体及び動的に再焦点合わせされた１つ又はそれ以上の他の被写体の被写界深度、レンズの絞り径（aperture diameter）、マイクロレンズアレイの複数のマイクロレンズの逆拡大係数、マイクロレンズアレイの複数のマイクロレンズに対するＦナンバー、マイクロレンズアレイの複数のマイクロレンズの焦点距離、第１のＦＯＶの被写界深度、光の波長、及び／又は、ＬＦセンシング装置２０４の１つ又はそれ以上のフォトセンサにおけるピクセルの寸法を含み得る。実施形態に従って、第１のリアラインメント及び第２のリアラインメントは、焦点合わせされた第１の被写体及び／又は動的に再焦点合わせされた第２の被写体の被写界深度に基づくものとすることができる。第１のリアラインメント及び第２のリアラインメントは、焦点合わせ可能な被写体の組から選択された１つ又はそれ以上の被写体の被写界深度の情報が、生成されたパノラマ画像に格納されるように、実行される。この選択された１つ又はそれ以上の被写体の格納された被写界深度の情報は、生成されたパノラマ画像における深度の知覚を与えることができる。実施形態に従って、第１のリアラインメント及び／又は第２のリアラインメントは、フレームの変化率に対応するフレームレートに基づくものとすることができる。例えば、このフレームレートは、決定された第１のフレームから決定された第２のフレーへの変化率に対応し得る。実施形態に従って、第１のリアラインメント及び／又は第２のリアラインメントは、焦点合わせされた第１の被写体から動的に再焦点合わせされた第２の被写体への焦点合わせの変化率に基づくものとすることができる。

［0055］ 実施形態に従って、アプリケーション・プロセッサ２０２は、第１のＦＯＶに対応する第１のフレームの集積を生成するよう構成することができる。第１のフレームの集積は、決定された第１のフレーム及び／又は決定された１つ又はそれ以上の他のフレームを含むことができる。決定された第１のフレー及び／又は決定された１つ又はそれ以上の他のフレームはそれぞれ、焦点合わせされた第１の被写体及び／又は焦点合わせされた１つ又はそれ以上の他の被写体を含むことができる。アプリケーション・プロセッサ２０２はさらに、第１のフレームの集積を揮発性メモリ２０６に格納するよう構成することができる。しかしながら本開示はこれには限定されず、アプリケーション・プロセッサ２０２はさらに、開示の範囲を制限することなく、不揮発性メモリ２０８に第１のフレームの集積を格納するよう構成することができる。

［0056］ アプリケーション・プロセッサ２０２はさらに、１つ又はそれ以上の後続のＦＯＶに対応する１つ又はそれ以上の後続のフレームの集積を生成するよう構成することができる。アプリケーション・プロセッサ２０２は、生成された第１のフレームの集積と生成された後続のフレームの集積とを結合するよう構成することができる。生成された第１のフレームの集積と生成された後続のフレームの集積との結合は、この分野で知られる、１つ又はそれ以上のＬＦ画像スティッチング技術を使用することで、パノラマＬＦ画像のスティッチングを含むことができる。

［0057］ アプリケーション・プロセッサ２０２はさらに、スティッチングされた第１のフレームの集積と後続のフレームの集積に基づいて、パノラマ画像を生成するよう構成することができる。スティッチングされた第１のフレームの集積と後続のフレームの集積は、視差誤差、レンズの歪み、光景の動き、及び露出差といった、１つ又はそれ以上の不整合が含まれ得る。このような１つ又はそれ以上の不整合は、この分野で知られている１つ又はそれ以上のアルゴリズムを使って解消することができる。

［0058］ アプリケーション・プロセッサ２０２はさらに、スティッチングされた第１のフレームの集積と後続のフレームの集積に基づいて、パノラマ画像を生成するよう構成することができる。生成されたパノラマ画像は、動画、ライトフィールド・ピクチャ（ＬＦＰ）画像、グラフィックス・インタチェンジ・フォーマット（ＧＩＦ）画像、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）画像に対応し得る。

［0059］ 実施形態に従って、Ｉ／Ｏ装置２１０は、ディスプレイ装置１１０を介して、ユーザ１１２から１つ又はそれ以上のユーザの好みを引き出すよう構成することができる。１つ又はそれ以上のユーザの好みは、１つ又はそれ以上の接触感応ジェスチャに基づいて、ディスプレイ装置１１０を介して受信することができる。実施形態に従って、１つ又はそれ以上のユーザの好みは、１つ又はそれ以上の音声入力動作に基づいて電子装置によって受信することができる。１つ又はそれ以上のユーザの好みは、複数のＦＯＶのそれぞれのＦＯＶに関連する決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームの表示に関連づけられたフレームレートに対応するものとすることができる。１つ又はそれ以上のユーザの好みは、第１のＶＯＦに対応する選択された１つ又はそれ以上の被写体に対応する被写体の間の焦点合わせの変化率に対応し得る。ユーザの好みはさらに、１つ又はそれ以上の後続のＦＯＶに対応する選択された１つ又はそれ以上の被写体に対応し得る。しかしながら本開示はこれには限定されず、生成されたパノラマ画像のフレームレート及び／又は焦点合わせの変化率は、開示の範囲を制限することなく、揮発性メモリ２０６又は不揮発性メモリ２０８に予め格納されている値に基づくものとすることができる。

［0060］ 実施形態に従って、アプリケーション・プロセッサ２０２は、受信した１つ又はそれ以上のユーザの好み及び／又はフレームレート及び／又は焦点合わせの変化率に対応する予め格納された値に基づいて、生成されたパノラマ画像をディスプレイ装置１１０上にレンダリングするよう構成することができる。実施形態に従って、アプリケーション・プロセッサ２０２は、トランシーバ２１２を介して、生成されたパノラマ画像をコンテンツ・サーバ１０６に送信し格納するよう構成することができる。

［0061］ 実施形態に従って、選択された１つ又はそれ以上の被写体は生成されパノラマ画像において順次焦点合わせされ得る。実施形態に従って、焦点合わせの順番は、受信されたユーザ入力における１つ又はそれ以上の被写体の選択の順序に対応するものとすることができる。実施形態に従って、焦点合わせの順番は、受信されたユーザの好みに対応するものとすることができる。さらに、アプリケーション・プロセッサ２０２は、受信した１つ又はそれ以上のユーザの好み及び／又は不揮発性メモリ２０８に存在する予め格納された値に基づいて、選択された１つ又はそれ以上の被写体を生成されたパノラマ画像に表示するよう構成することができる。

［0062］ 図２Ｂを参照すると、ＬＦセンシング装置２０４の詳細な機能図が例示されている。ＬＦセンシング装置２０４は、アプリケーション・プロセッサ２０２によって実行可能なコード部分を含むマシンコード及び／又はコンピュータプログラムを格納するよう構成された適切なロジック、回路及び／又はインターフェイスを含むことができる。ＬＦセンシング装置２０４は、マイクロレンズアレイ２１４及び／又は複数の光センサ２１６を含むことができる。ＬＦセンシング装置２０４はさらに、メインレンズ２１８を含むことができる。メインレンズ２１８は、マイクロレンズアレイ２１４と、焦点合わせされる物体２２２ａを含む第１の物体平面２２０ａとの間に配置され得る。複数の光センサ２１６は、物体２２２ａの像２２６ａを形成し得る第１の像平面２２４ａと考えることができる。さらに、マイクロレンズアレイ２１４は、複数の光センサ２１６の１つ又はそれ以上の光センサとメインレンズ２１８と協働して、電子装置１０２の複数のＦＯＶにおける物体２２２などの１つ又はそれ以上の物体に関連するＬＦデータをキャプチャするよう構成することができる。ＬＦセンシング装置２０４におけるメインレンズ２１８は、位置２２８ａにおけるピンホールに関連づけることができる。位置２２８ａにおけるピンホールは、２３０ａ及び２３０ｂといったスリット間のアパチャに対応し得る。アプリケーション・プロセッサ２０２は、この分野で知られるデジタル再焦点合わせアルゴリズムに基づいて、第２の物体平面２２０ｂを生成するよう構成することができる。第２の物体平面２２０ｂは、第１の物体平面２２０ａとメインレンズ２１８との間に配置された仮想の平面に対応するものとすることができる。アプリケーション・プロセッサ２０２はさらに、第２の像平面２２４ｂを生成するよう構成することができる。第２の像平面２２４ｂは図２Ｂに示すように、第１の像平面２２４ａの左側に置かれた仮想の平面であり得る。

［0063］ マイクロレンズアレイ２１４は、複数のマイクロレンズを含むことができる。さらに、マイクロレンズの数及び／又はアレイの寸法は、各マイクロレンズに関連する１つ又はそれ以上のパラメータに基づいて、予め決めておくことができる。１つ又はそれ以上のパラメータには、各マイクロレンズの寸法及びマイクロレンズアレイ２１４におけるマイクロレンズそれぞれの焦点距離が少なくとも含まれ得る。実装においては、各マイクロレンズの焦点距離は、メインレンズ２１８の焦点距離よりも所定の値だけ小さくすることができる。さらに、第１の物体平面２２０ａから発せられた光線がメインレンズ２１８を通過するときに、複数の光センサ２１６上でマイクロレンズアレイ２１４の各マイクロレンズが像２２６ａなどの物体の個々の像を形成するように、光線がマイクロレンズアレイ２１４のアレイを通過し得る。

［0064］ 複数の光センサ２１６は複数の光感応エレメントを含むことができ、これらは第１の物体平面２２０ａ上の物体から発せられた光線の照射に基づいて、ＬＦデータを生成するよう構成することができる。実装において、ＬＦデータは多次元データに対応し得る。多次元ＬＦデータの１つ又はそれ以上の次元には、空間における１つ又はそれ以上の軸、物体平面２２０ａから複数の光センサ２１６への光線の入射角、物体からの光線が複数の光センサ２１６への入射が許される時間、及び／又は、光線の波長が含まれ得る。実装においてＬＦデータは、アプリケーション・サーバ１０４及び／又はコンテンツ・サーバ１０６といった１つ又はそれ以上のサーバによって処理され得る。他の実装では、ＬＦデータは、上述のようにアプリケーション・プロセッサ２０２によって処理され得る。さらに、マイクロレンズアレイ２１４を通過する光線は、複数の光センサ２１６に入射して、物体２２２ａの像２２６ａを第１の像平面２２４ａ上に形成する。複数の光センサ２１６は、予め決められた数のピクセルに対応する。

［0065］ メインレンズ２１８は、光線（第１の物体平面２２０ａにおける物体２２２ａから発せられる）を複数の光センサ２１６上に焦点合わせする光学装置であり得る。メインレンズ２１８は、マイクロレンズアレイ２１４と、焦点合わせされる物体２２２ａを含む第１の別体平面２２０ａとの間に配置され得る。メインレンズ２１８は、マイクロレンズアレイ２１４と協働して、メインレンズ２１８及びマイクロレンズアレイ２１４の所定の焦点距離に基づいて、光線を第１の像平面２２４ａ上に焦点合わせすることができる。メインレンズ２１８の種類は、図２Ｂに示すように両凸レンズとすることができる。しかしながら本開示はこれには限定されず、メインレンズ２１８及び／又はマイクロレンズアレイ２１４は、開示の範囲から逸脱することなく、他の種類、例えば両凹、平凸、平凹、正メニスカス、及び／又はこれらの同じ種類又は異なる種類の組み合わせとすることもできる。

［0066］ 実施形態に従って、ＬＦセンシング装置２０４に入射する光線は、この分野で知られる１つ又はそれ以上のパラメータ表示技術によって表示することができる。パラメータ表示技術の例には、２つの平行な平面を生成する数学的演算を含む２平面パラメータ表示が含まれるが、これには限定されない。２平面パラメータ表示技術に従うと、メインレンズ２１８の平面は「ｕｖ−平面」に、マイクロレンズアレイ２１４の平面は「ｓｔ−平面」に対応し得る。「ｕｖ−平面」及び／又は「ｓｔ−平面」は、２平面パラメータ表示技術に使用される２つの平行な平面であり得る。したがって、光線のパラメータ表示は、ＬＦセンシング装置２０４における光線が「ｕｖ−平面」及び／又は「ｓｔ−平面」を通過するときに、実行され得る。

［0067］ 動作において、ＬＦセンシング装置２０４は、アプリケーション・プロセッサ２０２と協働して、位置２２８ａにおけるピンホール及び／又はメインレンズ２１８のデジタル移動に対応する操作を実行するよう構成することができる。このデジタル移動は、マイクロレンズアレイ２１４を通過する光線のグループの移動に対応し得る。各グループのそれぞれからの光線は、位置２２８ａにおけるピンホールを通過することが許される。アプリケーション・プロセッサ２０２はさらに、ピンホールの位置２２８ａの新たな位置２２８ｂへの調整を実行するよう構成することができる。実施形態に従って、アプリケーション・プロセッサ２０２は、スリット２３０ａと２３０ｂの間のアパチャの調整に基づいて、ピンホールの位置２２８ａを新たなピンホールの位置２２８ｂへ調整するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、ピンホールの位置２２８ａの（新たな位置２２８ｂへの）デジタル移動及び／又はメインレンズ２１８の位置のデジタル移動後に得られるＬＦデータの計算によるリアラインメントを実行して、電子装置１０２の複数のＦＯＶにおける像の歪みなどのアーチファクトを最小限に抑えるよう構成することができる。

［0068］ 実施形態に従って、ＬＦセンシング装置２０４は、アプリケーション・プロセッサ２０２と協働して、第１の物体平面２２０ａにおける１つ又はそれ以上の物体への動的な再焦点合わせをデジタル的に実行するよう構成することができる。動的な再焦点合わせは、アプリケーション・プロセッサ２０２によって決定された第２の物体平面２２０ｂを用いて実行することができる。動的な再焦点合わせさらに、図２Ａにおいて説明したように、ＦＯＶに関連するＬＦデータの計算によるリアラインメントに基づく焦点合わせの設定を変更することなく、実行することができる。さらに、第１の物体平面２２０ａからの第２の物体平面２２０ｂの位置及びメインレンズ２１８の位置は、この分野で知られる予め格納されたアルゴリズムに基づいて、アプリケーション・プロセッサ２０２によって予め決めておくことができる。実施形態に従って、アプリケーション・プロセッサ２０２は、第１の物体平面２２０ａからメインレンズ２１８の方への横方向の変位である第２の物体平面２２０ｂを決定するよう構成することができる。複数のＦＯＶの中の１のＦＯＶに存在する複数の被写体からの焦点合わせ可能な被写体のシャープネスは、第２の物体平面２２０ｂの位置に基づき得る。

［0069］ 実施形態に従って、１つ又はそれ以上の物体は、第２の物体平面２２０ｂに関連づけることができる。仮想的に変位させた第１の物体平面２２０ａに基づいて、物体２２２ａを、第２の物体平面２２０ｂ上の仮想物体２２２ｂへ変位させることができる。さらに、物体２２２ａの変位に基づいて、新たな像を第２の像平面２２４ｂ上に形成することができる。この第２の像平面２２４ｂはまた、第１の像平面２２４ａの左への横方向の変位であり得る。実施形態に従って、アプリケーション・プロセッサ２０２は、不揮発性メモリ２０８に存在する予め格納されているこの分野で知られたアルゴリズムに基づいて、第１の像平面２２４ａからの第２の像平面２２４ｂの位置を決定するのに使用することができる。

［0070］ 横方向の変位に基づいて、仮想物体２２２ｂの虚像２２６ｂが、第２の像平面２２４ｂ上に形成され得る。実施形態に従って、ＬＦセンシング装置２０４における動的な再焦点合わせはさらに、１つ又はそれ以上のウィンドウに対応するＬＦデータの足し合わせを含み得る。この１つ又はそれ以上のウィンドウは、物体２２２ａ又は仮想物体２２２ｂから発せられる光線に対応し得る。ＬＦデータはさらに、マイクロレンズアレイ２１４の複数のマイクロレンズから取り出されたデータに対応し得る。この取り出されたデータは、固定された焦点深度における物体２２２ａ又は仮想物体２２２ｂの位置に対応し得る。

［0071］ 実施形態に従って、ＬＦセンシング装置２０４は、アプリケーション・プロセッサ２０２と協働してデジタル絞り（stop down）操作を実行するよう構成することができる。デジタル絞り操作は、図２Ａで説明しように、Ｆナンバーをインクリメントすることを含み得る。Ｆナンバーは、メインレンズ２１８の焦点距離に対応しうる。Ｆナンバーのインクリメントに基づいて、メインレンズ２１８のアパチャの寸法は、１つ又はそれ以上の焦点合わせ可能な物体のシャープネスを向上させるために、１つ又はそれ以上の焦点合わせ可能な物体の被写界深度を増やすようにデクリメントされ得る。実施形態に従って、デジタル絞り操作は、被写界深度に対して、マイクロレンズアレイ２１４の１つ又はそれ以上のマイクロレンズの中央部に関連するＬＦデータの足し合わせを含み得る。さらに、被写界深度に対して、マイクロレンズアレイ２１４の１つ又はそれ以上のマイクロレンズの中央部に関連するＬＦデータは、位置２２８ａにおけるピンホールを使用することによって得ることができる。

［0072］ 実施形態に従って、パノラマ画像を生成するために、アプリケーション・プロセッサ２０２は、各物体に対し個々に行う、デジタル移動、動的再焦点合わせ、及び／又は、デジタル絞りといった前述した操作を実行するよう構成することができる。実施形態に従って、アプリケーション・プロセッサ２０２は、前述の操作を１つ又はそれ以上の組み合わせで実行するよう構成することができる。前述の操作に基づいて、フレームにおけるＦＯＶに関連する１つ又はそれ以上のパラメータを修正することができる。この１つ又はそれ以上のパラメータには、以下には限定されないが、生成されたパノラマ画像のシャープネス、輝度（brightness）、解像度（resolution）が含まれ得る。さらに、アプリケーション・プロセッサ２０２は、図２Ａで言及した７次元プレノプティック関数に基づいて１つ又はそれ以上の前述の操作を実行するよう構成することができる。

［0073］ 図３Ａ〜図３Ｅは、本開示の実施形態に従った、パノラマ画像の生成のための典型的なシナリオを例示した図である。図３Ａ〜図３Ｅについて、図１及び図２からの要素と関連づけて説明する。図３Ａには、会議室３０２の典型的な光景が例示されている。会議室３０２には、電子装置１０２の典型的な視野（ＦＯＶ）３０４が含まれ得る。典型的なＦＯＶ３０４には、第１の被写体３０６ａ、第２の被写体３０６ｂ、第３の被写体３０６ｃといった１つ又はそれ以上の被写体が含まれ得る。第１の被写体３０６ａ、第２の被写体３０６ｂ、第３の被写体３０６ｃは、第１の座席物体３０８ａ、第２の座席物体３０８ｂ、第３の座席物体３０８ｃそれぞれに、会議テーブル３１０をはさんで着席している。ＦＯＶ３０４はさらに、サイドテーブル３１２に対応する第１の物体及びホワイトボード３１４に対応する第２の物体が含まれ得る。ＦＯＶにはさらに、サイドテーブル３１２上に置かれホワイトボード３１４の部分をハイライトするハイライター３１２ａが含まれ得る。さらに、１つ又はそれ以上の被写体のそれぞれ及び／又は１つ又はそれ以上の物体のそれぞれを、電子装置１０２のＦＯＶ３０４に関して、被写界深度に関連づけることができる。

［0074] 図３Ｂを参照すると、電子装置１０２のＦＯＶ３０４における焦点合わせ可能な被写体の組の特定のための典型的なシナリオが説明されている。典型的なシナリオに従って、電子装置１０２のＬＦセンシング装置２０４は、ＦＯＶ３０４に存在する１つ又はそれ以上の被写体のそれぞれ及び／又は１つ又はそれ以上の物体のそれぞれのＬＦデータをキャプチャするよう構成することができる。典型的なシナリオの場合に従って、アプリケーション・プロセッサ２０２は、ＦＯＶ３０４に存在する１つ又はそれ以上の被写体のそれぞれ及び／又は１つ又はそれ以上の物体のキャプチャされたＬＦデータを揮発性メモリ２０６に格納するよう構成することができる。キャプチャされたＬＦデータに基づいて、アプリケーション・プロセッサ２０２は、ＦＯＶ３０４に存在する焦点合わせ可能な被写体の組及び／又は他の焦点合わせ可能な物体の組を特定するよう構成することができる。ＦＯＶ３０４における焦点合わせ可能な被写体の組及び／又は他の焦点合わせ可能な物体の組の特定は、図２Ｂで説明したような物体認識技術に基づくことできる。

［0075］ アプリケーション・プロセッサ２０２は、長方形のバウンディングボックスを、ＦＯＶ３０４に存在する焦点合わせ可能な被写体の組及び／又は焦点合わせ可能な物体の他の組のそれぞれに関連づけるよう構成することができる。アプリケーション・プロセッサ２０２は、バウンディングボックス３１６ａを第１の被写体３０６ａに、バウンディングボックス３１６ｂを第２の被写体３０６ｂに、及び／又はバウンディングボックス３６１ｃを第３の被写体３０６ｃに関連づけるよう構成することができる。同様に、アプリケーション・プロセッサ２０２は、バウンディングボックス３１６ｄをサイドテーブル３１２に、バウンディングボックス３１６ｅをハイライター３１２ａに、及び／又はバウンディングボックス３１６ｆをホワイトボード３１４に関連づけるよう構成することができる。バウンディングボックス３１６ａ〜３１６ｆのそれぞれは、関連づけられたユーザインターフェイス（ＵＩ）エレメント３１８ａ〜３１８ｆそれぞれを含むことができる。Ｉ／Ｏ装置２１０は、特定された１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体を、関連するバウンディングボックス及び関連するＵＩエレメントと共にディスプレイ装置１１０上に表示するよう構成することができる。

［0076］ 典型的なシナリオに従って、Ｉ／Ｏ装置２１０は、表示されている１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体のバウンディングボックス３１６ａ〜３１６ｆに対応する１つ又はそれ以上のユーザ入力動作を受信するよう構成することができる。受信された１つ又はそれ以上のユーザ入力動作は、表示されている焦点合わせ可能な被写体の組及び／又は１つ又はそれ以上の焦点合わせ可能な物体から１つ又はそれ以上の被写体を選択することに対応し得る。生成されたパノラマ画像において焦点合わせされるべく選択されている１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体から、被写体及び／又は物体を選択解除するために、ユーザ１１２から別のユーザ入力を与えることができる。アプリケーション・プロセッサ２０２はさらに、選択された被写体及び／又は物体のキャプチャされたＬＦデータを不揮発性メモリ２０８に格納するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、表示されている１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体から選択解除された被写体のキャプチャされたＬＦデータを揮発性メモリ２０６から削除するよう構成することができる。

［0077］ 典型的なシナリオの場合に従って、アプリケーション・プロセッサ２０２は、受信された１つ又はそれ以上のユーザ入力基づいて、バウンディングボックス３１６ａ、３１６ｂ、３１６ｃ、３１６ｄ、３１６ｅ、及び／又は３１６ｆによって囲まれた領域を調整するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、表示されているバウンディングボックスに関連づけられたＵＩエレメント３１８ａ、３１８ｂ、３１８ｃ、３１８ｄ、３１８ｅ、及び／又は３１８ｆに基づいて、表示されている焦点合わせ可能な被写体の１つ又はそれ以上及び／又は１つ又はそれ以上の焦点合わせ可能な物体を削除するよう構成することができる。選択解除は、受信した１つ又はそれ以上のユーザ入力に基づくことができる。

［0078] 実施形態に従って、アプリケーション・プロセッサ２０２は、第１の被写体３０６ａのキャプチャされたＬＦデータの計算によるリアラインメントに基づいて、第１の被写体３０６ａに焦点合わせするよう構成することができる。アプリケーション・プロセッサ２０２はさらに、第２の被写体３０６ｂ及び第３の被写体３０６ｃに動的に再焦点合わせするよう構成することができる。再度の焦点合わせはさらに、第２の被写体３０６ｂ及び第３の被写体３０６ｃのキャプチャされたＬＦデータの動的な計算によるリアラインメントに基づくのもとすることができる。同様に、アプリケーション・プロセッサを、サイドテーブル３１２、ハイライター３１２ａ、及び／又はホワイトボード３１４のキャプチャされたＬＦデータの計算によるリアラインメントに基づいて、サイドテーブル３１２、ハイライター３１２ａ、及び／又はホワイトボード３１４に動的に再焦点合わせするよう構成することができる。典型的なシナリオの場合に従って、アプリケーション・プロセッサは、特定された焦点合わせ可能な被写体の組及び／又は他の焦点合わせ可能な物体の組のＬＦデータの同時的な計算によるリアラインメントを実行するよう構成することができる。

［0079] 図３Ｃを参照すると、特定された１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体に関連づけられたバウンディングボックスをディスプレイ装置１１０上に表示させる典型的なシナリオが例示されている。このバウンディングボックスは、第１の被写体３０６ａに関連づけられたバウンディングボックス３１６ａに対応する。実施形態に従って、バウンディングボックス３１６ａは、第１の被写体３０６ａの少なくとも一部を囲むようにディスプレイ装置１１０上に表示することができる。しかしながら、アプリケーション・プロセッサによって受信されたユーザ入力に基づいて、Ｉ／Ｏ装置２１０を介して、バウンディングボックス３１６ａの寸法を調整することができる。バウンディングボックス３１６ａの寸法の調整は、第１の被写体３０６ａの囲まれた部分の領域を広げるよう及び／又は狭めるように実行することができる。

［0080] さらに、このような寸法の調整は、ユーザ入力がピンチイン又はピンチアウト操作に対応するときに、実行されるようにしてもよい。ピンチイン又はピンチアウト操作は、方向３２０ａ及び３２０ｂのような与えられた方向にバウンディングボックスの縁又は頂点をドラッグすることによって実行され得る。ピンチイン又はピンチアウト操作は、方向３２０ａ及び３２０ｂと反対の方向にバウンディングボックスの辺をドラッグすることによっても実行され得る。ディスプレイ装置１１０上で受信されたユーザ入力に基づいて、アプリケーション・プロセッサ２０２は、バウンディングボックス３１６ｂ〜３１６ｆの寸法の同様の調整を実行するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、調整されたバウンディングボックス３１６ａ〜３１６ｆに囲まれた被写体のキャプチャされたＬＦデータを不揮発性メモリ２０８に格納するよう構成することができる。

［0081］ 図３Ｄを参照すると、表示されている１つ又はそれ以上の被写体及び／又は１つ又はそれ以上の物体から選択された被写体に対応する、ＦＯＶ３０４のフレーム３２２の集積の生成のための典型的なシナリオが例示されている。典型的なシナリオに従って、受信されたユーザ入力は、第１の被写体３０６ａ、第２の被写体３０６ｂ、ハイライター３１２ａ、及び／又はホワイトボード３１４の選択に対応し得る。第１の被写体３０６ａ、第２の被写体３０６ｂ、ハイライター３１２ａ、及び／又はホワイトボード３１４の選択は、第１のシーケンスで実行される。

［0082] ユーザ入力に基づいて、アプリケーション・プロセッサ２０２は、図３Ｃにおいて説明したように、第１の被写体３０６ａのキャプチャされたＬＦデータの計算によるリアラインメントに基づいて、第１の被写体３０６ａに焦点合わせするよう構成することができる。アプリケーション・プロセッサ２０２はさらに、計算によるリアラインメントに基づいて、第１の被写体３０６ａに対応するフレーム３２２ａを生成するよう構成することができる。アプリケーション・プロセッサ２０２はさらに、図３Ｃで説明したように、第２の被写体３０６ｂ及び第３の被写体３０６ｃのキャプチャされたＬＦデータの動的な計算によるリアラインメントに基づいて、選択された第２の被写体３０６ｂ、選択されたハイライター３１２ａ、及び選択されたホワイトボード３１４に動的に再焦点合わせするよう構成することができる。アプリケーション・プロセッサ２０２はさらに、フレーム３２２ｂ、３２２ｃ、３２２ｄを生成するよう構成することができる。フレーム３２２ａは第１の被写体３０６ａに対応し、フレーム３２２ｂは第２の被写体３０６ｂに対応し、フレーム３２２ｃはハイライター３１２ａに対応し、フレーム３２２ｄはホワイトボード３１４に対応し得る。生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ、３２２ｄはさらに、ＦＯＶ３０４のフレームの集積３２２に対応し得る。フレームの集積３２２はさらに、選択された被写体それぞれに関連づけられた被写界深度の情報を含むことができる。

［0083] 典型的なシナリオの場合に従って、アプリケーション・プロセッサ２０２は、第１のシーケンスにおいて生成されたフレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ、及び／又は３２２ｄを順序づけて配列するよう構成することができる。典型的なシナリオの別の場合に従って、アプリケーション・プロセッサ２０２は、不揮発性メモリ２０８から引き出された１つ又はそれ以上のユーザの好みに基づいて、生成されたフレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ、及び／又は３２２ｄを順序づけて配列するよう構成することができる。フレームの集積３２２はさらに、受信した１つ又はそれ以上のユーザの好み及び／又は予め不揮発性メモリ２０８に格納されている値に基づいて、１つ又はそれ以上のパラメータに関連づけられ得る。この１つ又はそれ以上のパラメータは、選択された第１の被写体３０６ａ、第２の被写体３０６ｂ、ハイライター３１２ａ、及び／又はホワイトボード３１４の間でのフレームレート及び／又は焦点合わせの変化率に対応し得る。

［0084] 典型的なシナリオの場合に従って、アプリケーション・プロセッサ２０２は、ＦＯＶ３０４の生成されたフレームの集積３２２と同様の１つ又はそれ以上の後続のフレームの集積を生成するよう構成することができる。この生成された１つ又はそれ以上の後続のフレームの集積は、電子装置１０２の１つ又はそれ以上の後続のＦＯＶに対応し得る。

［0085] 図３Ｅを参照すると、ＦＯＶ３０４の生成されたフレームの集積３２２のＬＦ画像スティッチングに基づいたパノラマ画像の生成の典型的なシナリオが例示されている。典型的なシナリオに従って、アプリケーション・プロセッサ２０２は、フレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ、及び／又は３２２ｄを、ユーザの好みに基づいて連続的に配列するよう構成することができる。生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ、及び／又は３２２ｄは、オーバーラップするＦＯＶを含むことができる。

［0086] 典型的なシナリオの場合に従って、アプリケーション・プロセッサ２０２は、ユーザの好みに基づいて、１つ又はそれ以上の後続のフレームの集積の１つ又はそれ以上の他のフレームを順番に配列するよう構成することができる。このような１つ又はそれ以上の後続のフレームの集積の１つ又はそれ以上の他のフレームは、電子装置１０２の１つ又はそれ以上の後続のＦＯＶに対応し得る。このような１つ又はそれ以上の後続のフレームの集積の１つ又はそれ以上の他のフレームは、オーバーラップするＦＯＶを含むことができる。アプリケーション・プロセッサ２０２はさらに、フレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ及び／又は３２２ｄ、及び１つ又はそれ以上の後続のフレームの集積の１つ又はそれ以上の他のフレームを結合するよう構成することができる。

［0087］ アプリケーション・プロセッサ２０２はさらに、フレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ及び／又は３２２ｄにおける選択された被写体と関連づけられる視差誤差を最小限に抑えるよう構成することができる。フレームの集積３２２の生成されたフレーム３２２ａ、３２２ｂ、３２２ｃ及び／又は３２２ｄ、及び１つ又はそれ以上の後続のフレームの集積の１つ又はそれ以上の他のフレームの結合は、ＬＦ画像スティッチングに基づくものとすることができる（図２Ｂにおいて説明）。アプリケーション・プロセッサ２０２はさらに、生成されたパノラマ画像をディスプレイ装置１１０上にレンダリングするよう構成することができる。生成されたパノラマ画像は、選択された１つ又はそれ以上の被写体の深度の知覚に寄与する疑似３次元画像に対応し得る。１つ又はそれ以上の選択された被写体のそれぞれは、レンダリングされたパノラマ画像にいて連続的に焦点合わせされ得る。生成されたパノラマ画像は、１つ又はそれ以上のユーザの好み及び／又は予め不揮発性メモリ２０８に格納されている値に基づいてレンダリングすることができる。１つ又はそれ以上のパラメータは、選択された第１の被写体３０６ａ、第２の被写体３０６ｂ、ハイライター３１２ａ、及び／又はホワイトボード３１４の間でのフレームレート及び／又は焦点合わせの変化率に対応し得る。

［0088] 図４は、本開示の実施形態に従った、パノラマ画像の生成の方法を例示するフローチャートを含んでいる。図４には第１のフローチャート４００が示されている。第１のフローチャート４００は図１との関連で説明される。この方法は、ステップ４０２でスタートし、ステップ４０４に進む。

［0089] ステップ４０４で、電子装置１０２の第１のＦＯＶに関連するＬＦデータがキャプチャされる。ステップ４０６で、第１のＦＯＶに関連するキャプチャされたＬＦデータは不揮発性メモリ２０８に格納される。ステップ４０８で、焦点合わせ可能な被写体、すなわち第１の被写体及び１つ又はそれ以上の他の被写体が、電子装置１０２の第１のＦＯＶに存在する第１の複数の被写体から特定される。焦点合わせ可能な被写体の組が、バウンディングボックス及び／又はオブジェクトマーカに基づいて、ディスプレイ装置１１０上に示される。

［0090] ステップ４１０で、第１の被写体及び１つ又はそれ以上の他の被写体を選択するユーザ入力が受信される。このユーザ入力には、第１の被写体及び１つ又はそれ以上の他の被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカ上でのピンチイン又はピンチアウト操作を含み得る。ステップ４１２で、選択された第１の被写体及び１つ又はそれ以上の他の被写体に対応するＦＯＶに関連するキャプチャされたＬＦデータは、揮発性メモリに格納され得る。ステップ４１４で、第１の被写体の格納されたＬＦデータの第１のリアラインメントが実行され得る。

［0091] ステップ４１６で、焦点合わせされた第１の被写体を含む第１のフレームが、格納されたＬＦデータの第１のリアラインメントに基づいて決定され得る。ステップ４１８で、ＦＯＶにおける１つ又はそれ以上の他のフレームのそれぞれの格納されたＬＦデータの第２のリアラインメントが実行され得る。ステップ４２０で、動的に再焦点合わせされた１つ又はそれ以上の他の被写体を含む１つ又はそれ以上の他のフレームが、格納されたＬＦデータの第２のリアラインメントに基づいて決定され得る。

［0092] ステップ４２２で、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームの結合に基づいて、パノラマ画像が生成され得る。決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームは、スティッチングされてパノラマ画像が生成され得る。さらに、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームからのスティッチングされた２つ又はそれ以上のフレームに対応する視差誤差が、最小に抑えられ得る。制御は終了ステップ４２４に進む。

［0093] 本開示の実施形態に従って、パノラマ画像の生成のためのシステムが開示される。このシステムは、アプリケーション・プロセッサ２０２のような１つ又はそれ以上の回路を含むことができる。電子装置１０２のアプリケーション・プロセッサ２０２は、マイクロレンズアレイを含むことができ、これはさらに複数のマイクロレンズを含み、光センサと協働して、イメージング装置のＦＯＶと関連づけられたＬＦデータをキャプチャするよう構成することができる。第１のフレームを決定するために、アプリケーション・プロセッサ２０２は、ＦＯＶにおける第１の被写体と関連する格納されたＬＦデータの第１のリアラインメントに基づいて、第１の被写体に焦点合わせするよう構成することができる。１つ又はそれ以上の他のフレームを決定するために、アプリケーション・プロセッサ２０２は、ＦＯＶにおける１つ又はそれ以上の他の被写体のそれぞれのキャプチャされたＬＦデータの第１のリアラインメントに基づいて、動的に１つ又はそれ以上の他の被写体に再度焦点を合わせるよう構成することができる。アプリケーション・プロセッサ２０２はさらに、決定された第１のフレーム及び決定された１つ又はそれ以上の他のフレームの結合に基づいて、パノラマ画像を生成するよう構成することができる。

［0094] 本開示の種々の実施形態は、パノラマ画像の生成のための、非一時的なコンピュータ読取可能な媒体及び／又はストレージ媒体、及び／又は非一時的機械読取可能な媒体及び／又は記憶媒体、機械及び／又はコンピュータによって実行可能な少なくとも１つのコード部分を有する機械コード及び／又はコンピュータプログラムを提供することができる。前記少なくとも１つのコード部分は、機械及び／又はコンピュータに、マイクロレンズアレイの第１の被写体への焦点合わせを含むステップを実行させることができる。第１の被写体は焦点合わせされて、ＦＯＶにおける第１の被写体と関連する格納されたＬＦデータの第１のリアラインメントに基づいて、第１のフレームが決定される。マイクロレンズアレイはさらに、複数のマイクロレンズを含むことができる。マイクロレンズアレイは、光センサと協働して、イメージング装置のＦＯＶに関連するＬＦデータをキャプチャするよう構成することができる。このステップはさらに、ＦＯＶにおける１つ又はそれ以上の他の被写体のそれぞれのキャプチャされたＬＦデータの第２のリアラインメントに基づいて、１つ又はそれ以上の他の被写体に動的に再度焦点合わせして、１つ又はそれ以上の他のフレームを決定するよう構成することができる。決定された第１のフレームと決定された１つ又はそれ以上の他のフレームとの結合に基づいて、パノラマ画像を生成することができる。

［0095] 本開示は、ハードウェア又はハードウェアとソフトウェアの組み合わせによって実現され得る。本開示は、少なくとも１台のコンピュータシステムにおいて集中化された形態でも、又は、いくつかの互いに接続されたコンピュータシステムに異なる要素が散在しているような分散された形態でも実現することができる。ここで説明された方法を実行するよう適応されたコンピュータシステム又は他の装置が適合し得る。ハードウェアとソフトウェアの組み合わせは、コンピュータプログラムをその得た汎用目的のコンピュータシステムであり得、コンピュータプログラムをロードし実行したときは、ここで説明した方法を実行するようコンピュータシステムを制御することができる。本開示は、他の機能を実行する集積回路の部分を備えたハードウェアによっても実現できる。

［0096] 本開示は、ここで説明した方法の実施を可能とするすべての特徴を含み、コンピュータシステムにロードされたときは、これらの方法を実行することができるコンピュータプログラム製品に組み込むことができる。コンピュータプログラムとは、本開示では、情報処理能力を備えたシステムに特定の機能を、直接に、又はａ）他の言語、コード又は表記への転換、ｂ）異なる物質形態における再生の、いずれか又は両方の後で、実行させることを意図する命令のセットの任意の言語における任意の表現、コード、又は表記を意味する。

［0097] 実施形態を参照して本開示を説明してきたが、本開示の範囲から逸脱することなく、種々の変更が可能であること及び均等物を置換可能であることは、当業者には理解されるだろう。さらに、開示の範囲から逸脱せずに、特定の状況又は材料を本開示の教示に適用させて多くの修正を行うことができる。したがって、本開示は、開示された特定の実施形態には限定されず、本開示は、クレームの範囲内に含まれるすべての実施形態を含むことが意図されている。

Claims (26)

1. イメージング装置であって、
   複数のマイクロレンズを含み、光センサと協働して前記イメージング装置の視野（ＦＯＶ）に関連するライトフィールド（ＬＦ）データをキャプチャするよう構成されたマイクロレンズアレイと、
   １つ又はそれ以上の回路とを含み、
   前記１つ又はそれ以上の回路は、
   前記ＦＯＶにおける第１の被写体の前記キャプチャされたＬＦデータの第１のリアラインメントに基づいて前記第１の被写体に焦点合わせして第１のフレームを決定し、
   前記ＦＯＶにおける１つ又はそれ以上の他の被写体それぞれの前記キャプチャされたＬＦデータの第２のリアラインメントに基づいて前記１つ又はそれ以上の他の被写体に動的に再焦点合わせして１つ又はそれ以上の他のフレームを決定し、
   前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームの結合に基づいてパノラマ画像を生成する、
   よう構成したイメージング装置。
2. 前記１つ又はそれ以上の回路は、前記ＦＯＶに関連する前記キャプチャされたＬＦデータを揮発性メモリに格納するよう構成されている、請求項１に記載のイメージング装置。
3. 前記１つ又はそれ以上の回路は、バウンディングボックス及び／又はオブジェクトマーカに基づいて、前記第１の被写体及び前記１つ又はそれ以上の他の被写体を前記イメージング装置のディスプレイスクリーンに示す、請求項１に記載のイメージング装置。
4. 前記１つ又はそれ以上の回路は、前記第１の被写体への焦点合わせ及び前記１つ又はそれ以上の他の被写体への動的な再焦点合わせのためのユーザ入力を受信するよう構成されている、請求項１に記載のイメージング装置。
5. 前記受信されたユーザ入力は、前記第１の被写体及び前記１つ又はそれ以上の他の被写体から１つ又はそれ以上の被写体を選択することに対応し、前記選択された１つ又はそれ以上の被写体のそれぞれは、前記生成されたパノラマ画像がディプレイスクリーンにレンダリングされたときに連続的に焦点合わせされる、請求項４に記載のイメージング装置。
6. 前記ユーザ入力には、前記第１の被写体及び前記１つ又はそれ以上の他の被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカに対応してユーザによって実行されるピンチイン操作又はピンチアウト操作が含まれる、請求項５に記載のイメージング装置。
7. 前記１つ又はそれ以上の回路は、前記ＦＯＶにおける前記選択された１つ又はそれ以上の被写体の前記キャプチャされたＬＦデータを不揮発性メモリに格納するよう構成されている、請求項５に記載のイメージング装置。
8. 前記第１の被写体への前記焦点合わせ及び前記１つ又はそれ以上の他の被写体への前記動的な再焦点合わせは、予め格納されているアルゴリズムに基づくものである、請求項１に記載のイメージング装置。
9. 前記キャプチャされたＬＦデータの前記第１のリアラインメント及び前記第２のリアラインメントは、前記ＦＯＶに関連する前記キャプチャされたＬＦデータに関連づけられた１つ又はそれ以上のパラメータの修正に対応する、請求項１に記載のイメージング装置。
10. 前記１つ又はそれ以上のパラメータには少なくとも、前記ＦＯＶにおける焦点合わせされた前記第１の被写体及び動的に再焦点合わせされた前記１つ又はそれ以上の他の被写体の被写界深度、メインレンズの絞り径、前記マイクロレンズアレイにおける前記複数のマイクロレンズの逆拡大係数、前記マイクロレンズアレイにおける前記複数のマイクロレンズに対するＦナンバー、前記マイクロレンズアレイにおける前記複数のマイクロレンズの焦点距離、前記ＦＯＶの被写界深度、光の波長、前記イメージング装置の１つ又はそれ以上のフォトセンサにおけるピクセル寸法、フレームレート、及び／又は、前記ＦＯＶにおける選択された前記第１の被写体、前記１つ又はそれ以上の他の被写体、１つ又はそれ以上の物体の間での焦点合わせの変化率が含まれる、請求項９に記載のイメージング装置。
11. 前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームの結合は、前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームからの２つ又はそれ以上のフレームのＬＦ画像のスティッチングを含む、請求項１に記載のイメージング装置。
12. 前記１つ又はそれ以上の回路は、前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームからの前記１つ又はそれ以上のフレームの前記ＬＦ画像のスティッチングに対応する視差誤差を最小限に抑えるよう構成されている、請求項１１に記載のイメージング装置。
13. 前記１つ又はそれ以上の回路は、前記生成されたパノラマ画像を１つ又はそれ以上のユーザの好み及び／又は不揮発性メモリに予め格納されている値に基づいてレンダリングするよう構成されており、前記１つ又はそれ以上のユーザの好みには、前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームに関連するフレームレート、又は、前記焦点合わせされた前記第１の被写体及び前記動的に再焦点合わせされた前記１つ又はそれ以上の他の被写体の焦点合わせの変化率が含まれる、請求項１に記載のイメージング装置。
14. 前記生成されたパノラマ画像のフォーマットは、動画、ライトフィールド・ピクチャ（ＬＦＰ）画像、グラフィックス・インタチェンジ・フォーマット（ＧＩＦ）画像、ジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）画像のうちの１つに対応する、請求項１に記載のイメージング装置。
15. パノラマ画像を生成する方法であって、
    光センサと協働する複数のマイクロレンズを含むマイクロレンズアレイを含み、前記複数のマイクロレンズは、前記イメージング装置の視野（ＦＯＶ）に関連するライトフィールド（ＬＦ）データをキャプチャするよう構成されているイメージング装置において、
    前記ＦＯＶにおける第１の被写体の前記キャプチャされたＬＦデータの第１のリアラインメントに基づいて前記第１の被写体に焦点合わせして第１のフレームを決定する段階と、
    前記ＦＯＶにおける１つ又はそれ以上の他の被写体それぞれの前記キャプチャされたＬＦデータの第２のリアラインメントに基づいて前記１つ又はそれ以上の他の被写体に動的に再焦点合わせして１つ又はそれ以上の他のフレームを決定する段階と、
    前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームの結合に基づいてパノラマ画像を生成する段階と、
    を含む方法。
16. 前記ＦＯＶに関連する前記キャプチャされたＬＦデータを揮発性メモリに格納する段階をさらに含む請求項１５に記載の方法。
17. 前記第１の被写体及び前記１つ又はそれ以上の他の被写体は、バウンディングボックス及び／又はオブジェクトマーカに基づいて前記イメージング装置のディスプレイスクリーンに示される、請求項１５に記載の方法。
18. 前記第１の被写体への焦点合わせ及び前記１つ又はそれ以上の他の被写体への動的な再焦点合わせのためにユーザ入力が受信される、請求項１５に記載の方法。
19. 前記受信されたユーザ入力は、前記第１の被写体及び前記１つ又はそれ以上の他の被写体から１つ又はそれ以上の被写体を選択することに対応し、前記選択された１つ又はそれ以上の被写体のそれぞれは、前記生成されたパノラマ画像がディプレイスクリーンにレンダリングされたときに連続的に焦点合わせされる、請求項１８に記載の方法。
20. 前記ユーザ入力には、前記第１の被写体及び前記１つ又はそれ以上の他の被写体に関連づけられたバウンディングボックス及び／又はオブジェクトマーカに対応してユーザによって実行されるピンチイン操作又はピンチアウト操作が含まれる、請求項１９に記載の方法。
21. 前記ＦＯＶにおける前記選択された１つ又はそれ以上の被写体の前記キャプチャされたＬＦデータを不揮発性メモリに格納する段階をさらに含む、請求項１９に記載の方法。
22. 前記第１の被写体への前記焦点合わせ及び前記１つ又はそれ以上の他の被写体への前記動的な再焦点合わせは、予め格納されているアルゴリズムに基づくものである、請求項１５に記載の方法。
23. 前記キャプチャされたＬＦデータの前記第１のリアラインメント及び前記第２のリアラインメントは、前記ＦＯＶに関連する前記キャプチャされたＬＦデータに関連づけられた１つ又はそれ以上のパラメータの修正に対応する、請求項１５に記載の方法。
24. 前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームの結合は、前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームからの２つ又はそれ以上のフレームのＬＦ画像のスティッチングを含む、請求項１５に記載の方法。
25. 前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームからの前記１つ又はそれ以上のフレームの前記ＬＦ画像のスティッチングに対応する視差誤差を最小限に抑える段階をさらに含む、請求項２４に記載の方法。
26. コンピュータが実行可能な命令の組が格納された非一時的コンピュータ読取可能な記録媒体であって、前記命令の組が電子装置に、
    光センサと協働する複数のマイクロレンズを含むマイクロレンズアレイを含み、前記複数のマイクロレンズは、前記イメージング装置の視野（ＦＯＶ）に関連するライトフィールド（ＬＦ）データをキャプチャするよう構成されているイメージング装置において、
    前記ＦＯＶにおける第１の被写体の前記キャプチャされたＬＦデータの第１のリアラインメントに基づいて前記第１の被写体に焦点合わせして第１のフレームを決定する段階と、
    前記ＦＯＶにおける１つ又はそれ以上の他の被写体それぞれの前記キャプチャされたＬＦデータの第２のリアラインメントに基づいて前記１つ又はそれ以上の他の被写体に動的に再焦点合わせして１つ又はそれ以上の他のフレームを決定する段階と、
    前記決定された第１のフレーム及び前記決定された１つ又はそれ以上の他のフレームの結合に基づいてパノラマ画像を生成する段階と、
    を実行させる記録媒体。

Images