JP2017504082A - プレノプティックカメラの分解能の改良 - Google Patents
プレノプティックカメラの分解能の改良 Download PDFInfo
- Publication number
- JP2017504082A JP2017504082A JP2016525068A JP2016525068A JP2017504082A JP 2017504082 A JP2017504082 A JP 2017504082A JP 2016525068 A JP2016525068 A JP 2016525068A JP 2016525068 A JP2016525068 A JP 2016525068A JP 2017504082 A JP2017504082 A JP 2017504082A
- Authority
- JP
- Japan
- Prior art keywords
- main lens
- variables
- test
- light field
- merit function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
Description
本出願は、2013年12月24日に出願された米国仮出願シリアル番号第61/920,709号「収差メインレンズを用いたプレノプティックカメラの分解能(Plenoptic Camera Resolution Using an Aberrated Main Lens)」(代理人案件番号LYT095−PROV)の利益を主張し、その開示は、参照によりその全体として本明細書に取り込まれる。
本明細書で与えられる説明のため、以下の定義を用いる。
収差:偶然または意図的に生じるメインレンズの特徴であり、結果として理想レンズの特性からのメインレンズの逸脱を生じる。
属性:カメラ設計の特性。
構成:カメラ設計の属性の変数についてのある値の集合によって規定されるカメラ設計。
深度:オブジェクトおよび/または対応する画像サンプルとカメラのマイクロレンズアレイとの間の変位を表すもの。
デプスマップ(depth map):ライトフィールド画像に対応する2次元マップであり、ライトフィールド画像内の多様な画素サンプルのそれぞれについての深度を示す。
ディスク:1つのマイクロレンズを通過する光によって照射されるライトフィールド画像内の領域で、円形または他の好適な形状でありうる。
強化被写界深度(EDOF)画像:より大きな深度範囲に沿って合焦するオブジェクトを有するように処理される画像。
フィールドポイント:画像センサ上の特定の位置。
画像:それぞれ色を特定する、画素値または画素の2次元配列。
画像処理アルゴリズム:画像を修正するための任意のコンピュータ実行手順。
ラムダ(λ):マイクロレンズアレイのマイクロレンズの焦点距離と同等な距離。
ライトフィールド画像:センサで撮影されたライトフィールドデータの表現を含む画像。
メインレンズ:マイクロレンズアレイまたはセンサに当たる前に、それを通してカメラに光が入射する光学構造または構造。
メリット関数:カメラ設計に適用され、1つまたは複数のメリット関数値を生成することが可能なアルゴリズム。
メリット関数値:カメラ設計の性能を記述する値であり、好ましいメリット関数値は、より大きいまたはより小さいものでありうる。
マイクロレンズ:小型レンズで、通常、同様のマイクロレンズ配列内のひとつ。
摂動する:比較の目的のための測定手法において、それにより系、構成および/または変数が変更されることによる手順。
位相マスク:メインレンズとともに用いられ、光の波面上の位相シフトを伝えるカメラの構成要素。
光線補正関数(ray correction function):実メインレンズの使用に対応する実際の画像空間内の4次元光の光線座標と理想メインレンズの使用に対応する理想空間内の4次元光の光線座標とを変換する関数。
再構成面:ライトフィールド画像が生成されるライトフィールド内の面。
再構成面位置:再構成面の位置であり、普通、マイクロレンズアレイからの変位(ラムダの倍数単位)の観点で表現される。
擬似撮影ライトフィールド:ライトフィールドカメラの構成の性能のシミュレーションにより撮影されたライトフィールドを表すもの。
変数:属性の測定に用いることが可能であり、変更してカメラ性能を変えることが可能な測度。
重み:構成要素の組合せの構築において、特定の構成要素に伴う重要度の数値的表現。
少なくとも1つの実施形態において、本明細書に記載のシステムおよび方法は、Ng et al.のLight-field photography with a hand-held plenoptic capture device, Technical Report CSTR 2005-02, Stanford Computer Scienceに含まれるライトフィールド撮影デバイスにより撮影されたライトフィールド画像とともに実行可能であるが、その記載に限定するものではない。ここで図2を参照すると、例えばカメラ800であるライトフィールド撮影デバイスを示すブロック図を示している。ここで図3もまた参照すると、一実施形態による、例えばカメラ800であるライトフィールド撮影デバイスと通信可能に結合された後処理システムにおいて後処理を実行するための構成を示すブロック図を示している。当業者は、図2および3に示す特定の構成が単に例であること、カメラ800について他の構成が可能であることがわかるであろう。さらに当業者は、図2および3の構成に示されるいくつかの構成要素は任意であり、省略または再構成しうることがわかるであろう。
ライトフィールド画像はしばしば、カメラ800の開口812の複数の投影(円形または他の形状でありうる)を含み、各投影はカメラの焦点面上の異なる視点から得られる。ライトフィールド画像は、センサ803上で撮影されうる。メインレンズ813およびセンサ803間のマイクロレンズアレイ802の介在により、センサ803上に形成される開口812の画像が生じ、アレイ802における各マイクロレンズがセンサ803上にメインレンズ開口812の小型画像を投影する。これらの開口の形状をもつ投影を、本明細書においてディスクと称するが、円形形状である必要はない。用語「ディスク」は、円形領域に限定されることを意図するものではないが、任意の形状の領域を適用可能である。
R. Ngの“Digital Light Field Photography,” Dissertation, Department of Computer Science, Stanford University, June 2006および2009年1月26日に出願の、Ng et al.、米国特許出願シリアル番号第12/278,708号「光学収差の補正(Correction of Optical Aberrations)」において論じられているように、ライトフィールドカメラは、メインレンズの収差をデジタル処理で補正することが可能である。これまでの2次元カメラでは、レンズ内の収差はレンズを大きなスポットサイズに合焦させることとなり、結果として分解能を減少させる。
理想レンズは、ワールド座標におけるポイントを画像座標におけるポイントへ写像する性質を有する。これは、それがゼロ幅の完全な焦点を有し、回折を無視することを意味する。図7は、理想メインレンズ(図示せず)からもたらされ、かつ、ライトフィールドセンサ720に近接する1つのマイクロレンズ710上で完全に合焦される光線を示す図700である。マイクロレンズの断面を示している。投影中、サンプルは、それらの4次元座標および再構成面に基づく再構成画像へ散らされる。再構成面の位置は、「ラムダ」(λ)を単位として規定される。この単位ラムダは、マイクロレンズの焦点距離と同等な物理的距離を有する。系の起源は、マイクロレンズの面にあり、λ=0として規定される。
メインレンズが理想レンズである場合、ライトフィールドカメラは、4次元空間における正規格子上でライトフィールドをサンプリングするものである。サンプルpiの4次元座標(si,ti,ui,vi)は、
si=Microlens(pi).x()、
ti=Microlens(pi).y()、
ui=Center(Microlens(pi)).x()−pi.x()、
vi=Center(Microlens(pi)).y()−pi.y()
となり、
xi(,)=si−λui、
yi(,)=ti−λvi
となる。
si=Microlens(pi).x()+α(ri)3、
ti=Microlens(pi).y()+α(ri)3、
ui=Center(Microlens(pi)).x()−pi.x()、
vi=Center(Microlens(pi)).y()−pi.y()
となる。
これまでのレンズの設計は、形状的にできるだけ理想に近づくように動作するレンズを設計することをゴールとしている。レンズ設計者は、レンズ性能を改良する多数の選択肢を持つ。通常の選択肢は、より高い屈折率、かつ、より小さいばらつきのガラスを用いることおよび/または非球面の表面を用いることにより、要素数が増す。これらの選択肢のすべては、対して最適となるように、設計へより多くの変数を加える影響を有する。また、これらの選択肢の多くが、レンズのコストを増す影響を持つ。
図13は、一実施形態による、ライトフィールドカメラ設計アルゴリズムに関するセットアップ手順実行の方法1300を示すフロー図である。方法1300は、例えば、図5のデバイス501などである演算装置で行われ、図2および3のカメラ800などのライトフィールド画像撮影デバイスの設計を整えるために用いられうる。方法1300は、開始(1310)され、以下の通りに進みうる。
1.ステップ1320において、ユーザは、試験対象となるフィールドポイントまたはセンサ上の位置を規定する。これらは、図12の試験フィールドポイント1250でありうる。
2.ステップ1330において、ユーザは、試験対象の(1つまたは複数の)ラムダ値を規定する。これらは、図12の試験再構成面位置1260でありうるもので、先に概説したように、ラムダの倍数として表現されうる。
3.ステップ1340において、ユーザは、初期レンズ設計形式を与え、変数(半径、厚さ、屈折率等)として所望のパラメータを設定する。このステップは、図12の属性1210および構成1220の提供をもたらしうる。方法1300は、その後終了(1390)しうる。
図14は、一実施形態による、ライトフィールドカメラ設計アルゴリズムを実行し、メインレンズおよび/または任意の位相マスクなどであるカメラ構成要素の設計の最適化する方法1400を示すフロー図である。方法1400は、例えば、図5のデバイス501などである演算装置で行われ、図2および3のカメラ800などであるライトフィールド画像撮影デバイスを設計するために用いられうる。方法1400は、開始(1410)され、以下の通りに進みうる。
1.ステップ1420において、規定されたライトフィールドメリット関数から、初期メリット値が計算される。これには、図12にも示すように、メリット関数値1240を取得するように、ステップ1340において選択された初期構成に基づいた図12のメリット関数1230の適用が必要となりうる。
2.ステップ1430において、系は、設定された変数のうちの1つを変更することによって摂動される。これには、カメラ800の新しい構成1220を作るように、変数1222の1つの変更が必要となりうる。
3.ステップ1440において、新しいメリット関数値が計算される。これには、新しいメリット関数値1240を取得するように、ステップ1430において作られた構成に基づいた図12のメリット関数1230(例えば、ステップ1420で用いられる同じメリット関数)の適用が必要となりうる。
4.ステップ1450において、新しいメリット関数値1240を初期メリット関数値1240と比較しうる。
5.ステップ1460において、メリット関数値が改良されたか悪化されたかに基づいて、システムは、新たな摂動された系を生成する。これには、カメラ800の新しい構成1220を作るように、再度、変数1222の1つの変更が必要となりうる。
6.クエリ1470において、決定は、終了条件が成立しているかどうかによりなされうる。多数の終了条件は、同時に適用されうるものであり、限定される必要はないが、ユーザにより方法1400を終了するとき、方法1400で平衡に到達して良好なカメラ800の設計の最適化が示されたとき、一定数の反復を行ったとき、所定時間の間で方法1400を継続したとき等を含みうる。終了条件が成立する場合、方法1400は終了(1490)しうる。しない場合、方法1400は、ステップ1440に戻り、終了条件が成立するまで、ステップ1440、ステップ1450、ステップ1460、クエリ1470を通して反復して継続しうる。
図15は、一実施形態による、図14のステップ1420および/またはステップ1440を実行するために行われうるメリット関数計算を実行する方法を示すフロー図である。ステップ1420は、例えば、図5のデバイス501などである演算装置で行われうる。ステップ1420は、開始(1510)され、以下の通りに進みうる。
1.ステップ1520において、第1のフィールドポイントおよびラムダ値が選択される。これには、ステップ1320およびステップ1330において選択されたそれらから1つの試験フィールドポイント1250および1つの試験再構成面位置1260を選択することが必要となりうる。
2.ステップ1530において、構成がシミュレータに渡されて、図6に示すように光線補正関数を生成する。
3.ステップ1540において、その画像が画像空間内の共役フィールドおよびラムダ(再構成面位置)に対応するように、ターゲットをオブジェクト空間に配置して測定する。
4.ステップ1550において、構成を光線追跡し、擬似撮影ライトフィールドを作る。これは、対応するラムダ値(すなわち、対応する再構成面位置)に対してリフォーカスされる。
5.ステップ1560において、光学的伝達関数が計算され、所望の値が演算されて、レンズ設計ソフトウェアに返される。これらの所望の値は、最終的に、関連したメリット関数値1240を取得するために用いられうる。
6.クエリ1570において、終了条件が成立しているかどうかにより、決定がなされうる。多数の終了条件は、同時に適用されうるものであり、限定される必要はないが、試験フィールドポイント1250および試験再構成面位置1260のすべての組み合わせが尽きたとき、メリット関数計算処理をユーザが終了するとき等を含みうる。終了条件が成立する場合、ステップ1420は終了(1590)しうる。終了条件が成立しない場合、ステップ1420は、ステップ1580へ進みうる。
7.ステップ1580において、試験フィールドポイントおよび試験再構成面位置の新しい組み合わせが選択されうる。これは、ステップ1520でのように行われうる。ステップ1420は、ステップ1530に戻り、終了条件が成立するまで、ステップ1530、ステップ1540、ステップ1550、ステップ1560、クエリ1570およびステップ1580を通して反復して継続しうる。
いくつかの特定の収差は、ライトフィールドカメラレンズによく適している。特に球面収差は、その大きさが光線の射出瞳位置にのみ依存するため、有用な収差である。
ライトフィールドカメラ専用レンズの設計への代替としては、代わりに理想または理想に近いレンズとともに位相マスクを用いることがある。位相マスクは、瞳位置の関数として変化する位相シフトを波面上に伝える。従って、該マスクは、レンズの射出瞳などの任意の瞳面位置に配置されることが可能である。位相マスクの例は、三次位相板(cubic phase mask)である。このタイプの位相マスクは、通常、波面符号化(Wavefront coding)で用いられる。この系の利点は、既製品のレンズをその光学的な規格や特性を知る必要なく用いることが可能であることである。
球面収差および三次位相板は、ライトフィールドカメラ内の性能を改良する非理想レンズ系の2つの簡単な例である。しかしながら、少なくとも1つの実施形態において、システムは、系内で規定される自由変数の全てに渡って最適化して、これらの特定の例に関して必ずしも好ましい結果を示すわけではない。最適化を十分長く行うことが可能であれば、結果として得られる設計が、最小(または最大)の規定されたメリット関数である。
上記3つの例は、(x,y,u,v)座標の変更を伴うサンプルが、それらが最もシャープとなる特定のラムダ範囲を有することを示している。ライトフィールドフォトグラフィの他の利点は、投影中に、収差を補正可能であるだけでなくサンプルに重み付けすることも可能であることである。これは、ある画素が、不良である、ノイズがある、ぼやけていることがわかっている場合に、その重要度の重みを減らすことが可能、またはそれを再構成から除去することさえ可能であることを意味している。例えば、波面符号化の例において、λ=0における再構成は図の上方および下方のサンプルについて重みを減らすことが可能である。結果として得られる画像は、すべてのサンプルを平等に用いた再構成画像よりもよりシャープとなるはずである。これは、2次元フォトグラフィにおけるレンズの絞りに類似している。撮影者は、通常、画像の鮮鋭度を増すために最大限の開口からレンズを絞っていくであろう。同様に、λ=10またはλ=−10に対してリフォーカスする場合、再構成の鮮鋭度を増すために、それぞれ上半分のサンプルまたは下半分のサンプルについて、重みを減らすことが可能である。
Claims (31)
- センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定する方法であり、
前記ライトフィールド画像撮影デバイスの属性を規定する第1の複数の変数を含む第1の構成である、前記ライトフィールド画像撮影デバイスの前記第1の構成を選択することと、
プロセッサにおいて、前記第1の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用して、第1のメリット関数値を計算することと、
前記プロセッサにおいて、前記第1の複数の変数の少なくとも1つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定することと、
出力デバイスにおいて、前記最適な変数の集合を含む出力を提供することとを含む、方法。 - 前記第1の構成を選択する前に、
それぞれ前記ライトフィールド画像撮影デバイスのセンサ上の位置を含む試験フィールドポイントである、1つまたは複数の試験フィールドポイントを規定することと、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、1つまたは複数の試験再構成面位置を規定することとをさらに含み、
前記メリット関数を適用することは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光をシミュレーションすることを含む、請求項1記載の方法。 - 前記メリット関数を適用することは、
前記試験フィールドポイントから第1の試験フィールドポイントを選択することと、
前記試験再構成面位置から第1の試験再構成面位置を選択することと、
前記第1の試験フィールドポイントおよび前記第1の試験再構成面位置での受光をシミュレーションして第1の光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記第1の光線補正関数を用いて、前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた第1の擬似撮影ライトフィールドを作ることと、
前記第1の擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算することとを含む、請求項2記載の方法。 - 前記メリット関数を適用することは、
複数の反復を行うことをさらに含み、各反復は、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置での受光をシミュレーションし、新しい光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含み、
前記第1のメリット関数値を計算することは、前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算することを含む、請求項3記載の方法。 - 前記第1のメリット関数値は、
焦点距離と、
主光線角度と、
最小中心ガラス厚さと、
最大中心ガラス厚さと、
色収差の最小化と
より成る群から選択される属性を測定する2次元メリット関数に基づく、請求項2記載の方法。 - 試験フィールドポイントと試験再構成面位置との他の組合せと比較してより低い分解能を備える、試験フィールドポイントおよび試験再構成面位置の1つまたは複数の低分解能の組合せを特定することと、
前記他の組合せについて他の重みを確立することと、
前記ライトフィールド画像撮影デバイスによるライトフィールド画像の生成において、前記低分解能の組合せから得られたライトフィールドデータが、前記他の組合せから得られたライトフィールドデータより小さい影響を有するように、前記低分解能の組合せについて低分解能の重みを確立することとをさらに含む、請求項2記載の方法。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、
前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項1記載の方法。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項1記載の方法。 - 前記レンズのスポットサイズの二乗平均の平方根が、前記複数のマイクロレンズのうちのマイクロレンズの直径の1から3倍の間となるように、前記メインレンズが構成される、請求項8記載の方法。
- 前記収差は実質的な球面収差を含む、請求項8記載の方法。
- 前記収差は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項1記載の方法。 - 前記位相マスクは、三次位相板を含む、請求項11記載の方法。
- 前記第1の複数の変数のうち少なくとも1つを反復的に摂動することおよび前記メリット関数を適用することは、前記最適な変数の集合が特定されるまで複数の反復を行うことを含み、各反復は、
前記複数の変数のうち少なくとも1つを摂動し、前記ライトフィールド撮影デバイスの第1の構成とは異なる前記ライトフィールド画像撮影デバイスの第2の構成を規定し、前記第2の構成は、前記属性を規定する第2の複数の変数を含むことと、
前記第2の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第2のメリット関数値を計算することと、
前記第2のメリット関数値を前記第1のメリット関数値と比較し、比較結果を得ることと、
前記比較結果に基づいて、前記第2の複数の変数が、最適な変数の集合であるかを決定することと、
前記第2の複数の変数が、前記最適な変数の集合でない場合は、前記第1の複数の変数を前記第2の複数の変数と等しく設定することとを含む、請求項1記載の方法。 - センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定するコンピュータプログラム製品であり、
非一時的な記憶媒体と、
前記ライトフィールド画像撮影デバイスの属性を規定する第1の複数の変数を含む第1の構成である、前記ライトフィールド画像撮影デバイスの前記第1の構成の選定を受信し、
前記第1の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用し、第1のメリット関数値を計算し、
前記第1の複数の変数の少なくとも1つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定し、
出力デバイスに対して、前記最適な変数の集合を含む出力を提供させる工程を少なくとも1つのプロセッサに対して行わせるように構成され、該媒体上で符号化されるコンピュータプログラムコードとを含む、コンピュータプログラム製品。 - 前記コンピュータプログラムコードは、前記第1の構成の選定を受信する前に、
それぞれ前記ライトフィールド画像撮影デバイスの前記センサ上の位置を含む試験フィールドポイントである、1つまたは複数の試験フィールドポイントを規定し、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、1つまたは複数の試験再構成面位置を規定する工程を、少なくとも1つのプロセッサに対して行わせるようにさらに構成され、
前記メリット関数を適用することは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光をシミュレーションすることを含む、請求項14記載のコンピュータプログラム製品。 - 前記少なくとも1つのプロセッサに対して前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、
前記試験フィールドポイントから第1の試験フィールドポイントを選択し、
前記試験再構成面位置から第1の試験再構成面位置を選択し、
前記第1の試験フィールドポイントおよび前記第1の試験再構成面位置での受光をシミュレーションして第1の光線補正関数を生成し、
オブジェクト空間にターゲットを配置し、
前記第1の光線補正関数を用いて、前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた第1の擬似撮影ライトフィールドを作り、
前記第1の擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算する工程を、前記少なくとも1つのプロセッサに対して行わせるように構成されたコンピュータプログラムコードを含む、請求項15記載のコンピュータプログラム製品。 - 前記少なくとも1つのプロセッサに対して前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、
複数の反復を行うことと、各反復が、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置における受光をシミュレーションして新しい光線補正関数を作ることと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含む工程を、前記少なくとも1つのプロセッサに対して行わせるように構成されたコンピュータプログラムコードを含み、
前記少なくとも1つのプロセッサに対して前記第1のメリット関数値を計算させるように構成された前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサに対して前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算させるように構成されたコンピュータプログラムコードを含む、請求項16記載のコンピュータプログラム製品。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項14記載のコンピュータプログラム製品。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項14記載のコンピュータプログラム製品。 - 前記収差は実質的な球面収差を含む、請求項19記載のコンピュータプログラム製品。
- 前記収差は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備え、
前記位相マスクは、三次位相板を含む、請求項14記載のコンピュータプログラム製品。 - 前記少なくとも1つのプロセッサに対して前記第1の複数の変数のうち少なくとも1つを反復的に摂動させて、前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサに対して前記最適な変数の集合が特定されるまで複数の反復を行わせるように構成されたコンピュータプログラムコードを含み、前記少なくとも1つのプロセッサに対して前記複数の反復を行わせるように構成された前記コンピュータプログラムコードは、
前記第1の複数の変数のうち少なくとも1つを摂動し、前記ライトフィールド撮影デバイスの前記第1の構成とは異なる前記ライトフィールド画像撮影デバイスの第2の構成を規定し、前記第2の構成は、前記属性を規定する第2の複数の変数を含むことと、
前記第2の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第2のメリット関数値を計算することと、
前記第2のメリット関数値を前記第1のメリット関数値と比較し、比較結果を取得することと、
前記比較結果に基づいて、前記第2の複数の変数が、最適な変数の集合であるかを決定することと、
前記第2の複数の変数が、前記最適な変数の集合でない場合は、前記第1の複数の変数を前記第2の複数の変数と等しく設定することとの工程を、各反復において、前記プロセッサに対して行わせるように構成されたコンピュータプログラムコードを含む、請求項14記載のコンピュータプログラム製品。 - センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定するシステムであり、
前記ライトフィールド画像撮影デバイスの属性を規定する第1の複数の変数を含む第1の構成である、前記ライトフィールド画像撮影デバイスの前記第1の構成を選択し、
前記第1の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用して、第1のメリット関数値を計算し、
前記第1の複数の変数の少なくとも1つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定するように構成されたプロセッサと、
前記最適な変数の集合を含む出力を提供するように構成され、前記プロセッサに通信可能に結合される出力デバイスとを含む、システム。 - 前記プロセッサは、
それぞれ前記ライトフィールド画像撮影デバイスの前記センサ上の位置を含む試験フィールドポイントである、1つまたは複数の試験フィールドポイントを規定し、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、1つまたは複数の試験再構成面位置を規定するようにさらに構成され、
前記プロセッサは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用するようにさらに構成される、請求項23記載のシステム。 - 前記プロセッサは、
前記試験フィールドポイントから第1の試験フィールドポイントを選択することと、
前記試験再構成面位置から第1の試験再構成面位置を選択することと、
前記第1の試験フィールドポイントおよび前記第1の試験再構成面位置での受光をシミュレーションして第1の光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記第1の光線補正関数を用いて、前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた第1の擬似撮影ライトフィールドを作ることと、
前記第1の擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算することとによって、前記メリット関数を適用するようにさらに構成される、請求項24記載のシステム。 - 前記プロセッサは、
複数の反復を行うことによって前記メリット関数を適用するようにさらに構成され、各反復は、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置における受光をシミュレーションし、新しい光線補正関数を作ることと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第1の構成を光線追跡し、前記第1の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含み、
前記プロセッサは、前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第1のメリット関数値を計算することによって前記第1のメリット関数値を計算するようにさらに構成される、請求項25記載のシステム。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項23記載のシステム。 - 前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項23記載のシステム。 - 前記収差は実質的な球面収差を含む、請求項28記載のシステム。
- 前記収差は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備え、
前記位相マスクは、三次位相板を含む、請求項23記載のシステム。 - 前記プロセッサは、前記第1の複数の変数のうち少なくとも1つを反復的に摂動し、前記最適な変数の集合が特定されるまで複数の反復を行うことによって前記メリット関数を適用するようにさらに構成され、前記プロセッサは、各反復において、
前記第1の複数の変数のうち少なくとも1つを摂動し、前記ライトフィールド撮影デバイスの前記第1の構成とは異なる前記ライトフィールド画像撮影デバイスの第2の構成を規定し、前記第2の構成は、前記属性を規定する第2の複数の変数を含み、
前記第2の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第2のメリット関数値を計算し、
前記第2のメリット関数値を前記第1のメリット関数値と比較し、比較結果を取得し、
前記比較結果に基づいて、前記第2の複数の変数が、最適な変数の集合であるかを決定し、
前記第2の複数の変数が、前記最適な変数の集合でない場合は、前記第1の複数の変数を前記第2の複数の変数と等しく設定するようにさらに構成される、請求項23記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361920710P | 2013-12-24 | 2013-12-24 | |
US201361920709P | 2013-12-24 | 2013-12-24 | |
US61/920,709 | 2013-12-24 | ||
US61/920,710 | 2013-12-24 | ||
PCT/US2014/070880 WO2015100105A1 (en) | 2013-12-24 | 2014-12-17 | Improving plenoptic camera resolution |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017504082A true JP2017504082A (ja) | 2017-02-02 |
JP6228300B2 JP6228300B2 (ja) | 2017-11-08 |
Family
ID=53400567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016525068A Active JP6228300B2 (ja) | 2013-12-24 | 2014-12-17 | プレノプティックカメラの分解能の改良 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9392153B2 (ja) |
JP (1) | JP6228300B2 (ja) |
DE (1) | DE112014005866B4 (ja) |
WO (1) | WO2015100105A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US9542742B2 (en) * | 2014-01-30 | 2017-01-10 | Ricoh Company, Ltd. | Estimation of the system transfer function for certain linear systems |
US9305375B2 (en) * | 2014-03-25 | 2016-04-05 | Lytro, Inc. | High-quality post-rendering depth blur |
US10317597B2 (en) * | 2014-08-26 | 2019-06-11 | The Board Of Trustees Of The Leland Stanford Junior University | Light-field microscopy with phase masking |
US9544583B2 (en) * | 2015-01-09 | 2017-01-10 | Ricoh Company, Ltd. | Object space calibration of plenoptic imaging systems |
AU2016233280B2 (en) | 2015-03-16 | 2021-03-25 | Magic Leap, Inc. | Augmented reality pulse oximetry |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
EP3094076A1 (en) * | 2015-05-13 | 2016-11-16 | Thomson Licensing | Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter |
FR3038193B1 (fr) * | 2015-06-26 | 2018-07-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de conception d'un systeme d'imagerie, filtre spatial et systeme d'imagerie comportant un tel filtre spatial |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
CN106254750B (zh) * | 2015-08-31 | 2019-04-26 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置 |
DE102015011427B4 (de) | 2015-09-01 | 2019-01-17 | Thomas Engel | Bildaufnahmesystem und Bildauswertesystem |
KR102379691B1 (ko) | 2016-04-08 | 2022-03-25 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
US20190257987A1 (en) * | 2016-06-07 | 2019-08-22 | Airy3D Inc. | Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
JP6990198B2 (ja) | 2016-06-09 | 2022-01-12 | エーエスエムエル ネザーランズ ビー.ブイ. | 投影システムモデリング方法 |
CN117770757A (zh) | 2016-07-25 | 2024-03-29 | 奇跃公司 | 光场处理器系统 |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
CN110537122B (zh) | 2017-02-23 | 2022-04-29 | 奇跃公司 | 基于偏振转换的可变焦虚拟图像设备 |
CN106803892B (zh) * | 2017-03-13 | 2019-12-03 | 中国科学院光电技术研究所 | 一种基于光场测量的光场高清晰成像方法 |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
CN115047548A (zh) | 2017-05-24 | 2022-09-13 | 纽约市哥伦比亚大学理事会 | 色散工程化介电超表面的宽带消色差平坦光学部件 |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
EP3676973A4 (en) | 2017-08-31 | 2021-05-05 | Metalenz, Inc. | INTEGRATION OF LENS WITH PERMEABLE METAL SURFACE |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
US11089265B2 (en) | 2018-04-17 | 2021-08-10 | Microsoft Technology Licensing, Llc | Telepresence devices operation methods |
JP7281901B2 (ja) * | 2018-12-27 | 2023-05-26 | 東京エレクトロン株式会社 | 基板処理装置、および基板処理方法 |
CN109801273B (zh) * | 2019-01-08 | 2022-11-01 | 华侨大学 | 一种基于极平面线性相似度的光场图像质量评价方法 |
US11270464B2 (en) | 2019-07-18 | 2022-03-08 | Microsoft Technology Licensing, Llc | Dynamic detection and correction of light field camera array miscalibration |
US11064154B2 (en) | 2019-07-18 | 2021-07-13 | Microsoft Technology Licensing, Llc | Device pose detection and pose-related image capture and processing for light field based telepresence communications |
US11553123B2 (en) | 2019-07-18 | 2023-01-10 | Microsoft Technology Licensing, Llc | Dynamic detection and correction of light field camera array miscalibration |
US11082659B2 (en) | 2019-07-18 | 2021-08-03 | Microsoft Technology Licensing, Llc | Light field camera modules and light field camera module arrays |
US11978752B2 (en) | 2019-07-26 | 2024-05-07 | Metalenz, Inc. | Aperture-metasurface and hybrid refractive-metasurface imaging systems |
US20220283431A1 (en) * | 2019-08-12 | 2022-09-08 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Optical design and optimization techniques for 3d light field displays |
US11927769B2 (en) | 2022-03-31 | 2024-03-12 | Metalenz, Inc. | Polarization sorting metasurface microlens array device |
CN114494258B (zh) * | 2022-04-15 | 2022-08-30 | 清华大学 | 镜头的像差预测和图像重建方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242841A (ja) * | 2011-05-23 | 2012-12-10 | Ricoh Co Ltd | プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量 |
JP2013531807A (ja) * | 2010-05-21 | 2013-08-08 | イーストマン コダック カンパニー | 低熱応力複屈折画像レンズ |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466207B1 (en) | 1998-03-18 | 2002-10-15 | Microsoft Corporation | Real-time image rendering with layered depth images |
WO2004063989A2 (en) * | 2003-01-16 | 2004-07-29 | D-Blur Technologies Ltd. | Camera with image enhancement functions |
JP2005094740A (ja) | 2003-08-08 | 2005-04-07 | Ricoh Co Ltd | 画像処理装置、画像形成装置及び画像処理方法 |
US7336430B2 (en) | 2004-09-03 | 2008-02-26 | Micron Technology, Inc. | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture |
JP4752031B2 (ja) | 2004-10-01 | 2011-08-17 | ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ | 撮像の装置と方法 |
JP4718952B2 (ja) | 2005-09-27 | 2011-07-06 | 富士フイルム株式会社 | 画像補正方法および画像補正システム |
US7623726B1 (en) | 2005-11-30 | 2009-11-24 | Adobe Systems, Incorporated | Method and apparatus for using a virtual camera to dynamically refocus a digital image |
WO2007092581A2 (en) | 2006-02-07 | 2007-08-16 | The Board Of Trustees Of The Leland Stanford Junior University | Correction of optical aberrations |
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
US8570426B2 (en) | 2008-11-25 | 2013-10-29 | Lytro, Inc. | System of and method for video refocusing |
US20130113981A1 (en) | 2006-12-01 | 2013-05-09 | Lytro, Inc. | Light field camera image, file and configuration data, and methods of using, storing and communicating same |
US8559705B2 (en) * | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
US20100265385A1 (en) | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
US8290358B1 (en) | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
KR101483714B1 (ko) | 2008-06-18 | 2015-01-16 | 삼성전자 주식회사 | 디지털 촬상 장치 및 방법 |
GB2465793A (en) | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
US8289440B2 (en) | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
US7949252B1 (en) | 2008-12-11 | 2011-05-24 | Adobe Systems Incorporated | Plenoptic camera with large depth of field |
US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
US20120249550A1 (en) | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
ATE551841T1 (de) * | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
KR101600010B1 (ko) | 2009-09-22 | 2016-03-04 | 삼성전자주식회사 | 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 |
KR101608970B1 (ko) | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
US8749620B1 (en) | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
US20140176592A1 (en) | 2011-02-15 | 2014-06-26 | Lytro, Inc. | Configuring two-dimensional image processing based on light-field parameters |
JP2012252321A (ja) | 2011-05-10 | 2012-12-20 | Canon Inc | 画像撮影システムおよびその制御方法 |
US8811769B1 (en) | 2012-02-28 | 2014-08-19 | Lytro, Inc. | Extended depth of field and variable center of perspective in light-field processing |
US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
US8948545B2 (en) | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
US8994845B2 (en) | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
WO2013169671A1 (en) | 2012-05-09 | 2013-11-14 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
US8978981B2 (en) * | 2012-06-27 | 2015-03-17 | Honeywell International Inc. | Imaging apparatus having imaging lens |
-
2014
- 2014-12-17 DE DE112014005866.1T patent/DE112014005866B4/de active Active
- 2014-12-17 US US14/573,651 patent/US9392153B2/en active Active
- 2014-12-17 WO PCT/US2014/070880 patent/WO2015100105A1/en active Application Filing
- 2014-12-17 US US14/573,319 patent/US9628684B2/en active Active
- 2014-12-17 JP JP2016525068A patent/JP6228300B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013531807A (ja) * | 2010-05-21 | 2013-08-08 | イーストマン コダック カンパニー | 低熱応力複屈折画像レンズ |
JP2012242841A (ja) * | 2011-05-23 | 2012-12-10 | Ricoh Co Ltd | プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量 |
Also Published As
Publication number | Publication date |
---|---|
DE112014005866T5 (de) | 2016-11-10 |
US20150178923A1 (en) | 2015-06-25 |
US9628684B2 (en) | 2017-04-18 |
JP6228300B2 (ja) | 2017-11-08 |
DE112014005866B4 (de) | 2018-08-02 |
US9392153B2 (en) | 2016-07-12 |
WO2015100105A1 (en) | 2015-07-02 |
US20150181091A1 (en) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6228300B2 (ja) | プレノプティックカメラの分解能の改良 | |
US9900510B1 (en) | Motion blur for light-field images | |
US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
US9420276B2 (en) | Calibration of light-field camera geometry via robust fitting | |
US9305375B2 (en) | High-quality post-rendering depth blur | |
Balcaen et al. | Stereo-DIC calibration and speckle image generator based on FE formulations | |
US9865032B2 (en) | Focal length warping | |
JP2019509569A (ja) | 曲面ディスプレイ画面用のパース補正 | |
WO2018210318A1 (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
US10957021B2 (en) | Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium | |
JP2007304600A (ja) | 光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計 | |
US11869172B2 (en) | Kernel reshaping-powered splatting-based efficient image space lens blur | |
JP2015535091A (ja) | 視野の深度を推定する能力があるパッシブシングルチャネルイメージャの設計方法 | |
US9058684B1 (en) | Level of detail blurring and 3D model data selection | |
JP5926626B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
CN112685919B (zh) | 手柄追踪效果评估方法 | |
JP5760558B2 (ja) | カメラシミュレーション装置、カメラシミュレーション方法、及びカメラシミュレーションプログラム | |
JP2020187626A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
GB2533449B (en) | Configuration settings of a digital camera for depth map generation | |
KR20240018150A (ko) | 영상 잡음 제거 방법 및 장치 | |
AU2015202282A1 (en) | Camera parameter optimisation for depth from defocus | |
Fallqvist | Automatic Volume Estimation Using Structure-from-Motion Fused with a Cellphone's Inertial Sensors | |
Smit et al. | A simulator-based approach to evaluating optical trackers | |
EP3924942A1 (en) | Efficient image population from captured scene | |
Smit et al. | A Framework for Performance Evaluation of Model-Based Optical Trackers. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161027 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161027 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6228300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |