JP2012242841A - プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量 - Google Patents

プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量 Download PDF

Info

Publication number
JP2012242841A
JP2012242841A JP2012116519A JP2012116519A JP2012242841A JP 2012242841 A JP2012242841 A JP 2012242841A JP 2012116519 A JP2012116519 A JP 2012116519A JP 2012116519 A JP2012116519 A JP 2012116519A JP 2012242841 A JP2012242841 A JP 2012242841A
Authority
JP
Japan
Prior art keywords
plenoptic
imaging
array
imaging system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012116519A
Other languages
English (en)
Other versions
JP6064368B2 (ja
Inventor
Shroff Sapna
シュロフ サプナ
Barkner Catherine
バークナー キャサリン
David G Stork
ジー ストーク デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2012242841A publication Critical patent/JP2012242841A/ja
Application granted granted Critical
Publication of JP6064368B2 publication Critical patent/JP6064368B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】プレノプティックイメージングシステムのフォーカシングを特徴付けるための計量を提供する。
【解決手段】一つの態様において、計量は、プレノプティックイメージの高い周波数のコンテント及び／又はぼやけることに基づいたものである。
【選択図】図１

Description

この発明は、一般にはプレノプティックイメージングシステムに、及びより詳しくはプレノプティックイメージングシステムのフォーカシングに、関係する。
プレノプティックイメージングシステムは、最近、増加した注目を受けてきたものである。それを、取得されたプレノプティックイメージのディジタル処理をすることに基づいて、対象の異なるフォーカスの点又は視点を再度算出するために使用することができる。プレノプティックシステムは、また、瞳のアパーチャの平面において多モードのフィルターアレイを使用する、多モードのイメージングにおける用途を見出す。各々のフィルターは、センサーにイメージングされると共に、フィルターの平面に各々のイメージングの様相について対象のマルチプレックス化されたイメージを有効に生じさせる。プレノプティックイメージングシステムについての他の用途は、変動する視野の深度のイメージング及び高いダイナミックレンジのイメージングを含む。
しかしながら、あるものは、幾何光学の考察を超えて行くものであるプレノプティックイメージングシステムの光学設計についての限定された文献である。これまでは、これらのシステムについての文献の大部分は、コンピュータービジョン、グラフィック、及びディジタル処理をするアルゴリズムのエリア、−どのようにしてプレノプティックシステムのセンサーで取得されたデータの“光の場”の性質をさらに処理するかということ−、に集中させられたものである。これらのアルゴリズムは、プレノプティックイメージと共に、それらが取得された後にすることがどのようなものであるかということに焦点を合わせる。追加として、それらのアルゴリズムの多数のものは、プレノプティックイメージングシステムに対して特異的なものではないものである；それらを、マルチレンズイメージングシステム（互いに対して隣接して取り付けられたマルチプルカメラ）のような、完全に異なる構成に直接的に移すことができる。この働きの本体は、プレノプティックイメージングシステムが良好に設計されてきた、製造されてきた、及び組み立てられてきたものであることを仮定する。しかしながら、あるものは、どのようにしてプレノプティックイメージングシステムを現実に設計する、製造する、又は組み立てるかということを説明するあまり多量なものではない文献である。
一つの例として、プレノプティックイメージングシステムを“フォーカシング”することを考察する。センサーに対象の鮮鋭なイメージを生じさせる為に、どのように従来のイメージングシステムをフォーカシングするかということについての多くのことは、知られたものである。しかしながら、“インフォーカス”であるものであるプレノプティックイメージングシステムは、センサーアレイに対象の鮮鋭なイメージを生じさせるものではないものである。プレノプティックイメージングシステムにおいて、センサーアレイは、イメージの平面に共役な平面に置かれるものではないものである。従って、従来のフォーカシングの判断基準は、プレノプティックシステムをフォーカシングすることに適当なものではないものである。回折の効果を含む、プレノプティックシステムを設計する為に、システムの質を測るために使用することができるものである適当な評価の計量を得ることは、望ましいことである。
このように、あるものは、そのような判断基準についての要望である。
本発明は、センサーアレイによって取得されたプレノプティックイメージに基づいたプレノプティックイメージングシステムにおける構成部品の軸方向のスペーシング（即ち、“デフォーカス”）を調節するためのアプローチを提供することによって先行技術の限定を克服する。
プレノプティックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを含む。“インフォーカス”のものであるプレノプティックイメージングシステムは、センサーアレイに対象の鮮鋭なイメージを生じさせるものではないことになる。このように、従来のイメージングシステムに使用されたものとは異なるフォーカシングの計量が要求される。一つのアプローチにおいて、一次のイメージングサブシステムに相対的な二次のイメージングアレイの軸方向の位置は、センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて調節される。異なるバリエーションにおいては、これは、プレノプティックイメージにおけるリンギングの周波数に、プレノプティックイメージにおけるリンギングによって引き起こされたリプルの数に、又は、プレノプティックイメージにおけるリンギングの平坦度若しくはコントラストに、基づいた計量を使用することによって達成される。
さらには、プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて二次のイメージングアレイに相対的なセンサーアレイの軸方向の位置を調節することができる。追加として、一度、二次のイメージングアレイ及び／又はセンサーアレイのインフォーカスの位置が決定されてしまったものであると、対象までの距離を見積もることができる。
これらの原理を他の方式においてもまた使用することができる。例えば、それらをオートフォーカスの可能性を備えたプレノプティックイメージングシステムについての基礎として使用することができる。交互に、それらを現存するイメージングシステムへとプレノプティックセンサーモジュール（即ち、センサーアレイを加えた二次のイメージングアレイ）を組み込むために使用することができる。最後の例として、プレノプティックイメージに基づいたメリット関数をプレノプティックイメージングシステムのための設計プロセスに使用することができる。
当該発明の他の態様は、方法、デバイス、システム、及び上に記載された原理に関係した用途を含む。
当該発明は、他の利点及び特徴を有するが、それらは、付随する図面と併せて考慮されたとき、後に続く発明の詳細な説明及び添付された請求項からより容易に明白なものであることになる。
図１は、プレノプティックイメージングシステムの単純化された図である。 図２ａ〜２ｄは、インフォーカスシステムの応答を示すシミュレートされたイメージである。 図３ａ〜３ｄは、ｚ２におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。 図４ａ〜４ｄは、ｚ３におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。 図５は、プレノプティックイメージングシステムを整列させるためのフロー図である。 図６ａは、ｚ２の関数としての平坦度のプロットである。 図６ｂは、ｚ２の関数としての低い周波数のリプルの数のプロットである。 図７ａは、ｚ３の関数としてのエッジの鮮鋭度のプロットである。 図７ｂは、ｚ３の関数としてのエッジの幅のプロットである。 図８は、オートフォーカスを備えたプレノプティックイメージングシステムの図である。 現存するイメージングシステムへ組み込まれたプレノプティックセンサーモジュールの図である。 現存するイメージングシステムへ組み込まれたプレノプティックセンサーモジュールの図である。 図１０は、プレノプティックイメージングシステムを設計するためのフロー図である。
図は、例示の目的のみのために本発明の実施形態を描く。当業者は、ここに例示された構造及び方法の代替の実施形態がここに記載された発明の原理から逸脱すること無く用いられることがあることを後に続く議論から容易に認識することになる。
図及び後に続く記載は、例示のみの方式による好適な実施形態に関係する。後に続く議論から、ここに開示された構造及び方法の代替の実施形態が、請求されるものの原理から逸脱することなく用いられることがあるものである現実味のある代替品として容易に認識されることになることは、留意されるべきことである。
サンプル構成。
図１は、プレノプティックイメージングシステムの単純化された図である。システムは、（図１において単一のレンズによって表現された）一次のイメージングサブシステム１１０、（小型レンズアレイによって表現された）二次のイメージングアレイ１２０、及びセンサーアレイ１３０を含む。これらは、図１においてサブシステム１及びサブシステム２と称された、二つの重なり合うイメージングサブシステムを形成する。
空間的な座標（ξ，η）は、対象の平面で、（ｘ，ｙ）は、イメージングサブシステム１についての瞳の平面で、（ｕ，ｖ）は、小型レンズアレイの平面で、及び、（ｔ、ｗ）は、センサーの平面で、使用されることになる。一次のレンズは、対象からの距離ｚ１であると共に、小型レンズアレイは、一次のレンズからの距離ｚ２であると共に、センサーは、小型レンズアレイからの距離ｚ３である。図１において、異なる構成部品は、各々、単一の平面に位置させられたものであるのだから、構成部品の間における距離は、定義することが簡単なものである。しかしながら、他のシステムにおいては、異なる構成部品は、より複雑なものであることがある（例．一次の“レンズ”は、レンズのセットであることがある）が、しかし、知られた原理を使用することで距離ｚ１、ｚ２、ｚ３の概念を一般化することができる。一次のレンズ及び小型レンズアレイの焦点距離は、ｆ１及びｆ２によって表現されたものであると共に、それらの直径は、それぞれ、Ｄ１及びＤ２である。追加として、異なる構成部品は、図１に示されたような正確に設計される必要がないものである。例えば、“一次のレンズ”は、レンズ、ミラー、及び二つのものの組み合わせを含む、素子の様々な組み合わせであることがきできると思われる。同様に、二次のイメージングアレイは、ピンホールアレイ、又は反射性のアレイであることができると思われる。
イメージングサブシステム１において、対象１５０は、“一次のイメージ”と称されることになるものであるイメージを生じさせるために一次のレンズ１１０によってイメージングされる。この一次のレンズ１１０は、カメラのイメージングレンズである、顕微鏡の対物系のレンズである、又はいずれの他のそのようなイメージングシステムでもある、ことがある。小型レンズアレイ１２０は、おおよそ一次のイメージの場所に置かれる。そのとき、各々の小型レンズは、センサーの平面へ一次のレンズの瞳をイメージングする。これは、イメージングサブシステム２であるが、それは、イメージングサブシステム１と部分的に重なり合う。センサーアレイ１３０に作り出されたイメージは、“一次のイメージ”との混同を回避するために“プレノプティックイメージ”と称されることになる。プレノプティックイメージを、小型レンズの各々に対応する、サブイメージのアレイへと分割することができる。しかしながら、サブイメージが、イメージングサブシステム１の瞳のイメージであると共に、対象１５０のものではない、ことに留意すること。
波の伝播の分析。
今、波の伝播に基づいてこのシステムを分析する。第一のイメージングサブシステムを考察するが、そこでは一次のレンズは、一般化された瞳関数Ｐ１を有する。それの対応するインパルス応答は、
Figure 2012242841
 によって与えられるが、そこではλは、イメージングの波長、ｋ＝２π／λであると共に、対象からイメージの平面までの倍率は、Ｍ＝−ｚ２／ｚ１によって与えられる。等式（１）における積分においてｘ’＝ｘ／λｚ２及びｙ’＝ｙ／λｚ２を代入することは、
Figure 2012242841
 を生み出すが、そこでは我々は、
Figure 2012242841
 として便宜のためにｈ１’を定義しておいたものである。これは、
Figure 2012242841
 へ等式（１）を換算する。
そのとき、複素数の場Ｕ０を有する対象は、
Figure 2012242841
 によって与えられた、小型レンズアレイの平面にイメージを生じさせる。等式（４）及び（５）を使用すること、並びに、ξ’＝Ｍξ及びη’＝Ｍηを代入することは、
Figure 2012242841
 を生み出す。上の等式を（記号＊によって指し示された）畳み込み：
Figure 2012242841
 として書くことができる。これは、小型レンズアレイの平面に一次のレンズによって形成された第一のイメージの場を生み出す。
我々は、各々の小型レンズが直径Ｄ２、焦点距離ｆ２、Ｐ２によって与えられた瞳関数を有すると共にアレイにあるものは、Ｍ’×Ｎ’個のそのような小型レンズであることを仮定する。そのとき、小型レンズアレイの後における場Ｕｉの振幅の分布は、
Figure 2012242841
 のように書かれることがある。
小型レンズアレイから距離ｚ３に位置させられるものである、センサーへこの場を伝播させるためにフレネル（Ｆｒｅｓｎｅｌ）変換を使用することで、
Figure 2012242841
 を生み出す。さらに、単純化は、
Figure 2012242841
 を与える。等式（１０）を使用することで、センサーで取得されたプレノプティックイメージは、
Figure 2012242841
 によって与えられる。
シミュレーションの結果。
我々は、一般的な蛍光性のものではない点の対象についてＭａｔｌａｂにおいてこの分析をシミュレーションしたと共に、システムにおける軸方向の距離を変動させることの効果を試験した。一次のレンズ及び小型レンズアレイの焦点距離は、ｆ１＝５１ｍｍ及びｆ２＝５ｍｍであった。一次のレンズのアパーチャは、直径Ｄ１＝１０ｍｍの円に内接させられた五角形である。五角形の形状は、瞳の効果及び対象の効果がより明白なものであると思われるように、選択されたものであった。対象は、一次のレンズから対象の距離ｚ１＝５００ｍｍにあるものである。多数の小型レンズのアレイにおける各々の小型レンズは、直径Ｄ２＝０．５ｍｍを備えた円形のものである。一次のレンズの平面からの小型レンズアレイの理想的な距離は、ｚ２＝１／（１／ｆ１−１／ｚ１）に基づいて、５６．８ｍｍであることが算出された。小型レンズアレイからのセンサーについての理想的な距離は、ｚ３＝１／（１／ｆ２−１／ｚ２）によって与えられた、５．５ｍｍである。
簡潔さの目的のために、我々は、軸上の小型レンズ及び軸上の対象の点のみについてシミュレーションの結果を表示する。しかしながら、分析及びシミュレーションは、軸外の対象の点及び小型レンズについて妥当なままである。例えば、軸上の対象の点は、インフォーカスであるとすれば軸上の小型レンズにフォーカシングされたスポットを生じさせることになるものである、一次のイメージを生じさせることになる。点源のアレイであるものである対象を使用することによってアレイにおける小型レンズの全て（又は選択されたサブセット）について類似の状況を生じさせることができるが、各々の点源は、対応する小型レンズにイメージングされる。
インフォーカスシステム。図２ａ−２ｄは、それがインフォーカスにあるものであるときに、このシステムの応答を示すシミュレートされたイメージである。これらの条件の下では、第一のイメージングサブシステムは、完璧なフォーカスにあるものである。よって、軸上の点の対象は、小型レンズアレイの平面におけるしっかりとフォーカシングされたスポットへイメージングされるが、それは、第一のイメージングサブシステムのインパルス応答に対応する。そのとき、それは、軸上の小型レンズの有限な広がりによって切り取られる。切り取られたインパルス応答は、図２ａに示される。インパルスは、それのかすかな詳細を強調するために図２ａにおいて｜Ｕ’ｉ｜０．１として表示される。インパルス応答の中心から放射する五つのスジは、我々のシミュレーションにおいては一次のレンズの五つの辺を有する（五角形の）瞳のフーリエ（Ｆｏｕｒｉｅｒ）変換に対応する。五角形の形状は、純粋に例示の目的のために選択された。円形の境界は、円形の小型レンズのエッジに対応する。
そのとき、この場Ｕ’ｉは、等式（１１）に与えられた強度Ｉｆとしてセンサーへ伝播されると共にそれにおいて取得される。図２ｂ−２ｄは、プレノプティックイメージの一つのサブイメージを示す。対象が、点源であるので、サブイメージは、一次のレンズの五角形に整形された瞳のイメージである。図２ｂは、Ｉｆ ０．１を表示すると共に、図２ｃは、これの拡大された部分を示す。図２ｄは、図２ｃと同じ拡大された部分を示すが、しかし、Ｉｆ ２．５が、切り取りによるエッジにおける細かいリングを示すために表示される。便宜にために、我々は、瞳イメージ関数（ＰＩＦ）として、点の対象について各々の小型レンズによって生じさせられた、瞳のこのイメージを参照する。
ｚ１、ｚ２、及びｚ３がインフォーカスにあるものである理想的な事例において、あるものは、瞳イメージ関数の内部に細かいへりであると共に、エッジは、図２ｄに見られるような小さい鮮鋭なオーバーシュートを有する。しかしながら、全体的に、ＰＩＦのエッジは、鮮鋭なものであると共に、内部は、相対的に平坦なものである。
ｚ２のデフォーカス。今、ｚ２におけるデフォーカスの誤差の効果を考察する。正確なｚ１及びｚ３を仮定すると、我々は、今、ｚ２の値における不正確の効果を試験する。我々は、ｚ１＝５００ｍｍ及びｚ３＝５．５ｍｍを保持した。しかし、５６．８ｍｍの代わりに、我々は、ｚ２＝５４ｍｍを使用する。図３ａ−３ｄは、ｚ２におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
図３ａは、小型レンズによって切り取られた、第一のイメージングサブシステムのインパルス応答を示す。図３ａに示されたように、ｚ２の値におけるデフォーカスは、小型レンズアレイが、軸方向の位置に置かれるが、そこでは、第一のイメージングサブシステムのインパルス応答が、いくらかのデフォーカスを含有することを暗示する。従って、小型レンズアレイは、一次のレンズのこのデフォーカスされたインパルス応答を取得すると共に切り取る。これは、さらに、センサーへ伝播されると共に、図３ｂ−３ｄにおいて示された瞳イメージ関数として取得される。図３ｂ及び３ｃは、それぞれ、Ｉｆ ２．５及びＩｆ ０．１を表示する。図３ｄは、図３ｃの拡大された図である。ＰＩＦは、内部におけるリンギングを示す（図３ｂ及び２ｂを比較する）が、しかし、図３ｃ−３ｄは、一次のレンズの瞳の五角形に整形されたイメージのエッジが、相対的に鮮鋭なままであることを示す。これは、多分、第一のイメージングサブシステムにおけるデフォーカスにもかかわらず、センサーに一次のレンズの瞳をイメージングするものである第二のイメージングサブシステムが、ｚ２における変動に対してより大きい公差を有すると共に適度にフォーカシングされたままであるためである。
ｚ３のデフォーカス。今、ｚ３におけるデフォーカスの誤差の効果を考察する。正確なｚ１及びｚ２を仮定すると、我々は、今、ｚ３の値における不正確の効果を試験する。我々は、ｚ１＝５００ｍｍ及びｚ２＝５６．８ｍｍを保持した。しかし、５．５ｍｍの代わりに、我々は、ｚ３＝５ｍｍを使用する。図４ａ−４ｄは、ｚ３におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
図４ａは、第一のイメージングサブシステムのインパルス応答を示す。期待されたように、ｚ３における不正確は、第一のイメージングサブシステムに影響を有するものではない。従って、対象の点は、小型レンズアレイに正確にイメージングされる。しかしながら、ｚ３におけるデフォーカスは、第二のイメージングサブシステムにおけるデフォーカスを作り出す。図４ｂ及び４ｃは、それぞれ、Ｉｆ ２．５及びＩｆ ０．１を表示する。図４ｄは、図４ｃの拡大された図である。図４ｃ−４ｄは、たとえＰＩＦの内部が図４ｂに示されたように相対的に平坦なものであるとしても、五角形に整形された瞳のイメージのエッジが、今、ぼやけさせられたものであることを示す。
いくつかの用途。
上に示されたように、ＰＩＦのエッジにおけるぼけは、ｚ３におけるデフォーカスのインジケーターであると共に、ＰＩＦの内部におけるリンギング（より一般的には、ＰＩＦにおける高い周波数のコンテントの量）は、ｚ２におけるデフォーカスのインジケーターである。これらのインジケーターを多数の異なる方式で使用することができる。例えば、それらを、プレノプティックイメージングシステム内における構成部品の正しい軸方向のスペーシングを決定することを助けるために使用することができる。どの特性が観察されるかに依存して、一次のイメージングサブシステム及び二次のイメージングアレイの間における距離（ｚ２）及び／又は二次のイメージングアレイ及びセンサーアレイの間における距離（ｚ３）のいずれかが、調節されることがある。この整列は、プレノプティックイメージングシステムの組み立ての間に起こることがある、又は、それは、視野におけるプレノプティックイメージングシステムのオートフォーカス又はマニュアルフォーカスの調節として実施されることがある。現存するイメージングシステムが、プレノプティックセンサーモジュール（即ち、センサーアレイを加えた二次のイメージングアレイ）で現存するセンサーアレイを取り替えるによってプレノプティックイメージングシステムへ転換されるとき、整列は、また起こることがある。その事例においては、プレノプティックセンサーモジュールは、現存するシステムにおける一次のイメージング光学部品に対して整列させられるものでなければならない。
別の使用は、システムの設計の工程の間におけるものである。あるものが、プレノプティックイメージングシステムの質を取得するものであるあまり良好に定義されたものではない計量であるので、従来のレンズ設計のソフトウェアを使用することでプレノプティックイメージングシステムを設計することは、困難なことである。しかしながら、上の特性に基づいた計量を、今、デフォーカスに対してプレノプティックイメージングシステムを最適化するために使用することができる。最後の例の用途として、上の特性を、対象の距離ｚ１を見積もるために逆の様式で使用することができる。最適な距離ｚ２及びｚ３が（例．ぼけ及び高い周波数の特性を最適化することによって）知られたものであるとすれば、そのとき、これを、対象の距離ｚ１を見積もるために使用することができる。
可能性のある計量。
平坦度／高い周波数のコンテントの計量。ｚ２（即ち、一次のイメージングサブシステム及び二次のイメージングアレイの分離）におけるデフォーカスは、ＰＩＦの内部におけるリンギングによって特徴付けられる。より一般には、それは、ＰＩＦにおける高い周波数のコンテントの量によって特徴付けられる。ｚ２が、フォーカスへとやって来ると、リンギングは、より高い周波数のもの及びより少なく変調されたものになる（即ち、内部が、より平坦なものになるように、あるものは、より多い隆起、しかしより低いコントラストを備えたもの、である）。これは、ＰＩＦにおける高い周波数のコンテントが増加するものであるためである。これらの特性を測定するために異なる計量を使用することができる。例えば、計量は、リンギングのピーク及び谷（即ち、局所的な極大及び極小）の数を数えること、極大及び極小の検出についての勾配の分析、空間的な周波数の分析（例．ある一定の周波数より上に含有された百分率のエネルギー又は周波数にわたるエネルギーの分布）、又はリンギングの平坦度（例．ＤＣレベルによって割られた変調）に基づいたものであることができる。
この判定規準の自動化された検出の二つの例は、Ｍａｔｌａｂにおけるイメージを処理する機能を使用する。一つの例の計量は、Ｍａｔｌａｂにおける機能“ｉｍｒｅｇｉｏｎａｌｍａｘ”でＰＩＦの内部におけるピークを数える。この機能は、局所的な近隣におけるピークを検出する。我々は、ＰＩＦの内側で検出されたピークの合計の数を総計する。ＰＩＦの内部はより平坦なものになるとき、それにおける局所的なピーク（リプル）は、より細かいものになると共に、数において増加する。従って、ｚ２における減少するデフォーカスは、増加する数の局所的なピークによって特徴付けられるべきである。
別の例の計量は、“慎重な”エッジ検出器を使用することの選択肢を備えたＭａｔｌａｂの機能“ｅｄｇｅ”に基づいたものである。この機能は、細かい局所的な変動に対してあまり敏感なものではないものであると共に、（局所的なピークが単一のピクセルであることがあるｉｍｒｅｇｉｏｎａｌｍａｘとは違った）ＰＩＦの内部におけるより長い連続のエッジを検出する。ＰＩＦが、より平坦なものになると、ＰＩＦが、細かい局所的な変動によってより多く支配されるので、これらの低い周波数のピークから谷までのリプルの数は、減少する。従って、ｚ２のデフォーカスが減少すると、慎重なエッジ検出器は、より少数のエッジを見出す。
ぼけの計量：ＰＩＦのエッジのまわりのぼけを、例えば、鮮鋭度又はコントラストの検出のアルゴリズムを使用することによって、検出することができる。一つの例は、ｘ又はｙの次元（行又は列）のいずれかに沿ったＰＩＦの導関数を取ることに基づいたものである。ＰＩＦは、それの導関数が最大の勾配を示すものであるが、最も鮮鋭なエッジを含有すると共に、ｚ３の最適な位置を指し示すべきものである。シミュレーションにおいて、我々は、導関数を得るためにＭａｔｌａｂの機能“ｄｉｆｆ（ＰＩＦ，１）”を使用した。ｄｉｆｆ（ＰＩＦ，１）におけるピークから谷までの差異は、そのＰＩＦについて最も大きい勾配であるために、近似されたものである。この勾配は、ｚ３におけるデフォーカスが減少するにつれて、増加するべきものである。
別のぼけの計量は、ＰＩＦのエッジを閾値処理すること及び選択された閾値より上の値を有するものである全てのピクセルを数えることに基づいたものである。ぼけが低減するにつれて、エッジにおけるピクセルの数は、減少するべきものである。
この現象は単語“ぼけ”を使用することで記載されてきたものであるが、しかし、鮮鋭度、コントラスト、等についての計量が、またぼけの尺度であることがあることは理解されるべきことであることに留意すること。
例の自動化された整列
図５は、上に記載された原理に基づいて、プレノプティックイメージングシステムを整列させるためのフロー図である。この例においては、ｚ２及びｚ３を正確に算出することは可能性のあるものではないことであるように、対象が未知の対象距離ｚ１にあるものであることが、仮定される。代わりに、ｚ２及びｚ３は、後に続くもののように調節される。初期のセッティングをする際に、ｚ３は、ｆ２へセットされる５１０。その次に、ｚ２は、センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて調節される５２０。その次に、ｚ３は、ＰＩＦにおけるぼけを低減することに基づいて調節される５３０。ステップ５２０及び５３０は、繰り返される又は交換されることがある。交互に、ｚ２及びｚ３は、高い周波数及びぼけの特性の両方を説明するものである計量に基づいて同時に調節されることがある。より詳細なことは、先に導入された例のプレノプティックイメージングシステムを使用することで、下に与えられる。
ステップ５１０において、センサーアレイは、小型レンズアレイの後方のフォーカスの平面へ移動させられる、即ち、ｚ３＝ｆ２＝５ｍｍ。これを、コリメートされた光を使用すること及びそれをセンサーにおける引き締まったスポットへフォーカシングするための小型レンズアレイを使用することで実験的にすることができる。
ステップ５２０において、我々は、ｚ３が一定のままである一方でｚ２が変化するように、一斉に小型レンズアレイ及びセンサーアレイを移動させる５２２。センサーアレイは、ｚ２の異なる値でプレノプティックイメージを取得する５２５。平坦度の計量は、これらの異なる値で算出される５２６。この例において、ｚ１＝５００ｍｍ及びｚ３＝ｆ２＝５ｍｍである。図６ａは、ｚ２〜５４ｍｍから５８ｍｍまでについてｉｍｒｅｇｉｏｎａｌｍａｘによって検出された局所的なピークにおけるピクセルの数をプロットする。このプロットは、ｚ２＝５６．８ｍｍで最大を示す。図６ｂは、ｚ２〜５４ｍｍから５８ｍｍまでについての慎重なエッジ検出器によって検出されたエッジにおけるピクセルの数をプロットする。それは、また、ｚ２＝５６．８ｍｍで最小を示す。二つの異なる計量についてのこれらの曲線は、両方とも、小型レンズアレイについての軸方向の位置ｚ２＝５６．８ｍｍが、ＰＩＦについて最も平坦な内部を与えることを示す５２７。このように、小型レンズアレイは、この場所にセットされる５２９。そのように、ｚ１＝５００ｍｍ及びｚ２＝５６．８ｍｍである。
ステップ５３０において、我々は、ｚ３が変化するように、センサーを移動させる５３２。ステップ５２０への類似の手順は、使用される。センサーアレイは、ｚ３の異なる値でプレノプティックイメージを取得する５３５。ぼけの計量は、これらの異なる値で算出される５３６。図７ａは、Ｍａｔｌａｂにおける関数ｄｉｆｆ（ＰＩＦ，１）を使用することで得られた、（行に沿った）ＰＩＦの導関数における最大から最小までの差異をプロットする。プロットは、ｚ３＝５．５ｍｍについて最大を示す。図７ｂは、ｚ３＝５．１ｍｍから５．８ｍｍまでについて閾値処理されたエッジのぼけにおけるピクセルの数をプロットする。それは、また、ｚ３＝５．５ｍｍで最小を示す。二つの異なるぼけの計量についてのこれらの曲線は、両方とも、センサーアレイについての軸方向の位置ｚ３＝５．５ｍｍが、最も多くぼけを低減することを示す５３７。このように、センサーアレイは、この場所へセットされる５３９。
図６から７までが、各々、三つの異なる小型レンズについてのプロットを示すことに留意すること。小型レンズアレイが多数の小型レンズを含有すると共に、それらの各々がプレノプティックイメージ内に対応するサブイメージを生じさせることを思い出すこと。このアレイの性質を異なる方式で扱うことができる。例えば、様々な計量（ぼけ、平坦度、高い周波数のコンテント、等）を各々のサブイメージについて算出すると共にこれらの計量を最適化のために単一の計量へと組み合わせることができる。組み合わせることについての二つの共通の方法は、（重みがつけられた平均化をすることを含む）平均化することに、又は、最も悪い事例を取ることに、基づいたものである。また、計量を、全てのサブイメージについて、又は、ちょうどサブイメージのサブセット若しくはサンプリングについて、算出することができる。プレノプティックイメージにおける異なる波長を、類似の様式で取り扱うことができる。プレノプティックイメージングシステムが、ある範囲の対象の距離について固定された位置を有するとすれば、そのとき対象の距離における変動をもまた、類似の様式で（例．異なる対象の距離における性能の何らかの組み合わせを取ることによって）取り扱うことができる。プレノプティックイメージングシステムは、瞳において対応するフィルターを置くことによって異なるサブイメージについて異なるフィルター処理をすることを果たすために一般的に使用される。例えば、異なる波長のフィルターは、瞳における異なる場所で使用されることがある。異なるサブイメージにわたる性能をもまた類似の様式で取り扱うことができる。
より多くの用途
プレノプティックイメージングシステムが、調節可能なものであるとすれば、そのとき、上に記載された原理をオートフォーカスの機構において実施することができる。図８は、オートフォーカスを備えたプレノプティックイメージングシステムのブロック図である。オートフォーカスの機構８５０は、センサーアレイ１３０によって取得されたプレノプティックイメージを受けると共に、取得されたイメージに基づいて、距離ｚ２及び／又はｚ３を調節する。一つのアプローチにおいて、距離は、図５に記載されたもののようなアルゴリズムに基づいて調節される。
他の用途において、ｚ１は、ｚ２及び／又はｚ３に追加して又はそれ（ら）の代わりに変動させられることがある。例えば、二次のイメージングアレイからセンサーアレイまでの距離が固定されたもの（即ち、固定されたｚ３）であるとすれば、対象の距離ｚ１を調節することによってプレノプティックイメージングシステムをフォーカシングすることは、可能性のあることであることがある。
別のアプローチにおいて、ルックアップテーブルは、ｚ２の異なる値に対応するものであるｚ３の値を列挙する。距離ｚ２は、取得されたプレノプティックイメージに基づいて決定されると共に、距離ｚ３は、ルックアップテーブルに基づいて決定される。
別のバリエーションとして、一度ｚ２及び／又はｚ３が決定されると、それらを、対象の距離ｚ１を見積もるために使用することができる。ルックアップテーブルは、ハードウェアにおけるソフトウェア／チップにおけるファームウェアに格納されたものであることがある。
なおも別のアプローチにおいて、プレノプティックイメージングシステムは、単一の調節の使用によって、手動で又は自動的にいずれかでフォーカシングされる。例えば、ｚ２についての一つの調節及びｚ３についての第二の調節を提供することの代わりに、ｚ２及びｚ３は、結合させられると共に一つの調節を通じて一緒に変動させられることがある。この結合させることは、上に記載された原理に基づいたものであることがある。類似のアプローチを、ｚ１、ｚ２、及びｚ３の中からの他の距離が調節可能なものである事例について、使用することができる。
類似のアプローチは、図９ａ−９ｂに示されたように、現存するイメージングシステムがプレノプティックイメージングシステムへ転換されるとき、使用されることがある。図９ａは、現存するイメージングシステムを示すが、それは、一次のレンズ９１０及び従来の一次のイメージを取得するものであるセンサーアレイ９３２を含む。図９ｂに示されたように、従来のセンサーアレイ９３２は、プレノプティックセンサーモジュール９２０によって取り替えられるが、それは、二次のイメージングアレイ１２０及びセンサーアレイ１３０を含む。プレノプティックセンサーモジュールの改装は、上に記載されたような、一次のイメージングサブシステム９１０とのモジュールの整列を含む。
別の態様において、記載された原理を、図１０のフロー図に示されたように、設計の局面の間にもまた使用することができる。候補の設計１０１０についての瞳イメージ関数は、算出される１０２０。ＰＩＦは、高い周波数のコンテントの計量１０３０及び／又はぼけの計量１０４０を算出するために使用される。計量が十分に良好なものであるとすれば、そのとき、レンズの設計は、完了させられる１０５０。そうでなければ、設計は、繰り返される１０６０。他のアプローチをもまた使用することができる。例えば、異なる計量又は計量の組み合わせを使用することができると思われる。高い周波数のコンテントの計量のみ又はぼけの計量のみを使用することができると思われる、又は、二つのものを組み合わせる又は（二乗平均平方根の波面の誤差又はスポットのサイズのような）他の計量とこれらの計量を組み合わせるものである計量を使用することができると思われる。別の代替案として、計量を、直接的に瞳イメージ関数を算出すること無しに評価することができると思われる。
詳細な説明が多数の特定のものを含有するとはいえ、これらは、発明の範囲を限定するものとしてではなく、単に発明の異なる例及び態様を例示するものとして、解されるべきものである。発明の範囲が、上に詳細に議論されたものではない他の実施形態を含むことは、認識されるべきことである。当業者に明らかなものであることになる様々な他の変更、変化、及び変動は、添付された請求項において定義されたような発明の趣旨及び範囲から逸脱することなしにここに開示された本発明の方法及び装置の配置、動作、及び詳細においてなされることがある。従って、発明の範囲は、添付された請求項及びそれらの法律上の均等物によって決定されるべきものである。
［付記］
付記（１）：
プレノプテイックイメージングシステムをフォーカシングするための方法であって、
前記プレノプテイックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを具備するものであると共に、
前記方法は、
前記センサーアレイによって取得された対象のプレノプテイックイメージを受けること、及び、
前記プレノプテイックイメージンにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節すること
を具備する、方法。
付記（２）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプティックイメージにおけるリンギングの周波数を増加させることに基づいたものである、方法。
付記（３）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングによって引き起こされたリプルの数を増加させることに基づいたものである、方法。
付記（４）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングの平坦度を増加させることに基づいたものである、方法。
付記（５）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数のサブイメージにおける高い周波数のコンテントを説明する計量に基づいたものである、方法。
付記（６）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数の波長における高い周波数のコンテントを説明する計量に基づいたものである、方法。
付記（７）：
付記（１）の方法であって、
前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置を調節すること
をさらに具備する、方法。
付記（８）：
付記（１）の方法において、
前記対象は、少なくとも一つの点の対象を含む、方法。
付記（９）：
付記（８）の方法において、
前記対象は、点の対象のアレイを含むと共に、
各々の点の対象は、前記二次のイメージングアレイにおける個々のイメージング素子に対応するものである、
方法。
付記（１０）：
付記（１）の方法において、
前記プレノプティックイメージングシステムは、前記プレノプティックイメージ内の異なるサブイメージについての異なる波長のフィルターを含む、方法。
付記（１１）：
付記（１）の方法であって、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置に基づいて、前記対象までの距離を見積もること
をさらに具備する、方法。
付記（１２）：
付記（１）の方法において、
前記一次のイメージングサブシステムは、反射性のサブシステムである、方法。
付記（１３）：
付記（１）の方法において、
前記二次のイメージングアレイは、マイクロレンズアレイである、方法。
付記（１４）：
付記（１）の方法において、
前記二次のイメージングアレイは、ピンホールアレイである、方法。
付記（１５）：
プレノプティックイメージングシステムを自動的に設計するためのコンピューターで実施される方法であって、
前記プレノプティックイメージングシステム内の一次のイメージングサブシステム及び二次のイメージングアレイのための候補の設計を含むものである、前記プレノプティックイメージングシステムのための候補の設計にアクセスすること、
プレノプティックイメージにおける高い周波数のコンテントに関する軸の方向に沿って単調なものである計量を算出すること、並びに、
前記プレノプティックイメージにおける前記高い周波数のコンテントを増加させる様式で前記計量を改善することに基づいて、前記候補の設計を調節すること
を具備する、方法。
付記（１６）：
オートフォーカスのプレノプティックイメージングシステムであって、
一次のイメージングサブシステム、
おおよそ前記一次のイメージングサブシステムのための一次のイメージの場所に位置決めされた二次のイメージングアレイ、
おおよそ前記二次のイメージングアレイのための瞳のイメージの場所に位置決めされたセンサーアレイ、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するオートフォーカス機構
を具備する、プレノプティックイメージングシステム。
付記（１７）：
付記（１６）のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、ルックアップテーブルをさらに具備すると共に、
前記オートフォーカス機構は、前記ルックアップテーブルに基づいて前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、
プレノプティックイメージングシステム。
付記（１８）：
付記（１７）のプレノプティックイメージングシステムにおいて、
前記ルックアップテーブルは、チップ又はソフトウェアに格納されたものである、
プレノプティックイメージングシステム。
付記（１９）：
付記（１６）のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、プレノプティックイメージングシステム。
付記（２０）：
現存するイメージングシステムにプレノプティックセンサーモジュールを組み込むための方法であって、
前記プレノプティックセンサーモジュールは、二次のイメージングアレイ及びセンサーアレイを具備するものであると共に、
前記方法は、
おおよそ前記現存するイメージングシステムのための一次のイメージの場所に前記プレノプティックセンサーモジュールを位置決めすること、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記現存するイメージングシステムに相対的な前記プレノプティックセンサーモジュールの軸方向の位置を調節すること
を具備する、方法。

Claims (20)

  1. プレノプテイックイメージングシステムをフォーカシングするための方法であって、
    前記プレノプテイックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを具備するものであると共に、
    前記方法は、
    前記センサーアレイによって取得された対象のプレノプテイックイメージを受けること、及び、
    前記プレノプテイックイメージンにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節すること
    を具備する、方法。
  2. 請求項１の方法において、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプティックイメージにおけるリンギングの周波数を増加させることに基づいたものである、方法。
  3. 請求項１の方法において、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングによって引き起こされたリプルの数を増加させることに基づいたものである、方法。
  4. 請求項１の方法において、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングの平坦度を増加させることに基づいたものである、方法。
  5. 請求項１の方法において、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数のサブイメージにおける高い周波数のコンテントを説明する計量に基づいたものである、方法。
  6. 請求項１の方法において、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数の波長における高い周波数のコンテントを説明する計量に基づいたものである、方法。
  7. 請求項１の方法であって、
    前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置を調節すること
    をさらに具備する、方法。
  8. 請求項１の方法において、
    前記対象は、少なくとも一つの点の対象を含む、方法。
  9. 請求項８の方法において、
    前記対象は、点の対象のアレイを含むと共に、
    各々の点の対象は、前記二次のイメージングアレイにおける個々のイメージング素子に対応するものである、
    方法。
  10. 請求項１の方法において、
    前記プレノプティックイメージングシステムは、前記プレノプティックイメージ内の異なるサブイメージについての異なる波長のフィルターを含む、方法。
  11. 請求項１の方法であって、
    前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置に基づいて、前記対象までの距離を見積もること
    をさらに具備する、方法。
  12. 請求項１の方法において、
    前記一次のイメージングサブシステムは、反射性のサブシステムである、方法。
  13. 請求項１の方法において、
    前記二次のイメージングアレイは、マイクロレンズアレイである、方法。
  14. 請求項１の方法において、
    前記二次のイメージングアレイは、ピンホールアレイである、方法。
  15. プレノプティックイメージングシステムを自動的に設計するためのコンピューターで実施される方法であって、
    前記プレノプティックイメージングシステム内の一次のイメージングサブシステム及び二次のイメージングアレイのための候補の設計を含むものである、前記プレノプティックイメージングシステムのための候補の設計にアクセスすること、
    プレノプティックイメージにおける高い周波数のコンテントに関する軸の方向に沿って単調なものである計量を算出すること、並びに、
    前記プレノプティックイメージにおける前記高い周波数のコンテントを増加させる様式で前記計量を改善することに基づいて、前記候補の設計を調節すること
    を具備する、方法。
  16. オートフォーカスのプレノプティックイメージングシステムであって、
    一次のイメージングサブシステム、
    前記一次のイメージングサブシステムのための一次のイメージの場所に位置決めされた二次のイメージングアレイ、
    前記二次のイメージングアレイのための瞳のイメージの場所に位置決めされたセンサーアレイ、及び、
    前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するオートフォーカス機構
    を具備する、プレノプティックイメージングシステム。
  17. 請求項１６のプレノプティックイメージングシステムにおいて、
    前記オートフォーカス機構は、ルックアップテーブルをさらに具備すると共に、
    前記オートフォーカス機構は、前記ルックアップテーブルに基づいて前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、
    プレノプティックイメージングシステム。
  18. 請求項１７のプレノプティックイメージングシステムにおいて、
    前記ルックアップテーブルは、チップ又はソフトウェアに格納されたものである、
    プレノプティックイメージングシステム。
  19. 請求項１６のプレノプティックイメージングシステムにおいて、
    前記オートフォーカス機構は、前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、プレノプティックイメージングシステム。
  20. 現存するイメージングシステムにプレノプティックセンサーモジュールを組み込むための方法であって、
    前記プレノプティックセンサーモジュールは、二次のイメージングアレイ及びセンサーアレイを具備するものであると共に、
    前記方法は、
    前記現存するイメージングシステムのための一次のイメージの場所に前記プレノプティックセンサーモジュールを位置決めすること、及び、
    前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記現存するイメージングシステムに相対的な前記プレノプティックセンサーモジュールの軸方向の位置を調節すること
    を具備する、方法。
JP2012116519A 2011-05-23 2012-05-22 プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量 Expired - Fee Related JP6064368B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/113,952 US8531581B2 (en) 2011-05-23 2011-05-23 Focusing and focus metrics for a plenoptic imaging system
US13/113,952 2011-05-23

Publications (2)

Publication Number Publication Date
JP2012242841A true JP2012242841A (ja) 2012-12-10
JP6064368B2 JP6064368B2 (ja) 2017-01-25

Family

ID=46022107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012116519A Expired - Fee Related JP6064368B2 (ja) 2011-05-23 2012-05-22 プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量

Country Status (3)

Country Link
US (2) US8531581B2 (ja)
EP (1) EP2528321A3 (ja)
JP (1) JP6064368B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504082A (ja) * 2013-12-24 2017-02-02 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
US8761534B2 (en) * 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
US9395516B2 (en) 2012-05-28 2016-07-19 Nikon Corporation Imaging device
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9030591B2 (en) * 2012-07-20 2015-05-12 Apple Inc. Determining an in-focus position of a lens
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9030580B2 (en) * 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
KR101476820B1 (ko) * 2014-04-07 2014-12-29 주식회사 썸텍 3ｄ 비디오 현미경 장치
US9883798B2 (en) * 2014-11-14 2018-02-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US10117579B2 (en) 2014-11-14 2018-11-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
JP6938500B2 (ja) 2015-12-16 2021-09-22 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 少なくとも１つのプレノプティックビデオをリフォーカシングする方法及びモジュール
FR3046256B1 (fr) * 2015-12-23 2018-01-05 Thales Zoom plenoptique a portee optimisee
CN107347129B (zh) * 2016-05-05 2020-02-14 中强光电股份有限公司 光场相机
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10304172B2 (en) * 2017-06-01 2019-05-28 Ricoh Company, Ltd. Optical center detection in plenoptic imaging systems
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11030776B2 (en) * 2019-02-01 2021-06-08 Molecular Devices (Austria) GmbH Calibration of a light-field imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229125A (ja) * 2008-03-19 2009-10-08 Sharp Corp 距離測定装置および距離測定方法
US20100026852A1 (en) * 2006-02-07 2010-02-04 Yi-Ren Ng Variable imaging arrangements and methods therefor
US20100141802A1 (en) * 2008-12-08 2010-06-10 Timothy Knight Light Field Data Acquisition Devices, and Methods of Using and Manufacturing Same
JP2010178333A (ja) * 2009-01-30 2010-08-12 Samsung Electronics Co Ltd 可変モジュレーターを利用した光フィールドデータの獲得装置及びその方法
JP2011027901A (ja) * 2009-07-23 2011-02-10 Sigma Corp 撮像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950704670A (ko) * 1993-09-30 1995-11-20 가따다 데쯔야 공초점광학장치
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US5629765A (en) * 1995-12-15 1997-05-13 Adaptive Optics Associates, Inc. Wavefront measuring system with integral geometric reference (IGR)
WO2001037025A1 (en) * 1999-11-16 2001-05-25 Agilent Technologies, Inc. Confocal imaging
US7260323B2 (en) * 2002-06-12 2007-08-21 Eastman Kodak Company Imaging using silver halide films with micro-lens capture, scanning and digital reconstruction
WO2005043893A1 (ja) * 2003-11-04 2005-05-12 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
WO2007044725A2 (en) * 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
JP4264569B2 (ja) * 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4969474B2 (ja) * 2007-02-09 2012-07-04 オリンパスイメージング株式会社 復号方法、復号装置、及び復号プログラム
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US8019215B2 (en) * 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
US7949252B1 (en) * 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US8358365B2 (en) * 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
CN102472664A (zh) * 2009-08-11 2012-05-23 皇家飞利浦电子股份有限公司 多光谱成像
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5421207B2 (ja) * 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
US8665341B2 (en) * 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8619179B2 (en) * 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026852A1 (en) * 2006-02-07 2010-02-04 Yi-Ren Ng Variable imaging arrangements and methods therefor
JP2009229125A (ja) * 2008-03-19 2009-10-08 Sharp Corp 距離測定装置および距離測定方法
US20100141802A1 (en) * 2008-12-08 2010-06-10 Timothy Knight Light Field Data Acquisition Devices, and Methods of Using and Manufacturing Same
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP2010178333A (ja) * 2009-01-30 2010-08-12 Samsung Electronics Co Ltd 可変モジュレーターを利用した光フィールドデータの獲得装置及びその方法
JP2011027901A (ja) * 2009-07-23 2011-02-10 Sigma Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504082A (ja) * 2013-12-24 2017-02-02 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良

Also Published As

Publication number Publication date
US20120300091A1 (en) 2012-11-29
EP2528321A2 (en) 2012-11-28
EP2528321A3 (en) 2013-10-23
US9471728B2 (en) 2016-10-18
JP6064368B2 (ja) 2017-01-25
US8531581B2 (en) 2013-09-10
US20140019098A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
JP6064368B2 (ja) プレノプティックイメージングシステムのためのフォーカシング及びフォーカスの計量
JP5832424B2 (ja) 撮像装置及び距離計測方法
US9001262B2 (en) Image sensor and image capturing apparatus
JP4295818B2 (ja) 回折光学素子の光学特性測定方法および回折光学素子の光学特性測定装置
JP5869883B2 (ja) 画像処理装置
WO2012017577A1 (ja) 撮像装置および撮像方法
US9531963B2 (en) Image capturing device and image capturing system
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5677366B2 (ja) 撮像装置
EP2572226A1 (en) Autofocus imaging
CN106233125B (zh) 共聚焦线检验光学系统
EP3196686B1 (en) Optical system and photographing apparatus
US20180270409A1 (en) Image pickup apparatus and image pickup system
JP2008249909A (ja) 撮像装置及び光学系
CN108364342B (zh) 光场显微系统及其三维信息重构方法和装置
US8149287B2 (en) Imaging system using restoration processing, imaging apparatus, portable terminal apparatus, onboard apparatus and medical apparatus having the imaging system
JP5587264B2 (ja) 調整方法、調整装置、及び、撮像装置の製造方法
JP2007212214A (ja) レンズ系の製造方法とその評価装置とその評価方法
JP2015072444A (ja) 立体によるピント調整方法及びそのシステム
US9007689B2 (en) Method and apparatus for forming multiple images
JP2007212620A (ja) レンズ系の製造方法と評価装置および評価方法
CN104880913A (zh) 一种提高工艺适应性的调焦调平系统
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
KR20130128226A (ko) 광학 수단 및 영상 촬영 장치
JP6446794B2 (ja) ステレオカメラ及び光学系

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R151 Written notification of patent or utility model registration

Ref document number: 6064368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees