JP2012507250A - 光学画像装置、光学画像処理装置および光学画像形成方法 - Google Patents

光学画像装置、光学画像処理装置および光学画像形成方法 Download PDF

Info

Publication number
JP2012507250A
JP2012507250A JP2011543783A JP2011543783A JP2012507250A JP 2012507250 A JP2012507250 A JP 2012507250A JP 2011543783 A JP2011543783 A JP 2011543783A JP 2011543783 A JP2011543783 A JP 2011543783A JP 2012507250 A JP2012507250 A JP 2012507250A
Authority
JP
Japan
Prior art keywords
image
image detector
optical path
optical
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011543783A
Other languages
English (en)
Other versions
JP5379241B2 (ja
Inventor
アンドレーアス ブリュックナー
ジャック ドゥパッレ
フランク ウィッペルマン
ペーター ダンベルグ
アンドレーアス ブロイエル
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2012507250A publication Critical patent/JP2012507250A/ja
Application granted granted Critical
Publication of JP5379241B2 publication Critical patent/JP5379241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

光学画像装置1000は、少なくとも2つのマイクロレンズ10a,10bを有するマイクロレンズ・フィールド10と、少なくとも2つの画像検出器マトリクス30を有する画像センサと、を備えている。画像検出器マトリクス30は、それぞれ、複数の画像検出器を含む。画像検出器は画像センサの1画素に対応する。画像検出器マトリクス30とマイクロレンズ・フィールド10との間の配置が存在し、その結果、それぞれのマイクロレンズ10a,10bは、画像検出器マトリクス30と共に光路を形成する。異なる画像検出器マトリクス30の中心点は、画像検出器マトリクス30上に映し出された、関連した光路のマイクロレンズ窓13a,13bの図心に関して、異なる距離だけ横方向に移行されている。
【選択図】図1

Description

本発明は、例えば、携帯端末装置の小型カメラシステムの中で使用される光学画像装置、光学画像処理装置および光学画像形成方法に関する。
電子装置および光電子装置の小型化は別として、携帯端末装置(携帯電話、PDA、ラップトップなど)の小型カメラシステムの使用は、画像形成対物レンズの小型化を要求する。このための前提条件は、短い長さの画像形成物および少ない点数の光学部品(特にレンズ素子)である。しかしながら、画像センサの筋交いの減少を増やすことは、レンズの構成をより簡単にする代わりに、レンズの高解像度能力および高光強度が達成されなければならないことを必要とする。画像センサの筋交いの減少は、半導体パターン技術(より小さい光ダイオードは、同じ画像領域上の、より多数の画素数と等しい)の開発と、センサ製造コストの減少とによって支援される。既存のレンズ設計解決法は、現在の生産技術の可能性を尽くした、わずかな、しかし、複雑な(通常、非球面の)レンズ形式によって特徴付けられる。さらに、既存のレンズ設計解決法を実行するとき、そのような複雑な領域の品質管理に不十分な測定方法と、開始するために必要な非常に正確な横方向および軸方向の実装精度とによって、そのような小型カメラレンズまたは対物レンズの光学部品は、制限される。小型カメラモジュールの既存の解決法は、要求仕様、または、コストに関する集積(組み立て)業者およびユーザの期待に合致しない。
小型カメラレンズの確立した製造方法は、超精密に処理された金型挿入器にプラスチック射出成形することによる、単一レンズおよび実装部の生成である。通常、レンズは、実装部と共に、2部品射出成形で製造される。個々の部品は、その後、プラグ挿入実装部に実装され、積極的な接続(捻り接触、接着)によって固定される。しかしながら、この方法は、十分な位置調整精度での、5×5×5mm3より小さい組み立てサイズを有する小型化された対物レンズの製造に適用されない。さらに、そのような小型部品の供給、実装および接続技術の問題が生じる。詳細には、部品の取り扱いに関する問題は、静電気(装置のわずかな重量と寸法)と、繊細な光学表面の汚染および掻き傷の危険と、のために生じる。これらの理由のため、製造費用の80%以上は、組み立て工程のために費やされる。ハイブリッド実装技術(空気マイクロ把持器と同様に、感覚的に機械的かつ電気的に支援された実装技術)において、より小さいレンズの取り扱いに関する先進的手法が存在する。しかし、この実装技術は、大量生産(例えば、携帯電話のためのカメラレンズ)に対して、大幅に費用が上昇する。さらに、より高い解像度形式のハイブリッド生産技術によって、能動的位置決め(例えば、プラスチックレンズの圧電アクチュエータ)が、光電子画像コンバータ(画像センサ)上に対物レンズを実装する許容範囲のバランスをとるために要求される。これはユニット価格の更なる増加をもたらす。
5×5×5mm3より小さいサイズ範囲の対象物のための別の方法は、ウエハーレベル上のレンズ(WLOウエハーレベルレンズ)の製造である。ここで、それぞれの単一レンズのための「道具の先(ツールビット)」が、基板ウエハー(ウエハーレベルレンズモジュール)上における個々の部品の繰り返しUV(紫外線)複製(ステップおよび繰り返し工程)のために、使用される。「道具の先」は、超精度の処理(例えば、ダイヤモンドカット法)によって生成される。あるいはまた、常に同じ個々の部品を有する完全なツールウエハーが、超精度の処理によって生成され、その後、ウエハーレベル上におけるただ1つのUV複製ステップの中で、複製される。同じタイプの多くのレンズ、スペーサ、および窓が、このようにして、並行して製造される。その後のステップにおいて、個々のウエハー基板は軸方向に互いに接着され、多数の対物レンズを有するウエハー積層体が得られる。これは、マイクロエレクトロニクス製造の工程およびシステムを使用する並行製造技術である。小型化されたレンズ(しかしながら、従来のマイクロレンズと比べて大きい)のためのマイクロレンズのこれらの製造方法を使用する主な欠点は、適した再生産道具の高い製造コストと、例えば、材料の収縮、または、高角度点(100μmより高い)のマイクロレンズのUV複製の中の達成可能な表面輪郭の収縮による制限された精度と、である。さらに、複製性(再生産性)および品質検査に関する問題は、特に、このサイズの複雑なレンズ形式を特徴付けたまま残っている。モジュールは、これまで、他の全ての光学部品に接続された状態で、部品および製造ステップの数に依存して歩留まりが強く減少する画像形成方法を使用して、検査されるだけである。
さらに、昆虫の複眼と同格の技術的実行を表す平坦な光学画像センサの配置が、存在している。この非常に小型のマルチ光路画像システムにおいて、光検出器(画素)はそれぞれのマイクロレンズに関連している。
また、以下において、光検出器は、部分的に画像検出器または光ダイオードとも称される。
それぞれのマイクロレンズに対する光検出器のオフセット(相殺)のために、小さいサイズにもかかわらず、非常に大きい視野が広がる。しかしながら、1光路当たり1つの光検出器の使用のために、光検出器フィールド(CMOSまたはCCD画像センサ)の広い領域が、適度の画像解像度能力を達成するために必要である。これは、対応する小型画像センサの製造コストをかなり上昇させる。
特許文献1および特許文献2は、人工的複眼に基づいたマルチ光路画像システムについて説明する。ここで、1つの画像検出器が、各光路に割り当てられる、または、異なる機能を有するいくつかの画像検出器が、各光路に割り当てられる。その結果、各光路は、対象物フィールドの狭く限られた領域だけを占める。
特許文献3および特許文献4は、人工的複眼に基づいた別のマルチ光路画像システムについて説明する。マルチ光路屈折/回折画像レンズおよび区分された視野を有する小型のデジタルカメラが、説明される。システムは、分散レンズ区域として実行されるレンズのフィールド配置から成る。感光性の画像センサフィールドは、レンズの焦点長に位置している。軸方向において、レンズフィールドの前に、傾斜側壁とレンズフィールドに関して一層大きい間隔とを有する2つの窓フィールドが、視野のサイズを指示するために使用される。光学クロストーク(混線)を抑制するために、光吸収材料の垂直壁が、隣接する光路の間に提供される。
非特許文献1は、光学画像形成のための別のマルチ光路配置を示す。非特許文献1から、マルチ光路配置が知られている。光電子画像センサのマイクロ画像は、それぞれに関連したマイクロレンズの下の、軸方向の中心に位置している。垂直な不透明壁を有する隣接する光路は、互いに分離されている。しかしながら、この配置を使用して、小さい対象物フィールドだけが検出される。小さい対象物距離(約2m未満)に対して、同じ対象物点に関する隣接する光路の透視(視差)のオフセットの発生のため、光路ごとに、画像センサの光ダイオード群に関して画像形成しているマイクロ画像の副画素移行が、得られる。副画素移行は、超解像度アルゴリズムによって、多数の低解像度マイクロ画像から、高解像度の全体画像を計算する。この配置は、原則に従って、小さい対象物距離と小さい対象物フィールドサイズとのために使用されるだけである。さらに、この方法は、超解像度アルゴリズム(画像処理から知られている)が、高い複雑度を有するので、画像読み出しおよび処理時間が増加する。
独国特許出願 DE10 2004 003 013.8 国際公開第2005/069607号 米国特許第005696371A号 欧州特許第0840502A2号
J.タニダ、T.クマガイ、K.ヤマダ、S.ミヤタケ(「制限されたレンズ(Tombo)概念による薄い観測モジュールと実験的検証」応用光学40、1806〜1813ページ、2001年4月
代わりの回避の技術的可能性は、1光路レンズに接続された、光電子画像センサのための非常に小さい光ダイオード(画素)の使用である。その結果、短い長さのレンズで、小さい画像筋交いは、縁部において、小さい対象物フィールド角(小さい軸外れ異常と低い窓食)をもたらし、また、小さい対象物フィールドだけを検出する欠点をもたらす。この小型化された1光路レンズのために、非常に小さい長さと十分な画質とを有する相対的に小さいレンズが、使用される。この結果、ここでも、発明の(石版の)技術が、ウエハーレベル上で回避される。しかしながら、小さい画素は、小さい感光性領域の欠点、すなわち、レンズの同じ開口絞りで、全体配置の低感度化の欠点を有する。
まとめると、従来技術において、低背と高画質とを結合し、同時に、周知のマイクロ光学製造技術によって、優れた費用対効果で製造される画像装置の有利な構造は、存在しない、ことが注目される。
それゆえに、本発明の主たる目的は、低背かつ高画質を達成でき、同時に、マイクロ光学製造技術によって優れた費用対効果が実現される、光学画像装置、光学画像処理装置および光学画像形成方法を提供することである。
本目的は、請求項1に記載の装置、請求項14に記載の画像処理装置および請求項15に記載の方法により達成される。
本発明は、少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールドと、少なくとも2つの画像検出器マトリクスを有する画像センサと、を有している光学画像装置(例えば、マルチ光路画像および画像記録システムとも称される)を提供する。少なくとも2つの画像検出器マトリクス(例えば、光ダイオード群、光ダイオードマトリクス、または、光ダイオードフィールドとも称される)は、それぞれ、多数の画像検出器を含む。
それぞれのマイクロレンズは、1つの画像検出器マトリクスと共に光路を形成するように、画像検出器マトリクスとマイクロレンズとの間の配置が存在する。画像検出器マトリクスの中心は、関連した光路のマイクロレンズ窓の図心に関して、異なる距離だけ横方向に移行されている。図心は、画像検出器マトリクス上に映し出される。こうして、異なる光路は、異なるけれども部分的に重複している検出領域を有する。2つの光路の2つの検出領域の重複部分は、画像検出器マトリクスの画像検出器ラスタ(水平方向の走査線)に関して、オフセット(相殺)方法で、光路の画像検出器マトリクス上に作像される。
本発明の主要な考えは、対象物フィールドをいくつかの部分的領域に分割して、それぞれの部分的領域を、マイクロレンズ・フィールドの少なくとも1つのマイクロレンズで、関連画像検出器マトリクス上に作像することによって、光学画像装置を提供することが可能である、ということである。異なる光路の検出領域の重複のために、対象物フィールドの部分的領域は、光路のいくつかの画像検出器マトリクスによって、並行して検出される。
その結果、本発明の利点は、別々の光路において、対象物フィールドの部分的領域の並行検出が、それぞれの個別の光路の短い焦点長、および、拡張された対象物フィールドのための画像装置の構築長(背高)の減少を許容する、ということである。さらに、小さい対象物フィールドに接続された短い焦点長は、全体の対象物フィールドに関して、それぞれの個別の光路ごとに、1光路当たり簡素な光学部品(例えば、低い頂点または低い角度点を有する屈折レンズ)の使用を可能にする。さらに、最大の視野が、横方向の寸法(例えば、光路の数)によって決定され、その結果、構築長、組立長、または、それぞれの個別の光路の光学的組み立ての複雑さから基本的に独立していることは、利点である。それとは別に、光路の検出領域の重複のために、高い画像解像度能力が、従来技術の人工的複眼と比較して、達成される。さらに、その低い複雑度およびサイズのために、光学装置が、確立されたマイクロ光学製造技術(レーザ刻み付け、写真製版、溶解もしくは逆溶解(リフロー)、ウエハーレベル上のUV複製)で、生成される。これらの技術は、洗練され、非常に正確で費用対効果に優れているので、大量生産に使用される。
更なる面は、画像処理装置が、画像エラーを修正して全体画像を再構成するための画像処理手段を含むとき、より高い画質が達成される、という発見に基づいている。画像処理手段は、個別の画像の挟み込みが考慮されるように、互いに独立した全ての画像検出器マトリクスの個別の画像の画像エラーを、時間的に並行して修正し、全体像を個別の画像から再構築することを実行する、ように構成されている。
その結果、本発明の更なる利点は、画像エラーを修正するための画像処理手段を有している画像処理装置によって、より高い画質が達成されることである。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の発明を実施するための形態の説明から一層明らかとなろう。
本発明に係る第1実施形態の光学画像装置を示す模式図である。 付加的抽出格子を有する第1実施形態による対象物フィールド抽出を示す模式図である。 本発明に係る第2実施形態の光学画像装置を示す模式平面図である。 第2実施形態の光学画像装置による対象物フィールド抽出を示す模式図である。 第2実施形態の光学画像装置の部分的領域を示す模式平面図である。 図5の部分的領域によって考慮された対象物フィールドを示す模式図である。 追加されたスペクトル伝達フィールド(領域パターン)を有する第2実施形態の光学画像装置を示す一部模式平面図である。 図7の部分的領域によって考慮された対象物フィールド領域を示す模式図である。 第2実施形態の光学画像装置の中央の対象物フィールド領域における歪みを示す模式図である。 傾斜した入射角の下での、第2実施形態の光学画像装置の外側の対象物フィールド領域における歪みを示す模式図である。 正の樽型歪みの基本的コースを示す模式図である。 格子対象物を有する第2実施形態の光学画像装置の正方形の対象物領域の画像歪みを示す模式図である。 画像センサの受光面上の、第2実施形態の光学画像装置の主ビームおよび第3実施形態の光学画像装置の主ビームの傾斜角を示す模式図である。 対象物フィールドの最も重要な抽出原則を示す模式図である。 本発明に係る第2実施形態の光学画像装置を示す模式断面図である。 本発明に係る第3実施形態の光学画像装置を示す模式断面図である。 本発明に係る第4実施形態の光学画像装置を示す模式断面図である。 本発明に係る第5実施形態の光学画像装置を示す模式断面図である。
図1は、本発明に係る第1実施形態の光学画像装置1000の模式図である。光学画像装置1000は、第1マイクロレンズ10aと第2マイクロレンズ10bとを有するマイクロレンズ・フィールド10を含む。画像センサ30はマイクロレンズ・フィールド10の下に位置している。この画像センサ30は、第1画像検出器マトリクス30aと第2画像検出器マトリクス30bとを含む。2つの画像検出器マトリクス30a,30bは、それぞれ、複数の(例えば、3つの)画像検出器32a,32bを含む。第1マイクロレンズ10aは、第1画像検出器マトリクス30aに関連し、第1画像検出器マトリクス30aと供に第1光路を形成する。第2マイクロレンズ10bは、第2画像検出器マトリクス30bに関連し、第2画像検出器マトリクス30bと共に第2光路を形成する。画像検出器マトリクス30a,30bの中心34a,34bは、関連マイクロレンズ10a,10bまたは関連光路のマイクロレンズ窓13a,13bの図心に関して、横方向にオフセット(相殺)されている。図心は、画像検出器マトリクス30a,30b上に映し出される。
第1実施形態の光学画像装置1000の構造の記述に基づいて、機能が議論される。対象物800は、2つのマイクロレンズ10a,10bによって、それぞれに関連した画像検出器マトリクス30a,30b上に作像される。第1光路および第2光路は、それらの検出領域の中で重複する。マイクロレンズ10a,10bに向かった画像検出器マトリクス30a,30bの中心34a,34bの横方向のオフセットのため、2つの検出領域の重複部分は、画像検出器マトリクス30a,30bの画像検出器上にオフセット作像される。
さらに、抽出格子はそれぞれの光路(図2参照)に関連している。第1光路の抽出格子810は、対象物800のどの対象物点が、第1光路の画像検出器マトリクス30aのどの画像検出器上に作像されるか、を説明する。そして、第2光路の抽出格子820は、対象物800のどの対象物点が、第2光路の画像検出器マトリクス30bのどの画像検出器上に作像されるか、を説明する。
図2は、第1光路の抽出格子810と第2光路の抽出格子820とを有する対象物800の表面を示す。抽出格子810は実線によって図示され、抽出格子820は点線によって図示される。実線の交点は、第1光路の画像検出器マトリクス30aの画像検出器上に作像された対象物800の対象物セルを説明する。点線の交点は、第2光路の画像検出器マトリクス30bの画像検出器上に作像された対象物800の対象物セルを説明する。
抽出格子は、対象物800の第1対象物セル840が、第1光路の画像検出器マトリクス30aの第1画像検出器に作像されるように選択され、かつ、第1対象物セル840に隣接する第2対象物セル850が、第2光路の第2画像検出器マトリクス30bの第1画像検出器に作像されるように選択される。光路のこの「挟み込み」によって、これまで知られている人工的複眼原則より高い画像解像度が達成される。
以下において、本発明の別の実施形態が、図12〜図15を参照してさらに詳細に説明される。
図12〜図15の実施形態のマルチ光路のマイクロ光学画像形成と画像記録システムは、共通して以下の特性を有する。全てが、互いの軸方向の後ろに取り付けられた1つ以上のマイクロレンズ・フィールド10から成る。マイクロレンズ・フィールド10は、数個の(少なくとも部分的に透明な基板層20,21,22、および/または、スペーサー層40の)スタック上に成型され、または、複製される。完全な積層体は、光電子画像センサ100に取り付けられる。その結果、光電子画像センサ100は、マイクロレンズ・フィールド10のマイクロレンズの焦点長(または、画像平面や焦点面)に配置される。以下において、光電子画像センサ100は、簡潔に「画像センサ」または「画像センサチップ」とも称される。マイクロレンズ・フィールド10と光電子画像センサ100との間に、透明な窓または開口と、不透明な(すなわち、吸収または反射)スペースと、を有する少なくとも1つの窓フィールド層(12,12´)が、配置されている。別の特性は、マイクロレンズ・フィールド10のそれぞれのマイクロレンズに関連している。光電子画像センサ100の少なくとも5×5個の密に実装された画像検出器のマトリクス(すなわち、画像検出器マトリクス)30が、各光路の中で生じているマイクロ画像を読み出すために使用される。画像読み取りは、この場合、発生した電磁放射(光)から電子写真流への変換を含む。それは、行と列に配列されて、光ダイオードごとに(画素ごとに)読み出される。画像解像度は、光ダイオードのサイズと数に制限される。簡単な光学画像形成が、各光路の中で生じるとき、それぞれのマイクロ画像は、それ自体、逆さであり、回転している(図4のマイクロ画像44a〜44e参照)。それとは別に、それぞれの光路(すなわち、マイクロレンズの頂点と関連画像検出器マトリクス30の中心との間の接続線)の視点400の主方向と、全体が拡大された視野のサイズとは、関連光路または関連マイクロレンズのマイクロレンズ窓の図心に関して、それぞれのマイクロレンズから関連画像検出器マトリクス30にオフセット(相殺)された中心によって、または、画像検出器マトリクス30の中心点のオフセットによって、説明される。図心は、画像検出器マトリクス30上に映し出される。さらに、マイクロレンズの焦点長と供に、それぞれの画像検出器マトリクス30の拡張が、それぞれの光路の中で伝達された対象物フィールドの範囲を決定する。
さらに、少なくとも1つの窓フィールド11は、光がマイクロレンズ・フィールド(10)のギャップまたはスペースを通り抜けて、点在する光のように画像センサ100に達することを防止する。そうでなければ、これは画像コントラストを減少させる。
光路分離構造(例えば、水平な窓層、または、垂直もしくは傾斜した吸収壁)の使用は、光学クロストークを防止することにおいて賢明である(いくつかの場合には不可欠である)。すなわち、光は、マイクロレンズから、隣接する光路(または、さらに離れた光路)のマイクロ画像の領域の中に作像する。光学クロストークは、異なる対象物点から、全く同じ画像点上に達する光束の重なりをもたらす。その結果、画像コントラストが減少する。それぞれの光路が他の光路と独立して働いている場合、それぞれのマイクロ画像に属している光電子画像センサ100の領域(画像センサ)30を、それぞれの光路に分類することは、有利である。一方、これは、画像センサ100のチップ上に集積されたエレクトロニクス(例えば、光路ごとに分離された回路、SoC=「チップ上のシステム」)によって、光ダイオードフィールドの読み取り領域の物理的な分類によって達成される。または、これは、対応して分離された別のデータ処理によって(例えば、FPGA上の周辺、または、パーソナルコンピュータ(PC)上のソフトウェアによって)、半導体チップの外でも達成される。それぞれは、マイクロ画像を表示する。第1方法(画像センサのチップ上の物理的な分類)の場合、対象物に特に適合した画像センサが、使用されなければならない。それとは対照的に、第2方法の場合、適合している下流の画像処理ハードウェアまたはソフトウェアを有する従来の画像センサが使用される。しかしながら、ここに、従来の画像センサ上のマイクロ画像の間のギャップの中の活性画素は、暗くて、未使用のままで残る。大部分の活性画素は、暗電流雑音を修正するために役立つ。
隣接する光路のマイクロ画像の読み出し信号は、ハードウェアまたはソフトウェアの中で、完全な画像(例えば、図4の完全な画像再構成器60によって)を説明する。個々のマイクロ画像の能動的焦点合わせ手段は、マイクロレンズの短い焦点長、および、大きな深い焦点(または、焦点の深さ)のために必要ない。それとは別に、マイクロレンズ・フィールド10の個々のマイクロレンズの表面輪郭が、平均傾斜角に関して(特に、フィールドの湾曲と乱視に関して)修正される。これは、接線かつ矢状的方向に、焦点長を個別に適合させることによって実行される。その結果、マイクロ画像の中央における、対応する画像くぼみ部分は、画像平面に一致する。この適合によって、それぞれのマイクロレンズ・フィールド10の中のマイクロレンズの輪郭が生じる。マイクロレンズの輪郭は、回転対称から逸脱する(非不定形輪郭)。
マルチ光路画像形成対物レンズ(マイクロレンズ・フィールド、スペース層および窓)は、マイクロ光学製造方法(UV石版、溶解処理(リフロー方法)、UV複製、レーザ刻み付け、グレー陰影、2光子写真製版)によって有利に生成される。ここで、マイクロ光学対物レンズは、光電子画像センサ100上に、直接かつ平坦に実装されるので、マイクロ光学対物レンズの軸方向の位置決め精度は非常に高い。軸方向の許容範囲は、層の厚み許容範囲によって与えられる(μmの範囲内で)。横方向の実装許容範囲は、それぞれのマスク照準器のマスクの精度、位置調整マークおよび位置調整装置によって決定される。それらは数μm(例えば、1〜2μm)である。
本発明の1つの面によると、本発明に係る光学画像装置は、特に、1光路当たり多数の画素使用と、全体画像を説明する、または、結合される小さいマイクロ画像の画像形成とのために、例えば、特許文献1と特許文献2との中で説明されている人工的複眼の分野の従来技術と異なる。対象物フィールドの非常に限られた領域の代わりに、全ての光路は、特許文献1および特許文献2と比べて、多数倍大きい対象物フィールドを検出する。各光路において、広範囲にわたる対象物フィールド領域の画素化されたマイクロ画像が検出される。異なる光路の画素化されたマイクロ画像は、互いに挟み込まれる。この結果、より高い全体解像度能力が可能になる。さらに、1光路当たり多数の画素の使用は、製造がより容易な、より大きいマイクロレンズの使用を可能にする。
個々の光路によって検出された対象物フィールド領域は、部分的に重複する。それでも、光ダイオード群の個々の画素上に作像された対象物は、主に分画している。この理由は、隣接する光路の抽出格子が、互いに関して単一の光路の抽出間隔(抽出格子の2つの隣接する線の間の距離)の整数倍で移行しない、ということである。マイクロレンズの短い焦点長と光ダイオードの固定サイズとにかかわらず、隣接する光路が相互作用する、密集した対象物フィールド抽出が可能である。特に、ここで、隣接する光路の抽出格子を移行するための2つの場合が、言及される。図11はこれら2つの場合を模式的に示す。対象物フィールドの中で、光学画像装置の光電子画像センサの光ダイオードによって抽出された(または、検出された)二次元領域が、断面図において、箱関数によって示される。線の種類および番号は、それぞれの光路への抽出領域の配分を指定する。一般性を制限しないで、それぞれ5つの光ダイオードが、光路ごとに示される(N=5、Nは、1光路当たりの抽出領域または光ダイオードの数)。例えば、第3光路に対して、5つの光ダイオード32aであり、第4光路に対して、5つの光ダイオード32bである。
第1光路の光ダイオードは、番号1によって指定され、一点鎖線によって示される。第2光路の光ダイオードは、番号2によって指定され、点線によって示される。第3の光路の光ダイオード32aは、番号3によって指定され、実線によって示される。第4の光路の光ダイオード32bは、番号4によって指定され、破線によって示される。第5の光路の光ダイオードは、番号5によって指定され、近接した破線によって示される。第6の光路の光ダイオードは、番号6によって指定され、二点鎖線によって示される。異なる光路の隣接する光ダイオードは、光学画像装置によって検出された対象物の隣接する対象物セルを検出する。
図11の上段の場合(1)は、2つの隣接する光路の抽出格子が、それぞれ、互いに関して、個々の光路の抽出間隔dAの半分だけ移行される(移行:dV)。考慮している組の1つの光路から、隣接する組のそれぞれの次の光路への抽出格子の移行dVは、単一光路において、抽出間隔の非整数倍である(例えば、{(N−(1/2)}×dA、ここで、Nは整数である)。この場合(1)は、少ない数の光路(例えば、2×2個の光路)に、または、より小さい対象物距離(50×焦点長より小さい)に関連しており、対象物フィールドのギャップ無しの等距離抽出を保証する。言い換えれば、単一光路の抽出間隔の半分の奇数倍だけ移行が行われる。
図11の下段の場合(2)は、1光路内の全ての抽出間隔の全合計(N×dA)の半分だけ、または、光ダイオードの数(N)と光路の抽出間隔(dA)との積の半分(例えば、N×dA/2)だけ、光路または光路の光検知器マトリクスの中心の移行dVを示す。同時に、1光路当たりの光ダイオードまたは抽出領域の奇数(N)も示す。この場合(2)は、より多数の光路に関連しており、隣接する光路と協働して抽出周期を半分にし、抽出ギャップやマルチ抽出を得ない。この特性は、いくつかの利点を有する。第1利点は、構築長(マルチ光路システムさえ)の短縮化(例えば、半分化)が、一定の角度抽出で可能になる、ということである。これは、レンズによって背後に映し出された、全体画像の2つの隣接する画素の間の角距離が、維持されること、を意味する。これは、光ダイオードの同じ開口絞り(F/#)および同じサイズが、従来技術に関して想定されるとき、適用される。構築長またはマイクロレンズの焦点長の減少から、マイクロレンズ直径の減少は、一定の開口絞りまたはf番号(f/#=マイクロレンズの焦点長/マイクロレンズの直径)を得ることをもたらす。小さい足跡(受光面)を有する光電子画像センサが使用されるので、対物レンズの横方向の寸法の結果として起こる減少が、コスト削減をもたらす。更なる利点は、画像形成が、マイクロレンズの、より短い焦点長で、等しいサイズの光ダイオード上で実行されるので、角度抽出が一定に維持されたままで、感度が増加することである。周知のシステムと比較して、焦点長を短くすることによって、角度解像度能力が、一定に維持された光ダイオードのサイズの状態で減少する。さらに、角度解像度を一定に保つために、より小さい光ダイオードを有する光電子画像センサが、使用される。それぞれの光ダイオードの感度は、より大きい光ダイオードに関して減少する。
個々の光路の挟み込みを明確にするために、図5aは、単一光路10´を有する光学画像システムの一部領域500の平面図を示す。言い換えれば、図5aはマイクロレンズ・フィールド10´の例示的配置を示す。それは、図12〜図15に示された実施形態の中の配置であり、または、並びである。光学画像システムのそれぞれの光路に、正確に1つのマイクロレンズ101〜103,201〜203,301〜303が関連している。マイクロレンズ101〜303は、マイクロレンズ・フィールド10´の中に配置されている。マイクロレンズ101〜303の輪郭は、等高線510によって表示されている。
図5bは、この一部領域500によって観察される対象物フィールド領域800´を示す。対象物フィールド領域800´は対象物セル810に分割される。対象物セル810は、それぞれ、(光路に関連付けられたマイクロレンズ101〜103,201〜203,301〜303によって、)単一光路10´内の光ダイオード上に作像される。単一光路10´の挟み込まれた抽出格子を明確にするために、それぞれの対象物セル810は、この対象物セル810を検出するそれぞれの単一光路10´(または、マイクロレンズ101〜103,201〜203,301〜303)の指数によって指定される。その結果、隣接する対象物セルが、隣接する光路(または、マイクロレンズ101〜103,201〜203,301〜303)の光ダイオードによって、検出されることが認められる。光路の挟み込みのため、光路の抽出ギャップは、隣接する光路によって検出されることが、可能である。
別の実施形態で、マルチスペクトル画像記録(例えば、カラー画像記録)が、実行されることは、さらに可能である。必要なスペクトル伝達フィルタは、画素ごとに、すなわち、光電子画像センサの個々の光ダイオード上に集積される(例えば、周知の「バイエル・モザイク」の中の配置)。または、光路ごとに、例えば、マイクロレンズの対物レンズ内に、または、関連画像センサ領域上に集積される。光路ごとのスペクトル伝達フィルタの集積は、従来の単一光路画像システムに関して、レンズが、光路特有の入射角のための修正に加えて、光路特有の伝達スペクトル分配に関して適合されるという利点を有する。。それとは別に、この構成において、色クロストークは、隣接する光ダイオードの間に全く起らない。これから、例えば、画像の一層高い色輝度が、視覚スペクトル(例えば、赤、緑、青)のカラーフィルタを使用するとき、結果として生じる。さらに、光学画像システムの構築長さが短縮化される。光路ごとのフィルタの集積の変形で、全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、抽出体系は、図4と図6aと図6bに従って使用される。
図6aは、光学画像装置の一部領域600の平面図を示す。光学画像装置は、単一光路10´と、光路ごとに集積されたスペクトル伝達フィルタ(領域パターン)と、を有する。図6aに示された光学画像装置の平面図は、光路(または、マイクロレンズ)101〜103,201〜203,301〜303上のスペクトル伝達フィルタ、だけ異なる。それぞれの領域パターンは、正確に、1つのスペクトル伝達フィルタに関連し、それぞれの光路は、正確に、1つのスペクトル色に関連している。全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、異なる光路は、同じスペクトル伝達フィルタを有する。図6aにおいて、光路101,103,301,303は、斜線領域パターンと第1伝達フィルタ(例えば、赤色フィルタ)を有する。光路102,302は、水平線領域パターンと第2伝達フィルタ(例えば、緑色フィルタ)を有する。光路201,202は、波線領域パターンと第3伝達フィルタ(例えば、青色フィルタ)を有する。光路202は、点を打たれた領域パターンと第4伝達フィルタ(例えば、灰色フィルタ)を有する。
図6bは、図6aの一部領域600から監視された対象物フィールド領域800´を示す。対象物フィールド領域800´は、対象物セル810に分割される。1つの対象物セル810は、それぞれ(少なくとも基本的には)、単一光路(マイクロレンズ・フィールド)10´内の光ダイオードに作像される。単一光路101〜103,201〜203,301〜303の挟み込まれた抽出格子と、それぞれのスペクトル伝達フィルタによる対象物セル810の適用範囲とを示すために、それぞれの対象物セル810は、それぞれの単一光路10´の識別番号101〜103,201〜203,301〜303と、フィルタパターン(斜線、水平線、波線、点線)とが提供される。隣接する対象物セル810は、隣接する光路101〜103,201〜203,301〜303によって検出された抽出格子のために、検出される。抽出格子は、画像形成装置の焦点領域の対象物側深さにある。隣接する光路(例えば、101,102,201,202)によって検出された対象物フィールド領域は、部分的に重複する、ことが明確になる。その結果、直接に隣接する画像情報(例えば、810a,810b,810c,810d)は、それぞれ、異なるスペクトル伝達フィルタ(例えば、赤色フィルタ、緑色フィルタ、青色フィルタ、灰色フィルタ)によって結合された全体画像の中で得られる。あるいは、スペクトルデータを得るために、それぞれフィルタにかけられる。例えば、対象物フィールド800´の4つの直接に隣接する領域(画像情報)810a,810b,810c,810dは、全部で4つのスペクトル伝達フィルタを含む群820を形成する。
それぞれの画像画素または画像情報(例えば、810a)のマルチスペクトルデータ(例えば、1色当たり1つの灰色値)は、関連スペクトル域または画像情報(例えば、810a)の物理的に記録された値の、および、残っているスペクトル域の、または、隣接および/または周囲の画素(例えば、810b,810c,810d)の画像情報(例えば、810b,810c,810d)の値の、重み付けされた補間によって補間される。スペクトル域またはスペクトル伝達フィルタは、各画素に関連付けられる。光路ごとの、スペクトル伝達フィルタの集積の変形、すなわち、各光路は自身のスペクトル伝達フィルタを含む。隣接する光路は、好ましくは、異なるスペクトル伝達フィルタを含む。対照的に、それぞれの光ダイオード上にスペクトル伝達フィルタを集積することは、製造中に取り扱い易い、より大きいスペクトル伝達フィルタが使用される、という利点を有する。ここで、示された変形に対して、スペクトル伝達フィルタが、光路ごとに、それぞれの光路の画像センサ領域上に集積される。
図12は、第2実施形態の光学画像装置1200を示す。画像マイクロレンズ10は、全体に層厚みを有する、透明または少なくとも一部透明な基板層20,21,22の積層体上の二次元フィールドの中に配置される(一次元配置も可能である)。層厚みは、それぞれの材料(ガラス、プラスチック)のマイクロレンズの焦点長に対応する。透明な基板層20,21,22の裏に、光電子画像センサ100が、二次元フィールドに配置される多数の光ダイオード30´と供に、(例えば、マイクロレンズ10の焦点面に)配置される。光ダイオード30´は、マイクロレンズ・フィールドの光路分割に従って、光路のそれぞれのマイクロ画像のために、少なくとも5×5個の光ダイオード30´の別々の群に分割される。これらの群は、それぞれ画像検出器マトリクス30または光ダイオードフィールド30を形成する。
マイクロレンズ・フィールド10の下に、窓フィールド11が位置している。基板層20と基板層21との間に、第1窓フィールド12が位置している。第2窓フィールド12´は、基板層21と基板層22との間に位置している。基板層22の下側に、画像センサ100が実装されている。画像検出器マトリクス30の中心は、関連光路のマイクロレンズ窓の図心に関して、オフセット(相殺)された中心を含む。図心は、画像検出器マトリクス30上に映し出される。
構造記述に基づいて、機能が説明される。それぞれの光路の視点400の主方向は、それぞれの光路のマイクロレンズ窓の図心に関して、画像検出器マトリクス30の中心のオフセットによって説明される。
それぞれの画像検出器マトリクス30の拡張は、マイクロレンズの焦点長と共に、それぞれの光路の中で伝達された対象物フィールド領域を決定する。隣接する光路によって検出された対象物フィールド領域は、相互に、少なくとも部分的に重複する。光路の2つの粗い抽出格子は、より密集した新しい抽出格子を形成するために、相互に補い合う。考慮されている光路の抽出格子は、例えば、考慮されている光路の焦点領域の深さ(または、焦点領域の深さの平面)における、それらの対象物点の全体である。対象物点は、考慮されている光路の画像検出器マトリクス30の個々の画像検出器上に作像される。図2、図4、図5aおよび図5bは、この特性、すなわち、隣接する光路の挟み込みを示している。マイクロレンズ・フィールド10の下に直接に窓フィールド11を使用することは、散乱光を抑制するために有利である。そうでなければ、散乱光は、マイクロレンズのギャップを通過する。さらに、不透明な(吸収または反射する)材料で作られた、少なくとも2つの水平な窓フィールド12,12´が、光路間の光学クロストークを防止するために使用される。透明基板層20,21,22は、好ましくは、ガラス、プラスチック、または、無機の共重合体(例えば、ORMOCER)で作られている。ここで示されたことに加えて、スペクトル伝達フィルタ(例えば、光路ごとに、赤色フィルタ、緑色フィルタ、青色フィルタ)のフィールド型配置は、窓層(窓フィールド)11とマイクロレンズ10との間に直接に構造化され、マルチスペクトルの画像記録を可能にする。
光学画像装置1200は、単層の組み立て、簡素な製造技術、および、それらに繋がった安定性によって、特徴付けられる。レンズは、光電子画像センサ100とは別に製造され、その後のステップにおいて、位置調整マークによって、ウエハーレベル上にレンズが実装される(一のウエハー上に多くの光電子系が実装されるのと並行して、他のウエハー上に多くの光学系が実装される)。あるいは、個々のレンズは、光学ウエハー接合から切断され、個別にそれぞれの光電子画像センサに実装される。固定は、例えば、接着、はんだ付け、または、陽極接合によって実行される。また、ハイブリッド製造技術が可能である。光学部品は、多数の光電子画像センサ100を有する光学ウエハー上に、段階的に組み立てられる。それらの関連マイクロレンズに関して(または、関連光路もしくは関連マイクロレンズのマイクロレンズ窓の、画像検出器マトリクス30上に映し出された、図心に関して)、画像検出器マトリクス30の中心点のオフセットを示すために、図3において、第2実施形態の二次元画像形成および画像記録システムの簡略な模式平面図が示される。ここで、フィールド型に配置されたマイクロレンズ10が示される。マイクロレンズ10の輪郭は等高線によって示される。そして、マイクロレンズ10は、光電子画像センサ100の光ダイオード(画像検出器マトリクス30)の群を、(それぞれの光路のマイクロレンズ窓またはそれぞれのマイクロレンズの図心に関して、)軸方向に基本的に横方向にオフセットする。図心は、画像検出器マトリクス30上に映し出される。
さらに、第2実施形態と他の可能な実施形態は、光路ごとに、マイクロ画像信号の電子前処理のためのユニット(画像処理装置)70を含む。画像処理装置70は、任意に、光電子画像センサ100の回路に集積される、または、光電子画像センサ100の外で下流回路に接続される。
ユニット70が、以下ににおいて、「画像処理装置」としても参照される。
例えば、以下において、画像処理装置70のハードウェア実行のための4つの変形が、光学画像装置に接続された状態で示される。
1.画像処理装置70は、光電子画像センサチップ100の外側周辺部(例えば、光電子画像センサチップ100が配置されているのと同じ印刷回路基板上に配置されたFPGA)に配置されている。すなわち、画像処理装置70は、画像センサチップ100上に配置されていない(オフチップ)。光電子画像センサチップ100は、わずかな出力しかない。完全な画像マトリクス(画像検出器マトリクス30の画像検出器30´によって検出された全ての画像情報の全体)は、出力されて、その後、(時間的に直列に)一緒に処理される。
2.画像処理装置70は、光電子画像センサチップ100の外側周辺部に配置されている。しかし、光電子画像センサチップ100は、多数(少なくとも画像検出器マトリクス30と同じ数)の出力を有する。ここで、歪みの修正と、それぞれのマイクロ画像のための更なる画像前処理とは、別々に実行される。仮に、適用されるならば、両者は、時間的に並行して実行される。
3.画像処理装置70は、光電子画像センサチップ100(例えば、「ASIC(応用仕様集積回路))上に配置されている。しかし、光能動的領域の外側に配置されている。完全な画像マトリクスは、光電子画像センサチップ100内の光能動的領域から画像処理装置70に移送され、その後、(時間的に直列に)一緒に処理される。
4.画像処理装置70は、光電子画像センサチップ100(例えば、ASIC)上に配置され、一部(すなわち、マイクロ画像処理手段50)は、画像検出器マトリクス30のギャップの中に配置されている。この場合、画像検出器マトリクス30の画像処理の一部は、別々に、時間的に並行して実行される。それとは別に、必要な回路を光能動的領域に集積することによって、シリコン領域が抑えられる。すなわち、マイクロ画像処理は、画像検出器マトリクス30の間のマイクロ画像処理装置によって、それぞれの画像検出器マトリクス30ごとに、別々にかつ時間的に並行して実行される。
例えば、FPGA、ASICなどの中の画像処理装置70のハードウェア実行の場合、光路ごとの歪みの修正は、「時間的に並行して」実行されるだけである。特性「時間的に並行して」は任意である。高い画像繰返し速度に関して、ハードウェア実行のこの実施形態は好まれる。しかし、ソフトウェアに基づいた修正も、例えば、PCに接続された状態で実行される。
画像処理装置70は、第2実施形態に関して説明されるべきである。それは、光路ごとに、マイクロ画像の歪みの、ハードウェアおよび/またはソフトウェアで実現された電子補正を実行する。
増加する入射角を有する(すなわち、対象物フィールドの外縁域の)単一の画像形成レンズ(例えば、単一の平凸のレンズ)による画像形成と傾斜入射光とのため、画像歪みの増加が起こる。これは、傾斜した入射角を有する正方形の対象物範囲が、ダイヤモンド形をした画像領域の中に作像される、という事実をもたらす。
図7aは、第2実施形態の中央の対象物フィールド領域における歪みの質的図を示す。正方格子に配置されている対象物セルは、傾斜した入射角の下で、より小さい半径の画像座標の中に作像される。その結果、樽形をした歪みが生じる。
図7bは、傾斜した入射角(ここでは、対象物フィールドの中の筋交いの角度が38°)の下で、歪みが、さらに、強く非対称的になることを示す。図7aと図7bの効果は、視覚化目的のために強く誇張して示される。
図8は、正の樽形歪みの基本コースを示す。これは、軸近傍の(すなわち、理想的な)歪みのない衝突高さ(「理想的な衝突高さ」)と比較した、画像平面の中の主ビームの半径の高さ(「現実の衝突高さ」)によって示される。「現実の衝突高さ」は、対象物フィールドの中の入射角(AOI)に依存している。画像形成が、入射角の増加に従って、衝突高さが小さくなる傾向にあることは、明白である。異なる光路のマイクロ画像上に作像された隣接する対象物点は、再び、全体画像の中の隣接する画像点の中にまとめられなければならないので、マイクロ画像の均等化または修正が賢明である。さもなければ、入射角に対応して増大している歪みの結果として、光路ごとに、画像検出器マトリクスの中心が、全体画像の縁に向かうそれぞれの光路(いわゆる、軸外れ光路)のマイクロレンズ窓の図心に関して、横方向に移行しているため、画像情報の間のオフセット(相殺)が、より多く生じる。その結果、マイクロ画像の誤った接続と減少した解像度とが生じる。マイクロ画像の信号は、集積回路(例えば、ASIC、SoC)、または、下流の回路(例えば、FPGA、CPU)のいずれかの中のハードウェア部品、および/または、ソフトウェア部品によって、直接に回転され、逆転にされ、修正される(すなわち、例えば、図4の歪み修正器50によって、歪みに関して修正される)。それとは別に、同じ系列内において、言い換えれば、歪み修正器50によって、マイクロ画像の中の固定パターン雑音と、照度の不均一性(陰影)とが、修正される。この画像処理の並行化の可能性は、例えば、応用仕様集積回路(ASIC)によって、短い計算時間と、全体画像の高い繰返し速度とを可能にする。
歪みを修正して、個々のマイクロ画像から全体画像をまとめるためのユニットは、図4および図9に示され、これらの2つの図に関して詳細に説明される。
図4は、マイクロ画像を修正して、マイクロ画像から全体画像300を再構成するための下流のユニット50,60,61を有する第2実施形態の光学画像装置を示す。拡張された対象物フィールド領域(例えば、焦点領域の深さ)に配置された対象物800は、光学画像装置の数個の光路によって、サイズに従って検出される。マイクロレンズ・フィールド10の個々のマイクロレンズによって作像された対象物フィールド領域は、相互に少なくとも一部重複する。それでも、画像検出器マトリクス(30a〜30e)上に作像された対象物領域(44a〜44e)は、主に分画されている。すなわち、既に画像検出器マトリクス(30a〜30e)上に作像されている対象物領域(44a〜44e)は、好ましくは、別の画像検出器マトリクス(30a〜30e)上に作像されない。この理由は、隣接する光路の抽出格子が、例えば、光路内の全ての抽出領域の完全な合計の半分だけ、相互に関して移行されるからである。抽出領域は、奇数の抽出領域または光ダイオードを有する。密集した対象物フィールド抽出は、マイクロレンズ10の短い焦点長と光ダイオード30´の固定サイズにもかかわらず、可能である。
図4は、さらに、画像処理手段70を有する画像前処理を示す。画像処理手段70は、画素群または画像検出器マトリクス(30a〜30e)の記録されたマイクロ画像から、全体対象物800の完全で歪みのない画像300を形成するために必要である。個々のマイクロ画像30a〜30eは、画像処理手段70の第1処理手段(「マイクロ画像インバータ」)51の中で、水平方向および垂直方向に鏡像される(180°回転に対応する)。画像処理手段70の第2処理手段(「均等化または修正ステージ」)52の中において、マイクロ画像の画素値は、位置変換(例えば、x座標とy座標との双一次変換)によって、離散的格子構造から、連続した仮想座標面に変換される。変換パラメータは、光学設計データと模擬実験から知られる。その結果、遠近画法、画像形成拡大の変化、および、画像エラーによる画像歪みは、修正される。追加的補間によって、歪みのない画素値は、光路ごとに、新しい離散的格子(31a〜31eの中のx´,y´)上に作像をされる。処理手段51,52の中で実行される処理ステップは、好ましくは、光路ごとに並行して実行される。適合した光電子画像センサ100の使用で、それぞれの各光路ごと存在する回路モジュール内の第1処理手段51と第2処理手段52とを、画像センサ100のチップ(例えば、ASIC)上に直接に集積することは、処理過程の加速のために有利である。対応する回路の配置のために、隣接する光路の画像検出器マトリクス30の間の光学的に不使用のギャップが、提示される。全てのマイクロ画像(31a〜31e)の画素値の溶融(または、全体画像の再構成)は、選択的に、略ハードウェアで、すなわち、光電子画像センサのチップ(例えば、FPGA)の周辺部において電子的に、または、略ソフトウェアで、すなわち、外部的に接続されたCPU(例えば、PC)内だけで、行われる。
画素値の溶融は、画像処理手段70の第3処理手段(「全体画像再構成器」)60によって、実行される。第3処理手段60は、固定パターンに従って、画素値を、歪みのないマイクロ画像31a〜31eから最終画像マトリクス300の中に、再分類を実行する。固定パターンは、個々の光路の抽出格子の挟み込みによって与えられる。
図9は、傾斜した入射角の下で、画像形成における歪みの結果として、格子対象物800を有する正方形の対象物領域の画像歪みを示す。図9の左側は、比較例として、歪み修正のための第2処理手段52を有さない格子対象物800の再構成を示す。図9の右側は、歪み修正のための第2処理手段52を有する格子対象物800の再構成を示す。
図9の左側では、マルチ光路画像および画像記録システムによる、または、光学画像装置による画像形成を含む画像記録系列と、マイクロ画像(ここでは、3×3個)の第1処理手段51による後続の変換とが、示される。第2処理手段52が無い結果として、マイクロ画像32は、まだ歪んでいる。以下のことは、対象物距離に依存する視差のオフセットを補償するために、(例えば、画像処理手段70の「視差補償器」61による)マイクロ画像32の仮想移行化である。最終的に、全てのマイクロ画像32の第3処理手段60よる画素値の溶融は、全体画像320になる。歪みのため、異なるマイクロ画像の細かい部分は接続できない。対象物800は、全体画像320によって十分正確に表示されない。
これとは対照的に、図9の右側では、画像処理系列が、歪みを修正するためのステージ(均等化または修正ステージ52)と共に、示される。その結果、変換されたマイクロ画像31は、歪みがなく、視差補償器61(マイクロ画像の仮想移行)による視差補償、および、全体画像再構成器60による全てのマイクロ画像の画素値の溶融の後に、対象物800の十分正確な表現を表示する全体画像300を形成する。
特許文献3と特許文献4のシステムとは対照的に、本発明に係る実施形態において、マイクロ画像の歪みの光路ごとの修正、および、マイクロ画像の画素値の補間が、実行される。その結果、全体画像における解像度能力は、区分化によって減少しない。
歪みの適切な修正、および、マイクロ画像を全体画像に再構成することを可能にするために、対象物スペースの中の作動距離の電子的設定が使用される。横方向に離れて区切られた2つの光路から、隣接する2つの対象物点を抽出するとき、異なる光路間の視差のため、小さい対象物距離で、隣接する画像情報のオフセットが生じる。このオフセットは、部分的な画像情報の(「仮想」)移行によって修正される。ここでの移行は、対象物距離と、光路間の基本長(すなわち、それぞれの光路の光検出器マトリクスの中心点の間の距離)とに依存する。基本長が知られているので、(例えば、適した独立のギャップセンサで、)対象物距離を測定することによって、オフセットが電子的に後修正される。光学画像形成および画像記録システムは、それぞれの対象物距離ごとに、歪みのない方法で(例えば、図4の視差補償器61によって)、溶け合う(マイクロ画像を全体画像に溶融すること)前に、マイクロ画像の仮想オフセットの変化によって、全体画像に焦点を当てる。
作動距離の設定は、離散的ステップの中で、それぞれのマイクロ画像の画像画素の数に従って、実行される。しかしながら、マイクロ画像の均等化または修正のために、(歪みの無いマイクロ画像への)座標変換と、(離散的画素位置を有する歪みの無いマイクロ画像の信号強度の)補間とが、必要である。作動距離の設定は、より微細な等級であっても、仮想の副画素移行によって、実行される。
言い換えれば、小さい(100×焦点長より小さい)対象物距離で、部分的に重複している対象物フィールド領域の間の画角(視差)のオフセットが、隣接するマイクロ画像の中で起こるので、同様のことが、マイクロ画像の溶融において、マイクロ画像の細部の規則正しい連続した接続を保証するために、考慮されるべきである。仮に、(平均)対象物距離が知られているならば、全体画像再構築器60の中の分類アルゴリズムは、数値表に応じて、単一光路のマイクロ画像を、相互に事実上横方向にオフセットすることによって、変化される。(平均)対象物距離は、例えば、測定ファインダーカメラと同様に、視差補償器61の中の外部センサ源によって決定される。これは、副画素補間によって、1画素の等級、または、さらに微細な等級でも、実行される。全体画像300の縁では、挟み込まれた抽出格子のため、関連対象物フィールドセルが、マイクロレンズ・フィールド10の縁を超えて配置された外れた隣接光路によって検出されるので、「空白の画素値」が起こる。
図13は、第3実施形態の光学画像装置1300を示す。光学画像装置1300は、例えば、5つの画像検出器マトリクス30を有する画像センサ100を含む。対象物に面している画像センサ100の一方の面(または、上面)には、透明な基板層22が配置されている。基板層22の上には、第1窓フィールド12´が配置されている。第1窓フィールド12´の上には、別の透明な基板層21が配置されている。基板層21の上には、第2窓フィールド12が配置されている。スペーサ層40は、第2窓フィールド12の上に配置され、マイクロレンズ・フィールド10は、このスペーサ層40内に逆さに設置されている。すなわち、マイクロレンズ・フィールド10のマイクロレンズの平面側は、対象物に向けられ、一方、マイクロレンズの曲面側は、画像センサ100に向けられている。第1窓フィールド11は、マイクロレンズフィールド10の上側に配置されている。第1窓フィールド11の上には、別の基板層20が配置されている。基板層20は、上面側に第2窓フィールド11´を有している。フィルタ層200は、第2窓フィールド11´の上に配置されている。
以下において、第3実施形態の光学画像装置1300の機能および利点が説明される。光学画像装置1300において、少なくとも1つの基板層20を有するマイクロレンズ・フィールド10が、透明な基板層21,22の基本的積層体を有するスペーサ40に逆さに取り付けられるので、第2窓フィールド11´は、レンズから分離され、透明な基板層20の前側に位置する。これは、第2実施形態の光学画像装置1200と比較して、以下の利点がある。
第1の利点は、平凸レンズに関連する第2窓フィールド11´の上流の位置によって、光学画像エラー(特に、コマ(彗星の頭部の雲状のもの)、乱視、および画像フィールド効果)が部分的に補償される、ということである。そうでなければ、それぞれの単一光路内のより大きい数の光学要素(レンズ)が必要である。対物レンズによる大きな入射角から作像されるべき光410は、実際のレンズ領域に達する前に、フィルタ層200によって屈折され、基板層20の中に入射する、という更なる利点がある。大気と比較して、基板層20の、より高い屈折率のため、ビームは、より小さい角度の下、レンズ輪郭を通過する。それは、光学画像エラー(異常)の減少をもたらす。
さらに、第2実施形態の場合、対象物フィールドの中の画角に依存して、画像平面上への実際に同じサイズの主ビームの入射角が生じる(図10参照)。特に、大きい入射角で、これは、光電子画像センサ100の3次元画素構造と、隣接する光ダイオード30´の間のクロストークとによって、陰影をもたらす。これらの効果は、相対的照度の強さと画像内のコントラストとを減少させる。それとは対照的に、第3実施形態の場合、中間フィールド(それぞれの画像検出器マトリクス30の中心の光ダイオードによって検出される、対象物フィールドの対象物セル)の主ビームは、小さい角度の下で、各光路の中で、光電子画像センサ100の光能動的領域上に衝突する。光電子画像センサ100は、画像の中の相対的照度の強さに関する有利な効果を有する。
図10は、75°の完全な視野角度を有するマルチ光路画像および画像記録システムのための光電子画像センサ100の平面の正規化直径座標を横切って記載された、光電子画像センサ100の平面上のそれぞれの主ビームの入射角(度)を示す。データ列1は第2実施形態の光学画像装置1200を使用して得られ、データ列2は第3実施形態の光学画像装置1300を使用して得られた。
さらに、マイクロレンズ・フィールド10の前側が平らに設けられているので、マイクロレンズ・フィールド10は、光学フィルタ200(例えば、視覚光における応用のためのIR帯域阻止フィルタ)の前側に、逆さに実装される。および/または、スペクトル伝達フィルタ(例えば、光路ごとの、赤色フィルタ、緑色フィルタおよび青色フィルタ)のフィールド型配置は、集積されている。さらに、平らな境界領域またはインタフェースは、反射防止(例えば、ARコーティング)のために、および、環境の影響から後続の第2窓フィールド11´を保護すること(例えば、耐摺り傷のコーティング)のために役立つ。あるいはまた、スペクトル伝達フィルタのフィールド型配置は、第1窓フィールド11とマイクロレンズフィールド10との間で直接に構造化される。
フィールドとして設けられたスペーサ40は、不透明な材料(例えば、プラスチック、深くエッチングされたシリコン)、または、透明な材料(例えば、プラスチック、ガラスまたは無機の有機ポリマー(例えば、ORMOCER))のいずれかで作成されることが勧められる。ギャップは、マイクロレンズと比較して低屈折率を有する材料(例えば、空気、真空引きされた空気、窒素または同様のもの)を含む。その結果、焦点合わせがレンズによって達成される。スペーサ40のために透明な材料を使用するとき、いくつかの場合において、基板層21の前側の第2窓フィールド層12が、光路間の光学クロストークを防ぐために必要である。さらに、第1窓フィールド12´が、いくつかの場合において、同じ理由のために必要である。さらに、追加の窓フィールドが、光路間のクロストークを最小限にするために導入されてもよい。さらにまた、第2実施形態においても、不透明な材料(例えば、光吸収物質、または、深くエッチングされたシリコン)で作成された、垂直方向に傾斜した壁が、光学クロストークを抑制するための水平な窓フィールド12,12´の代わりに適している。しかし、垂直方向に傾斜した壁は、技術的に、より費用および手間がかかる。軸方向(垂直方向)の光路分離構造の場合において、軸方向の光路分離構造が、マイクロレンズ・フィールド10と基板層20とを実装するための安定した枠組みを代表する限り、基板層21,22は省略されてもよい。そして、光束は、それぞれの充填媒体(例えば、空気、真空引きされた空気、窒素または同様のもの)の中で、軸方向にマイクロレンズ10の後で、焦点が合わせられる。
第2実施形態と比較して、逆さの組み立てによって生じた空洞とスペーサ40とは、変更された組み立ておよび接続技術を引き起こす。フィルタ層200、基板層20、窓フィールド11,11´およびマイクロレンズ10の積層体は、窓層12,12´を有する基板層21,22のスペーサ40の積層体から分離して製造されてもよい。2つの部品は、マークによって、ウエハーレベル上で正確に位置調整され、相互に接続(例えば、接着、はんだ付け、または、陽極接合)される。完全なマイクロレンズの対物レンズは、任意に、ウエハーレベル上で、あるいは、光電子画像センサ100上の切断された単一対物レンズの中で、位置調整または接合される。あるいはまた、光学部品は、多数の光電子画像センサを有する光学ウエハーの上に、ステップ順に、または、層順に組み立てられる。
マイクロレンズの対物レンズを通過する有効光の伝達を増加させるために、マイクロレンズ10の曲面上と基板層21の前側表面上とに、反射防止被覆をすることは利点がある。
図14は、第4実施形態の光学画像装置1400を示す。図14において、3つのマイクロレンズ・フィールド10,101,102が、窓フィールド11´の周りに、事実上、対称的配置で、軸方向に順に使用される。また、3つより多いマイクロレンズ・フィールドを使用することも可能である。凸平面レンズから成る第1マイクロレンズ・フィールド10は、薄い基板層20の上面(対象物に面している側の面)に配置されている。窓フィールド11は、基板層20とマイクロレンズ・フィールド10との間に、構造化されている。薄い基板層20の下には、第2マイクロレンズ・フィールド101が配置されている。第2マイクロレンズ・フィールド101のレンズは、ここでは、凹平面レンズとして実行される。それに続く基板層21の上面側には、すなわち、基板層21とマイクロレンズ・フィールド101との間には、各光路の中の実際のシステム窓を代表する窓フィールド11´が、配置されている。窓フィールド11´を前側(対象物に面している側)に有する基板層21は、基板層20の後側(対象物から離れている側)のマイクロレンズ・フィールド101の残りの層に直接に接続されている。その結果、単一画像形成対物レンズが、結果として生じる。基板層21の後側面には、別の水平窓層12が配置されている。水平窓層12は、光学クロストークを抑制するために役に立つ。別の凸平面マイクロレンズ・フィールド102は、基板層21の後側に形成されている。その結果、得られた積層体は、光電子画像センサ100上に、軸方向空間構造物(スペーサ)41によって固定されている。スペーサ41は、マルチ光路対物レンズの縁上に設けられている。また、スペーサ41は、光路ごとに設けられている。スペーサ41の材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。それぞれの光ダイオード群30は、マイクロレンズ・フィールド10,101,102の関連マイクロレンズと比較して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中で、それぞれの光路の平均観測方向を与える。光学ビームは、マイクロレンズを通過して、関連光ダイオードマトリクス30の中心で、光ダイオードに衝突する。
構造の記述に基づいて、光学画像装置1400の機能および利点が、第4実施形態に従って説明される。異なるマイクロレンズ・フィールド10,101,102は、例えば、材料の異なる分散特性による色彩の画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的ポリマーなど)から形成される、または、割り当てられる。さらに、1つ以上のマイクロレンズ・フィールド10,101,102が、色消しの要素のフィールドとして、設けられてもよい。対物レンズの縁部に取り付けられた不透明な軸方向スペーサのため、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、外側から来る散乱光から保護される。さらに、マイクロレンズ・フィールド10,101,102は、相互に異なる中心距離を有する。その結果、隣接する光路間の個々のマイクロレンズ10,101,102の頂点1420間の軸方向接続直線1410は、図14の光学画像装置1400の中のように、角度を取り囲み、平行でない。
上で説明された組み立てのため、全ての光路において、小さいマイクロ対物レンズが、生じる。マイクロ対物レンズは、それぞれの関連対象物部分の画像を、光電子画像センサ100の関連光ダイオード群30の上に写像する。ここで、明らかに、中間像を有する2ステージ画像形成は、全体対物レンズの最小可能構築長を得るために使用ない。図14の3つのマイクロレンズ・フィールド10,101,102の配置は、それぞれの光路内の(歪み、色彩エラー、およびコマのような)光学画像エラーを減少させ、かつ、他の実施形態と比較して、光学解像度能力を増加させるために、有利である。特に、この第4実施形態を使用して、樽形歪みは大きく修正される。その結果、全体画像の解像度能力が、歪みの結果として、大きな対象物の画角に対して減少しない。それとは別に、増加する複雑さのため、光学光強度の増加(f番号の減少)が可能である。
図15は、第5実施形態の光学画像装置1500を示す。光学画像装置1500は、第4実施形態とは対照的に、基板層20の上面に、マイクロレンズ・フィールド10を含む。マイクロレンズ・フィールド10は、屈折の自由形式表面の第1フィールドとして設けられている。基板層21の下面には、マイクロレンズ・フィールド102を含む。マイクロレンズ・フィールド102は、屈折の自由形式表面の第2フィールドとして設けられている。屈折の自由形式表面のフィールドは、一般に、マイクロレンズ・フィールドである。個々のレンズパラメータ(すなわち、窓の形式およびサイズも)は、光路ごとに(または、自由形式表面ごとに)、異なる。屈折の自由形式表面の第1フィールド10と関連窓フィールド11とは、薄い透明な基板層20の上に配置されている。基板層20の後側に、凹平面マイクロレンズ・フィールド101が配置されている。軸方向に続く基板層21の前側に、窓フィールド11´が配置されている。窓フィールド11´を前側に有する基板層21は、基板層20の後側のマイクロレンズ・フィールド101の残りの層に、直接に接続されている。その結果、単一画像形成対物レンズが生じる。基板層21の後側面には、水平な窓シート12および屈折の自由形式表面の第2フィールドが配置されている。水平な窓シート12は、光学クロストークを抑制するために役立つ。異なるマイクロレンズ・フィールド(または、屈折の自由形式表面フィールド)10,101,102は、例えば、材料の異なる分散特性によって色彩画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的共同重合体など)から成る。さらに、1つ以上のマイクロレンズフィールド(または、屈折の自由形式表面フィールド)10,101,102は、無色の要素のフィールドとして設けられる。マルチ光路画像形成対物レンズは、光電子画像センサ100の軸方向間隔構造体(スペーサ)41によって固定されている。これらのスペーサ41は、マルチ光路対物レンズの縁に設けられているけれども、任意に、光路ごとに設けられてもよい。材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。
一般に、焦点は、非球面レンズおよび屈折自由形式表面に対して、入射光線が、(例えば、画像センサ100の主表面に)常に束ねられる点である。
レンズの縁に取り付けられた、不透明かつ軸方向のスペーサ41によって、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、横方向から入射する散乱光から保護される。それぞれの光ダイオード群30は、マイクロレンズ・フィールドまたは屈折自由形式表面フィールド10,101,102からの、関連マイクロレンズまたは屈折自由形式表面に関して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中のそれぞれの光路の視点または監視の平均方向を定義する。
構造に基づいて、第5実施形態の機能と利点が説明される。図15に示した第5実施形態の光学画像装置1500は、図14に示した第4実施形態の光学画像装置1400と比較して、より高い光学的に十分な要素を有する。これは、それぞれのマイクロレンズ・フィールドの代わりとして、屈折形式表面の少なくとも1つのフィールド型配置の使用によって、達成される。例えば、図15の光学画像装置1500において、屈折自由形式表面の2つのフィールド、つまり、屈折自由形式表面の第1フィールド10と屈折自由形式表面の第2フィールド102とが、使用される。各光路内のこれらの屈折自由形式表面の横方向の拡張は、屈折自由形式表面と比較して、より大きい(完全な)マイクロレンズのそれぞれの光ダイオード群30に属している点灯された領域より実質的に大きくない。この理由のため、光ダイオード(光ダイオードマトリクス)群30は、相互に隣接してまとめられ、密集した状態で配置される。それは、マイクロレンズの使用と比較して、光電子画像センサ100の、より小さい能動領域(または能動表面)および製造コストの減少を意味する。
第4実施形態の光学画像装置1400に関して既に言及したように、第5実施形態の光学画像装置1500も、第4実施形態の中で言及した利点を有する窓フィールド11´の周りに、殆んど軸対称の配置が、光学解像度能力を増加するために使用される。示された配置において、歪みは、主に、光路内の軸方向に対称的な光学的組み立てによって強く減少される。傾斜した入射光の下、光路ごとの、画像エラーの修正の最適化の結果として、接線で矢状縫合のマイクロレンズパラメータの独立した適合が好ましい。しかしながら、1光路当たり1つの(従って、非無定形の)屈折自由形式表面による画像形成は、接線方向で矢状縫合の方向に、異なる画像形成拡大を、その都度、発生する。それは、それぞれのマイクロ画像の単一軸歪みを導く。この歪みは、光路ごとに、(例えば、図4の第2処理手段52を使用して、)画素値の位置変換および補間によって有利に修正され、隣接する光路の画像細部の接続(適する相互接続)、および、全体画像の高解像度能力が保証される。また、図15に示すように、1光路当たり1つの第2屈折自由形式表面が、傾斜した入射光の下で、光路ごとに、画像エラーの修正と同時に、接線方向で矢状縫合方向において、画像形成拡大の変化を、光学的に修正するために使用される。
屈折自由形式表面10,102は、より大きい2円錐形マイクロレンズ(すなわち、表面輪郭を通した2つの縦断面に沿った異なる円錐を有する、2つの非球面の輪郭を含むマイクロレンズ)の区域によって少なくとも近似的に説明される。2円錐形レンズの表面輪郭は、一般に、回転対称形(すなわち、非無定形)でない。光路ごとに異なる、様々な表面輪郭の正確な数学的記述は、基準点に関して、二次元座標に依存する軸方向の矢の高さの多項式の発展によって実行される。非定常構造が、隣接する光路の間で重複するため、フィールド型配置の中のこれらの屈折自由形式表面10,102に対して、レーザ刻み付け、灰色調または2光子石版、熱またはガラススタンプのような製造方法が必要である。あるいはまた、超精度処理が、対応する成形道具の原型を製造するために役立つ。
さらに、これまで示された実施形態から逸脱する実施形態が使用される。したがって、別の実施形態において、例えば、フィールド配置内のマイクロレンズが、少なくとも1つのマイクロレンズの構造パラメータ(例えば、足跡、直径、矢の高さ、曲率半径、中心点距離、および他のものの形式)において異なる。特定の表面において、マイクロレンズの輪郭は、球体形、円環形(すなわち、2つの縦断面に沿った、2つの球面曲率半径)、2円錐形(すなわち、2つの縦断面に沿った、異なる円錐を有する2つの非球面形輪郭)、または、非球面である、ことが更に可能である。さらに、マイクロレンズも、屈折自由形式表面として設けられる。マイクロレンズは、一般に屈折型であるけれども、別の実施形態では、回折型、または、屈折と回折の混合型でもよい。マイクロレンズ・フィールドの個々のマイクロレンズが、垂直(縦)方向および水平(横)方向の色エラーを最小にするために、色消しレンズとして設けられることは、さらに可能である。マイクロレンズ・フィールド、および、異なる屈折率を有する材料の間のインタフェースまたは境界領域が、反射防止コーティング(ARコーティング)と共に提供されることは、さらに可能である。
ハードウェア歪み修正の更なる可能性は、光電子画像センサ100の中の光ダイオード30´の物理的中心距離の変化である。その結果、光路特有の歪みは、マイクロ画像内の光ダイオード30´の配置の光路依存変化を有するレンズに適合した光電子画像センサ100によって、修正される。光ダイオード30´の光路特有の配置は、この点において、光路ごとに、レンズ設計データ、および、特に歪みコースから決定される(図8参照)。
仮に、光ダイオード群30が、六角形の、正方形の、長方形の、または、別の分配で、光電子画像センサ100上に配置されるならば、関連マイクロレンズ10も、六角形の、正方形の、長方形の、または、別の分配で配置されることが、さらに可能である。
まとめると、各実施形態は、マルチ光路画像と画像記録システムとに関わることに注目すべきである。画像形成および画像記録システムは、1つ以上のマイクロレンズ・フィールドと、各光路において、対象物フィールドの一部領域を検出する画像検出器フィールドとから成る。そして、画像形成および画像記録システムは、対象物フィールドの一部領域を写像して、全ての個々の光路の電子/ディジタル信号から、拡張対象物フィールドの全体画像をまとめる。本システムは、完全に独立して画像形成し、他の光学系に結合される必要はない。これは、画像形成されないけれども、光学的に十分な要素を増加させるための光束化に役立つ光電子画像センサのそれぞれの光ダイオード上のマイクロレンズ・フィールドに対する対照を表す。周知の従来技術とは対照的に、以下の利点が、特に結果として生じる。(スペーサ層のための光学部品、および、光電子画像センサのためのマルチ光路対物レンズの)組み立てと接続技術とは、主に、ウエハーレベル上で並行して、多数のシステムのために実行される。これらの方法の精度は、位置調整マークによる光学的位置調整支援の使用のため、ミクロンの範囲内である。これによって、手動実装の割合と1モジュール当たりの実装時間とが、明確に減少し、費用低減をもたらす。更なる利点は、既に知られている人工的同格複眼に関する、1光路当たりの画素数と、特に適合した抽出原則の使用が、同じセンサ足跡またはより小さいセンサ足跡であっても、実質的により高解像度能力が可能である、ということである。この理由のため、光電子画像センサの製造コストが減少し、その結果、全体システムの製造コストも、減少する。更なる利点は、特に、それぞれのマイクロ画像内の光学的歪みの修正のための、光路ごとの信号前処理の使用が、全体フィールドの中で、解像度能力を減少させないで、対象物フィールドの区分化を可能にする、ということである。対象物フィールドの一部領域は、マイクロレンズを通して、画像検出器マトリクス上に作像されるとき、マイクロ画像が結果として生じる。さらに、多数の分離光路による対象物フィールドの画像形成の分割のため、光学系の構築長の短縮化が可能になる。そして、これにもかかわらず、広大な対象物フィールド領域の検出が可能になる。しかしながら、特に、検出可能な対象物フィールドのサイズは、光路の数と横方向のシステムサイズとで伸縮化されるけれども、構築長からは独立している。さらに、実際には一定の解像度能力を有する大きい対象物フィールドが、全体フィールドにわたって作像される。各光路において、簡素な(製造しやすい)光学系が使用される。さらに、費用対効果に優れた生産と、画像形成対物レンズの実装と、費用対効果に優れた組み立てと、光電子画像センサの接続技術とが、ウエハーレベル上の半導体パターン化の技術関連の製造工程によって可能になる。更なる利点は、画像エラー(特に、コマ、乱視、画像フィールド湾曲)の光路ごとの修正のために、光学的配置に関する1光路当たりの数画素の使用による画像解像度能力(最大約1000×1000画素以上)の増加である。光路ごとの、歪みの修正のための画像前処理の追加的な使用によって、マイクロ画像の細部のエラー無し接続が可能になる。さらに、光学画像装置は、画像分解度能力の指数、および、光電子画像センサの必要領域の増加を可能にし、その結果、全体システムのコストの減少を可能にする。それとは別に、光学的組み立て(第3実施形態を参照)の適した変化によって、縁に向かっての画像の明るさの減少が抑えられる。さらに、スペクトル伝達フィルタの容易な集積の可能性が提供される(例えば、IRブロック化フィルタ、および/または、色フィルタ)。
全ての実施形態の例示的パラメータ範囲が、以下に示される。マイクロレンズの通常の直径は、10μm〜1mmの範囲内である。マイクロレンズの焦点長は、通常、30μm〜3mmの範囲内である。二次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、4〜25000個である。一方、一次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、2〜1000個である。光学画像装置が有する利点に基づいて、画像形成レンズの完全な構築長は、通常、50μm〜4.5mmのサイズをもたらす。光学画像装置の全体画像解像度は、通常、1万画素と1000万画素との間である。
実施形態に係る光電子画像センサ上の(例えば、窓層を有する薄い基板上の)、画像形成マイクロレンズ・フィールドは、従来の単一光路光学系と唯一区別される。レンズは別々に(射出成形して)製造され、画像センサと共に共通ハウジング内に組み込まれるので、組み立ては、通常、ハイブリッドである。
それらの可能な超小型構造と潜在的な費用対効果に優れた製造技術とに基づいて、マルチ光路画像形成と画像検出システムとは、娯楽電子製品(ラップトップ、家庭用ゲーム機、玩具)の中での使用と、特に、携帯機器(携帯電話、PDAおよびその他)の中での使用とが、運命付けられている。別の応用分野は、センサ工学(例えば、カメラ型センサ、製造技術の中の画像形成センサ)、自動車技術(例えば、自動車の内部の光安全センサ、高度運転支援システム、後方カメラ、車線検出など)、安全監視(例えば、ビル、博物館、構築物での/中にある、大きな視野を有する切り換え可能な環境カメラ)、ロボット工学(例えば、ナビゲーション、把持器の光学的制御、または、部品取り上げ装置のための光センサとして)、および、医療技術(例えば、画像形成診断法、内視鏡検査における使用)である。
方法の実施形態は、発明の装置の全ての局面と機能性によって補われる。
いくつかの局面は、装置に関係して説明したけれども、これらの局面が、対応する方法の記述を表すことは明白である。その結果、装置のブロックまたは部品は、対応する方法のステップとして、または、方法のステップの特徴として見做される。これとの類似で、方法のステップと関係して、または、方法のステップとして説明された局面は、対応する装置の、対応するブロックまたは細部または特徴の記述を表す。
特定の実現要求によって、本発明に係る実施形態は、ハードウェアまたはソフトウェアの中で実現される。実現は、デジタル保存媒体(例えば、フロッピー(登録商標)ディスク、DVD、ブルーレイディスク、DC、ROM、PROM、EPROM、EEPROM、フラッシュメモリ)を使用して実行される。電子的に読み取り可能な制御信号が保存された、主ディスクまたは別の磁気的または光学的記憶部が、プログラム可能なコンピュータ・システムと協働する。その結果、それぞれの方法が実行される。したがって、デジタル保存媒体は、コンピュータ読み取り可能である。本発明に係るいくつかの実施形態は、プログラム可能コンピュータ・システムと協働できる、電子的に読み取り可能な制御信号を含むデータ担持体を含む。その結果、ここで説明された方法の1つが実行される。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として、実行される。コンピュータプログラム製品が、コンピュータで実行されるとき、プログラムコードは、方法の1つを実行するために有効である。例えば、プログラムコードは、機械読み取り可能な担持体上に保存される。
他の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを含む。コンピュータプログラムは、機械読み取り可能な担持体上に保存される。
言い換えれば、発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるとき、ここで説明された方法の1つを実行するためのプログラムコードを含んでいるコンピュータプログラムである。発明の方法の別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムが保存されるデータ担持体(または、デジタル保存媒体またはコンピュータ読み取り可能な媒体)である。
発明の方法の別の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを表すデータストリームまたは信号の系列である。例えば、データストリームまたは信号の系列は、データ通信接続(インターネット)を介して、伝達するように構成される。
別の実施形態は、ここで説明された方法の1つを実行するために構成される、または、適合させられる処理手段(例えば、コンピュータまたはプログラム可能な論理回路装置を含む。
別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムがインストールされるコンピュータを含む。
いくつかの実施形態において、プログラム可能な論理回路装置(例えば、電界プログム可能なゲートアレイ、FPGA)は、ここで説明された方法のいくつか、または、全ての機能を実行するために使用される。いくつかの実施形態において、電界プログム可能なゲートアレイは、マイクロプロセッサと協働して、ここで説明された方法の1つを実行する。一般に、方法は、いくつかの実施形態において、どんなハードウェア装置によっても実行される。ハードウェア装置は、コンピュータプロセッサのような一般に使用可能なハードウェア(CPU)、または、例えば、ASICのような方法のための特定のハードウェアである。
上述されている実施例は、本発明の原理のために、単に図示するだけである。配置および本願明細書において記載されている詳細の修正および変更は、他の当業者にとって明らかであることは言うまでもない。従って、以下の特許請求の範囲だけによって制限され、本願明細書において実施例の参照および記述として示される具体的な詳細だけによって制限されないことは明らかである。

Claims (24)

  1. 少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールド(10)と、
    少なくとも2つの画像検出器マトリクス(30)を有する画像センサ(100)と、を備え、
    前記少なくとも2つの画像検出器マトリクス(30)は、それぞれ、複数の画像検出器を含み、
    前記画像検出器は前記画像センサ(100)の1画素に対応し、
    前記画像検出器マトリクス(30)と前記マイクロレンズ・フィールド(10)との間の配置が存在し、その結果、それぞれの前記マイクロレンズは、前記画像検出器マトリクス(30)と共に光路を形成し、
    異なる画像検出器マトリクス(30)の中心点は、前記画像検出器マトリクス(30)上に映し出された、関連した光路のマイクロレンズ窓(13a,13b)の図心に関して、異なる距離だけ横方向に移行され、その結果、少なくとも2つの前記光路は、部分的に重復している異なる検出領域を含み、かつ、2つの光路の前記検出領域の重複部分は、前記画像検出器マトリクス(30)の画像検出器ラスタに関してオフセットされた前記画像検出器マトリクス(30)上に作像されること、
    を特徴とする、光学画像装置(1000,1200,1300,1400,1500)。
  2. 前記重複部分は複数の対象物セルを含み、それぞれの対象物セルは前記画像センサ(100)の少なくとも1つの画像検出器上に作像され、
    抽出格子はそれぞれの光路に関連し、
    第1光路の抽出格子(810)は、前記重複部分のどの対象物セルが、前記第1光路の画像検出器マトリクス(30a)のどの画像検出器上に作像されるべきかを説明し、
    第2光路の抽出格子(820)は、前記重複部分のどの対象物セルが、前記第2光路の画像検出器マトリクス(30b)のどの画像検出器上に作像されるべきかを説明し、
    前記第1光路の抽出格子(810)は、第1対象物セルが、前記第1光路の画像検出器マトリクス(30a)の第1画像検出器上に作像されるように、かつ、前記第1対象物セルに隣接する第2対象物セルが、前記第1光路の画像検出器マトリクス(30a)の第1画像検出器と、前記第1光路の画像検出器マトリクス(30a)の、前記第1画像検出器に隣接する第2画像検出器と、の間のギャップ上に作像されるように、選択され、
    前記第2光路の抽出格子(820)は、前記第2対象物セルが、前記第2光路の画像検出器マトリクス(30b)の第1画像検出器上に作像されるように、かつ、前記第1対象物セルが、前記第2光路の画像検出器マトリクス(30b)の前記第1画像検出器と、前記第2光路の画像検出器マトリクス(30b)の、前記第1画像検出器に隣接する第2画像検出器と、の間のギャップ上に作像されるように、選択されること、
    を特徴とする、請求項1に記載の光学画像装置。
  3. 前記第1光路の抽出格子(810)は、前記第2光路の抽出格子(820)に関して、抽出間隔の非整数倍で移行され、
    その結果、前記第2対象物セルに隣接する第3対象物セルは、前記第1光路の画像検出器マトリクス(30a)の前記第2画像検出器上に作像され、
    前記抽出間隔は、前記第1対象物セルの中心点から前記第3対象物セルの中心点までの距離と等しいこと、
    を特徴とする、請求項2に記載の光学画像装置。
  4. それぞれの前記検出領域のマイクロ画像を、それぞれの前記光路の中に発生させるように設けられ、
    前記マイクロ画像は複数の画素を含み、前記画素は画像検出器上の対象物セルの画像形成によって形成され、
    前記第1光路のマイクロ画像は、前記第2光路のマイクロ画像で挟み込まれ、その結果、前記第1光路と前記第2光路との前記重複部分の隣接する対象物セルが、直線に沿って、異なるマイクロ画像に交互に関連付けられること、
    を特徴とする、請求項1〜請求項3のいずれかに記載の光学画像装置。
  5. 前記画像センサ(100)は、前記マイクロレンズ・フィールド(10)の前記マイクロレンズの焦点面に配置され、
    スペーサー層が、前記画像センサ(100)と前記マイクロレンズ・フィールド(10)との間に配置され、
    前記スペーサー層は、複数の光路を分離する構造を含み、前記構造は、隣接する光路間の光学クロストークを抑制するように設けられ、
    前記スペーサー層は、少なくとも1つの窓フィールド(11)を含み、前記窓フィールド(11)は、前記マイクロレンズ間のギャップを通過する散乱光を抑制するように設けられていること、
    を特徴とする、請求項1〜請求項4のいずれかに記載の光学画像装置。
  6. 複数の光路が異なるスペクトル伝達フィールド含み、その結果、1つの関連したマイクロ画像が、それぞれの前記光路の中に生じ、異なる光路のマイクロ画像が、異なるスペクトル色に関連し、
    前記光路は、色クロストークを抑制するための光路分離構造によって分離され、
    隣接する光路は異なるスペクトル伝達フィールドを含み、前記隣接する光路の前記マイクロ画像は、前記光路の重複部分の隣接する対象物セルが、直線に沿って、異なるスペクトルマイクロ画像に交互に関連付けられるように挟み込まれていること、
    を特徴とする、請求項1〜請求項5のいずれかに記載の光学画像装置。
  7. 装置と検出されるべき対象物(800)との間の距離を測定するためのセンサを含み、
    第2光路の画像検出器マトリクス(30b)の第1画像検出器上への、第1対象物セルに隣接した第2対象物セルの画像形成に関して、第1光路の画像検出器マトリクス(30a)の第1画像検出器上への、第1対象物セルの画像形成のオフセットを修正し、前記修正の中で、前記第1光路の画像検出器マトリクス(30a)から前記第2光路の画像検出器マトリクス(30b)までの横方向の距離を考慮するように設けられていること、
    を特徴とする、請求項1〜請求項6のいずれかに記載の光学画像装置。
  8. 異なるマイクロレンズは、マイクロレンズの構造パラメータの少なくとも1つに関して異なり、前記マイクロレンズは、全て、同じ焦点面に作像するように形成されていること、を特徴とする、請求項1〜請求項7のいずれかに記載の光学画像装置。
  9. 少なくとも1つのマイクロレンズが色消しレンズとして設けられていること、を特徴とする、請求項1〜請求項8のいずれかに記載の光学画像装置。
  10. 前記マイクロレンズ・フィールド(10)、および/または、透明材と空気の間のインタフェースが、反射防止層を含むこと、を特徴とする、請求項1〜請求項9のいずれかに記載の光学画像装置。
  11. 前記マイクロレンズ・フィールド(10)および前記画像検出器マトリクス(30)は、六角形の分布、正方形の分布もしくは長方形の分布で配置されていること、を特徴とする、請求項1〜請求項10のいずれかに記載の光学画像装置。
  12. マイクロレンズ・フィールド(10)は、屈折自由形式表面のフィールドとして設けられていること、を特徴とする、請求項1〜請求項11のいずれかに記載の光学画像装置。
  13. 複数の画素を有するマイクロ画像が、それぞれの光路の中に生じるように設けられ、
    前記マイクロ画像の歪みを修正して、前記光路のマイクロ画像から全体画像(300)を再構成するための画像処理手段(70)を含み、
    前記画像処理手段(70)は、それぞれのマイクロ画像ごとに別々に、かつ、時間的に並行して、歪みの修正を実行するように設けられ、
    前記画像処理手段(70)は、前記挟み込まれたマイクロ画像の画素を交互に配置することによって、前記全体画像(300)の再構成を実行し、その結果、前記全体画像(300)を得るように設けられていること、
    を特徴とする、請求項1〜請求項12のいずれかに記載の光学画像装置。
  14. 前記画像処理手段(70)は、前記画像センサ(100)を有するチップ上に設けられ、
    前記画像処理手段(70)は、前記画像センサ(100)の前記画像検出器マトリクス(30)の前記ギャップの中に配置された、複数の歪み修正用マイクロ画像処理手段(50)を含むこと、
    を特徴とする、請求項13記載の光学画像装置。
  15. 第1画像検出器マトリクス(30a)に関連した複数の第1画像検出器と、第2画像検出器マトリクス(30b)に関連した複数の第2画像検出器と、を有する画像センサ(100)と、
    画像エラーを修正して、前記画像検出器マトリクスの画像検出器上の画像から全体画像(300)を再構成するための画像処理手段(70)と、
    前記画像センサ(100)がマイクロレンズ・フィールド(10)の焦点面に位置するように、マイクロレンズ・フィールド(10)を前記画像処理手段(70)上に実装するように設けられたマイクロレンズ・フィールド受け入れ用ユニットと、を備え、
    隣接する光路の個々の画像は挟み込まれ、
    前記画像処理手段(70)は、歪みを修正するための複数の処理手段を含み、
    前記画像処理手段(70)は、個々の画像の挟み込みが考慮されるように、時間的に並行して、相互に独立して、全ての画像検出器マトリクスの個々の画像の画像エラーの修正を実行し、前記個々の画像から全体画像を再構成するように、構成されていること、
    を特徴とする、光学画像処理装置。
  16. 前記画像処理手段(70)は、画像センサ(100)を有するチップ上に設けられていること、を特徴とする、請求項15に記載の光学画像処理装置。
  17. 前記複数の処理手段は、前記画像センサ(100)の前記画像検出器マトリクスのギャップの中の歪みを修正するために配置されていること、を特徴とする、請求項16に記載の光学画像処理装置。
  18. 少なくとも2つのマイクロレンズを有するマイクロレンズ・フィールド(10)と画像センサ(100)とを使用する光学画像形成方法であって、
    前記画像センサ(100)は複数の画像検出器マトリクス(30)を含み、前記複数の画像検出器マトリクス(30)のそれぞれは複数の画像検出器を含み、前記画像検出器マトリクス(30)は前記マイクロレンズのそれぞれに関連し、その結果、それぞれの前記マイクロレンズは、関連した前記画像検出器マトリクス(30)と供に光路を形成し、
    (a)それぞれの対象物セルが画像検出器上に作像されるように、前記マイクロレンズ・フィールド(10)を通して対象物を前記画像センサ(100)上に作像するステップを備え、
    隣接する対象物セルは、隣接する光路の画像検出器上に作像され、その結果、マイクロ画像は、前記光路の画像検出器マトリクス上に形成され、それぞれのマイクロ画像は、隣接する光路のマイクロ画像で挟み込まれていること、
    を特徴とする、光学画像形成方法。
  19. (b)前記光路のそれぞれのマイクロ画像の水平および垂直鏡像化をするステップと、
    (c)異なる光路の前記マイクロ画像の画素値を、連続した座標面上に位置変換することによって、離散的格子構造から変換するステップと、
    (d)前記連続した座標面からの前記画素値を、新しい離散的格子上に作像して、歪みのないマイクロ画像を得るステップと、
    (e)前記歪みのないマイクロ画像の前記画素値を、前記マイクロ画像の挟み込みによって与えられた特定の体系に従って、画像マトリクスの中に再分類して、挟み込みのない全体画像を得るステップと、を更に備え、
    前記(b)のステップにおいて、全てのマイクロ画像の前記鏡像化は時間的に並行して実行され、
    前記(c)のステップにおいて、異なる光路のマイクロ画像の画像歪みの修正が実行され、
    前記(d)のステップにおいて、異なる光路は時間的に並行して処理されること、
    を特徴とする、請求項18に記載の光学画像形成方法。
  20. 位置変換による、離散的格子構造からの、異なる光路のマイクロ画像の画素値の変換は、連続した座標面上で、時間的に並行して実行されること、を特徴とする、請求項19に記載の光学画像形成方法。
  21. プログラムがコンピュータで実行されるとき、請求項18の方法を実行するためのプログラム・コードを有すること、を特徴とするコンピュータ・プログラム。
  22. 少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールド(10)と、
    少なくとも2つの画像検出器マトリクス(30)を有する画像センサ(100)と、を備え、
    前記少なくとも2つの画像検出器マトリクス(30)は、それぞれ複数の画像検出器を含み、
    1つの前記画像検出器は、前記画像センサ(100)の1つの画素に対応し、
    前記画像検出器マトリクス(30)と前記マイクロレンズ・フィールド(10)との間の配置が存在し、その結果、それぞれの前記マイクロレンズは、前記画像検出器マトリクス(30)と共に光路を形成し、
    異なる画像検出器マトリクス(30)の中心点は、前記画像検出器マトリクス(30)上に映し出された、関連した光路のマイクロレンズ窓(13a,13b)の図心に関して、異なる距離だけ横方向に移行され、その結果、少なくとも2つの前記光路は、部分的に重復している異なる検出領域を含み、かつ、2つの光路の前記検出領域の重複部分は、前記画像検出器マトリクス(30)の画像検出器ラスタに関してオフセットされた前記画像検出器マトリクス(30)上に作像され、
    前記重複部分は複数の対象物セルを含み、それぞれの対象物セルは前記画像センサ(100)の少なくとも1つの画像検出器上に作像され、
    抽出格子はそれぞれの光路に関連し、
    第1光路の抽出格子(810)は、前記重複部分のどの対象物セルが、前記第1光路の画像検出器マトリクス(30a)のどの画像検出器上に作像されるべきかを説明し、
    第2光路の抽出格子(820)は、前記重複部分のどの対象物セルが、前記第2光路の画像検出器マトリクス(30b)のどの画像検出器上に作像されるべきかを説明し、
    前記第1光路の抽出格子(810)は、第1対象物セルが、前記第1光路の画像検出器マトリクス(30a)の第1画像検出器上に作像されるように、かつ、前記第1対象物セルに隣接する第2対象物セルが、前記第1光路の画像検出器マトリクス(30a)の第1画像検出器と、前記第1光路の画像検出器マトリクス(30a)の、前記第1画像検出器に隣接する第2画像検出器と、の間のギャップ上に作像されるように、選択され、
    前記第2光路の抽出格子(820)は、前記第2対象物セルが、前記第2光路の画像検出器マトリクス(30b)の第1画像検出器上に作像されるように、かつ、前記第1対象物セルが、前記第2光路の画像検出器マトリクス(30b)の前記第1画像検出器と、前記第2光路の画像検出器マトリクス(30b)の、前記第1画像検出器に隣接する第2画像検出器と、の間のギャップ上に作像されるように、選択されること、
    を特徴とする、光学画像装置(1000,1200,1300,1400,1500)。
  23. 少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールド(10)と、
    少なくとも2つの画像検出器マトリクス(30)を有する画像センサ(100)と、を備え、
    前記少なくとも2つの画像検出器マトリクス(30)は、それぞれ複数の画像検出器を含み、
    1つの前記画像検出器は、前記画像センサ(100)の1つの画素に対応し、
    前記画像検出器マトリクス(30)と前記マイクロレンズ・フィールド(10)との間の配置が存在し、その結果、それぞれの前記マイクロレンズは、前記画像検出器マトリクス(30)と共に光路を形成し、
    異なる画像検出器マトリクス(30)の中心点は、前記画像検出器マトリクス(30)上に映し出された、関連した光路のマイクロレンズ窓(13a,13b)の図心に関して、異なる距離だけ横方向に移行され、その結果、少なくとも2つの前記光路は、部分的に重復している異なる検出領域を含み、かつ、2つの光路の前記検出領域の重複部分は、前記画像検出器マトリクス(30)の画像検出器ラスタに関してオフセットされた前記画像検出器マトリクス(30)上に作像され、
    装置と検出されるべき対象物(800)との間の距離を測定するためのセンサを含み、
    第2光路の画像検出器マトリクス(30b)の第1画像検出器上への、第1対象物セルに隣接した第2対象物セルの画像形成に関して、第1光路の画像検出器マトリクス(30a)の第1画像検出器上への、第1対象物セルの画像形成のオフセットを修正するように構成され、かつ、前記修正の中で、前記第1光路の画像検出器マトリクス(30a)から前記第2光路の画像検出器マトリクス(30b)までの横方向の距離を考慮するように設けられていること、
    を特徴とする、光学画像装置(1000,1200,1300,1400,1500)。
  24. 少なくとも2つのマイクロレンズを有するマイクロレンズ・フィールド(10)と画像センサ(100)とを使用する光学画像形成方法であって、
    前記画像センサ(100)は複数の画像検出器マトリクス(30)を含み、前記複数の画像検出器マトリクス(30)のそれぞれは複数の画像検出器を含み、前記画像検出器マトリクス(30)は前記マイクロレンズのそれぞれに関連し、その結果、それぞれの前記マイクロレンズは、関連した前記画像検出器マトリクス(30)と供に光路を形成し、
    (a)それぞれの対象物セルが画像検出器上に作像されるように、前記マイクロレンズ・フィールド(10)を通して対象物を前記画像センサ(100)上に作像するステップと、
    (b)前記光路のそれぞれのマイクロ画像の水平および垂直鏡像化をするステップと、
    (c)異なる光路の前記マイクロ画像の画素値を、連続した座標面上に位置変換することによって、離散的格子構造から変換するステップと、
    (d)前記連続した座標面からの前記画素値を、新しい離散的格子上に作像して、歪みのないマイクロ画像を得るステップと、
    (e)前記歪みのないマイクロ画像の前記画素値を、前記マイクロ画像の挟み込みによって与えられた特定の体系に従って、画像マトリクスの中に再分類して、挟み込みのない全体画像を得るステップと、を備え、
    前記(a)のステップにおいて、隣接する対象物セルは、隣接する光路の画像検出器上に作像され、その結果、マイクロ画像は、前記光路の画像検出器マトリクス上に形成され、それぞれのマイクロ画像は、隣接する前記光路のマイクロ画像で光路で挟まれ、
    前記(b)のステップにおいて、全てのマイクロ画像の前記鏡像化は時間的に並行して実行され、
    前記(c)のステップにおいて、異なる光路のマイクロ画像の画像歪みの修正が実行され、
    前記(d)のステップにおいて、異なる光路は時間的に並行して処理されること、
    を特徴とする、光学画像形成方法。
JP2011543783A 2009-10-14 2010-10-12 光学画像装置、光学画像処理装置および光学画像形成方法 Active JP5379241B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009049387.5 2009-10-14
DE102009049387.5A DE102009049387B4 (de) 2009-10-14 2009-10-14 Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
PCT/EP2010/065290 WO2011045324A2 (de) 2009-10-14 2010-10-12 Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013017198A Division JP5589107B2 (ja) 2009-10-14 2013-01-31 光学画像処理装置

Publications (2)

Publication Number Publication Date
JP2012507250A true JP2012507250A (ja) 2012-03-22
JP5379241B2 JP5379241B2 (ja) 2013-12-25

Family

ID=43126993

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011543783A Active JP5379241B2 (ja) 2009-10-14 2010-10-12 光学画像装置、光学画像処理装置および光学画像形成方法
JP2013017198A Active JP5589107B2 (ja) 2009-10-14 2013-01-31 光学画像処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013017198A Active JP5589107B2 (ja) 2009-10-14 2013-01-31 光学画像処理装置

Country Status (7)

Country Link
US (1) US8629930B2 (ja)
EP (3) EP2429176B1 (ja)
JP (2) JP5379241B2 (ja)
KR (1) KR101284414B1 (ja)
DE (1) DE102009049387B4 (ja)
ES (3) ES2466820T3 (ja)
WO (1) WO2011045324A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014119737A1 (ja) * 2013-02-01 2014-08-07 コニカミノルタ株式会社 複眼光学系、撮像装置、及び複眼光学系の製造方法
CN104252013A (zh) * 2013-06-28 2014-12-31 佳能株式会社 光学元件阵列和包括该阵列的固态成像装置
JP2017503369A (ja) * 2013-11-08 2017-01-26 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オブジェクト領域を検出するためのマルチアパーチャ・デバイス及び方法
US9606266B2 (en) 2014-04-03 2017-03-28 Canon Kabushiki Kaisha Optical element, optical element array, and solid-state image-pickup apparatus
KR20170120134A (ko) * 2015-12-18 2017-10-30 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서 및 출력 방법, 위상 포커싱 방법, 이미징 장치와 단말기
JP2019509656A (ja) * 2016-01-13 2019-04-04 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチアパーチャ・イメージング・デバイス、イメージングシステム、および対象領域を取り込むための方法
WO2020070985A1 (ja) * 2018-10-02 2020-04-09 ソニーセミコンダクタソリューションズ株式会社 温度検出素子及び撮像装置
JP2020098963A (ja) * 2018-12-17 2020-06-25 株式会社日立製作所 撮像装置
JP2022536215A (ja) * 2018-07-19 2022-08-15 イソルグ 角度フィルタ、及び角度フィルタを製造する方法

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
GB0912970D0 (en) * 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5785398B2 (ja) 2011-02-17 2015-09-30 キヤノン株式会社 撮像装置及び画像信号処理装置
JP5330439B2 (ja) * 2011-03-18 2013-10-30 株式会社東芝 カメラモジュール、画像処理装置及び画像処理方法
BR112013013265A2 (pt) * 2011-04-22 2016-09-13 Grapac Japan Co Inc folha de exibição de imagem, e, corpo de exibição de imagem
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
JP2013109011A (ja) * 2011-11-17 2013-06-06 Toshiba Corp カメラモジュール
CN103139470A (zh) * 2011-11-30 2013-06-05 索尼公司 数字成像系统
US20130169606A1 (en) * 2011-12-30 2013-07-04 Qualcomm Mems Technologies, Inc. Light direction distribution sensor
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
WO2013173541A1 (en) 2012-05-18 2013-11-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US9599508B2 (en) 2012-05-18 2017-03-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US20140003777A1 (en) * 2012-07-02 2014-01-02 Commscope, Inc. Of North Carolina Light focusing structures for fiber optic communications systems and methods of fabricating the same using semiconductor processing and micro-machining techniques
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
DE102012218834B4 (de) * 2012-10-12 2016-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und system zur optischen abbildung
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US20140158862A1 (en) * 2012-12-11 2014-06-12 Ying Wen Hsu Micro-Image Acquisition and Transmission System
TWI502212B (zh) * 2013-01-11 2015-10-01 Pixart Imaging Inc 光學裝置、使用微透鏡之感光元件及其製作方法
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE102013209246B4 (de) * 2013-05-17 2019-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Herstellung einer falschlichtunterdrückenden Struktur und Vorrichtung mit derselben
JP6480919B2 (ja) 2013-05-21 2019-03-13 クラレト,ホルヘ ヴィセンテ ブラスコ プレノプティックセンサとその製造方法およびプレノプティックセンサを有する配置
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9202833B2 (en) 2013-08-23 2015-12-01 Semiconductor Components Industries, Llc Imaging systems with baffle grids
KR102114248B1 (ko) * 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9880391B2 (en) * 2013-10-01 2018-01-30 Heptagon Micro Optics Pte. Ltd. Lens array modules and wafer-level techniques for fabricating the same
US20150116527A1 (en) * 2013-10-31 2015-04-30 Heptagon Micro Optics Pte. Ltd. Compact array camera modules having an extended field of view from which depth information can be extracted
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
GB2520261B (en) * 2013-11-12 2017-10-18 Canon Kk Visual servoing
CA2870419C (en) 2013-11-12 2023-05-16 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
DE102013226196A1 (de) * 2013-12-17 2015-06-18 Volkswagen Aktiengesellschaft Optisches Sensorsystem
DE102013226789B4 (de) 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
JP6351285B2 (ja) * 2014-02-13 2018-07-04 キヤノン株式会社 画像形成装置、及び画像形成装置の制御方法
EP2908341B1 (en) * 2014-02-18 2018-07-11 ams AG Semiconductor device with surface integrated focusing element
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US20170026588A1 (en) 2014-05-01 2017-01-26 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
US10107515B2 (en) * 2014-06-05 2018-10-23 Honeywell International Inc. HVAC controller with proximity sensor
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US10911738B2 (en) * 2014-07-16 2021-02-02 Sony Corporation Compound-eye imaging device
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
US9977961B2 (en) * 2014-10-21 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Method for maintaining detection capability when a frame in a multispectral image is corrupted
CN107209116B (zh) 2014-12-23 2020-08-07 苹果公司 包括考虑样本内的光学路径长度的变化的光学检查系统和方法
US9591287B2 (en) 2015-01-21 2017-03-07 Himax Technologies Limited Lens module applied to camera
DE102015002536B4 (de) * 2015-02-28 2021-10-28 Schölly Fiberoptic GmbH Optikanordnung, Endoskop und korrespondierendes Verfahren zur Fertigung
TWI564594B (zh) * 2015-03-02 2017-01-01 奇景光電股份有限公司 透鏡模組
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
WO2016168415A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102372745B1 (ko) * 2015-05-27 2022-03-11 에스케이하이닉스 주식회사 이미지 센서 및 이를 구비하는 전자장치
EP3304014B1 (en) 2015-05-29 2024-04-03 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10403668B2 (en) * 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
KR102500358B1 (ko) * 2015-09-01 2023-02-16 애플 인크. 물질의 비접촉 감지를 위한 레퍼런스 스위치 아키텍처
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016013512A1 (de) 2016-04-18 2017-11-09 Kastriot Merlaku Beleuchtungs-System für Kameras aller Art oder für Mobiltelefone mit Kamera
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10578274B2 (en) 2016-06-10 2020-03-03 General Electric Company Lens array assembly and method for making the same
AT518905B1 (de) * 2016-07-29 2018-04-15 Zkw Group Gmbh Projektionseinrichtung für einen Kraftfahrzeugscheinwerfer und Verfahren zu seiner Herstellung
US10270947B2 (en) * 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
EP4212851A1 (en) 2016-10-21 2023-07-19 Rebellion Photonics, Inc. Gas imaging system
WO2018075964A1 (en) * 2016-10-21 2018-04-26 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
CN110192127B (zh) * 2016-12-05 2021-07-09 弗托斯传感与算法公司 微透镜阵列
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
DE102017200618A1 (de) * 2017-01-17 2018-07-19 Robert Bosch Gmbh Miniaturspektrometer und Verfahren eingerichtet zur spektralen Analyse eines Objekts
WO2018156795A1 (en) 2017-02-22 2018-08-30 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
DE102017106831A1 (de) * 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
CN107589468A (zh) * 2017-07-25 2018-01-16 移康智能科技(上海)股份有限公司 一种人体探测方法、装置及电子设备
US11882371B2 (en) 2017-08-11 2024-01-23 California Institute Of Technology Lensless 3-dimensional imaging using directional sensing elements
US10539718B2 (en) 2017-08-17 2020-01-21 Honeywell International Inc. Fresnel lens array with improved off-axis optical efficiency
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
CN116893160A (zh) 2017-09-29 2023-10-17 苹果公司 路径解析的光学采样架构
EP3707497B1 (en) 2017-11-09 2022-09-28 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11226459B2 (en) 2018-02-13 2022-01-18 Apple Inc. Integrated photonics device having integrated edge outcouplers
US10529763B2 (en) * 2018-04-19 2020-01-07 Semiconductor Components Industries, Llc Imaging pixels with microlenses
EP3788416B1 (en) 2018-05-01 2023-04-19 Signify Holding B.V. Lighting device with controllable light output characteristics
US10936885B2 (en) 2018-05-15 2021-03-02 Toyota Research Institute, Inc. Systems and methods of processing an image
US10736506B2 (en) * 2018-06-14 2020-08-11 Broadspot Imaging Corp Composite image with cross-channel illumination
EP3850534A4 (en) 2018-09-12 2022-04-27 Fingerprint Cards Anacatum IP AB RECONSTRUCTION OF FINGERPRINT SUB-IMAGES
WO2020103075A1 (zh) * 2018-11-22 2020-05-28 深圳印象认知技术有限公司 一种图像处理方法及装置
KR20210020469A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 분광 카메라
CN110505384B (zh) * 2019-08-29 2021-05-14 Oppo广东移动通信有限公司 成像系统、终端和图像获取方法
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス,インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
KR20210046971A (ko) 2019-10-21 2021-04-29 삼성전자주식회사 복수-입력 폴디드 카메라 및 이를 포함하는 모바일 장치
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
DE102019220436B4 (de) * 2019-12-20 2021-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Unterdrückung von Störungen durch Reflexionslicht bei einem Licht-erzeugenden System, Verwendungen der Vorrichtung und Licht-erzeugendes System
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
DE102020207302A1 (de) 2020-06-10 2021-12-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Aufnahme eines projizierten Punktmusters in einer Anzeigevorrichtung
US11852318B2 (en) 2020-09-09 2023-12-26 Apple Inc. Optical system for noise mitigation
US11513324B2 (en) * 2020-11-15 2022-11-29 Aac Optics Solutions Pte. Ltd. Camera module
US11902638B1 (en) * 2020-12-30 2024-02-13 Ball Aerospace & Technologies Corp. Gapless detector mosaic imaging systems and methods
CN112804001B (zh) * 2021-01-08 2022-05-27 中国人民解放军战略支援部队信息工程大学 孔径阵列接收机及其设计方法、装置、电子设备和介质
DE102021202164B3 (de) 2021-03-05 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Tandemblendenarchitektur zur Füllfaktorerhöhung von kompakten Multikanalabbildungssystemen
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114638824B (zh) * 2022-05-11 2022-08-23 成都数联云算科技有限公司 基于aoi设备采集图像的融合方法、装置、设备和介质
CN115086550B (zh) * 2022-05-30 2023-04-28 元潼(北京)技术有限公司 元成像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145802A (ja) * 1996-11-04 1998-05-29 Eastman Kodak Co 視野をセグメントに分割する小型デジタルカメラ
JPH11127390A (ja) * 1997-06-25 1999-05-11 Eastman Kodak Co 画像の表示機能を一体的に構成した撮像センサ及び小型デジタルカメラ
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
JP2009206356A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 固体撮像装置およびその製造方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4585948A (en) * 1983-03-15 1986-04-29 The United States Of America As Represented By The Secretary Of The Air Force Non-scanning integrated optical system with wide field of view search capability
US5497269A (en) * 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US5696371A (en) 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
US5796522A (en) * 1996-12-20 1998-08-18 Eastman Kodak Company Lenslet array system with a baffle structure and a shutter
JP2000032354A (ja) 1998-07-09 2000-01-28 Sony Corp 撮像装置
US6660988B2 (en) * 2001-05-01 2003-12-09 Innovative Technology Licensing, Llc Detector selective FPA architecture for ultra-high FPA operability and fabrication method
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
JP2005252625A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
EP2398224B1 (en) * 2004-10-01 2016-01-13 The Board of Trustees of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7651282B2 (en) * 2005-05-04 2010-01-26 The Trustees Of Columbia University In The City Of New York Devices and methods for electronically controlling imaging
US20090268983A1 (en) * 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
DE102006004802B4 (de) * 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
DE102006040657B4 (de) * 2006-08-30 2016-05-12 Robert Bosch Gmbh Bilderfassungssystem für Anwendungen in Fahrzeugen
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP5092685B2 (ja) * 2007-10-23 2012-12-05 株式会社ニコン 撮像素子および撮像装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145802A (ja) * 1996-11-04 1998-05-29 Eastman Kodak Co 視野をセグメントに分割する小型デジタルカメラ
JPH11127390A (ja) * 1997-06-25 1999-05-11 Eastman Kodak Co 画像の表示機能を一体的に構成した撮像センサ及び小型デジタルカメラ
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
JP2009206356A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 固体撮像装置およびその製造方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014119737A1 (ja) * 2013-02-01 2014-08-07 コニカミノルタ株式会社 複眼光学系、撮像装置、及び複眼光学系の製造方法
CN104252013A (zh) * 2013-06-28 2014-12-31 佳能株式会社 光学元件阵列和包括该阵列的固态成像装置
US9285510B2 (en) 2013-06-28 2016-03-15 Canon Kabushiki Kaisha Optical element array and solid-state imaging device including the array
JP2017503369A (ja) * 2013-11-08 2017-01-26 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オブジェクト領域を検出するためのマルチアパーチャ・デバイス及び方法
US9769458B2 (en) 2013-11-08 2017-09-19 Fraunhofer-Gesellshaft Zur Foerderung Der Angewandten Forschung E.V. Multi-aperture device and method for detecting an object region
US9606266B2 (en) 2014-04-03 2017-03-28 Canon Kabushiki Kaisha Optical element, optical element array, and solid-state image-pickup apparatus
KR102038680B1 (ko) * 2015-12-18 2019-10-30 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서 및 출력 방법, 위상 포커싱 방법, 이미징 장치와 단말기
KR20170120134A (ko) * 2015-12-18 2017-10-30 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서 및 출력 방법, 위상 포커싱 방법, 이미징 장치와 단말기
US10764522B2 (en) 2015-12-18 2020-09-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal
US10880501B2 (en) 2015-12-18 2020-12-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal
JP2019509656A (ja) * 2016-01-13 2019-04-04 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチアパーチャ・イメージング・デバイス、イメージングシステム、および対象領域を取り込むための方法
US10771668B2 (en) 2016-01-13 2020-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-aperture imaging device, imaging system and method for capturing an object area
JP2022536215A (ja) * 2018-07-19 2022-08-15 イソルグ 角度フィルタ、及び角度フィルタを製造する方法
WO2020070985A1 (ja) * 2018-10-02 2020-04-09 ソニーセミコンダクタソリューションズ株式会社 温度検出素子及び撮像装置
JP2020056674A (ja) * 2018-10-02 2020-04-09 ソニーセミコンダクタソリューションズ株式会社 温度検出素子及び撮像装置
JP7237506B2 (ja) 2018-10-02 2023-03-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2020098963A (ja) * 2018-12-17 2020-06-25 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
ES2685583T3 (es) 2018-10-10
JP2013102534A (ja) 2013-05-23
US8629930B2 (en) 2014-01-14
WO2011045324A3 (de) 2011-06-23
US20110228142A1 (en) 2011-09-22
WO2011045324A2 (de) 2011-04-21
KR20110074984A (ko) 2011-07-05
EP2428034B1 (de) 2016-04-13
EP2432213B1 (de) 2018-05-30
ES2466820T3 (es) 2014-06-11
EP2432213A1 (de) 2012-03-21
DE102009049387B4 (de) 2016-05-25
EP2428034A2 (de) 2012-03-14
EP2429176A1 (de) 2012-03-14
ES2572229T3 (es) 2016-05-30
JP5379241B2 (ja) 2013-12-25
DE102009049387A1 (de) 2011-04-21
KR101284414B1 (ko) 2013-07-09
EP2429176B1 (de) 2014-04-16
JP5589107B2 (ja) 2014-09-10

Similar Documents

Publication Publication Date Title
JP5589107B2 (ja) 光学画像処理装置
CN105900238B (zh) 全光透镜在光传感器衬底上的单片集成
US7253394B2 (en) Image sensor and method for fabricating the same
US9578237B2 (en) Array cameras incorporating optics with modulation transfer functions greater than sensor Nyquist frequency for capture of images used in super-resolution processing
US7920339B2 (en) Method and apparatus providing singlet wafer lens system with field flattener
US9986223B2 (en) Folded optic passive depth sensing system
JP5507585B2 (ja) 多数のマイクロ光電子デバイスを製造する方法およびマイクロ光電子デバイス
TWI443366B (zh) 攝像鏡頭、及攝像模組
US20170359568A1 (en) Wafer level optics for folded optic passive depth sensing system
JP5627622B2 (ja) 固体撮像装置および携帯情報端末
CN112005150B (zh) 用于移动设备的全光相机
KR20100059896A (ko) 이미지 센서
CN104570170A (zh) 光学元件阵列、光电转换装置以及图像拾取系统
CN111800560B (zh) 使用晶圆级集成工艺的光场相机及方法
Brückner et al. Driving micro-optical imaging systems towards miniature camera applications
Meyer et al. Ultra-compact imaging system based on multi-aperture architecture
JP2006019918A (ja) 撮像装置
Dannberg et al. Thin wafer-level camera lenses inspired by insect compound eyes
Hiura et al. Krill-eye: Superposition compound eye for wide-angle imaging via GRIN lenses

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121026

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130926

R150 Certificate of patent or registration of utility model

Ref document number: 5379241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250