JP2007086068A - マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ - Google Patents

マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ Download PDF

Info

Publication number
JP2007086068A
JP2007086068A JP2006252768A JP2006252768A JP2007086068A JP 2007086068 A JP2007086068 A JP 2007086068A JP 2006252768 A JP2006252768 A JP 2006252768A JP 2006252768 A JP2006252768 A JP 2006252768A JP 2007086068 A JP2007086068 A JP 2007086068A
Authority
JP
Japan
Prior art keywords
photodetector
matrix
optical sensor
microlens
photodetectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006252768A
Other languages
English (en)
Inventor
Nereo Pallaro
ネレオ・パッラーロ
Davide Capello
ダヴィデ・カペッロ
Repetto Piermario
ピエールマリオ・レペット
Roberto Finizio
ロベルト・フィニツィオ
Cosimo Carvignese
コシモ・カルヴィニェーゼ
Luca Liotti
ルカ・リオッティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centro Ricerche Fiat SCpA
Original Assignee
Centro Ricerche Fiat SCpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centro Ricerche Fiat SCpA filed Critical Centro Ricerche Fiat SCpA
Publication of JP2007086068A publication Critical patent/JP2007086068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】多機能光学センサは、光検出器12のマトリックスを備え、サブ領域に分割された感知領域を有して、その各々は、個別にあるいは他のものと結合されて、場面を監視する又は環境パラメータを測定するという特定機能に専用である。
【解決手段】光学センサは、微小レンズ14のマトリックスを備える。その各々は、結び付いた光検出器12又は相互に連続した光検出器のクラスタの上の立体角16の一部分から来る光に合焦するようにセットされている。各機能は、単一の微小レンズに、相互に連続した微小レンズの単一のサブグループに、複合の相互に連続していない微小レンズに、微小レンズの複合の相互に連続していないサブグループに結び付けられる。隣接した光検出器又は光検出器の隣接したクラスタによって範囲の定められた立体角16の部分の中央方向の間の角距離は、マトリックス内で一定ではない。
【選択図】図５

Description

本発明は、多機能光学センサに関し、特に、サブ領域に分割された感知領域を有するCCD又はCMOSタイプの光検出器のマトリックスを備える、自動車用の多機能光学センサに関する。それは、個別にあるいは一緒に組み合わされて、場面を監視するか、環境パラメーターを測定する特定の機能に指定されている。
場面監視機能は、乗り物に対する前面、後面、あるいは側面の場面を監視することを含んでいる。前面監視は、例えば、反対方向から来る乗り物の存在、カーブの存在、又はレーンの縦方向の分離ラインの方向に乗り物が動くことを検出する。乗り物の後方の監視は、例えば、駐車行動（manoeuvre）を援助することができる。横に到着して、外部バックミラーで見ることのできない乗り物が、いわゆる「死角（blind angle）」であるので、側面監視は、例えば、それらを検出する。
環境パラメータの測定は、例えば、霧、雨、窓のフォギング（window fogging）、照明および太陽の照射状態の測定を備える。
同じ出願人による欧州特許公開第１４１８０８９号公報（EP-A-1418089）および欧州特許公開第１５２１２２６号公報（EP-A-1521226）の文献は、多機能光学センサを記載しているが、センサの光学の窓の前に配置されたレンズの単一の開口光学（aperture optics）又はマトリックスによるCCD又はCMOSのタイプの光検出器のマトリックスに関する多機能の統合解法を示す。欧州特許公開第１５２１２２６号公報（EP-A-1521226）において、各機能は、単レンズに(又は異なったマトリックスに配置された複数のレンズに)結び付いていて、前記レンズは光検出器のサブグループに結び付いている。
図１は、欧州特許公開第１４１８０８９号公報（EP-A-1418089）の本発明に係るセンサの実施態様の斜視図を示す。単一の開口光学（aperture optics）の使用は、光学-機械システムのサイズを全体として小さくする可能性を制限する。さらに、システムの構造および組み立てのプロセスの複雑さにより、大容量用センサのコストが著しく低減することはない。
本発明の目的は、
マトリックスのパーティション（partition）を最適化することであって、各機能に結び付いた光検出器マトリックスのサブ領域の形(長方形、台形、線形)とコーディネート（coordinate）とを規定することにさらに自由があり、サブ領域の分離にもっぱら用いられた光検出器は、低減又は除去され、全ての感知領域が用いられ、同じサブ領域/機能(もっと先に示されるように)に属する光検出器に異なった方向および視界を割り当てる（assign）ことが可能であることと、
光学およびチップ視点（viewpoint）からセンサを小型化することであって、マイクロレンズ・マトリックスを用いて、マトリックスのパーティションの最適化により、単一の開口（aperture）光学系の典型的な寸法が除去され、そのフォーマットが減少され、高度な小型化は、バックミラーに、屋根の近くに、天井灯などに光学センサを挿入することができて、乗り物上の統合を単純化することと、
画像処理を単純化することであって、すべての光検出器又は光検出器のグループは、ある種の光学的な「前処理」を達成するように最適化されたその視界と方向とを有することと、
マトリックスの最適化されたフォーマット、低価格のマイクロレンズの製作プロセス、光検出器に隣接してマイクロレンズ・マトリックスの表面上に干渉フィルターの堆積（deposition）のおかげでコストを減少することと、
を可能にする上記タイプの光学センサを提供することである。
本発明によれば、前記目的は、請求項１に示された特徴を有する多機能光学センサによって達成される。
本発明は、非限定的な例として単に提供された添付図面を参照しながら詳細に説明される。
本発明は、CCD又はCMOSタイプの光検出器のマトリックスと、マイクロレンズのマトリックスとを備える多機能光学センサに関する。マイクロレンズは、光検出器(画素)のサブグループ(クラスタ)又は単一の光検出器にそれぞれ連結される。マイクロレンズはサブグループにグループ化される。その各々は、個別にあるいは他のものと結合されて、場面を監視するか又は環境パラメータを測定するという特定の機能に専用である。
本発明は、特に、上記タイプの多機能光学センサを自動車に適用したものに関する。それは、例えば以下のところに配置される。
すなわち、環境の照明又はギャラリーへの進出（entry into a gallery）の測定、太陽光の測定、フロントガラス上の雨滴の存在の検出、フロントガラスの内部あるいは外部が霧で覆われている（fogging）状態の検出、氷の存在の検出、フォグ状態の検出及び乗り物の前の場面(乗り物の横断（crossing）)の監視という機能を実行するために、フロントガラスに隣接して、例えば、内部のバックミラーに配置される。乗り物横断機能に対してさらに又は代わりに一体化することができる追加の機能は、水平になること（levelling）、カーブ又はレーンの検出(適応性のある（adaptive）ヘッドライトを命じるため、又はレーン警告のためのもの)、暗視(近赤外線又はNIRで場面を観察する)、垂直の道路標識の検出、歩行者の検出、ブラックボックス(事故の場合に使用可能な円形のメモリ・バッファに前面監視に関する画像を格納する)という機能である。
環境の照明、雨/フォギング（fogging）(内部また外部が)、氷結、霧、後方監視(駐車)の測定という機能を実行するために、リヤウインドウの近くに配置される。後方監視に対してさらに又は代わりに一体化することができる追加の機能は、死角の監視、水平になること（levelling）、レーン検出、ブラックボックスという機能である。
環境の照明、フォグ、後部監視(死角)の測定という機能を実行するサイドミラーに配置される。死角の監視に対してさらに又は代わりに一体化することができる追加の機能は、水平になること（levelling）、駐車、レーン検出、ブラックボックスという機能である。
ユーザ識別、エアバッグ・システムのための乗員監視という機能を実行するために、フロントガラスの立位（uprights）に配置される。
本発明に係る光学センサは、道路基盤（infrastructure）、ロボット工学、ドモティクス（domotics）、農業などのような他の用途に用いることができる。
本発明は、光学系の動作原理を参照しながら詳細に説明される。
図２は文献EP-A-1418089およびEP-A-1521226に基づく、単一開口の光学的解法を示す。レンズ8は、FOV=2*arctan(d/2f)で示される視界を有している。ここで、d=n*dpixelは光検出器マトリックス12の寸法の合計であり、dpixelは光検出器12の寸法又はピッチであり、fは光学系の焦点距離である。
一般に、光学系の寸法を小さくするために、特にファクタnによる焦点距離fを小さくするために、マイクロレンズ14が用いられる。マイクロレンズ14の各々は、d/n=dpixelの線形の寸法および焦点距離f1=f/nで光検出器12に連結される(図３)。この場合、各マイクロレンズ14は、FOV1=FOV=2*arctan(dpixel/2f1)のグローバルな（global）視界と一致する視界を有している。
各マイクロレンズ14の個々の視界の結果であるグローバルな視界FOVを有するために、それらの寸法が、dpixel/nであるか、又は光検出器12の前の寸法dpixel/nを持った開口を有する位置決めダイアフラム18に等しいように、光検出器12のアクティブな（active）領域のサイズを小さくする必要がある。ダイアフラム18の中心間の距離がマイクロレンズ14の寸法とは異なる場合、先行技術を構成する図４に示されるように、ダイアフラム18のマトリックスは、いかなるマイクロレンズ14も中央方向20、および中央方向20の間に一定の角距離（angular separation）αi(α1=α2=α3=α4)を備えたIFOV 16を有するように、光検出器マトリックス12の前に配置されている。各IFOV 16の合計は、グローバルな視界FOVを決定する。各マイクロレンズ14は、「調節板（baffle）」18'によって、連続したマイクロレンズから分けられる。「調節板（baffle）」18'の機能は、連続したマイクロレンズから来る光（radiation）が非対応の光検出器に到達することを防止することである。中央方向20の間の角距離（angular separation）αiが一定になっていないならば、請求項１に含まれ且つ図５に示されているように、ダイアフラムの中心の間の距離を変更することが必要である。図５は、ダイアフラム18の中心の間の距離がマイクロレンズ14の中心の間の距離と異なる光検出器マトリックス12およびマイクロレンズ・マトリックス14を備える、光学センサ10の一部分の側面図を模式的に示す。各マイクロレンズ14は、光検出器12のクラスタ、又は単一の光検出器に結び付けられる。図５の例では、マイクロレンズ14は相互に同一である。各マイクロレンズ14は、光検出器12のクラスタ上の、又はマイクロレンズ14に結び付いた単一の光検出器12上の立体角（solid angle）IFOV 16の一部分から来る光（radiation）に焦点を合わせるようにセットされる。図５は、光検出器マトリックス12とマイクロレンズ・マトリックス14との間に配置したダイアフラム18のマトリックスを示す。ダイアフラム・マトリックス18は、各光検出器12又は光検出器12のクラスタに対して立体角IFOV 16の一部分を選択することを可能にする。
図４の場合に関する違いは、マイクロレンズ14によって範囲の定められた（subtend）立体角16の一部分の中央方向20の間の角距離αiが一定ではないということである。図５の例では、中央方向20の間の角度は、α1、α2、α3で指定されていて、それらは、α1≠α2≠α3である。この理由は、ダイアフラム18の中心の間の距離が一定ではないということである。他の違いは、FOVの合計がIFOV 16の合計でなく、したがって、FOVはサブサンプリングすることができる。連続したマイクロレンズ14から来る光（radiation）が非対応の光検出器12に到達することを防ぐために、各マイクロレンズ14は、「調節板（baffle）」18'によって、連続したマイクロレンズ14から分けられる。
中央方向20の間の角距離αiが一定でないが、図６に示されるように、ダイアフラム18の間の距離がマイクロレンズ14の寸法と等しい場合、マイクロレンズは、対称軸に一致しない光学軸(軸外)でマイクロレンズを動作させるために、球状コンポーネントにプリズムコンポーネントを加えて計算されなければならない。各マイクロレンズのIFOV 16は、α1≠α2≠α3である中央方向20を有するだろう、図６に示されるケースのように、FOVの合計はサブサンプリングすることができる。
上記のような屈折光学的解法で可能なことより大きな視界をカバーするために、全反射を備えた種類のマイクロレンズを備えた解法、反射的（reflexive）解法および混合解法を考慮することができる。例えば、図７は、屈折の軸外マイクロレンズ14に結び付いた全反射によって動作するマイクロレンズ22を示す。図８は、屈折の軸外マイクロレンズ14に結び付いた反射的（reflexive）レンズ24を備えた光学センサを示す。
図９に示されるように、中央方向20の間の一定でない角距離αiを得るためのさらなる可能性は、ミクロな対象（micro-objectives）のマトリックスを用いることである。ミクロな対象15は、少なくとも二つの重ね合わされたミクロな対象（objective）によって構成される。二重の（doublet）光学的解法は、すべてのミクロな対象に等しい後面焦点距離(b.f.l.)を維持する有効焦点距離(e.f.l.)を修正することを可能にする。このように、光検出器マトリックス12とミクロな対象マトリックス15との間の距離は一定である(b.f.l.)が、有効焦点距離(e.f.l.)を修正する可能性は、中央方向20の間の分離を非一定にすること(つまりα1≠α2≠α3)を可能にする。この場合、IFOVが同時に変化する。
上記光学系に対して、ダイアフラム18の使用に対する可能な代替は、ダイアフラム18より小さなサイズを有する感光装置12を持ったマトリックスを用いることから成る。結局、光検出器マトリックス12の感知領域の等しいサイズに対して、高解像度の光検出器マトリックス12又は大きなサイズでその結果小さな解像度を備えた光検出器マトリックス12のいずれかを有することが可能である。低解像度の光検出器マトリックス12を用いて、図１０ａに示されるように、ダイアフラム・マトリックス18は、各マイクロレンズ14に結び付いた中央方向20を変えるために用いられる(前の光学的解法に記述されたケース)。その代りに、高解像度の光検出器マトリックス12を用いると、図１０ｂに示されるように、得られるマイクロレンズ14の中央方向20に対応するいくつかの光検出器12だけが作動させられる。そして、他のものは、ダイアフラム・マトリックス18を用いる必要性なしで、非作動状態にされる。高解像度マトリックスを用いるという利点は、ダイアフラム18を除去することと、視界の中央方向20を変更するように動作している光検出器を再構成することができること(またマトリックスからの画像を得ている間に)から成る。不都合は、中央方向20の移動が、個別のステップ(最小のピッチは光検出器12のサイズと等しい)によって起こり、ダイアフラム18を用いるときには連続的に発生しないこと、および画像を可視化することは動作している光検出器をアドレスするために前処理を必要とすることと、による。
本発明に係る光学センサのマイクロレンズは、GRIN(屈折率分布型)材料によって構成することができる。あるマイクロレンズの低い面に、又はマイクロレンズのあるサブグループの低い面に、関心のある波長だけを伝えるためにフィルタとして作動する選択的な干渉コーティングを堆積することができる。いくつかの機能のために、例えば、NIR(近赤外線)LED照明器（illuminator）を用いることができる。関連するスペクトル・バンドは、バックグラウンドを参照して選択されなければならない。
光検出器マトリックスは、CCD又はCMOS技術において、標準、又は並列のアーキテクチャー(光検出器レベルでの前処理)である。
請求項１記載のマイクロレンズ・マトリックスに結合された光検出器マトリックス上の多面的機能の統合は、次の規則（rule）に従う。
各機能は、単一のマイクロレンズに、又は複数のマイクロレンズに(相互に連続していない)に、又は相互に連続したマイクロレンズの単一のサブグループに、又は、複数の相互に連続していないマイクロレンズのサブグループに、結び付けられる。
各マイクロレンズは、単一の光検出器、又は光検出器のサブグループ(クラスタ)に結び付けられる。
機能に結び付けることができる連続した光検出器は、サブ領域(ROIすなわち関心領域)を画定する。
いくつかの光検出器は、サブ領域の分離のためだけに用いることができる。
光検出器又は隣接した光検出器のクラスタに関する視界(IFOV)の中央方向の間の角距離は、マトリックス内で一定ではない。
隣接した光検出器又は光検出器のクラスタに関する視界(IFOV)の中央方向の間の角距離がマトリックス内で一定でない状態が、次の場合で発生する。
サブ領域の視界が異なっている多くの機能に専用の隣接したサブ領域がある。
光検出器マトリックス上に統合された機能の少なくとも一つは、立体角FOVの範囲を定めるマイクロレンズの単一のサブグループに結び付けられる。しかし、個々のマイクロレンズの視界IFOVの中央方向を独立して設定することができるという事実のおかげで、マイクロレンズのサブグループに結び付いた、連続した光検出器又はクラスタ又は光検出器は、相互に隣接したIFOVを必ずしも有するとは限らない(このケースは、後のパラグラフで「マトリックス形」を広範囲に記述され示されるだろう)。
少なくとも一つのサブグループのマイクロレンズは、前記サブグループのグローバルな視界の内部に異なった解像度を得るように、異なって且つ相互に連続した視界を有する(このケースは、パラグラフで「前面監視」を広範囲に記述され示されるだろう)。
少なくとも一つのサブグループのマイクロレンズは、マイクロレンズの前記サブグループのグローバルな視界を非連続的な方法でサンプルするとともに、マイクロレンズの前記サブグループのグローバルな視界の内部に異なった解像度を得るように、等しく且つ相互の連続していない視界を持っている(このケースは、パラグラフで「前面監視」を広範囲に記述され示されるだろう)。
光検出器又は光検出器のクラスタに関する視界の中央方向の間の角距離における変化（variation）が得られる。
光検出器の光検出器又はクラスタの前に配置されたダイアフラムの中心の間の距離の修正すること(図５)。
軸外マイクロレンズ・マトリックスの場合にプリズムのコンポーネントを変えること(図６)。
個々のマイクロレンズの視界における変化（variation）が得られる。
光検出器又は光検出器のクラスタの前に配置されたダイアフラムの直径を変更すること。
ミクロな対象を備えた解法を用いること(図９)。
上記規則に基づいて、追加の革新的な要素が同定される。それは以下のものに関して、個別に以下に説明される。
1. マトリックス形
2. 前面監視
3. ズーム
4. 光学的前処理
5. マトリックス分割
マトリックス形
図１１ａ及び１１ｂは光学系の対物面および画像面を示す模式図である。図１１ａは単一の開口光学8(図１１ａ)によって構成され、図１１ｂはマイクロレンズ14の２Ｄのマトリックスによって構成されている。前記光学系は、光検出器12の２Ｄのマトリックスに連結されている。前記マトリックスは同じフォーマットm個×n個を有している。
図１１ａでは、光検出器12は、レンズ8に適用された幾何光学の法則に従ってIFOVの範囲を定める。対物面の隣接した部分は相互に連続した光検出器12によって画像面に範囲が定められる。
図１１ｂ(前の図１１ａのように先行技術を構成する)では、単一の開口レンズはマイクロレンズ・マトリックス14と置換される。前の考察を適用し続ける。対物面の隣接した部分は、相互に連続した光検出器12によって画像面に範囲が定められる。
しかしながら、各個別のマイクロレンズ14の視界IFOVの中央方向20は、独立して設定することができる。したがって、図１２では、マイクロレンズ14は前の規則がもはや適用されずに配置される。また、このように、隣接した光検出器に関する視界の中央方向20の間の角距離は、マトリックス内で一定ではない。しかしながら、この場合、光検出器をアドレスするための前処理は、画像を可視化するために必要である。
前の例は、特別な場合の一般化と見なすことができる。それらのうちの二つが下に示されている。
対応する光検出器12に結び付いた各マイクロレンズ14は、xの水平の度合い（degree）およびyの垂直の度合い（degree）のグローバルな視界の一部分をカバーするように、中央方向20でx/mの水平の度合い（degree）及びy/nの垂直の度合い（degree）の視界を有している(図１３)ように、xの水平の度合い（degree）およびyの垂直の度合い（degree）の視界を備えた単一の開口レンズ8(図１１ａ)を有するm個×n個の光検出器12の２Ｄのマトリックスは、m個×n個の光検出器12の１Ｄの線形マトリックスとして変更することができる。
例えば、場面の２Ｄ監視を行なうことが必要であり、センサの一体化に利用可能な表面が、m個×n個の光検出器の１Ｄの線形マトリックスにだけで十分でありm個×n個の光検出器の２Ｄマトリックスには十分では無いときに、これは有用である。
各個別のマイクロレンズ14の視界IFOVの中央方向20が独立して設定されるという事実は、特定の機能に専用のサブ領域への光検出器マトリックスの分割を最適化するために、特に、マトリックスの全ての感知領域を利用するために、用いることができる。
図１４は、xの水平の度合い（degree）およびyの垂直の度合い（degree）の視界で場面の一部分を観察する必要性がある場合を一例として示している。ここでx=yである。そして、２Ｄの光検出器12のマトリックスによって構成された、センサ10上の利用可能なサブ領域は、長方形である。対物面の二つの軸xおよびyに沿って同じ解像度を維持しなければならず、したがって、各マイクロレンズ12に対して同じ視界を維持しなければならないならば、マイクロレンズは、図１４に示されるように、長方形のサブ領域に配置される。
前面監視
乗り物の前の場面を監視するために単一の開口レンズを備えたシステムに用いられた、テレビカメラのフォーマットは、視界FOVと、いくつかの対象(例えば道路面上の水平サイン)が高精度で識別されなければならない場面の領域に必要な解像度Rという主として二つのパラメーターに依存する。このことは、関心のある対象（object）がない場面の他の領域では、前の解像度Rが全く余分であることを意味する。
ほとんどの前面監視機能に対して、カメラのフォーマットは、少なくともCIF(320×256画素)又はVGA(640×480画素)でなければならない。
これらのフォーマットは、上で提案されたミクロな光学のマトリックスに基づいた光学的解法と互換性をもたない。そこでは、光検出器のサイズが１０ミクロンのオーダーである。つまり、消費者又は自動車の用途のために今日使用された標準マトリックスの光検出器(10ミクロン未満)のオーダーよりもはるかに大きい。高解像度で結合された１０ミクロンのオーダーの寸法を持った光検出器の使用は、チップのトータル領域の過度の拡張、従って製造コストのアップを意味する。
ミクロな光学のマトリックスに基づいた光学的解法の場合、前面監視機能に専用の、マイクロレンズのサブグループを設計することが必要である。その結果、相互に連続した個々の光検出器(あるいは光検出器のクラスタ)の視界IFOVは、マイクロレンズのサブグループの全ての視界FOVに対して一定ではない。しかしながら、それらは、図１５に示されるように、場面の異なった領域で実際に必要とされる解像度に基づいて規定される。従って、個々の相互に連続した光検出器(あるいは光検出器のクラスタ)の視界IFOVの中央方向の間の角距離は一定ではない。
このアプローチは、図１６に示されるように、辺縁領域のそれに対して画像の回避（escape）のポイントでより高い解像度を画定することを可能にする。マトリックスの外部のエッジに向かって回避（escape）のポイントから進むと、個々の光検出器(又は光検出器クラスタ)の視界IFOVと、IFOVの中央方向の間の角距離との両方が増加するか、あるいは、IFOVの中央方向の間の角距離だけが増加する。その代りに、低解像度を必要とする場面の一部分を非連続的にサンプリングするために、IFOVが一定を維持している。
ズーム
前面の場面を監視する機能は、マニホルド(乗り物横断、レーン警告、カーブ検出、垂直のサイン検出、歩行者の監視など)である。
単一の開口レンズと結び付けられた、同じ光検出器マトリックス上にこれらの機能をすべて一体化するために、視界、最小および最大の範囲、最大距離で障害を見ることの解像度の点から機能的な仕様を評価することがすべての必要なものの第一である。これらの仕様を組み合わせることは、マトリックスのフォーマットを画定することを可能にする。それはいくつかの機能に対して明らかに十分であり、他のものには余分であろう。このアプローチで、カメラのフォーマットは明確にVGAよりも大きいであろう。
テレビカメラのフォーマットを低減する代替は、光学ズームの使用を要する。しかしながら、光学のズームのサイズおよび複雑さは、環境パラメータ測定機能に専用の他の光学系と統合することを困難にする(文献EP-A-1418089の発明にしたがって、図１に示された光学センサの複雑さを注目すること)。さらに、光学ズームは、センサの製造費用を増加させる。
マイクロレンズのマトリックスが単一の開口光学系の代わりに用いられる場合、前面の場面監視に専用のサブ領域は最適化することができる。細部を識別する必要がある領域(水平のサイン、障害認識など)の解像度を増加し、必要な情報が質的なものである(道路エッジ、地平線など)領域で解像度を減少する。光学ズームによって可能になるように、このことは、最適の解像度で画像処理することと同等である。
解像度を変更するための解法は、前節の「前面監視」のところで既に説明されている。
光学的前処理
各マイクロレンズに対する視界の方向および幅を画定するマイクロレンズマトリックスを設計する能力によって、画像処理が単純化される。
可能な（possible）光学的前処理機能は、後の処理のために画像をあらかじめ変形するために光学フィルターを適用することから成る。単一の開口光学で、高解像度は、画像のいくつかの領域を同定する十分な解像度を有するために非重要な領域でさえ必要である。その代りに、各マイクロレンズ又はマイクロレンズのサブグループに対して異なった視界を用いて、画像処理操作を単純化するために適切な解像度および視界でマトリックスのサブ領域を画定することが可能である。
図１７を参照する。さらなる可能性は、jの光検出器のマトリックスkのグループの感知領域上に画定することから成る。各々は、場面の同じ部分の画像又は場面の異なった部分の画像を(単一のマイクロレンズ又はjのマイクロレンズのマトリックスによって)作成することができる。jの光検出器の各グループに、異なった形のダイアフラムが配置されている。一群の光検出器がダイアフラムの形と一致する場面の一部分を構成するときに、信号は最も高い。図１７に示されるように、このアプローチは、例えばレーン警告機能のために用いられる。図１７には、道路シナリオ（scenario）の左部分を観察するjの光検出器のk/2のグループ(タイプ1関心領域)と、道路シナリオ（scenario）の右部分を観察するjの光検出器のk/2のグループ(タイプ2関心領域)がある。
図１２に示される例は、異なった視点から分析することができる。上で説明されたように、マイクロレンズ14が配置されているので、対物面の隣接した部分は、画像面において、相互に連続した光検出器12によって範囲が定められていない。したがって、隣接した光検出器12に関する視界の中央方向20の間の角距離は、マトリックス内で一定ではない。この一般的な例に基づいて、水平の分離ラインのk位置を選択するために図１７のダイアフラムの形と正確に一致する、場面のkの部分を観察するような視界を持ったマイクロレンズのkのサブグループを設計することは可能である。しかしながら、マイクロレンズの前記のkのサブグループは、光検出器マトリックス上に水平方向に配置される。第一のサブグループは、マトリックスの左上コーナーからスタートして右へ進み、第二のサブグループは第一のサブグループの端からスタートして右へ進む。マトリックスの右のエッジに達すると、後のラインがスタートする。
図１８の（ａ）は、ROIに関する光検出器のサブグループと、ダイアフラムを通過する光に実際に露出された光検出器のサブグループとの拡大を示す。図１８の（ｂ）は、上記のようなマイクロレンズのk番目サブグループの位置を示す。
この解法の利点は、図１７のダイアフラムの除去、より小さなフォーマットを備えたマトリックスの使用、図１２の例で言及された、光検出器をアドレスするための前処理のあらゆる形式の除去である。
マトリックス・パーティション
光検出器マトリックスの感知領域のパーティションは、統合機能の数およびタイプに応じて異なった構成を有することができる。
図１９は、例として、光検出器マトリックスの感知領域の第一の可能なパーティションを示している。それは、同じ出願人による文献EP-A-1418089に言及されている。同じ機能は、本願の創造性のある要素に従って違った風に一体化することができる。
いわゆる「薄明かり」機能は、環境の照明を測定しなければならないマトリックスのサブ領域によって行なわれる。この機能に専用の光検出器の数は、さらにちょうど一つにまで減らすことができる。マトリックスの感知領域上に配置することに制約がない。好ましい特徴によれば、中央の光検出器(あるいは少数の光検出器)は、異なった視界を持った８個以上の光検出器によって囲まれている。環境の照明強度に関する情報(中央の光検出器)と、太陽光の強度および方向に関する情報(側面の光検出器)とを有するために、中央のものは大きく側面のものは小さい。環境の照明に関する情報は、照明不足の状態で乗り物のヘッドライト電源のオン/オフを自動的に可能にする。太陽の照明方向についての情報は、例えば、マルチゾーン空調システムの気流を作動及び調節するために乗り物の空調装置を最適化することを可能にする。さらなる好ましい特徴によれば、それに向けられた光（radiation）を測定するために、いくつかの光検出器が乗り物のダッシュボードの方を向いている(光検出器上に光が拡散された)。照明および太陽光の機能に専用の光検出器は、互いに別々に、つまり非連続位置に配置することができる。
フォグ検出機能(アクティブな技術に基づく)に関して、光検出器の数は、さらにちょうど一つまで減らすことができる。また、マトリックスの感知領域の位置決めに関する制約がない。
トンネル機能について、光検出器の数は、さらにちょうど一つまで減らすことができる。また、マトリックスの感知領域の位置決めに関する制約がない。好ましい特徴によれば、光検出器(少数の光検出器)は、約２０度の前面の視界を有している。第二の光検出器(少数の光検出器)は、例えば、約１０度の視界を有している。
「前面監視」でマークされた感知マトリックスのサブ領域は、いわゆる「レーン警告」機能を行なう。好ましくは、関心のある領域(つまり画像処理に有効に用いられる領域)は、台形である。したがって、この機能に専用の光検出器の数は、同じ出願人による文献EP-A-1418089に記述されたものから減っている。好ましくは、光検出器の視界は、レーン・分離ラインが位置することができる画像の領域において小さい(解像度が高い)。これによって、この機能に専用の光検出器の数を減らすことができる。
「前面監視」と呼ばれる領域は、「レーン警告」機能の代わりにあるいはそれに加えて、乗り物横断の検出機能に専用とすることができる。好ましい特徴によれば、関心のある領域(つまり画像処理に有効に用いられる領域)は、台形である。したがって、この機能に専用の光検出器の数は、同じ出願人による文献EP-A-1418089に記述されたものから減っている。参照している乗り物(センサが取り付けられた乗り物)を先行する乗り物のテール・ランプの、又は横断した（crossed）乗り物のヘッドライトの存在の潜在的な指示（indicator）が位置することができた画像領域において光検出器の視界が小さい(解像度が高い)。好ましい特徴によれば、光検出器の二つのサブグループが、この機能を行なうために設けられている。第一のサブグループの光検出器は、対向車線から到着する乗り物を検出するために場面を広範囲に監視することを保証する視界を有している。また、第二のサブグループの光検出器は、参照乗り物に先行する乗り物を検出するために場面を狭い範囲で監視することを保証する視界を有している。
好ましい特徴によれば、一つの、前面監視機能用のサブ領域の未使用の領域に配置された１セットの光検出器は、側面監視、つまり、乗り物の適応したヘッドライトを命じる（commanding）ためにカーブの存在を検出することの専用とすることができる。
「前面監視」と呼ばれる感知領域の部分は、多面的機能(例えばレーン警告、乗り物横断、カーブ検出など)の組み合わせに役立つことができる。かかる機能に専用であるサブ領域は、そのマイクロレンズが最適化された方向及び視界を有する光検出器によって好ましくは構成される。処理アルゴリズムに関心のある対象を位置することができる領域だけを高解像度にして、非関心の領域(例えば地平線)を低解像度にする。その結果は、光学ズームで得られるものと比較される。
図２０は、光検出器マトリックスの感知領域のパーティションの第二の例を示す。それは、同じ出願人による文献EP-A-1418089において既に説明されている。同じ機能は、本願の創造性のある要素に従って一体化することができる。
雨/フォギング（fogging）の機能に対して、マトリックスの感知領域上に配置することに制約がない。文献EP-A-1418089に記述された解法において、雨滴を同じ画像面にするために、光学軸はフロントガラスに対して垂直でなければならなかった。本発明によれば、マイクロレンズの使用は、マイクロレンズマトリックスの光学軸を道路面と平行に維持することを可能にする。光検出器マトリックスとフロントガラスとの間の異なった距離を補うことは可能である。図２１に模式的に示されるように、異なった焦点距離を備えたマイクロレンズを設計することにより雨滴がその上に存する。この図では、乗り物のフロントガラスが参照符号30で示される。参照符号32は、フロントガラスの外表面上に堆積された水滴を模式的に示す。参照符号14'、14''、14'''は、それぞれの合焦ポイントがフロントガラスに対してマイクロレンズの異なった距離と無関係に光検出器の面に落ちるように配置された、異なった焦点距離を持ったマイクロレンズを示す。
図２２を参照する。参照符号36は、乗り物の乗員を監視する機能を行なうことができるデバイスを示す。参照符号38の光検出器マトリックスは、乗り物の前面の方を向いている。例えば、マトリックス38の左下および右下のコーナに位置したいくつかの光検出器40は、ドライバの位置と存在、及び乗客のタイプと位置を決定するために用いられる。この機能は、全乗り物の画像を作成することができるだけでなく、乗客の存在の監視および識別の画像を作成することができる光学を必要としないので、多くの、例えば９個の、光検出器が示されている。乗り物の内部が、光検出器マトリックス38のアクティブな側の後部に配置されているので、場面を観察するために、光検出器マトリックスの後部に配置された画像を受け入れることができる光学系42が用いられている。例えば、光学系42は、図２２に示されるような導波要素とすることができる。あるいは、光学系42は、プリズム要素(不図示)を備えることができる。光学系の視界は、参照符号44で示される。
図２３は、光検出器マトリックスの有用な表面のパーティションのさらなる可能性を示す。このパーティションは、低減したフォーマット(例えばCIF)でマトリックス上により多くの機能を統合することを可能にする。
図２４は、死角を観察する機能を行なうために本発明に係るセンサ10の可能な配置を示す。本発明の好ましい特徴によれば、この機能を行なうために、各センサ10は、異なった方向および距離をカバーするために二つの異なった視界を有することができる。その結果、到着する（arriving）乗り物は、異なった時間に2本のビームと横断し、危険を知らせるために使用されるステップ（stepped）信号を生成する。
文献EP-A-1418089の本発明に係るセンサの実施態様の斜視図を示す。 単一の開口を備えた光学的解法の動作原理を示す模式図である。 マイクロレンズ・マトリックスに基づいた光学的解法の動作原理を示す模式図である。 先行技術を構成するマイクロレンズ・マトリックスに基づいた光学系の動作原理を示す模式図である。 第一の実施態様に係る本発明の光学系の動作原理を示す模式図である。 第二の実施態様に係る本発明の光学系の動作原理を示す模式図である。 図６の光学系の変形例の動作原理を示す模式図である。 図６の光学系の変形例の動作原理を示す模式図である。 第三の実施態様に係る本発明の光学系の動作原理を示す模式図である。 高解像度を備えたマイクロレンズ・マトリックスの動作原理を示す。ダイアフラムの援助によって作動しない。 高解像度を備えたマイクロレンズ・マトリックスの動作原理を示す。ダイアフラムの援助によって作動しない。 物体のスペースと、単一の開口光学(図１１ａ)によって構成された光学系の画像のスペースとを示す模式図である。前記光学系は同じフォーマットで２Ｄの光検出器マトリックスに連結されている。 物体のスペースと、２Ｄのマイクロレンズ・マトリックス(図１１ｂ)によって構成された光学系の画像のスペースとを示す模式図である。前記光学系は同じフォーマットで２Ｄ光検出器マトリックスに連結されている。 図１１ｂの変形例である。 物体のスペースと、１Ｄのマイクロレンズ・マトリックスによって構成された光学系の画像のスペースとを示す模式図である。 図１１ｂの他の変形例である。 一定の寸法又はピッチを持った光検出器のマトリックスと、道路シナリオ（scenario）上の異なった視界を持ったマイクロレンズとを備えた光学センサの例を示す。 道路シナリオ（scenario）上の図１５の光学センサの適用例である。 場面の同じ部分又は場面の異なった部分を構成する（frame）光検出器のサブグループのマトリックスの例である。 光学的前処理機能のための図１７のダイアフラムの使用の変形例である。 同じ出願人により文献EP-A-1418089で既に記載された、光検出器マトリックスの感知領域のサブ領域のパーティションの例を示す。 同じ出願人により文献EP-A-1418089で既に記載された、光検出器マトリックスの感知領域のサブ領域のパーティションの例を示す。 異なった焦点距離を備えたマイクロレンズのマトリックスに基づいて雨の検出のための光学的解法を模式的に示す。 乗り物の乗員を監視する機能を行なうために光検出器マトリックスに連結された光波ガイドの例を示す。 本発明の好ましい特徴に係る光検出器マトリックスの感知領域のサブ領域へのパーティションの例を示す。 本発明に係る「死角」機能用の多機能のセンサの乗り物上の可能な（possible）ポジショニングを示す。
符号の説明
８ 単一の開口光学
１０ センサ
１２ 光検出器
１４ マイクロレンズ
１６ 立体角
１８ ダイアフラム
１８' 調節板（baffle）
２０ 中央方向
３６ デバイス
３８ マトリックス
４２ 光学系

Claims (29)

  1. CCD又はCMOSタイプの光検出器(12)のマトリックスを備えて、サブ領域に分割された感知領域を有して、その各々が、個別にあるいは他のものと結合されて、場面を監視するか又は環境パラメータを測定するという特定の機能に専用である多機能光学センサであって、
    前記光学センサがマイクロレンズ(14)のマトリックスを備えて、各マイクロレンズが、結び付いた光検出器(12)又は相互に連続した光検出器(12)のクラスタの上に立体角(16)の一部分から来る光を合焦するために設けられていて、
    各機能は、単一のマイクロレンズに、相互に連続したマイクロレンズの単一のサブグループに、複合の相互に連続していないマイクロレンズに、又は、マイクロレンズの相互に連続していないサブグループに結び付けられて、
    機能に結び付けることができる連続した光検出器は、サブ領域(ROIすなわち関心領域)を画定して、
    隣接した光検出器又は光検出器の隣接したクラスタによって範囲の定められた立体角(16)の部分の中央方向の間の角距離が、マトリックス内で一定ではないことを特徴とする多機能光学センサ。
  2. マイクロレンズ(14)は、相互に同一であり、各光検出器(12)又は光検出器(12)のクラスタに配置されており、光検出器マトリックス(12)とマイクロレンズ・マトリックス(14)との間に配置されたダイアフラム(18)が設けられており、前記ダイアフラム(18)は、各光検出器(12)又は光検出器のクラスタに対して各マイクロレンズによって範囲の定められた立体角の一部分を選ぶことができることを特徴とする、請求項１記載の光学センサ。
  3. マイクロレンズ(14)が軸外であり、マイクロレンズ(14)のそれぞれが、各光検出器又は光検出器(12)のクラスタの中心にあり、各マイクロレンズ(14)が、各光検出器(12)又は光検出器のクラスタに対して各マイクロレンズによって範囲の定められた立体角の一部分を選ぶように設計されていることを特徴とする、請求項１記載の光学センサ。
  4. 前記センサは、ミクロな対象(15)のマトリックスを備えて、その各々は、少なくとも二つのマイクロレンズによって構成され、前記のミクロな対象(15)のそれぞれは、各光検出器(12)又は光検出器(12)のグループと関連したダイアフラムに結び付いていることを特徴とする、請求項１記載の光学センサ。
  5. マイクロレンズによって範囲の定められた視界の中央方向を選択するために、ダイアフラムと等しいかダイアフラムよりも小さな寸法である光検出器のサブグループに対して前記ダイアフラムが置換されることを特徴とする、請求項２及び４に記載の光学センサ。
  6. 分離バッフルが、連続したマイクロレンズの間に在することを特徴とする、請求項２、および４に記載の光学センサ。
  7. マイクロレンズマトリックスと、光検出器又は各マイクロレンズに結び付いた光検出器(12)のクラスタとの間に、ダイアフラム(18)が配置されていることを特徴とする、請求項３記載の光学センサ。
  8. 前記マイクロレンズ(14、22、24)は、屈折の種類の光学的解法で、全反射、反射的に、あるいはそれらの組み合わせで設計されていることを特徴とする、請求項３記載の光学センサ。
  9. サブ領域の視界が異なる多くの機能に専用の隣接したサブ領域があることを特徴とする、請求項１記載の光学センサ。
  10. 光検出器マトリックス上に一体化された機能の少なくとも一つが、立体角（FOV）と連続した光検出器又は光検出器クラスタとの範囲を定める単一のマイクロレンズのサブグループに結び付いて、相互に隣接した個々の立体角（IFOV）を必ずしも有するとは限らないマイクロレンズのサブグループに結び付いていることを特徴とする、請求項１記載の光学センサ。
  11. 前記サブグループのグローバルな視界の内部に異なった解像度を得るように、少なくとも一つのサブグループのマイクロレンズが、異なっていて相互に連続した視界を有することを特徴とする、請求項１記載の光学センサ。
  12. 少なくとも一つのサブグループのマイクロレンズは、マイクロレンズのグローバルな視界を非連続的な方法でサンプルするように、等しいが非連続の視界を有することを特徴とする、請求項１記載の光学センサ。
  13. 光検出器マトリックスの感知領域の隣接したサブ領域を分離するためだけに用いられた光検出器があることを特徴とする、請求項１記載の光学センサ。
  14. 前記マイクロレンズ(14)が屈折率分布型(GRIN)材料によって構成されることを特徴とする、請求項１記載の光学センサ。
  15. 少なくとも一つのサブグループのマイクロレンズは、光検出器マトリックス(12)の方を向いているそれらの表面に、関心のある波長だけを伝えるためにフィルタとして動作する選択的な干渉の光学コーティングを有することを特徴とする、請求項１記載の光学センサ。
  16. 光検出器マトリックス(12)は、CCD又はCMOS技術において、標準であるか、又は光検出器レベル(12)に前処理を備えた並列のアーキテクチャーであることを特徴とする、請求項１記載の光学センサ。
  17. m個×n個の光検出器を有するマトリックスの少なくとも一つのサブ領域は、対物面の隣接した部分が相互に連続していない光検出器12によって画像面に範囲が定められるように、マイクロレンズのサブグループに連結されていることを特徴とする、請求項１記載の光学センサ。
  18. xの水平の度合いおよびyの垂直の度合いの視界の範囲を定めるm個×n個=tの光検出器を有するサブ領域は、サブ領域のp個×q個=tの光検出器としてマトリックス上に再配置することができ、その結果、xの水平の度合いおよびyの垂直の度合いのグローバルな視界の部分をカバーするように、各光検出器が、x/mの水平の度合いおよびy/nの垂直の度合いと中央方向20との視界を有することを特徴とする、請求項１記載の光学センサ。
  19. 前面の場面を監視する機能に専用であるマイクロレンズ(14)の少なくとも一つのサブグループを備え、前記サブグループに属するマイクロレンズでは、隣接したマイクロレンズによって範囲の定められた中央方向の間の角距離は一定ではなく、マイクロレンズによって範囲の定められた個々の視界は、関心のある場面の特定の領域における解像度を変更するように一定ではないことを特徴とする、請求項１記載の光学センサ。
  20. 前面の場面を監視する機能に専用のマイクロレンズ(14)の少なくとも一つのサブグループを備え、前記サブグループに属するマイクロレンズでは、隣接したマイクロレンズによって範囲の定められた中央方向の間の角距離は一定ではなく、マイクロレンズによって範囲の定められた個々の視界は、低い解像度が必要な場面の部分を非連続的な方法でサンプルするように一定であることを特徴とする、請求項１記載の光学センサ。
  21. 各光検出器又は光検出器のサブグループに結び付いたマイクロレンズ(14)のパラメーターは、光学的前処理を得るように最適化されていることを特徴とする、請求項１記載の光学センサ。
  22. 前述の光検出器マトリックス(12)において、jの光検出器のkのグループが規定されており、各グループは、場面の同じ部分あるいは場面の異なった部分の画像を作成することができ、前記グループ上に、異なった形のダイアフラムが配置されており、その結果、グループがダイアフラムの形と一致する場面の部分の画像を作成するときに、信号が最も強いことを特徴とする、請求項１記載の光学センサ。
  23. 前述の光検出器マトリックス(12)において、水平に配置された光検出器のkのグループが規定されており、前記グループは、光学的前処理を得るように場面のkの異なった部分の画像を作成することができる各マイクロレンズと連結していることを特徴とする、請求項１記載の光学センサ。
  24. 環境の照明を測定するという機能を果たして、光検出器マトリックスの感知領域のあらゆるポイントに配置された少なくとも一つの光検出器を備え、前記中央マイクロレンズによる環境の照明の強度に関する情報と、前記側面マイクロレンズによる太陽光の強度および方向に関する情報とを得るように、前記の少なくとも一つの光検出器は、一定数のマイクロレンズで囲まれた中央マイクロレンズに結び付いていることを特徴とする、請求項１記載の光学センサ。
  25. 前記側面マイクロレンズの少なくとも一つが、それに向けられた太陽光を測定するために、乗り物のダッシュボードの方を向いていることを特徴とする、請求項２４記載の光学センサ。
  26. 前面監視機能を行なうためにある光検出器マトリックスのサブ領域は、台形の形をしていることを特徴とする、請求項１記載の光学センサ。
  27. 雨機能のために、前記マイクロレンズは、道路面に平行なそれらの光学軸と、フロントガラスの曲率を補正するような焦点距離とを有することを特徴とする、請求項１記載の光学センサ。
  28. 前記光検出器マトリックスの後部に配置された画像を受け入れることができるプリズム又は導波システムに連結された一つ以上の画素が、前記光検出器マトリックスにおける乗員監視機能に専用であることを特徴とする、請求項１記載の光学センサ。
  29. 異なった解像度で異なった方向をカバーするために異なった視界を有する光検出器の一つ以上のサブグループが、前記光検出器マトリックスにおける死角監視機能に専用であることを特徴とする、請求項１記載の光学センサ。
JP2006252768A 2005-09-19 2006-09-19 マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ Pending JP2007086068A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP05425654A EP1764835B1 (en) 2005-09-19 2005-09-19 Multifunctional optical sensor comprising a matrix of photodetectors coupled microlenses

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011001465U Continuation JP3168177U (ja) 2005-09-19 2011-03-18 マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ

Publications (1)

Publication Number Publication Date
JP2007086068A true JP2007086068A (ja) 2007-04-05

Family

ID=35954120

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006252768A Pending JP2007086068A (ja) 2005-09-19 2006-09-19 マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ
JP2011001465U Expired - Lifetime JP3168177U (ja) 2005-09-19 2011-03-18 マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011001465U Expired - Lifetime JP3168177U (ja) 2005-09-19 2011-03-18 マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ

Country Status (6)

Country Link
US (2) US7518099B2 (ja)
EP (1) EP1764835B1 (ja)
JP (2) JP2007086068A (ja)
CN (1) CN100573891C (ja)
AT (1) ATE385044T1 (ja)
DE (1) DE602005004544T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002349A (ja) * 2009-06-19 2011-01-06 Niles Co Ltd 車両のレイン・乗員検出センサ
CN102256836A (zh) * 2008-12-23 2011-11-23 Adc汽车远程控制系统有限公司 具有多焦镜头、用于在图像中采集远程和近程范围的光学模块
JP2012068048A (ja) * 2010-09-21 2012-04-05 Jx Nippon Oil & Energy Corp 潤滑油劣化モニター装置
US8462325B2 (en) 2008-10-10 2013-06-11 Koninklijke Philips Electronics N.V. Light directionality sensor
KR102079349B1 (ko) * 2018-10-29 2020-04-07 니덱모빌리티코리아 주식회사 감지 성능이 향상된 태양광센서

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502474B2 (en) * 2004-05-06 2009-03-10 Advanced Micro Devices, Inc. Network interface with security association data prefetch for high speed offloaded security processing
EP1758783B1 (de) 2004-05-25 2008-04-16 VDO Automotive AG Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
US7701636B2 (en) 2008-03-06 2010-04-20 Aptina Imaging Corporation Gradient index microlenses and method of formation
DE102008061760A1 (de) * 2008-12-12 2010-06-17 Daimler Ag Vorrichtung zur Überwachung einer Umgebung eines Fahrzeugs
DE102009027372A1 (de) 2009-07-01 2011-01-05 Robert Bosch Gmbh Kamera für ein Fahrzeug
JP2012532356A (ja) 2009-07-06 2012-12-13 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング ２つの有視範囲へ同時に集束するための光学モジュール
DE102009053452A1 (de) * 2009-11-17 2011-06-16 Conti Temic Microelectronic Gmbh Kamerasystem mit flachem Aufbau
EP2557414B1 (en) 2009-12-21 2015-03-25 C.R.F. Società Consortile per Azioni Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
US8836848B2 (en) * 2010-01-26 2014-09-16 Southwest Research Institute Vision system
WO2011111079A1 (en) 2010-03-11 2011-09-15 Datalogic Scanning Group Sr.L. Image capturing device
US8942964B2 (en) 2010-06-08 2015-01-27 Southwest Research Institute Optical state estimation and simulation environment for unmanned aerial vehicles
GB201020023D0 (en) 2010-11-25 2011-01-12 St Microelectronics Ltd Radiation sensor
GB201020024D0 (en) 2010-11-25 2011-01-12 St Microelectronics Ltd Radiation sensor
GB2485996A (en) * 2010-11-30 2012-06-06 St Microelectronics Res & Dev A combined proximity and ambient light sensor
GB2485998A (en) 2010-11-30 2012-06-06 St Microelectronics Res & Dev A single-package optical proximity detector with an internal light baffle
GB2486000A (en) 2010-11-30 2012-06-06 St Microelectronics Res & Dev Optical proximity detectors with arrangements for reducing internal light propagation from emitter to detector
JP5944405B2 (ja) 2010-11-30 2016-07-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラ及び照明による窓ガラス上の雨滴の検出
DE102011017355B4 (de) * 2011-04-16 2022-08-11 Continental Autonomous Mobility Germany GmbH Multifokales Abbildungssystem mit optischen Filtern
US8466406B2 (en) 2011-05-12 2013-06-18 Southwest Research Institute Wide-angle laser signal sensor having a 360 degree field of view in a horizontal plane and a positive 90 degree field of view in a vertical plane
EP2710801B1 (en) * 2011-05-16 2019-09-11 Xtralis Technologies Ltd Surveillance system
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US20130169606A1 (en) * 2011-12-30 2013-07-04 Qualcomm Mems Technologies, Inc. Light direction distribution sensor
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102012105434B4 (de) * 2012-06-22 2014-06-05 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug zur Erfassung von Bilddaten aus mehreren Entfernungsbereichen
DE102013208677A1 (de) * 2013-05-13 2014-11-13 Robert Bosch Gmbh Bildaufnehmer zur Aufnahme eines zweidimensionalen optischen Bildes
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
CN103715215B (zh) * 2013-12-30 2018-10-16 上海集成电路研发中心有限公司 一种对角度敏感的图像像素单元
CN103745984B (zh) * 2013-12-31 2018-06-22 上海集成电路研发中心有限公司 可测量入射光角度的像素阵列、图像传感器及方法
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
DE102014108239A1 (de) * 2014-06-12 2015-12-17 Hella Kgaa Hueck & Co. Verfahren zur adaptiven Steuerung eines hochauflösenden Scheinwerfersystems
US9506803B2 (en) * 2014-09-17 2016-11-29 Delphi Technologies, Inc. Vehicle optical sensor system
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10023120B2 (en) * 2016-03-30 2018-07-17 Delphi Technologies, Inc. Multi-purpose camera device for use on a vehicle
FR3050831B1 (fr) * 2016-04-29 2018-04-27 Silios Technologies Dispositif d'imagerie multispectrale
US10274599B2 (en) * 2016-06-01 2019-04-30 Toyota Motor Engineering & Manufacturing North America, Inc. LIDAR systems with expanded fields of view on a planar substrate
US10921484B2 (en) * 2017-11-21 2021-02-16 Reliance Core Consulting Methods and systems for detecting motion corresponding to a field of interest
JP6922705B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
US10953797B2 (en) * 2018-04-05 2021-03-23 Toyota Motor Engineering & Manufacturing North America, Inc. Cloaking devices with converging lenses and coherent image guides and vehicles comprising the same
CN108387974B (zh) * 2018-05-02 2023-11-07 中国人民解放军国防科技大学 一种高功率光纤激光收发一体端帽
CN110027458B (zh) * 2019-05-08 2020-12-22 嘉兴市万荣电器股份有限公司 自平衡新能源汽车防护小桌板
CN112882356B (zh) * 2019-11-29 2021-11-12 上海微电子装备（集团）股份有限公司 光电探测器、调焦调平装置以及光刻投影设备
CN113534403B (zh) * 2020-03-31 2023-03-10 华为技术有限公司 一种摄像头模组及电子设备
CN112584015B (zh) * 2020-12-02 2022-05-17 达闼机器人股份有限公司 物体探测方法、装置、存储介质和电子设备
CN112600994B (zh) * 2020-12-02 2023-04-07 达闼机器人股份有限公司 物体探测装置、方法、存储介质和电子设备
DE102021132724A1 (de) * 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Optischer fahrzeug-umgebungssensor, fahrzeug und herstellungsverfahren
CN114283602A (zh) * 2021-12-17 2022-04-05 一汽奔腾轿车有限公司 一种基于微透镜阵列的v2x路况投影系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069607A1 (de) * 2004-01-20 2005-07-28 Frauhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Bilderfassungssystem und dessen verwendung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550677A (en) * 1993-02-26 1996-08-27 Donnelly Corporation Automatic rearview mirror system using a photosensor array
JPH08107194A (ja) * 1994-10-03 1996-04-23 Fuji Photo Optical Co Ltd 固体撮像装置
US5751492A (en) * 1996-06-14 1998-05-12 Eastman Kodak Company Diffractive/Refractive lenslet array incorporating a second aspheric surface
GB9618717D0 (en) * 1996-09-07 1996-10-16 Philips Electronics Nv Image sensor
JPH10239777A (ja) * 1997-02-28 1998-09-11 Kuraray Co Ltd 背面投写型映像表示装置
US6381072B1 (en) * 1998-01-23 2002-04-30 Proxemics Lenslet array systems and methods
DE19909986C2 (de) * 1999-03-06 2002-08-29 Kostal Leopold Gmbh & Co Kg Optoelektronische Überwachungseinrichtung für ein Kraftfahrzeug
EP1458028B1 (en) * 1999-12-02 2011-05-11 Nikon Corporation Solid-state image sensor and production method of the same
US6995800B2 (en) * 2000-01-27 2006-02-07 Canon Kabushiki Kaisha Image pickup apparatus utilizing a plurality of converging lenses
ITTO20020950A1 (it) * 2002-11-05 2004-05-06 Fiat Ricerche Sistema di visione integrato multifunzionale, con matrice
ITTO20030770A1 (it) * 2003-10-02 2005-04-03 Fiat Ricerche Dispositivo di rilevamento installabile lungo una
US7081998B2 (en) * 2003-10-23 2006-07-25 Sanyo Electric Co., Ltd. Solid-state imaging apparatus
US7187502B2 (en) * 2005-06-09 2007-03-06 Microalign Techologies, Inc. Compact optical assembly for imaging a remote object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069607A1 (de) * 2004-01-20 2005-07-28 Frauhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Bilderfassungssystem und dessen verwendung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462325B2 (en) 2008-10-10 2013-06-11 Koninklijke Philips Electronics N.V. Light directionality sensor
CN102256836A (zh) * 2008-12-23 2011-11-23 Adc汽车远程控制系统有限公司 具有多焦镜头、用于在图像中采集远程和近程范围的光学模块
JP2011002349A (ja) * 2009-06-19 2011-01-06 Niles Co Ltd 車両のレイン・乗員検出センサ
JP2012068048A (ja) * 2010-09-21 2012-04-05 Jx Nippon Oil & Energy Corp 潤滑油劣化モニター装置
KR102079349B1 (ko) * 2018-10-29 2020-04-07 니덱모빌리티코리아 주식회사 감지 성능이 향상된 태양광센서

Also Published As

Publication number Publication date
DE602005004544T2 (de) 2008-04-30
US7518099B2 (en) 2009-04-14
JP3168177U (ja) 2011-06-02
EP1764835A1 (en) 2007-03-21
CN1937236A (zh) 2007-03-28
US20070096010A1 (en) 2007-05-03
ATE385044T1 (de) 2008-02-15
US20090236505A1 (en) 2009-09-24
CN100573891C (zh) 2009-12-23
DE602005004544D1 (de) 2008-03-13
EP1764835B1 (en) 2008-01-23

Similar Documents

Publication Publication Date Title
JP3168177U (ja) マイクロレンズマトリックスに連結された光検出器マトリックスを備える多機能光学センサ
US8203443B2 (en) Vehicle vision system
US7385680B2 (en) Camera module
KR100804719B1 (ko) 촬상 모듈
CN102474571B (zh) 用于车辆的摄像机
JP2007114193A (ja) 運転における補助のための、及び／又は自動車に設けられたシステムを自動的に作動させるための、自動車に搭載される光センサデバイス
US20150070499A1 (en) Camera system, in particular for a vehicle
EP2815228B1 (en) Imaging unit and method for installing the same
US20120314069A1 (en) Vehicle optical sensor system
EP2869021B1 (en) Multiple imager vehicle optical sensor system
CN102566212A (zh) 摄像机装置和用于运行机动车的摄像机装置的方法
CN103648854A (zh) 用于使用在车辆中的摄像机系统以及具有这种摄像机系统的车辆
EP3185179A1 (en) Multiple imager vehicle optical sensor system
US20160107576A1 (en) Multiple imager vehicle optical sensor system
US7491939B2 (en) Photosensitive sensor and applications in the automotive field
JP7244129B1 (ja) ナイトビジョンカメラ
JP5891723B2 (ja) 撮像方法および撮像ユニット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101124