JP2007526453A - 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー - Google Patents

Abstract

ＲＧＢ−Ｚセンサーは単一のＩＣチップ上に実施可能である。ホットミラーなどのビームスプリッタが、対象物から入射する第一及び第二のスペクトルバンド光エネルギーを受信し、好ましくはＲＧＢであるイメージ成分及び好ましくはＮＩＲＺである成分に分離する。ＲＧＢイメージとＺ成分は、それぞれイメージデータとＺデータを出力するＲＧＢピクセル検出器及びＮＩＲピクセル検出器のアレイ領域によってそれぞれ検出される。これらの領域のピクセルサイズ及びアレイ解像度は同一である必要はなく、またこれら両方のアレイ領域を共通のＩＣチップ上に形成しても良い。対象物の認識を容易にするために、イメージデータを用いたディスプレイはＺデータによって補助できる。その結果得られる構成は、ビームスプリットを行なうことによる光学的効率性と単一のＩＣチップに実施することによる簡素性とを組み合わせたものとなる。この単一チップの赤、緑、青、距離（ＲＧＢ−Ｚ）センサーの使用方法も開示されている。

Description

［関連する特許出願の相互参照］
本出願は、「単一チップのＲＧＢＺセンサー」という名称で、２００４年１月２６日に出願された米国暫定特許出願６０／５４０，５２３号に対し優先権を主張し、この暫定特許出願を参照することによりその全体を含むものである。

本発明は一般的には固体センサーに関するものであり、特に単一集積回路チップ上に実施可能で、赤緑青（ＲＧＢ）イメージを入手するために赤、緑、青（黒及び白も含まれると理解される）の光波長などの第一のスペクトルバンド内の光度情報に反応し、Ｚデータを入手するために第二のスペクトルバンド内の波長、好ましくは近赤外（ＮＩＲ）波長に反応するセンサーに関連するものである。

従来技術において光度ベースのセンサーは公知である。このようなセンサーは一般的にＣＭＯＳ技術を用いて実施され、例えば赤、緑、青波長などの第一のスペクトルバンド内の波長（ＲＧＢセンサー）もしくは単にグレイスケールの波長（白黒もしくはＢＷセンサー）に反応するピクセル検出器のアレイを含む。アレイはアナログ‐デジタル変換回路及び信号処理回路をその上に作ることができる集積回路（ＩＣ）基板の上に作ることができる。このようなセンサーはカラー（ＲＧＢ）イメージもしくはグレイスケール（ＢＷ）イメージを提供できるが、有益な立体情報は提供できない。

図１は従来のＲＧＢセンサーもしくはＢＷセンサーの利用例を示す。視野内の物体をインテリジェントに認識するためにカメラシステムの使用が望ましいということを仮定する。いくつかの利用例においては、例えば歩行者などの自動車が危害を加える可能性のある対象物があるかどうか道路前方をスキャンするために、このカメラシステムを自動車の内部もしくは外部に設置することができる。カメラシステムの例は、カメラシステムからの距離Ｚにある対象物４０から反射される可視光エネルギー３０の赤、緑及び青の成分を受信するレンズ２０を含む。このカメラシステムには、入射するＲＧＢ光成分に反応する信号を出力する、従来技術のＲＧＢセンサー５０が付随している。この特定の利用例においては、センサー回路６０がセンサー５０からの出力信号を受信し、潜在的危険性の面から対象物４０を識別しようと試みる。望まれる場合には、例えばフラットなモニタースクリーン上などに電子的に生成された（または、いくつかの利用例においては紙などの媒体に印刷された）イメージ７０をカメラシステムの出力に含めても良い。危険警告のための利用例においては、回避すべき差し迫った危険を示すためにイメージ７０を赤い丸で囲って表示しても良く、またセンサー回路６０は聴覚で認識される警告を発しても良い。

ＲＧＢセンサー５０の解像度は対象物４０を表示するのに十分である場合もあるが、通常ＩＲ波長から入手されるＺデータも使用することができれば、対象の特徴及び大きさの迅速な識別が改善される。このような情報が提供されれば、対象物の実際の大きさの測定を行なう上でも使用できる。

距離測定センサーもしくは三次元センサーを組み立てることも従来技術で公知である。例えば、（２００３年２月４日に発行された）鈴木らの米国特許６，５１５，４７０号は、センサーアレイの各ピクセル検出器での立体情報（センサーと対象物間の距離Ｚ）を提供するセンサーシステムを開示している。‘４７０特許に記載の距離測定器は、好ましくは（８００ｎｍ程度の）近赤外波長で作用する変調光源を使用している。本願で用いられているように、「ＲＧＢ」という用語は「グレイスケール」もしくは「ＢＷ」波長も含み、また「ＩＲ」という用語は「近赤外」（ＮＩＲ）波長も含むということを理解されたい。

多くの利用例においては、単一の視野もしくは照準から、通常（ＲＧＢイメージを提供するために使用される）ＲＧＢデータであるところの第一のスペクトルバンド内のデータと（通常ＩＲ波長であり、好ましくは第二のスペクトルバンドから入手される）Ｚデータとの両方を同時に入手することが重要になる場合がある。しかし、ＩＲ波長のＺデータを捉えるために使用されるピクセル検出器の面積は、ＲＧＢ波長に反応するピクセル検出器よりも通常かなり大きいため、この目標を実際に達成するのは困難である。例えば、一般的なＲＧＢピクセル検出器の面積が約５μｍｘ５μｍであるのに対して、一般的なＺデータのピクセル検出器の断面積は５０μｍｘ５０μｍとなる。ＲＧＢピクセル検出器とＺピクセル検出器とを同時に使用するために単一のアレイが組み立てられた場合、Ｚピクセル検出器よりもかなり小さいサイズのＲＧＢピクセル検出器の高密度アレイの中に、更に大きいサイズのＺピクセル検出器が存在することにより、結果得られるＲＧＢイメージの質を劣化させる大きなイメージ上のアーチファクトが発生する。また、Ｚデータに反応するピクセル検出器には（好ましくはＩＲ波長の）高質な帯域通過フィルタリングが要求される場合がしばしばある。実際に現時点で、ＣＭＯＳ構造ではＺピクセルのこのような帯域通過フィルタリングは実施されておらず、特に５０ｎｍ以下の桁の望ましい狭さでのバンドのフィルタリングは行われない。

従って、ＲＧＢ波長などの第一のスペクトルバンド内の波長に反応するピクセル検出器を含み、また第二のスペクトルバンド内の好ましくはＺデータであるデータに対応し、好ましくはＮＩＲである波長に反応するピクセル検出器も含むセンサーが必要とされている。好ましくは、このようなセンサーのアレイは単一のＩＣ基盤上に実施可能であるべきである。

本発明はこのようなセンサーを提供する。

本発明は、好ましくはＲＧＢイメージであるイメージを生成するために使用される（ＲＧＢ波長などの）第一のスペクトルバンド内の波長に反応する、高解像度のピクセル検出器のアレイ領域を含み、また、Ｚデータを入手するために使用される（好ましくはＮＩＲであるが、必ずしもＮＩＲには限られない）第二のスペクトルバンド内の波長に反応する一般的に低解像度のピクセル検出器のアレイ領域も含むセンサーを提供する。望まれれば、（Ｚデータを入手するために使用される）第二のスペクトルバンドの波長は、（ＲＧＢイメージを入手するために使用される）第一のスペクトルバンドの波長と重複しても良い。距離Ｚ分離れた場所にある対象物の解像度の高いＲＧＢイメージを入手し、また対象物が何でありどこにあるのかを迅速に識別するためにＺデータを使用することが望ましい。

ある実施例においては、センサーはそれぞれ個別の基板上にある二つの別々のアレイを含む。一つのアレイは、例えばＲＧＢイメージを提供するためのＲＧＢなどの第一のスペクトルバンド波長を感知し、もう一つのアレイは、例えばＺデータを提供するためのＮＩＲ波長などの第二のスペクトルバンド波長を感知する。このような実施例において、二つのアレイ間のピクセルセンサーの解像度の差は、桁としてはピクセル検出器の断面積の差、例えば約１０：１となる。ＲＧＢアレイにはＲＧＢカラーフィルターが設置されても良く、ＢＷアレイとして実施される場合にはＩＲ遮蔽フィルターが設置されても良い。ディスクリートなＺ感知アレイは単一の低性能フィルターを含んでも良く、またＺ感知アレイに対する少なくともある程度の通過帯域フィルタリングは、センサー全体の光学経路において行われる。

別の実施例においては、単一の集積回路基板が、例えばＲＧＢ波長などの第一のスペクトルバンド波長に反応するピクセルセンサーのアレイを含み、また例えばＮＩＲ波長などの第二のスペクトルバンド波長に反応するピクセルセンサーのアレイも含む。一方のアレイがＲＧＢイメージを提供し、もう一方のアレイがＺデータを提供する。この実施例には単一のＣＭＯＳＩＣ基板に実施できるという利点がある。

様々な実施例において、対象物から入射してくる光エネルギーには（重複する可能性のある）第一及び第二のスペクトルバンドの両方からの波長が含まれ、好ましくはこれらの波長はＲＧＢ成分と好ましくはＮＩＲである成分の両方を含む。いくつかの実施例においては、このエネルギーは例えばホットミラーもしくはコールドミラーなどの波長選別ミラーとして実施できる少なくとも一つの光学スプリッタに送られる。もう一つの実施例においては、（例えば入射してくる光エネルギーの約４０から約６０％を反射するミラーなどの）ハーフミラーが光学スプリッタとして機能する。これらの実施例においては、光学スプリッタはＲＧＢイメージ及び好ましくはＮＩＲであるイメージを出力するために受動的に作動する。ＲＧＢイメージの焦点はＲＧＢピクセル検出器のアレイに当てる一方、好ましくはＮＩＲイメージであるイメージはＺピクセル検出器のアレイに焦点を当てる。

好ましくはＮＩＲである波長を使用してＺデータを入手する、比較的低解像度のピクセル検出器アレイからの出力であっても、サイズ、対象物までの距離Ｚ及び対象物の速度ΔＺ／Δｔを決定するために使用できる。Ｚデータは、好ましくはＲＧＢであるアレイによってイメージされた対象物を迅速に識別するのに役立つ。

本発明の単一チップの赤、緑、青、距離センサーは、共に本発明の原理を説明し、本願に含まれ明細書の一部を成す付随の図と、以下の「発明の詳細な説明」の欄とにより明らかとなるその他の特徴及び利点、またはこれらに更に詳細に記載されているその他の特徴及び利点を有している。

本発明の好ましい実施例の詳細を以下に述べる。添付の図は本発明の例を図示する。本発明は好ましい実施例との関連で説明されるが、これは本発明をこれらの実施例に限ることを意図するものではないということは理解されるであろう。逆に本発明は、添付の請求項が定義する発明の精神と範囲に含まれ得る代替のもの、改良されたもの及び同等のものも含めることを意図している。

図２は、本発明により、好ましいＲＧＢ−Ｚセンサー１１０を含むカメラシステム１００を示す。ここに説明されるように、ＲＧＢ−Ｚセンサー１１０は好ましくはＲＧＢ波長である第一のスペクトルバンド内の波長に反応する高解像度ピクセル検出器のアレイ１６０と、第二のスペクトルバンド内の波長に反応する低解像度ピクセルＺ検出器のアレイ１３０を含む。第二のスペクトルバンドは第一のスペクトルバンドと重複してもしなくても良く、人間の目に見えないようにＮＩＲ波長であることが望ましい。大まかに言うと、第一のスペクトルバンドの作動帯域は約４００ｎｍから約９００ｎｍの範囲内であり、約４５０ｎｍから約６５０ｎｍの範囲内にあることが望ましい。（実際には、これらの波長の制限はシリコン基板上に実施されるピクセルダイオード検出器の反応によって決まる。）これらの波長の全てが存在するかもしくは使用されなければならないわけではないということ、またＲＧＢという用語は約４５０ｎｍから約６５０ｎｍの範囲内にある波長の一部を含むと理解される。例えば、あるセンサーが入射してくる単一の色の光エネルギーを基にイメージデータを検出し生成するようデザインされているかもしれない。第二のスペクトルバンドがＩＲ波長もしくは近赤外波長を使用して実施されている場合、作動波長は約８００ｎｍで、帯域幅は約５０ｎｍとなる。これらの波長と帯域幅は一つの例であることは理解される。実用面から言えば、Ｚ検出器のシリコン基板上への実施を容易にするために、ＮＩＲに近い波長が望ましい。

センサー１１０は好ましくは光学的に透明な構成物１２０及び１４０を含み、これらの構成物としては、空気、プラスチック、ガラスその他の素材があるがこれらに限られるものではない。説明を簡素化するため、構成物１２０と１４０は多少離れて示されているが、このように間隔を開けることは必要なく、間隔を開けた結果望ましくない反射が発生する場合がある。構成物１２０の出力表面に隣接しているのがピクセル検出器の第一のアレイ、ここでは距離センサーつまりＺセンサー２３０である。このピクセル検出器１３０の第一のアレイは好ましくはＮＩＲである波長の放射に反応し、第一のＩＣ基板１７０’上に形成される。好ましくはＮＩＲのためのアレイ１３０からの出力はＺデータをもたらし、このデータは距離Ｚ、サイズ、形状及び速度を含む対象物４０に関する情報をもたらすが、これらに限られるものではない。

センサー１１０は波長選別ミラーとして示されているビームスプリッティング構成物１４０を更に含み、ここではホットミラー表面１５０として例示されている。構成物１４０の出力表面は、ここでは第二のＩＣ基板１７０上に作られたピクセル検出器１６０のＲＧＢアレイとなっている、ピクセル検出器の第二のアレイに接する。ＲＧＢピクセル検出器アレイ１６０からの出力は、電子ディスプレイへの表示、紙などの媒体への印刷その他のディスプレイ形態で表示されるＲＧＢ出力イメージ７０の作成に使用される。

図２に示す実施例では、検出される第二のスペクトルバンドエネルギーのためのアクティブなソースが提供される。システム１００は光学エミッター１０５を含み、このエミッターの光学出力２５は光学レンズ１１５を通過し、一般的には対象物Ｚの方向に向かって焦点を合わせるる。一つの実施例においては、エミッター１０５はＮＩＲダイオードであり、扱っているアプリケーションによって、約０．５Ｗから３Ｗのパワーで約８００ｎｍの波長を放つ。ＮＩＲダイオードのエミッターデバイスには比較的低価格であるという利点があるが、これ以外の波長及びパワーを放つその他のデバイスも勿論使用しても良い。エミッター１０５の出力は好ましくは変調装置ユニット１２５に反応するよう変調する。変調はパルスを含んでも良く、約１０ＭＨｚから約１００ＭＨｚの範囲内で、約５０％のデューティーサイクルでも良い。その他の変調特性を有する変調装置ユニット１２５を代わりに用いても良く、上述の数値と波長は一例である。

ここに示される実施例においては、構成物１４０はここでホットミラー表面１５０を含むホットミラーとして示される波長選別ミラー構成物を含む。ホットミラーは従来技術で公知であり、ＮＩＲ成分と言える「ホット」エネルギー成分を反射するが、ここではＲＧＢ成分となっている短い波長の光エネルギー成分は比較的減衰が少なく通過させるという特徴がある。一般的に約７００ｎｍの波長が、構成物１４０が入射してくる光エネルギーを通過させるか反射するかの境界となる。入射してくる波長が約７００ｎｍよりも長い場合、そのエネルギーはＮＩＲであり、構成物１４０により構成物１２０へと反射され、ＮＩＲアレイ１３０で検出される。入射してくる波長が約７００ｎｍよりも短い場合、そのエネルギーはＲＧＢであり、構成物１４０を通過しＲＧＢアレイ１６０で検出される。構成物１４０のデザインによって、境界となる波長は先に例として示した７００ｎｍよりも多少長いもしくは短い場合もある。従って、（例えば、好ましくは約８００ｎｍの波長など）少なくともその一部が対象物４０によって反射されるエミッター１０５が放つエネルギーは、表面１５０で、例えば第二のスペクトルバンドのスペクトルエネルギーに反応するアレイなどのＮＩＲ検出アレイ１３０へと反射される。

スプリッティング構成物１４０はホットミラーではなくコールドミラーで実施しても良い、ということを当業者は認識するであろう。このような実施例においては、コールドミラー表面１５０が入射してくるＲＧＢ波長を反射し、入射してくるＮＩＲ波長を通過させるため、アレイ１３０とアレイ１６０の位置は入れ替えられる。

上述したように、好ましくはＮＩＲのためのＺ検出器アレイ１３０の個別のピクセル検出器のサイズは、ＲＧＢ検出器アレイ１６０の個別のピクセル検出器のサイズよりかなり大きい。サイズ差は断面ディメンションで約１０程度となり、これは断面積で約１００分の１となる。実際には、ＲＧＢアレイ１６０の解像度はＺ検出器アレイ１３０のそれよりもかなり高くなり得る。一例を挙げれば、ＲＧＢアレイ１６０はピクセル行が６４０行、ピクセル列４８０列で実施できるが、好ましくはＮＩＲのためのＺ検出アレイ１３０は６４行４８列で実施できる。上記の解像度値は一つの例であり、別の解像度値を用いた実施例も本発明の精神から逸脱することなく勿論実施できる、ということは理解されるであろう。

図２において、第二スペクトルバンドピクセル検出器アレイ１３０が感知したＺ情報を、対象物４０の距離Ｚ、（幅、高さなどの）サイズだけでなく、対象物の速度ΔＺ／ΔｔなどのＺデータを出力するＺプロセッサ１３５に送っても良い。Ｚタイプの情報を処理する方法とハードウェアは従来技術で公知である。（２００３年２月４日に発行された）鈴木らの米国特許６，５１５，７４０号にはこれらのテクニックの例が説明されており、この特許の全体は参照することにより本願に含まれるものである。

第一のスペクトルバンドのピクセルダイオード検出器アレイ１６０からのＲＧＢ情報出力は、ここでＲＧＢプロセッサユニット６５となっているイメージプロセッサにつなげることができ、イメージプロセッサの出力は電子的に及び／もしくは（紙などの）媒体７０に表示できる。Ｚデータの解像度は（ここではＲＧＢである）イメージデータの解像度よりも低いが、Ｚデータはユニット７０によってイメージされた対象物を迅速に識別する上でとても有益になり得る。例えば、対象物のイメージを中心として広がる赤い同心円であり得る警告の表示、及び／もしくは警告サインや警告の言葉など、ディスプレイ７０を補助するためにＺデータをＲＧＢプロセッサユニット６５につなげることができる。焦点レンズ２０’がディスプレイ７０の質を改善するのを助けるためにＺデータをつなげても良い。聴覚で知覚される警告音及び／もしくは発話も、例えばトランスデューサ７５から発信しても良い。図２の実施例はうまく機能するが、ピクセル検出器１３０と１６０の二つのセンサーアレイは二つの別々のＩＣ基板１７０’及び１７０上に形成されていることに留意されたい。これとは逆に、以下に説明するように図３の実施例は単一の基板上に実施可能である。

図３は、本発明により、単一のＩＣ基板１７０の上に実施された第一スペクトルバンド及び第二スペクトルバンドのＲＧＢ−Ｚセンサー１１０、１８０から成るＲＧＢ−Ｚセンサーシステムを含むカメラシステム１００のもう一つの実施例を示す。特に記載がない限り、図３のエレメントで図２と同じ参照番号のものは、図３でも同じエレメントであると看做される。この実施例では、ＲＢＧイメージ及びＺイメージの焦点は、共通レンズ２０’によって単一のＩＣ基板１７０上に形成された単一センサー１６５に当てられている。以下に説明するように、センサーアレイ１６５は、第一のスペクトルバンドのピクセルセンサーアレイ部分１６０’（好ましくはＲＧＢ検出器）と、第二のスペクトルバンドのピクセルセンサーアレイ部分１３０’（好ましくはＮＩＲ検出器）とを含む。上述のように、これら二つのピクセルセンサーアレイ部分の解像度は大きく異なっていても、有益なＺ情報を提供できる。

図３では、光エネルギー３０は、この実施例におていは照準軸と合致する光軸を定義する経路で共通レンズ２０’を通過し光学構成物１２０を通過する。この実施例におていは、イメージ及びＺ検出器１６０’、Ｚ検出器１３０’を含む基板１７０が定義する焦点面に対して、光軸つまり照準軸が垂直であることに留意されたい。隣接する構成物１２０は好ましくは光学的に透明な構成物であるスプリッタ構成物１４０である。（図２の構成物１２０と同様に、「光学的に透明な構成物」は、空気、プラスチック、ガラスその他の素材でも良い構成物を含む、と理解される。）

ここに示される実施例においては、スプリッタ構成物１４０は、ここでホットミラー表面２１０として例示されている周波数選別ミラー表面を含む。その結果、入射してくる「ホット」な光エネルギーつまり好ましくはＮＩＲである成分を含む光エネルギーは、表面２１０によってアセンブリ１８０内の反射システム２００に反射する。好ましくはＮＩＲである波長である、アセンブリ１８０に届いたＺ成分は、ここでは通常ミラーと例示されている表面１５０によって反射する。望まれれば、ＩＣ基板１７０上の二つのセンサー領域を適切に入れ替えて、ホットミラー表面ではなくコールドミラー表面を使用しても良い。

図３が示すように、反射した成分は、共通ＩＣ基盤１７０上に形成されるアレイ１６５のＺ検出ピクセルアレイ検出器部分１３０’で検出される前に、光学経路の長さイコライザエレメント２２０を通過するのが望ましい。エレメント２００及びエレメント１９０の屈折率と厚さにより、また光学的側面や焦点に関して考慮した上で、経路の長さイコライザはどちらの光学経路の上にあっても良い。好ましくはＮＩＲのためのピクセルアレイ検出器部分１３０’からの出力はＺデータであり、このデータは対象物４０に関するサイズ、距離及びその他のパラメータを提供するために使用できる。Ｚデータは対象物４０の特徴を正確に識別するのを助けるために使用しても良い。いくつかの利用例においては、例えばレンズ２０’の焦点を改良する、及び／もしくはＺデータとイメージング処理テクニックを用いてイメージ７０のぼやけを修正するなどして、イメージ７０の質を向上させるためにＺデータを使用しても良い。図３の実施例においては、アレイ部分１３０’とアレイ部分１６５の位置が入れ替えられれば、ホットミラーではなくコールドミラーをエレメント１４０として使用できるということが理解される。

まとめると、図３の実施例においては、レンズ２０’を通過して入射する光エネルギーのＲＧＢ成分は比較的減衰が少なくエレメント１２０及びエレメント１４０を通過し、共通ＩＣ基板１７０のＲＧＢピクセルアレイ検出器部分１６０’で検出される。しかし、好ましくはＮＩＲである成分は、表面２１０及び表面１５０で反射され、共通ＩＣ基板１７０上のＺピクセルアレイ検出器部分１３０’で検出される。このような基板１７０はアレイ部分１３０’及びアレイ部分１６０’を含む全体アレイ１６５を含むとも考えられる。

先に説明した実施例に示されるように、検出器部分１６０からのＲＢＧ出力もしくはディスプレイ出力は、対象物４０を表す出力イメージ７０を表示するために使用できる。出力イメージ７０内の対象物４０の識別特徴はＺデータを用いて際立たせることができ、これにはイメージ７０への警告色の表示、対象物４０のディスプレイの少なくとも一部分のハイライトなどが含まれるがこれらに限られるものではない。Ｚデータは更に、聴覚で知覚される警告音の発信、フィードバック信号の生成、またシステム１００を運転中の危険警告システムの一部として含む自動車の制動システム及び／もしくはヘッドライトシステムに使用しても良い。

一般的に、Ｚ成分及びＲＧＢ成分の一方に関わる光学経路はもう一方の経路よりも長い。図３の構造には、二つの経路を光学的に等しくするために光学経路の長さイコライザエレメント２２０が含まれており、１９０及び２００の屈折率と厚さによって、このエレメントは二つの経路のどちらに設置しても良い。イコライザエレメント２２０は、例えばガラスなどの実質的にフラットな高屈折率素材の一片で良く、イコライザエレメント２２０を含むことで長い光学経路内の対象が近くに見える。その結果、基板１７０上に形成された全体アレイ１６５上の検出器領域１６０’、検出器領域１３０’の上にそれぞれ形成されたＲＧＢイメージとＺイメージに、共通の焦点面が存在する。しかし、本発明で示されるホットミラー、コールドミラーもしくは通常ミラーの補助構成には事実上ガラスも含まれるため、いくつかの利用例においては、個別のディスクリートな光学経路の長さイコライザの必要性がなくなる可能性がある。

望まれれば、より長い方の光学経路の焦点を前方に移動させるために、例えば収束レンズ及び／もしくは発散レンズなどの光学系を利用してイコライザエレメント２２０を実施しても良い。エレメント２２０に類似したイコライザエレメントは二つの光学経路の様々な位置に配置できる。図３には、単一の平らなイコライザエレメント２２０が示されている。このエレメントを構成する素材が高屈折率ｎを有し、ビームスプリッタによって発生する二つの光学経路間の経路長さの差がＤであると仮定する。この例では、エレメント２２０の前から後ろにかけての厚さがＴであり、ここでＴ＝Ｄ／（ｎ−１）である。一例を挙げれば、(空気中で)Ｄ＝５ｍｍであり、ｎ＝１．６５である場合、エレメント２２０の厚さＴはＴ＝５ｍｍ／（１．６−１）＝８．３ｍｍとなる。

実際には、厚さＴはレンズ２０’の開口数に比べるとむしろ厚く、従って球面収差が発生し得る。例えば、収差を生成する平らなエレメント２２０を、一般的にＲＧＢアレイ１６０’よりも大きいサイズのピクセルを有するＮＩＲピクセルセンサーアレイ１３０’の前に挿入することで、Ｚイメージの焦点を犠牲にし、ＲＧＢイメージの鮮明さを維持したまま球面収差の影響を緩和することができる。代替案として、光学経路内に修正レンズを含めても良い。ＲＧＢ光学経路とＺ光学経路のいづれかが（例えばｎ≧１．２程度の）高屈折率素材を通して実質的な経路を含む場合には、結果得られる球面収差は、いづれか一つの経路、好ましくは収差がある経路に修正レンズを含めることで減少できる。

２２０のような光学経路長さイコライザはある程度の光学収差を発生させ、この収差は、通常ＲＧＢアレイよりも低い解像度でデザインされているＺアレイに発生する場合にはそれ程気にならない。従って、光学経路の一つを犠牲にするならば、Ｚ経路が影響を受けた方が発生する劣化は少なくなる。Ｚセンサーの作動波長を中心とした周波数の狭い帯域を通過させる高性能帯域通過フィルターを使えば、性能を向上させるためにＺ光学経路に沿って照射を含んでも良いということが認識される。例として挙げられる高性能帯域通過フィルターは、以下の特徴の少なくとも一つを有する。約４０ｎｍ程度の狭い帯域、約５％以下の通過帯域での減衰、及び約９５％以上の阻止帯域での減衰。

図４は、本発明により、スプリッタユニット１１０及び反射ユニット１８５に関連する、第一及び第二のスペクトルバンドのＲＧＢ−Ｚセンサー領域１６０’及び１３０’から成るＲＧＢ−Ｚセンサーシステムを含むカメラシステム１００の更に別の実施例を示す。図３の構造と同様に、この実施例においては、ＲＧＢイメージとＺイメージの焦点は、単一のＩＣ基板１７０上に作られた単一のセンサーアレイ１６５の上に形成されたＲＧＢピクセルアレイ検出器領域１６０’及びＺピクセルアレイ検出器領域１３０’にそれぞれ共通レンズ２０’によって合わせられる。部品１０５、１１５、１２５、１３５、６５及び７５の説明をここで繰り返す必要はない。以下に説明するように、センサーアレイ１６５は、好ましくはＲＧＢであるイメージ検出器ピクセルセンサーアレイ部分１６０’及びＺ検出器ピクセルセンサーアレイ部分１３０’を含む。

図３の構造とは対照的に、図４の実施例は照準軸と平行な焦点面を使用しており、例えば、基板１７０が定義する検出器面は、レンズ２０’を通過する光エネルギーが定義する光軸と平行である。図４において、本願で先に説明したように、システム１００はエレメント１２０、エレメント１４０及びホットミラー表面の例１５０から成るビームスプリッタ１１０を含む。ビームスプリッタ１１０はエレメント１２０、イコライザエレメント２２０を通して、ＩＣ基板１７０上に形成された検出器センサーアレイ１６５の上のＺピクセルセンサーアレイ領域１３５’にＺ成分を反射する。

図４において、Ｚ成分は実質的にビームスプリッタ１１０を通り、前述のように空気、プラスチック、ガラス、その他の素材であり得るスペーサ１２０から成るエレメント１８５へと通過し、反射ミラー表面１５５を含むビーム反射器２０５へと通過する。従って、エレメント１８５に届く好ましくはＮＩＲであるエネルギーは、空気、プラスチック、ガラスなどであり得るスペーサ素材１９０を通り、ＩＣ基板１７０上に形成された検出器センサーアレイ１６５のＺピクセル検出器アレイ部分１６０’に反射する。

ＲＧＢ成分はビームスプリッタ１２０からＲＧＢアレイ１３５’に反射する。先に説明した実施例にあるように、検出器部分１３５’からの出力は、出力イメージ７０を表示するために使用できる。出力イメージ７０に表示される情報は、ＮＩＲセンサー領域１６０’から得られるＺデータを用いて際立たせることができる。経路の長さイコライザエレメント２２０は、両方のイメージの焦点が確実に同一面に合うようにする。

Ｚデータ検出器アレイがＮＩＲ波長ではなくＲＧＢ帯域の波長で作動する場合、図２から図４の実施例において、ビームスプリッタの代わりにハーフミラーが使用できることは認識されるであろう。このような作動形態では、Ｚセンサーの作動スペクトル内の波長はＲＧＢセンサーとＺセンサーとの間で分割される。望まれれば、スプリッタとハーフミラーデバイスを組み合わせて使用することで、その他の波長も分割もしくはＲＧＢセンサーに送ることができるが、実用面では、簡素化と経済性のためにも、ハーフミラーのみを用いれば十分である。従って、図２から図４において、表面１５０は波長スプリッタではなくハーフミラーとなる。ビームスプリッタに関して上述したように、Ｚアレイに関連する光学経路に高性能フィルターを加えても良い。Ｚデータを入手するためにＮＩＲ波長以外を使用することで、対象物自身が発生させる光学エネルギーの使用が可能となる。例えば近い将来、自動車のヘッドライトは高輝度ＬＥＤとなるであろう。このようなヘッドライトが変調光成分を含む場合、本発明は変調ＬＥＤ波長を送ることでＺデータを入手できる。（ここでは、自動車製造業者がヘッドライト出力に変調ＬＥＤ光成分を含めるモーチベーションを与えられていると仮定する。）この場合、本発明を実施した自動車のＬＥＤヘッドライトのみが照らす歩行者もしくはその他の対象物から、第二スペクトルバンドの追加照明ソースを設置することなくＺデータを入手できる。

図５は、Ｒ、Ｇ、Ｂピクセル検出器から成る第一のスペクトルバンドの検出器領域１６０’と、ここではＮＩＲピクセル検出器から成る第二のスペクトルバンドの検出器領域１３０’とが共通のＩＣ基板１７０上に散りばめられている、センサーアレイ１６５の構造を図示した平面図である。図が分かりにくくなるのを避けるため、領域１６０’と領域１３０’は特に記載されていない。しかし、斜線の入った（ＮＩＲ）領域が領域１３０’であり、Ｒ、Ｇ、Ｂ領域が領域１６０’である。前述のように、（ここではＮＩＲである）Ｚ検出領域のディメンションのサイズはＲＧＢ検出領域よりもかなり、約１０倍ほど大きく、これは断面積で約１００倍の大きさになる。実際には、かなりサイズの大きいＮＩＲピクセル検出器が存在することで、アレイ１６５内で対称性が崩れる。

図６は、図５に図示したセンサーアレイ１６５を使用した、ＲＧＢ−Ｚセンサー１００の実施例を図示している。共通レンズ２０’を通過して入射してくる光エネルギー３０には、ここではＲＧＢ成分及びＮＩＲ成分であるところの、第一のスペクトルバンド成分及び第二のスペクトルバンド成分が含まれる。ＲＧＢ光エネルギー及びＮＩＲ光エネルギーの焦点はアレイ１６５に合わせられている。ＲＧＢピクセルダイオードセンサーに当たるＲＧＢエネルギーの一部は、アレイのその部分によって検出される。同様に、ＮＩＲピクセルダイオードセンサーに当たるＮＩＲエネルギーの一部は、アレイのその部分によって検出される。ＲＧＢピクセルダイオードセンサーとＮＩＲピクセルダイオードセンサーそれぞれからの出力は、先に本願で説明したように、それぞれＲＧＢプロセッサ６５及びＺプロセッサ１３５につなげられる。部品１０５、１２５、６５及び７０の機能は他の実施例との関連で既に説明されており、更なる説明の必要はない。

本発明の様々な実施例は、スプリッタに付随する高い光学的効率性と、単一のＩＣ基板上にＲＧＢ−Ｚセンサーを作ることの経済性とを有利に組み合わせている。従って、本発明によるＲＧＢ−Ｚセンサーは、例えばＮＩＲなどの、光エネルギーの他の成分も感知することで更に有益な情報を提供しつつ、先行技術のＲＧＢセンサーもしくはイメージセンサーに対し価格面で競争力がある。

図７は、乗り物の進行方向にいる歩行者の検出など、対象物識別のための自動車への利用という、本発明の利用例を図示している。このように、自動車３００が本発明によるＲＧＢ−Ｚセンサーシステム１００を搭載している様子が示されている。この実施例においては、システム１００は（好ましくはＮＩＲである）Ｚデータを入手するための光エネルギーを出力し、反射されたこの光エネルギーと、（図示されてはいないが、おそらく太陽光などの）自然光による対象物４０から反射された好ましくはＲＧＢである波長を検出する。

歩行者検出には、対象物が歩行者であるかどうかを判断するために、自動車の前にある対象の形状とサイズを識別することも含まれる。歩行者とは、約１．５ｍｘ４０ｃｍのサイズで、その下部に足のような形状を有する対象物であると看做される。高解像度のＢＷもしくはＲＧＢが対象物の形状を判断するために使用される。対象物のサイズは検出器アレイ上の多くのＲＧＢピクセル検出器にまたがっており、少なくとも一つのＺピクセル検出器を含むため、対象物までの距離Ｚを判断するために、低解像度Ｚで十分である。対象物の形状と距離が本発明を用いて入手できる場合、そのサイズも判断することができる。この場合、対象物が歩行者であるかどうかを入手したデータから判断することは比較的容易となり、そうである場合は、本発明を実施した自動車の運転者に警告を発することも容易となる。

このように図７において、Ｚプロセッサ１３５は、ＲＧＢプロセッサ６５に示されたＲＧＢデータを補助することができ、対象物４０が歩行者であるかどうかを判断するために使用する。Ｚプロセッサ１３５は、サイズ、形状、速度範囲などに関して、「歩行者」がどのように見えるかのパラメータを記憶したメモリを含んでも良い。対象物４０が歩行者であると判断された場合、イメージ７０を際立たせたり、及び／もしくは（乗り物３００の運転者に聞こえ、また例えば、自動車のクラクション音のように恐らく対象物にも聞こえる）聴覚で認識される音信号を鳴らすために本発明を使用できる。更に本発明は、自動的に乗り物を停止させたるため、及び／もしくは歩行者に対し乗り物３００による危険を警告するために、乗り物のヘッドライトを点灯または点滅させるために使用できるフィードバック信号を出力できる。図１に示すような通常の先行技術のカメラシステムが使用された場合に比べ、これらの機能が更に確実に実施できる。これらの機能は、超音波テクニックが採用された場合に比べかなり高い解像度で実行でき、またＧＨｚ範囲のレーダーシステムが採用された場合に比べかなり低コストでまた高い空間分解能で実行できる。実際には、本発明を用いた解像度範囲の例は約１ｍから約２５ｍの範囲内で約３ｃｍから約２０ｃｍであり得る。

前述した、本発明の特定の実施例の説明は、図解と説明の目的で示されたものである。これらの説明は全てを網羅するのもではなく、この発明を開示された正にそのままの形態に限定することを意図したものでもなく、上述の教示に照らし、明らかに多くの改良及びバリエーションが可能である。発明の原理及びその実際の利用例を最も上手く説明し、それにより、当業者がこの発明と、意図する特定の利用法に見合った様々な改良を含む様々な実施例とを最も上手く利用できるようにするために、これらの実施例を選択し説明したものである。本願に含む請求項とそれに相当するものによって、本発明の範囲を定義することが意図されている。

図１は、先行技術による従来型ＲＧＢセンサーを使用したカメラシステムを示す。 図２は、本発明によるＲＧＢ−Ｚセンサーの第一の実施例を示す。 図３は、本発明により、第一及び第二のスペクトルバンドアレイの組み立てに単一のＩＣ基板が使用されているＲＧＢ−Ｚセンサーの第二の実施例を示す。 図４は、本発明により、焦点面が照準の軸と平行な単一の基板ＩＣ上に組み立てられたＲＧＢ−Ｚセンサーの第三の実施例を示す。 図５は、本発明により、イメージピクセル検出器とＺピクセル検出器とが、単一のＩＣ基板上に実施されている共通のＲＧＢ−Ｚセンサーアレイ内に分散されたＲＧＢ−Ｚセンサーの実施例の平面図である。 図６は、本発明により、図５に示すセンサーアレイを用いて単一のＩＣ基板上に作られたＲＧＢ−Ｚセンサーの第四の実施例を示す。 図７は、本発明によるＲＧＢ−Ｚセンサーを使用した、歩行者認識及び歩行者回避のための本発明の利用例を示す。

Claims (20)

1. 距離Ｚ分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Ｚの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するセンサーで、該センサーが
   両方のスペクトルバンドから入力成分を受け取り、該スペクトルバンドの一つからの成分を実質的に通過させ、該スペクトルバンドのもう一方からの成分を実質的に反射するために設置された光学スプリッタと、
   該光学スプリッタから出力された第一のスペクトルバンドの成分を検出し、該対象物の少なくとも一部を表示するために使用可能なディスプレイデータを出力するために設置されたイメージセンサーと、
   該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Ｚの大きさを判断するために使用可能なＺデータを出力するために設置されたＺセンサーと、
   から成る該センサー。
2. 該光学スプリッタが（ａ）ホットミラーと、（ｂ）コールドミラーと、（ｃ）ハーフミラー、及び（ｄ）完全反射ミラーとから成るグループから選択されること、を特徴とする請求項１に記載のセンサー。
3. 該第二のスペクトルバンドの成分が近赤外線（ＮＩＲ）であること、を特徴とする請求項１に記載のセンサー。
4. 該イメージセンサーと該Ｚセンサーとが共通の集積回路（ＩＣ）基板上に形成されることと、
   該ＩＣ基板の面が、該光学スプリッタに入力される両方のスペクトルバンドの成分によって定義される光軸に直角であることと、
   を特徴とする請求項１に記載のセンサー。
5. 該イメージセンサーと該Ｚセンサーとが共通の集積回路（ＩＣ）基板上に形成されることと、
   該ＩＣ基板の面が、共通の照準を定義するために該光学スプリッタに入力された両方のスペクトルバンドの成分によって定義される光軸と平行であることと、
   を特徴とする請求項１に記載のセンサー。
6. 該イメージセンサーが、ＲＧＢ検出解像度を設定するために該ＩＣ基板上に形成された、第一の複数のＲＧＢピクセル検出器ダイオードを含むことと、
   該Ｚセンサーが、該ＲＧＢ検出解像度とは異なるＺ検出解像度を設定するために該ＩＣ基板上形成された、第二の複数のＺピクセル検出器ダイオードを含むこと、
   を特徴とする請求項１に記載のセンサー。
7. 該Ｚピクセル検出器ダイオードの一つによって定義される断面積が、該ＲＧＢピクセル検出器ダイオードの一つによって定義される断面積よりもかなり大きいこと、を特徴とする請求項６に記載のセンサー。
8. 該第一のスペクトルバンドの成分によって定義される第一の光学経路と、該第二のスペクトルバンドの成分によって定義される第二の光学経路との間の、該センサー内での光学経路の長さのいかなる差も実質的に等しくするための手段を更に含む、請求項１に記載のセンサー。
9. 実質的に等しくするための該手段が、ｎ≧１．２の屈折率を有するエレメントで、該第一の光学経路及び該第二の光学経路の少なくとも一つに設置された該エレメントを含むこと、を特徴とする請求項８に記載のセンサー。
10. 該イメージセンサーの出力からのイメージを表示するための手段を更に含む、請求項１に記載のセンサー。
11. （ａ）該距離Ｚの大きさと、（ｂ）該対象物のΔＺ／Δｔの大きさと、（ｃ）該対象物の少なくとも一部のおおよその形状、及び（ｄ）該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Ｚセンサーの出力から判断するための手段を更に含む、請求項１に記載のセンサー。
12. 該イメージセンサーの出力からのイメージを表示するための手段と、
    （ａ）該距離Ｚの大きさと、（ｂ）該対象物のΔＺ／Δｔの大きさと、（ｃ）該対象物の少なくとも一部のおおよその形状、及び（ｄ）該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Ｚセンサーの出力から判断するための手段と、
    該判断するための手段の出力につなげられた、該イメージに表示された情報を補助するための手段と、
    を更に含む請求項１に記載のセンサー。
13. 該補助するための手段が、（ａ）該イメージの一部を可視的にハイライトすることと、（ｂ）該ディスプレイ上に警告イメージを表示することと、（ｃ）聴覚で認知できる警告音を鳴らすことと、（ｄ）該センサーを含む自動車の安全システムを作動させるために使用可能な信号を出力することとから成るグループから選択された少なくとも一つの補助を含むこと、を特徴とする請求項１２に記載のセンサー。
14. 距離Ｚ分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Ｚの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するＣＭＯＳで実施可能なセンサーで、該センサーが
    両方のスペクトルバンドから入力成分を受け取り、該スペクトルバンドの一つからの成分を実質的に通過させ、該スペクトルバンドのもう一方からの成分を実質的に反射するために設置された光学スプリッタと、
    該光学スプリッタから出力された第一のスペクトルバンドの成分を検出し、該対象物の少なくとも一部を表示するために使用可能なディスプレイデータを出力するために、集積回路（ＩＣ）基板上に設置されたイメージセンサーと、
    該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Ｚの大きさを判断するために使用可能なＺデータを出力するために、該ＩＣ基板上に設置されたＺセンサーと、
    から成る該センサー。
15. 該光学スプリッタが、ホットミラー、コールドミラー、ハーフミラー及び完全反射ミラーから成るグループから選択された少なくとも一つのスプリッタを含むこと、を特徴とする請求項１４に記載のセンサー。
16. 該第二のスペクトルバンドの成分が近赤外線（ＮＩＲ）であること、を特徴とする請求項１４に記載のセンサー。
17. 該イメージセンサーの出力からのイメージを表示するための手段と、
    （ａ）該距離Ｚの大きさと、（ｂ）該対象物のΔＺ／Δｔの大きさと、（ｃ）該対象物の少なくとも一部のおおよその形状、及び（ｄ）該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Ｚセンサーの出力から判断するための手段と、
    該判断するための手段の出力につなげられた、該イメージに表示された情報を補助するための手段と、
    を更に含む請求項１４に記載のセンサー。
18. 距離Ｚ分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Ｚの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するために使用可能なＣＭＯＳで実施可能なセンサーで、該センサーが、
    該第一のスペクトルバンド内の光エネルギーを検出するために、その上にイメージピクセル検出器ダイオードを形成し、また該第二のスペクトルバンド内の光エネルギーを検出するために、その上に該イメージピクセル検出器ダイオードの間に散りばめられたＺピクセル検出器ダイオードを形成した集積回路基板と、
    該イメージピクセル検出器ダイオードの出力からイメージデータを出力するための手段で、該イメージデータが該対象物の少なくとも一部を表示するために使用可能である該手段と、
    該Ｚピクセル検出器ダイオードの出力からＺデータを出力するための手段で、該Ｚデータが該Ｚの少なくとも大きさを判断するために使用可能である該手段と、
    から成る該センサー。
19. 該第一のスペクトルバンドが、約４００ｎｍから約６５０ｎｍの範囲内に当てはまる少なくとも一つの波長を含むことと、
    該第二のスペクトルバンドが、約６５０ｎｍより長い少なくとも一つの波長を含むことと、
    を特徴とする請求項１８に記載のセンサー。
20. ＣＭＯＳで実施可能なセンサーで、距離Ｚ分離れた場所にある対象物から、該対象物をイメージするために第一のスペクトルバンド内の光エネルギー成分を検出し、少なくとも該Ｚの大きさを判断するために第二のスペクトルバンド内の光エネルギー成分を検出するために、該センサーを搭載した自動車内の対象認識装置として使用できる該センサーで、該センサーが
    両方のスペクトルバンドから入力成分を受け取るために設置され、該スペクトルバンドの一つからの成分を実質的に通過させ、また該スペクトルバンドのもう一方からの成分を実質的に反射するための手段と、
    該実質的に通過させまた実質的に反射するための手段から出力された第一のスペクトルバンド成分を検出し、該対象物の少なくとも一部を表示するために使用可能なイメージデータを出力するために、集積回路（ＩＣ）基板上に設置されたイメージセンサーと、
    該光学スプリッタによって出力された第二のスペクトルバンドの成分を検出し、少なくとも該Ｚの大きさを判断するために使用可能なＺデータを出力するために、該ＩＣ基板上に設置されたＺセンサーと、
    該イメージセンサーの出力からのイメージを表示するための手段と、
    （ａ）該距離Ｚの大きさと、（ｂ）該対象物のΔＺ／Δｔの大きさと、（ｃ）該対象物の少なくとも一部のおおよその形状、及び（ｄ）該対象物の少なくとも一部のおおよそのサイズとのうちの少なくとも一つを、該Ｚセンサーの出力から判断するための手段と、
    該判断するための手段の出力につなげられた、（ａ）該イメージの一部を可視的にハイライトすることと、（ｂ）該イメージ上に警告を表示することと、（ｃ）聴覚で認知できる警告音を鳴らすことと、（ｄ）該自動車のホーンを鳴らすために使用可能な信号を出力し、該自動車の制動装置を作動させるための信号を出力することと、のうち少なくとも一つを実行することで該イメージに表示された情報を補助するための手段と、
    から成る該センサー。

Images