JP2004538545A - 車両のヘッドランプまたは他の車両機器を制御するための画像処理システム - Google Patents

Abstract

撮像システム（図１）は、複数のピクセル（１０２）を含むイメージアレイセンサ（１０１）を含む。各ピクセル（１０２）は、ピクセル上で受信された光量を示す信号を生成する。撮像システムはさらに、ピクセルからの信号をデジタル値に変換するためのアナログ−デジタルコンバータ（１０３）を含む。システムはさらに、コンバータからのデジタル値を格納するための複数の割り振られた記憶位置を含むメモリ（１０６）を含む。メモリにおいて割り振られた記憶位置の数はイメージアレイセンサにおけるピクセルの数より少ない。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は一般に画像処理システムに関し、より詳細には、車両のヘッドランプ、ワイパーなど、車両機器を制御するために使用される画像処理システムに関する。
【背景技術】
【０００２】
最近、画像処理システムを利用する多数の車両制御アクセサリが提案されている。たとえば、本願の譲受人に譲渡され、参照により本明細書に組み込まれる「自動減光車両ヘッドランプへの制御システム（Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ ｔｏ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｄｉｍ Ｖｅｈｉｃｌｅ Ｈｅａｄ Ｌａｍｐｓ）」という名称の米国特許第５，８３７，９９４号は、イメージセンサおよびプロセッサを利用して、夜間の他の車両のヘッドランプを検知し、自動的に車両のヘッドランプのハイビームの状態を制御する制御システムを開示している。車両機器を制御するための画像処理システムのもう１つの例は、同じく本願の譲受人に譲渡され、参照により本明細書に組み込まれる「湿気センサおよび防風ガラス霧検出器（Ｍｏｉｓｔｕｒｅ Ｓｅｎｓｏｒ ａｎｄ Ｗｉｎｄｓｈｉｅｌｄ Ｆｏｇ Ｄｅｔｅｃｔｏｒ）」という名称の米国特許第５，９２３，０２７号において与えられる。この特許は、雨または霧の存在を検出するために車両のフロントガラスのイメージを獲得する画像処理システムを開示している。
【０００３】
これらの各システム、ならびにいくつかの他の開示された自動車画像処理システム（たとえば、米国特許第５，７６５，１１６号、第５，６７５，４８９号および第５，６６０，４５４号、およびＰＣＴ特許出願公開第ＷＯ ００／５３４６５号を参照）では、イメージがイメージセンサによって獲得され、その後で処理するために全体としてメモリに格納される。技術的に大変好都合であるが、このイメージメモリ量の使用には、特にコストに非常に敏感な自動車市場において、システムを商用利用に適合させるときに問題がある。これらのタイプの応用例に適した大抵の低コストマイクロコントローラまたはデジタル信号プロセッサ（ＤＳＰ）には、イメージを格納することができるランダムアクセスメモリ（ＲＡＭ）が数百バイトから数キロバイトしか装備されていない。多数のマイクロコントローラの処理コアは通常、様々なＲＡＭ構成により使用可能であり、メモリの量が増えるにつれて価格が上がる。したがって、可能な限り最低量のＲＡＭを有するマイクロコントローラを使用することが有利である。従来技術のシステムにおける少量のＲＡＭの使用では、格納することができるイメージのサイズが制限され、したがって解像度が大幅に制限される。
【０００４】
一般的な既製のイメージセンサは３５２×２８８ピクセルを有することができ、これはＣＩＦフォーマットとして知られている。このセンサからのイメージ全体を格納するには約１００キロバイトのＲＡＭが必要となり、これは低コストのマイクロコントローラで通常使用可能な量よりはるかに多い。いくつかのマイクロコントローラは、使用可能なＲＡＭの量を外部メモリチップの追加によって増大するための能力を有する。これらのマイクロコントローラは外部メモリバスを有していなければならず、ピン数を、したがってマイクロコントローラとそれを取付ける回路板のコストおよび複雑性を増大する。外部メモリ自体のコストも考慮しなければならず、メモリ価格が急激に下がっているにもかかわらず、このコストは当面かなり大きいままであると予想される。最後に、イメージを処理できるようになる前にメモリに転送しなければならず、イメージの獲得および解析に必要とされる合計時間は、解析が獲得と同時に起こることができる場合よりも長くなる。
【０００５】
イメージを最初にメモリに格納することなく解析し、したがってシステム内で必要とされるメモリの合計量を低減することができる、自動車機器を制御するための低コスト画像処理システムが求められている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、イメージにおけるあらゆるピクセルのデジタルグレースケール値を格納するために十分な記憶位置を有するメモリを必要としない画像処理システムを提供することによって、従来技術の問題を解決する。このシステムは、複数のピクセルを含むイメージセンサアレイを含み、各ピクセルが、露光時間にわたってピクセルによって受信された光量を示す出力を提供するように構成される。このシステムはまた、アナログ−デジタル（Ａ／Ｄ）コンバータをも提供し、ピクセルからの信号をデジタルグレースケール値に量子化する。このシステムはまた、イメージセンサおよびＡ／Ｄコンバータと通信するプロセッサも提供して、イメージプロセッサによって獲得されたイメージを解析し、イメージの処理の結果に基づいて車両機器を制御する。最後に、このシステムは、ピクセルのいくつかのグレースケール値を格納するため、かつプロセッサによって使用された他のデータを格納するためのメモリを含む。すべてのピクセルを格納するために必要とされるよりも少ない使用可能メモリを有する画像処理システムを提供することによって、画像処理システムのコストおよび複雑性を低減することができる。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、必要とされるメモリの量が、所与の時間でイメージの一部のみを獲得および解析することによって低減される。これは、一度に単一行のピクセルを獲得することによって、あるいは、すべてのピクセルを含むウィンドウのサブセットであるピクセルのサブウィンドウを獲得することによって、実施することができる。本発明のもう１つの態様では、デジタル画像処理フィルタが、最新のピクセルのグループのみを格納すること、およびフィルタアルゴリズムをこのピクセルのグループにおいて実行することによって実施される。最新のピクセルのグループは、たとえば、受信されたイメージの最後の数行とすることができる。このシステムはフィルタアルゴリズムを最後の数行の獲得行において実行し、新しい行が獲得されるときに最も古い行を廃棄する。
【０００８】
本発明のもう１つの態様では、プロセッサによって受信されたピクセル値のいくつかが、それらが受信されるときに廃棄され、値のサブセットのみがメモリに格納される。ピクセルは、イメージ中で均一のレートで、あるいは非均一のレートで廃棄することができる。たとえば、ピクセルを、イメージの周囲付近で高いレートで、イメージの中心付近で低いかあるいはゼロのレートで廃棄して、イメージの中心付近でより大きい解像度を提供することができる。
【０００９】
本発明のもう１つの態様では、隣接ピクセルの値を互いに平均し、いくつかの隣接ピクセルの平均を表す単一の値をメモリに格納することができる。互いに平均されるピクセルの数を、イメージ中で均一にすることができ、あるいは非均一にすることができる。イメージの周囲付近で多数のピクセルを互いに平均することができ、イメージの中心付近で少数またはゼロのピクセルを互いに平均して、イメージの中心付近でより大きい解像度を提供することができる。
【００１０】
本発明のもう１つの態様では、イメージにおいて識別された被写体をイメージから抽出し、イメージを獲得中であるときに格納することができる。たとえば、本発明を使用して、制御された車両のヘッドランプのハイビーム状態を決定するために、接近する車両のヘッドランプを識別することができる。本発明は、イメージにおける接近するヘッドランプの存在を、イメージを獲得中であるときに識別し、ヘッドランプについての様々な情報を被写体リストに格納することができる。
【００１１】
本発明のもう１つの態様では、イメージデータを、それを獲得中であるときに圧縮することができる。この圧縮は多数の方法によって実施され、これには、ピクセル値を受信中であるとき、その量子化レベル（ビット深度）の数を低減することが含まれる。イメージのビッド深度の低減を、イメージにわたって均一に、あるいは非均一に、かつ線形または非線形に再量子化することによって、実行することができる。本発明のこの態様は特に、カメラがプロセッサから離れて配置されるとき、データレートを低減するために有用である。
【００１２】
本発明のもう１つの態様では、イメージデータが、共に所定の被写体を作成する、接続されたピクセルのセグメントを格納することによって低減される。たとえば、すべてがしきい値を上回るグレースケール値を有する、イメージのある行内で接続されたピクセルの列を、１つの被写体として格納することができる。各ピクセルのグレースケール値を格納するのではなく、開始および終了ピクセル、およびすべてのピクセルの累積グレースケール値のみが格納される。カラーの実施態様では、セグメントの平均色を格納することができる。最後に、被写体の２次元グループも格納することができる。この態様は特に、メモリ要件を大幅に低減し、できるだけ少ないオーバーヘッドによりイメージデータを伝送するために有用である。セグメントのリストへのイメージを低減するための処理をイメージセンサ自体に、イメージセンサ付近のコンパニオンプロセッサ（ＡＳＩＣ、マイクロコントローラ、ＤＳＰなど）に、あるいはメインプロセッサに含めることができる。
【００１３】
本発明のもう１つの態様では、カラーイメージセンサが使用されて、シーンにおける被写体についてのカラー情報が検出される。この実施形態では、多層薄膜インターフェイスフィルタが各ピクセル上に、チェッカーボードまたはモザイクパターンにおいて配置され、隣接ピクセルが光の異なるスペクトルバンドにさらされる。多層薄膜インターフェイスフィルタの使用により、自動車環境におけるカラー撮像システムの実施が可能となる。通常のポリマーカラーフィルタは、アレイ上に太陽の焦点合わせを直接行うことによって劣化され、これは、カメラが太陽を直視するように車両が移動中であるか、あるいは駐車されるときに起こる。
【００１４】
これらおよび他の態様および利点を達成するため、本発明の撮像システムは、複数のピクセルを含むイメージアレイセンサであって、各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサ、ピクセルからの信号をデジタル値に量子化するためのアナログ−デジタルコンバータ、および、アナログ−デジタルコンバータからのデジタル値を格納するための複数の割り振られた記憶位置を含むメモリを含み、割り振られたメモリにおける記憶位置の数はイメージアレイセンサにおけるピクセルの数より少ない。
【００１５】
本発明のもう１つの実施形態によれば、車両のヘッドランプを制御するための制御システムが提供される。この制御システムは、複数のピクセルを含むイメージアレイセンサであって、各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサ、制御された車両前方のシーンをイメージアレイセンサ上に結像するように構成された光学系、ピクセルからの信号をデジタル値に量子化するためのアナログ−デジタルコンバータ、および、撮像システムから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答してヘッドランプの輝度を制御するための制御回路を含む。制御回路は、アナログ−デジタルコンバータからのデジタル値を格納するための複数の割り振られた記憶位置を含むメモリを含み、メモリにおいて割り振られた記憶位置の数はイメージアレイセンサにおけるピクセルの数より少ない。
【００１６】
本発明のさらにもう１つの実施形態によれば、車両のヘッドランプを制御するための制御システムが提供される。この制御システムは、複数のピクセルを含むイメージアレイセンサであって、各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサ、制御された車両前方のシーンをイメージアレイセンサ上に結像するように構成された光学系、および、撮像システムから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答してヘッドランプの輝度を制御するための制御回路を含み、制御回路は、信号がピクセルから受信されるとき、ピクセルのうち、しきい値を上回るグレースケール値を有する信号を生成する隣接したもののセグメントを識別するセグメントリストを生成する。
【００１７】
本発明のもう１つの実施形態によれば、車両のための内部バックミラーアセンブリは、車両内部で車両のフロントガラスに最も近いかあるいはその上の位置に取付けられるように適合されたミラーマウント、ミラーマウントに結合されたミラーベゼル、ミラーベゼルに取付けられたミラー、ミラーマウントに取付けられ、車両前方のシーンを撮像するように構成された撮像システム、および、イメージアレイセンサから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答して所定の機能を実行するための、撮像システムに電気的に結合された制御回路を含み、制御回路の少なくとも一部がミラーマウントに取付けられる。
【００１８】
本発明のさらにもう１つの実施形態によれば、車両のための撮像システムが提供され、これは、イメージアレイセンサ、制御された車両前方のシーンをイメージアレイセンサ上に結像するように構成された光学系、および、イメージアレイセンサから得られたシーンのイメージを処理して、処理されたシーンにおいて検出された被写体に応答して車両のヘッドランプを制御するための、イメージアレイセンサに結合された制御回路を含み、制御回路は、イメージアレイセンサから得られたシーンをさらに処理して、（ａ）衝突回避警告を生成する機能、（ｂ）車両の速度を制御する機能、および（ｃ）車線逸脱指示信号を生成する機能のうち少なくとも１つを実行する。
【００１９】
本発明のこれらおよび他の特徴、利点および目的は、以下の明細書、特許請求の範囲および付属の図面を参照することによって、当業者にさらに理解されるであろう。
図面においては、以下の通りである。
【発明を実施するための最良の形態】
【００２０】
図１を参照すると、本発明の画像処理システム１００は少なくとも１つのイメージアレイセンサ１０１を含む。イメージアレイセンサは様々なタイプにすることができ、これはＣＭＯＳ能動ピクセルセンサ、電荷結合素子（ＣＣＤ）、または、可視、ＵＶ、近赤外線または遠赤外線スペクトルバンドにおける光を検知することができる、他のいずれかのタイプの電子イメージセンサなどである。イメージセンサ１０１はピクセル１０２のアレイを含み、その上にシーンのイメージがレンズによって形成される。ピクセルは、所定の露光時間にわたって光に露光され、その後、受信された光量を示す電圧信号がピクセル上に存在する。次いで、この電圧がＡ／Ｄコンバータ１０３によって量子化され、結果として、ピクセル上で受信された光量を示すデジタルグレースケール値が生じる。この目的のＡ／Ｄコンバータは通常、ピクセル信号を２５６レベルまたは８ビットに量子化する。しかし、異なるビット深度が頻繁に使用され、本発明に適用可能である。タイミングおよび制御回路１０４は、イメージセンサを動作してグレースケール値をプロセッサ１０５に伝送するために必要なすべてのシグナリングおよびタイミングを提供する。本発明に適切なタイミングおよび制御回路の一例は、本願の譲受人に譲渡され、参照により本明細書に組み込まれる、Ｂｅｃｈｔｅｌ他の「イメージアレイ・センサ用の制御回路（Ｃｏｎｔｒｏｌ Ｃｉｒｃｕｉｔ ｆｏｒ Ｉｍａｇｅ Ａｒｒａｙ Ｓｅｎｓｏｒｓ）」という名称の米国特許第５，９９０，４６９号において与えられる。
【００２１】
イメージセンサ１０１によって獲得されたイメージはプロセッサ１０５に、バス１０７を介して伝送される。プロセッサ１０５は様々なタイプにすることができ、これはマイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などである。本発明のいくつかの態様の実施のための適切なプロセッサは、Ｍｏｔｏｒｏｌａから入手可能なＭＣＳ９１２ファミリのマイクロコントローラである。バス１０７も様々なタイプにすることができ、たとえばバス１０７を３線式シリアルインターフェイスにすることができ、これはイメージ露光命令をプロセッサ１０５からタイミングおよび制御回路１０４に通信し、イメージデータをイメージセンサ１０１からプロセッサ１０５に通信するものであり、‘４６９特許に記載されているものなどである。別法として、バス１０７を、同じ線または別々の信号線上で通信されたイメージ制御パラメータと共にイメージデータを通信するためのパラレルバスにすることができる。バス１０７はまた、一般的なＮＴＳＣビデオ信号など、アナログ信号も搬送することができる。バス１０７は、ワイヤレスネットワークを使用することによって、ＭＯＳＴバスを使用すること、ＩＥＥＥ−１３９４バス、ＣＡＮバスを使用することによって、あるいはＡＭＩ−Ｃ仕様に準拠するバスを使用することによって実施することができる。この場合、アナログからデジタル信号への変換は、バス１０７のプロセッサ側で起こる。
【００２２】
従来技術のシステムでは、プロセッサ１０５によって受信されたイメージがメモリ１０６に全体として格納される。本発明では、イメージデータを、イメージデータがプロセッサ１０５によって受信中であるときに処理することができ、この処理の結果をメモリ１０６に格納することができる。メモリ１０６をプロセッサ１０５に一体に、あるいはプロセッサの外部にすることができる。本発明は、車両機器を制御するために必要な解析タスクの多数を、通常は多数の一般的なマイクロコントローラおよびＤＳＰと統合されるメモリの量を利用して、実行する利点を提供する。
【００２３】
イメージセンサ１０１、Ａ／Ｄコンバータ１０３およびタイミングおよび制御回路１０４は、同じモノリシックデバイス上で一体にされることが好ましい。任意選択で、プロセッサ１０５および／またはメモリ１０６もイメージセンサ１０１、Ａ／Ｄコンバータ１０３およびタイミングおよび制御回路１０４と一体にすることができる。別法として、上のコンポーネントのいずれかまたはすべてを別々のデバイスにすることができ、上のコンポーネントのいずれかを、本発明の特定の実施態様に好都合であるような他のいずれかのコンポーネントと一体にすることができる。最後に、上に挙げたもの以外のコンポーネント、または上に挙げたコンポーネントの多数の例は、個別コンポーネントとして存在することも、他のコンポーネントと一体に組み合わせることもできる。
【００２４】
本発明の画像処理システム１００は、図２に例示したバックミラーアセンブリ２００に有利に統合することができ、図２では、イメージセンサ１０１が自動減光エレクトロクロミック（ＥＣ）ミラーサブアセンブリ２０５、または他の可変反射率ミラーアセンブリに統合される。この位置は、車両前方のシーンの遮るもののない前方視野を、通常は車両のワイパー（図示せず）によって清潔にされる、車両のフロントガラス２２０の領域を通じて提供する。加えて、イメージセンサをミラーアセンブリに取付けることにより、電源、マイクロコントローラおよび光センサなどの回路の共有が可能となる。具体的には、同じ周辺光センサを使用して、自動減光ミラー機能およびヘッドランプ制御機能のために周辺光測定値を提供することができる。
【００２５】
この実施形態は、車両のヘッドライトの自動制御のため、フロントガラス２２０の領域を撮像して雨を検出するため、あるいは、車両の前方視野が車両機器を制御するために有用である他のいずれかの応用例のために有用である。
【００２６】
図２を参照すると、イメージセンサ１０１がバックミラーマウント２０７内に取付けられ、これは車両のフロントガラス２２０に取付けられる。バックミラーマウント２０７は、イメージセンサ１０１のための不透明な囲いを提供する。赤外線フィルタ２０６をバックミラーマウント２０７内の孔２０８上に、図示のように取付けることができる。撮像されるシーンからの光は、孔２０８および赤外線フィルタ２０６を通過し、レンズ２０１上に突き当たる。レンズ２０１は前方シーンのイメージをイメージアレイ１０１上に形成する。イメージセンサ１０１はカメラ回路板２０２上に取付けられる。カメラ回路板２０２はバックミラーマウント２０７に、取付けブラケット２１２を使用して取付けられる。取付けブラケットはいずれかの適切な構成を使用して実施することができ、これは、金属製ブラケット、ハウジング２０７と一体に、あるいは別々のコンポーネントとして形成することができるプラスチック製ブラケット、カメラ回路板２０２を係合する機械式ファスナなどである。別々のブラケットを、粘着性の金属製ファスナまたは他の機械式固定手段を使用して取付けることができる。したがって、イメージセンサ１０１は、バックミラーマウント２０７に取付けられ、これによって固定して保持され、これは従来の手段によって、車両のフロントガラス２２０または車両の屋根に動かないように取付けられる。
【００２７】
また図２のように、ミラー回路板２０３をミラーハウジング本体２１０（すなわち、ミラーベゼル）内に設けることができ、この上にプロセッサ回路１０５を取付けることができる。プロセッサ１０５およびイメージセンサ１０１はバス１０７によって電気的に結合され、これはカメラ回路板２０２に、コネクタ２１４を用いて取付けられる。
【００２８】
バス１０７をマルチワイヤケーブルとして構築することができ、これはバス信号ならびに電力、接地およびクロック信号をカメラ回路板２０２に提供する。このケーブルを、従来の多芯ワイヤ、シールドケーブルから、あるいはフレックス回路として形成することができ、最後のものは、バス１０７が多数の接続を必要とするパラレルバスである場合、特に有利である可能性がある。プロセッサ１０５は、別法として、カメラ回路板２０２上に配置する（あるいはイメージセンサに統合する）ことができ、ミラーアセンブリ２００が、エレクトロクロミック自動減光ミラー、コンパスなど、追加の電子機能を含む場合、別のケーブルをミラー回路板２０３に接続することができる。
【００２９】
特にバス１０７がパラレルバスである場合、バスケーブル１０７の複雑性を低減するもう１つの方法は、別のプロセッサ１０５’または論理回路をカメラ回路板２０２上に配置し、メインプロセッサ１０５は、ミラー本体内または車両内の他のところなどに離れて位置することである。イメージセンサ、第２のプロセッサおよびメインプロセッサの間の通信をシリアルまたはパラレルにすることができる。好ましい実施形態では、イメージセンサと第２のプロセッサ１０５’の間の通信はパラレルであり、２つのプロセッサの間の通信はシリアルである。任意選択で、第２のプロセッサ１０５’は、以下に説明する処理機能のいくつかを実行することができる。第２のプロセッサの使用により、規格品のイメージセンサの使用を容易にすることができ、これはそうでない場合は、有する制御およびデータ信号が多すぎて、ミラーアセンブリ２００の本体２１０とマウント２０７の間でケーブルを介して好都合に通信できない可能性がある。
【００３０】
ヘッドランプ制御および雨検知もまた、ただ１つのプロセッサを使用するのではなく、ミラーマウント内の２つの別々のカメラを使用して実施することができる。この場合、両方のカメラは同じバスを共有してメインプロセッサと通信することができる。これにより、各応用例について最適化された実質的に異なる光学系を各イメージセンサと共に使用することができる。
【００３１】
プロセッサ１０５によって判断された情報またはプロセッサ１０５によって行われた決定を車両機器と、車両配線用ハーネス１０８を介して通信させることができる。車両配線用ハーネス１０８は、制御された車両機器への専用のポイントトゥポイント信号を含む様々な方法で、あるいはＣＡＮバスまたはＪ１８５０バスなどの多重化車両バスの使用によって、実施することができる。このような車両配線用ハーネス１０８を、ヘッドランプ、ワイパー、および車両内の他の表示または警告または制御サブシステムなど、車両コンポーネントとの電力および通信リンクとして使用することができる。
【００３２】
本発明の一実施形態では、イメージセンサ１０１からのイメージを処理するために必要な、必要とされた割り振られたメモリが、一度にイメージの特定の領域またはウィンドウのみを解析することによって低減される。所与の時間に特定のサブウィンドウのみを獲得することによって、その特定のサブウィンドウを格納するために十分な割り振られたメモリのみが必要とされる。イメージエリア全体、またはエリア全体のどのサブセットが望まれても、それが処理されるまで、各サブウィンドウが個々に獲得および処理される。サブウィンドウを、応用例に応じて様々なサイズにすることができる。サブウィンドウを、ピクセルの単一または行、単一の列、またはいずれかの方形または正方形の領域にすることができる。
【００３３】
サブウィンドウを選択する処理の利点は多数である。たとえば、異なる処理パラメータをイメージの異なる領域に適用することができ、これは使用される各サブウィンドウと共に処理パラメータを変えることによって行う。異なる露光を異なるサブウィンドウについて使用することができる。これは特に、日中にシーンを撮像するとき、雨センサについて必要とされるように、重要である。通常、高いダイナミックレンジのイメージセンサは、地平線の上下のシーンの領域を適切に露光するために必要であり、これは、地平線の上のシーンの輝度が通常は地平線の下の輝度よりも実質的に高いからである。しかし、地平線の上下の領域について異なるサブウィンドウを使用することによって、異なる露光を使用することができ、各領域を適切に露光させることができる。
【００３４】
いくつかの撮像処理は、デジタルフィルタを使用してイメージの周波数成分を定量化すること、エッジを検出すること、または類似の機能を含む。これらのフィルタは通常、カーネルの使用によって実施され、これは、ピクセルについての情報を抽出するために現在のピクセルの周囲の領域におけるピクセルを乗算するための係数の行列である。これを数学的には以下のカーネルテーブルおよび式によって記載することができる。
【００３５】
【表１】

【００３６】
ピクセルのグレースケール値はＶａｌ（ｘ，ｙ）によって表され、ただしｘおよびｙは現在のピクセルの座標である。フィルタカーネルを既存のイメージに適用することによって作成された新しいイメージにおけるピクセルの値は、以下の通りである。
【００３７】
Ａ＊Ｖａｌ（ｘ−１，ｙ−１）＋Ｂ＊Ｖａｌ（ｘ，ｙ−１）＋Ｃ＊Ｖａｌ（ｘ＋１，ｙ−１）＋Ｄ＊Ｖａｌ（ｘ−１，ｙ）＋Ｅ＊Ｖａｌ（ｘ，ｙ）＋Ｆ＊Ｖａｌ（ｘ＋１，ｙ）＋Ｇ＊Ｖａｌ（ｘ−１，ｙ＋１）＋Ｈ＊Ｖａｌ（ｘ，ｙ＋１）＋Ｉ＊Ｖａｌ（ｘ＋１，ｙ＋１）
一例として、高域フィルタを、係数Ａ、Ｃ、ＧおよびＩを０に、Ｄ、Ｂ、ＦおよびＨを−１に、Ｅを４に設定することによって実施することができる。他のフィルタは、より複雑な手順を使用してカーネルにより実施することができ、これには、ソーベルまたはロバーツエッジフィルタなどのエッジフィルタが含まれる。最後に、３×３カーネルの使用は例示的でしかない、より大きいカーネルまたは非正方カーネルもまた適用可能である。
【００３８】
本発明の多数の応用例では、フィルタを使用することによって新しいイメージを作成することは実際には必要ではなく、むしろイメージの合計の高または低周波数成分またはイメージのサブウィンドウを定量化することが必要である。あるいは、新しいイメージを作成するのではなく、イメージにおけるエッジを検出し、それらの位置またはエッジの数のみを格納することが有用である可能性がある。この場合、イメージを処理するために必要とされるメモリを、イメージが受信されるときにフィルタリングを実行することによって、低減することが可能である。メモリは、一度に１行または少数行のイメージを格納するためにのみ必要とされる。３×３カーネルが使用される場合、メモリ３行分を使用して、カーネルを実行中である間にピクセル値を格納することができる。カーネルがイメージの第２の行にわたって実行された後、第４の行を受信することができ、第１の行を廃棄することができる。第２の行に適用中であるカーネルの結果を、別の記憶場所において記録することができる。この結果を、カーネルのすべての結果の合計、高または低周波数成分の位置、エッジの位置などにすることができる。このプロセスは、イメージをイメージャ１０１から受信中である間、イメージ全体にわたって継続する。
【００３９】
もう１つの実施形態では、イメージを受信中であるとき、選択されたピクセルのみがメモリ１０６に格納される。たとえば、自動ヘッドランプ制御システムでは、非常に高い解像度のイメージを有することが必要でない可能性がある。ＣＩＦフォーマットセンサなど、標準の規格品のイメージセンサを使用中である場合、適切に機能するシステムを生成するために必要とされるよりはるかに多数のピクセルが存在する可能性がある。イメージ全体を格納するために十分なメモリを含むことによってシステムのコストを増大させるのではなく、ピクセルが受信されるときにそのいくつかを廃棄することによってメモリ要件を低減することができる。簡素な実施態様では、これは単に受信されたｎ番目のピクセルのみを格納することを含むことができ、ただしｎは、センサの解像度、および十分な性能を達成するために実際に必要とされたピクセルの数に依存する数である。ＣＩＦセンサｎを、たとえば３にすることができる。別法として、ｎ個のピクセルを平均してより小さいイメージを生成することができる。これは垂直および水平方向において起こる可能性があり、ｎ×ｎピクセルを単一の値に平均することができる。
【００４０】
もう１つの実施形態では、ｎはイメージ中で均一な数ではない。ある自動ヘッドランプ制御システムでは、車両のハイビームが最も強い方向に対応するイメージの中心付近で、より大きい解像度を有することが有用である。これにより、この中心ゾーンにおける弱く小さい光源のより正確な検出が可能となる。軸からさらに離れると、明るく大きい被写体のみを検出する必要がある可能性がある。可変解像度のイメージを実施するために、軸から離れるとｎの値が増大され、中心付近で低減される。軸から離れたピクセルを平均またはスキップすることができる。中心付近で、ｎを１にすることができ、あらゆるピクセルを格納することができる。
【００４１】
本発明の一実施形態によれば、画像処理システムを自動ヘッドランプ制御のために使用することができる。自動ヘッドランプ制御システムは通常、車両のヘッドランプによって生成されたビーム照射パターンを変更するために使用される。照射パターンは、車両の前部への検出された光源に応答して、ヘッドランプの照準、輝度および／または焦点を変えること、および／または、ヘッドランプとして機能する外部の光の異なる組み合わせを選択的に活動化させることによって、変えることができる。理論的には、システムは、接近する車両のヘッドランプ、前方の車両のテールランプ、および非車両光源の間で区別することができる。自動ヘッドランプ制御システムは、本願の譲受人に譲渡され、参照により本明細書に組み込まれる、Ｓｔａｍ他の米国特許第５，８３７，９９４号、第６，００８，４８６号および第６，０４９，１７１号において説明されている。これらのシステムでは、２つのイメージサブウィンドウが２つの異なる色のレンズを通じて獲得される。各サブウィンドウは同じシーンを撮像するが、異なるカラーフィルタを通じて行う。一方のサブウィンドウにおいて検出された光源が、他方のサブウィンドウにおいて検出された光源と比較されて、被写体における各色の光の相対的な比が決定される。この情報が使用されて、テールランプからの赤色光がヘッドランプの白色光から区別される。
【００４２】
本発明の画像処理システムをヘッドランプ制御のために使用すると、イメージが受信されるとき、光源がイメージから抽出される。イメージ内の光源を、すべてがしきい値を上回るグレースケール値を有する、接続されたピクセルのセットとして定義することができる。接続されたピクセルは、互いに片側で、あるいは任意選択で斜めに隣接する複数のピクセルを指す。イメージの各行がプロセッサによって受信中であるとき、イメージ内の光源を検出するための方法を定義するアルゴリズムを、以下の図３および４に例示する。このアルゴリズムを実行するため、３つの項目がメモリに格納される。第１に、セグメントリストが格納され、これは所定のしきい値を越えるピクセル（すなわち、１行内で接続されたピクセル）を有する、受信中であるイメージ行のセグメントに関する情報を含む。図３のように、セグメントリストは行番号および最小Ｘ（Ｍｉｎ Ｘ）および最大Ｘ（Ｍａｘ Ｘ）値を含むことができ、これらは、行内で識別されたセグメントの開始および終了列を表す。セグメントリストはまた、各セグメントにおけるすべてのピクセルから出力された量子化光レベルについての合計値、いずれかのピクセルが飽和限界を超えたかどうかを示す飽和フラグ、およびマージインデックスも含むことができる。またメモリに格納されるものは、赤色および白色光リストである。また図３のように、赤色および白色光リストはそれぞれ、（１）各検出された白色または赤色光源の行および列に関する境界を表す最小ＸおよびＹおよび最大ＸおよびＹ値、（２）各光源のサイズ（すなわち、ピクセルの数）、（３）各光源のタイプ、（４）飽和フラグ、（５）各光源の合計グレー値、（６）各光源の中心のＸおよびＹ値、（７）各対応する光源の合計グレー値、（８）ＸおよびＹの合計、および（９）次のインデックスを含むことができる。以下でさらに説明するように、イメージがイメージセンサから読み取られるとき、セグメントリストを構築することができる。これにより、イメージセンサから直接得られたイメージデータのいずれかを格納する必要性がなくなる。したがって、イメージがイメージセンサから獲得されるとき、セグメントのラフリストがセグメントリストに格納される。次いで、セグメントのリストが、リスト中を通過してリスト内のすべての値を調整および完成することによって、クリーンアップされる。これには、たとえば、イメージセンサアレイ内に存在するように知られているか、あるいは発見されるいかなる不完全なピクセルについての調整も行うことが含まれる可能性がある。これにはまた、列のエッジの行および列番号についての値を調整することも含まれる可能性がある。
【００４３】
次いで、セグメントリストがトラバースされて、真上または真下のセグメントが互いに光のリストに結合され、それぞれが、境界となる直交座標、合計ピクセル値およびサイズを示す。ＸおよびＹ座標の合計もまた計算される。このプロセスには、隣接する光ならびにセグメント情報をマージすることが含まれる可能性がある。
【００４４】
被写体またはセグメント抽出（すなわち、セグメントリストおよび／または被写体リストの生成）を、メインプロセッサ１０５によっても、イメージセンサ付近に位置する（あるいはイメージセンサに統合された）別のプロセッサ１０５’においても実行することができる。イメージセンサ１０１付近の被写体またはセグメントを抽出することにより、ケーブル（１０７）を介してミラーマウント２０７とミラー本体２１０の間で伝送されなければならないデータが最小限にされる。考えられるところでは、イメージセンサを有するカメラを車両のリモート部分に位置付けることができ、被写体またはセグメントデータを、バスを介して伝送することができる。好ましい実施形態では、イメージセンサ上またはその付近のロジックコンポーネント（すなわち、プロセッサ１０５’）は、行内で例示されたピクセルのセグメントの開始、停止および合計グレー値を計算する。これらの３つのパラメータがミラーマウントからミラー本体に送信される。ミラー本体２１０内のプロセッサ１０５はこれらのセグメントを他のセグメントと結合して２次元被写体を識別し、次いでルールを適用して適切なアクションを決定する。カラーイメージセンサでは、平均色、または合計の赤、緑および青（ＲＧＢ）値がメインプロセッサ１０５に、開始および停止列インデックスと共に送信される。
【００４５】
次いで、リストが再度トラバースされ、中心座標がＸおよびＹの合計から計算され、様々なしきい値を下回る赤色光が除去される。次いで、赤色光がそれらの中心座標によってソートされ、白色光がそれらの最小ＸおよびＹの値によってソートされる。ＸおよびＹの合計について使用されたメモリをこのとき他の目的のために使用することができ、これは対応する白色値および中心座標を格納することなどである。
【００４６】
結果として生じる赤リストがトラバースされて、赤色光の中心位置を含む、境界となる方形を有する白色光が位置付けられる。これは、検出される光源がヘッドライトまたはテールライトであるかどうかを決定するために行われる。
【００４７】
次いで、結果として生じるリストにおける光のレベルおよびサイズを様々な基準と比較して、光源をさらに類別することができる。
図３に示した方法を概して説明したので、アルゴリズムをより詳細に説明する図４Ａおよび４Ｂを参照する。この処理は、ステップ３０４でイメージ読み取りについて進行し、ここで、セグメントリストを含むデータエリアが初期化され、イメージを獲得するためのコマンドがイメージャに送信される。初期化されるデータを以下でさらに論じる。次いで、プロセスが、「行ループ」と呼ばれるものに進行する。このループの本体は、イメージセンサアレイ１０１から読み取られたイメージデータの各行を処理する。したがって、最初のステップは、ステップ３０６で示すように、現在のセグメント内のイメージデータの行番号を格納することである。次に、このルーチンは、図４Ａにおいて「赤ループ」と呼ばれる入れ子ループに入る。このループでは、その上にイメージが赤または透明フィルタを通じて投影されるサブウィンドウ内にある、行内の各ピクセル値が読み取られる。第２のサブウィンドウもまた行内に存在し、その上に同じイメージがシアンフィルタを通じて投影される。したがって、これらの行を効果的に２つに分割することができ、前半は赤色光に対応し、後半は白色光に対応する。赤色光リストが生成されるのは、この赤ループからである。このプロセスはステップ３０８で開始し、ここで最初のピクセル値が読み取られる。次いでステップ３１０で、プロセッサ１０５が、ステップ３０８で読み取られたピクセルのグレースケール値がしきい値を越えるかどうかを判断する。ピクセルのグレースケール値がしきい値を越える場合、このルーチンがステップ３１２に進行し、グレースケール値が、現在のセグメントに含まれた合計に加算される。ステップ３０４で、合計の値が各セグメントについてゼロに初期化される。またステップ３１２で、プロセッサ１０５が、ピクセルのグレースケール値が飽和限界を超えたかどうかを判断し、この場合、ステップ３１２で飽和フラグが現在のセグメントについて設定される。次いで、プロセッサ１０５が「状態」を「真」に設定し、セグメントが識別されていることを指示する。ステップ３０４で、「状態」が「偽」として初期化される。次いで、この手順がステップ３２０に進み、プロセッサ１０５が、行サブウィンドウ内のピクセルのすべての列が読み取られているかどうかを判断する。すべてのピクセルが読み取られていないと仮定すると、このプロセスがステップ３０８に戻り、次のピクセル値が読み取られる。
【００４８】
ステップ３１０で、プロセッサ１０５が、ピクセルからのグレースケール値がしきい値を上回らないと判断した場合、ステップ３１４で、プロセッサが、状態が真であるかどうか（すなわち、前のピクセルが、識別されたセグメントの一部であったかどうか）を判断する。状態が真であった場合、プロセッサがステップ３１６へ進行し、最後の列番号を、現在のセグメントにおける最大Ｘ値として設定する。
【００４９】
次いでステップ３１６で、プロセッサ１０５がセグメントインデックスを増分して、後続のセグメント（すなわち、新しい「現在のセグメント」）をポイントし、セグメントの最大数がすでに格納されていないことを保証するためにテストする。状態もまた偽に設定される。ステップ３１６の後、あるいはステップ３１４でプロセッサ１０５が状態が真でないと判断した場合、プロセスがステップ３１８に流れ、ここで現在の列番号を現在のセグメント内の最初の列として格納する。最初の列として格納された列番号は実際には実際の最初の列より１つ少ないことに留意されたい。後の処理ステップはこのことを考慮に入れる。ステップ３１８の後、プロセスがステップ３２０に流れ、赤のサブウィンドウ列のすべてがその行について処理されているかどうかが判断される。
【００５０】
すべての赤のサブウィンドウ列がその行について処理された後、制御がステップ３２２へ移る。ステップ３２２で、状態がテストされる。真であった（すなわち、その行の最後のピクセルが、しきい値を越える値を含んだ）場合、プロセッサがステップ３２４に進行する。偽であった場合、処理がステップ３２６へ進行する。
【００５１】
ステップ３２４で、プロセッサ１０５が最初の列を、イメージセンサアレイ１０１の白のサブウィンドウ部分の最初のピクセルをポイントするように設定し、これらは余分の列として扱われる。また、セグメントインデックスがすでに限界でない場合に増分され、状態が「偽」に設定される。
【００５２】
次いで、プロセスが白ループの入れ子型サブルーチンを通じて進行し、白サブウィンドウに対応する行の後半が読み取られ、処理される。このループは本質的に赤ループと類似しており、ステップ３２６〜３４２がステップ３０８〜３２４に等しく対応する。同じイメージがイメージセンサ１０１の２つの異なるサブウィンドウ上に結像されるので、車両外部の光源からの光で、両方のフィルタを通過するものが、処理行の前半および後半について同じ領域およびパターンで検出される。好ましい実施形態では、第１のフィルタが赤フィルタであり、赤色光のみを通過させるが、第２のフィルタはシアンフィルタであり、シアン成分を有する光のみを通過させる。したがって、車両のテールライトは赤のサブウィンドウ内の行の前半において現れる可能性があり、第２のサブウィンドウには現れないが、車両のヘッドランプからの光は両方のサブウィンドウで検出され、これは、このような光が通常はスペクトルの赤およびシアン部分における光成分を有するスペクトルを示すからである。しかし、赤および透明フィルタの組み合わせを、赤およびシアンフィルタの組み合わせの代わりに使用できることは理解されよう。
【００５３】
白ループに対応する行の後半における各ピクセルを読み取り、ステップ３４０および３４２のクリーンアップステップの後、プロセッサ１０５が、ステップ３４４における、イメージセンサ１０１のすべての行が処理されているかどうかのチェックに進行する。これらがすべて処理されていなかった場合、この手順はステップ３０６にループバックして、各後続行を類似の方法で処理する。このシーケンスで、セグメントリストが構築される。
【００５４】
上述のように、セグメントリストが構築された後、白色光および赤色光が、セグメントリストにおける情報に基づいて公式化される。具体的には、隣接する行および共有する共通列におけるセグメントリスト内のセグメントをマージして、赤色または白色光リストのうち１つにおいて識別される白色または赤色光を定義することができる。赤色および白色光リストにおける情報に基づいて、プロセッサ１０５は車両のヘッドランプのハイまたはロービーム状態を制御する。
【００５５】
第２の実施形態では、イメージが受信されるとき、被写体が再度イメージから抽出される。イメージ内の被写体が再度、そのすべてがしきい値を上回るグレースケール値を有する接続されたピクセルのセットとして定義される。各イメージを受信中であるときにイメージ内で接続されたピクセルを検出する方法を定義するアルゴリズムを、図５Ａおよび５Ｂで例示する。このアルゴリズムを実行するため、３つの項目がメモリに格納される。第１に、検出されるいかなる被写体についての情報をも含む、被写体リストが格納される。このリストは、被写体についてのすべての必要な情報を含む各構造内の要素を有する構造のアレイとして実施されることが好ましい。以下の表は、この構造の１つの一例を例示する。この表の要素を使用して、アルゴリズムが完了された後のソースの中心を計算することができる。ソースの上、下、左および右の範囲など、追加の情報も格納することができる。
【００５６】
【表２】

【００５７】
格納された次の項目は被写体インデックスのアレイであり、処理中のイメージの１行のサイズである。これらのインデックスは、先に処理された行内のピクセルを含む被写体を指す。アレイ要素がゼロに初期化され、ピクセルの上の行より上の光源がないことが示される。以下の説明では、現在の列に対応するこのアレイの要素が、上インデックスと呼ばれる。たとえば、現在のピクセルの上のピクセルが光源２に含まれる場合、上インデックスは値２を含むようになる。
【００５８】
最後に、単一の被写体インデックスが使用されて、先に処理されたピクセルの光源が参照され、これは「左インデックス」と呼ばれる。左インデックスが各行の開始でゼロに初期化される。各ピクセルが処理されるとき、これが光源の一部（ゼロより大きい番号）であるか、あるいはそうでないと考慮される。ピクセル処理の終了で、光源のインデックス（光源なしでは０）が、現在の列に対応する左インデックスおよび行要素に割り当てられる。次いで、上インデックスが次の列から得られる。左インデックスの値を、先の上インデックスを参照することによって決定できることは、当業者には理解されよう。ポインタまたはアドレスを使用して値を格納する他の方法も使用することができる。左インデックスの値または他の値を、プロセッサメモリではなくレジスタに格納することができる。
【００５９】
図５Ａおよび５Ｂは、本発明の第２の実施形態による、イメージデータがイメージセンサ１０１から受信されるときに、イメージデータの各ピクセルを処理するための手順を示す。この手順はステップ４００で開始し、プロセッサ１０５がイメージセンサアレイ１０１内のピクセルのグレースケール値を受信する。ステップ４０２で、プロセッサ１０５が、グレースケール値が所定のしきい値を上回るかどうかを判断する。グレースケールがしきい値を越えていない場合、プロセッサ１０５がステップ４０４を実行し、これによりピクセルの左ソースインデックスをゼロに設定し、次いでステップ４０６で、ピクセルの上ソースインデックスをゼロに設定する。次いで、プロセッサ１０５が、処理中のイメージセンサ１０１の行内の次のピクセルを受信する（ステップ４０８）。次いで、この手順がステップ４０２に戻り、プロセッサ１０５が再度、グレースケール値がしきい値を上回るかどうかを判断する。ピクセルがグレースケール値を越えるような時間まで、この手順はステップ４００〜４０８をループする。
【００６０】
ステップ４０２で、しきい値を上回るグレースケール値を有するピクセルを検出すると、次いでプロセッサ１０５がステップ４１０に進行し、上ソースインデックスがもはやゼロでないかどうかを判断する。最初に、上ソースインデックスがゼロに設定され、プロセッサ１０５がステップ４１２に進行するようにされ、そこで、左ソースインデックスがもはやゼロでないかどうかを判断する。再度、最初に、左ソースインデックスがゼロに等しくなり、プロセッサ１０５がステップ４１４に進行するようになり、そこで、新しいソースをソースリスト内に作成し、現在のピクセル情報を追加し、これは行および列番号およびグレースケール値を含む。プロセッサ１０５が新しいソースを作成するたびに、新しいソースインデックスを増分し、識別される各ソースがそれ自体の一意のインデックスを有するようにする。ステップ４１４の後、プロセッサ１０５が、ステップ４０８および４０２に進行する前に、左および上インデックスを新しいソースインデックスに等しく設定して（ステップ４１５および４１６）、次のピクセルがしきい値を上回るグレースケール値を有するかどうかを決定する。グレースケール値がしきい値を上回ると仮定すると、ステップ４１０で、プロセッサ１０５が、上ソースインデックスがもはやゼロでないかどうかをチェックする。
【００６１】
この場合、上インデックスがこのとき行アレイ内の次のピクセルを参照し、０に等しくなる（ソースなし）。先のピクセルで設定された左インデックスが、現在の光源をポイントするように設定される。これは結果として、ステップ４１０および４１２が制御をステップ４３０にわたすことになり、そこで現在のピクセル情報がこの光源に追加される。ステップ４３２で、この列に対応する行アレイ値がこの値に設定される。
【００６２】
もう１つの場合では、先のピクセルがしきい値を下回っており（左インデックス＝０）、ピクセルの現在の部分の上のピクセルが光源の一部であり（上インデックス ０）、ステップ４１０および４１８が制御をステップ４２０にわたす。現在のピクセル情報が、上インデックスによって参照されたソースに追加される。次いでステップ４２２で、左インデックスが上インデックスの値に設定される。
【００６３】
残りの条件は、上インデックスおよび左インデックスがゼロに等しくないことであり、これは結果としてステップ４２４〜４２８の実行となる。これらのステップは、隣接する光源をリンクさせるマージポインタを設定する。後処理で、これらのポインタが使用されて光源が結合される。最初にステップ４２４で、上インデックスによって参照されたソースのマージポインタによってポイントされたソースが左インデックスに設定される。理論的には、上インデックスをすでに別のソースとマージさせることは可能であるが、さらなる検討が、このステップが不要であることを示す可能性があり、これは、これらのソースをマージしない影響が、この余分な割り当てを行うことを選ぶときよりも小さい可能性があるからである。次いでステップ４２５で、上インデックスによって参照された光源のマージポインタが左インデックスに設定される。これらの光源が同じである場合、マージポインタの設定には効果がなくなる。この後に続いて、現在のピクセル情報が、左インデックスによって参照された光源に追加される。最後に、この列についての行アレイ要素が左インデックスに設定される。
【００６４】
ピクセルが、しきい値を下回るグレースケール値を有するとして検出されるとき（ステップ４０２）、かつ、以前のピクセルが、しきい値を越えた値を有したとき、左ソースインデックスおよび上ソースインデックスがゼロにリセットされ（ステップ４０４および４０６）、しきい値を越える次のピクセルが検出されるとき、これが新しいソースに割り当てられるようにされる（ステップ４１４）。したがって、このプロセスは、このイメージ受信および処理段階をループし続けて、作業中被写体リストを生成する。
【００６５】
イメージ受信および処理段階の終了で、作業中被写体リストが最終被写体リストに変換されなければならない。最初に、マージされなければならない被写体が、各被写体からの値のすべてを１つの新しい被写体に加算することによってマージされる。新しい被写体リストが作成され、これはマージされた情報を含む。加えて、ＴｏｔａｌＸおよびＴｏｔａｌＹ変数がｓｉｚｅ変数によって除算されて、被写体のＸおよびＹ中心座標が生じる。
【００６６】
提示した例は、シリアル制御アーキテクチャを仮定し、これは上で参照した米国特許第５，９９０，４６９号で記載されており、ここではピクセル値が、Ｍｏｔｏｒｏｌａマイクロコントローラの同期式シリアルインターフェイス周辺装置の受信データレジスタ（ＲＤＲ）において直列に受信される。この構成では、概説したステップを実施するために、後続のピクセルおよび後続の行の受信の間に十分な時間がある。しかし、他のコントローラでは、ピクセル伝送速度を低速にしてこれを達成する必要がある可能性があるが、他のより高速なコントローラでは、ピクセルの速度を上げることができ、あるいは追加の処理を複数のピクセルの間で実施することができる。後行処理ステップを次の行の受信の前に完了するために使用可能な時間が不十分である場合、イメージ獲得の終了まで、各行について行ソースリストを格納することが可能である。この方法はなお、イメージ全体の格納上で実質的なメモリ節約のための可能性を有する。この方法を、パラレルイメージバスなど、他のイメージ伝送スキームに適合させることができることも、当業者には理解されよう。
【００６７】
上の被写体を検出する方法を、ヘッドランプ撮像機能をサポートするように修正することができる。この修正では、この方法が２度実施され、一度は各色のウィンドウについてであり、２つの被写体リストが作成および比較される。別法として、一方のサブウィンドウ内のピクセルと他方のサブウィンドウ内のピクセルの間に非常に正確な空間相関がある場合、このアルゴリズムを一度、一方のサブウィンドウにおいて実施することができ、他方のサブウィンドウからの対応する行が受信されるとき、対応するピクセル合計グレースケール値を記録して、行ソースリストに含めることができる。
【００６８】
イメージを解析してイメージ内の被写体のリストを生成することには多数の利点がある。このリストが解析された後、輝度、位置および他の特性をチェックして、イメージ内のこれらの被写体の存在への応答が必要であるかどうかを判断することができる。たとえば、ヘッドランプ制御の応用例では、イメージのある領域内のある合計グレースケール値を有する被写体の存在により、ハイビームをオフにすることが必要とされる可能性がある。
【００６９】
上述のように、イメージアレイセンサに結合される、イメージアレイセンサによって得られたシーンのイメージを処理するための制御回路は、１つまたは複数のプロセッサを含むことができる。再度図２を参照すると、第１のプロセッサ１０５をミラーベゼル２００内に取付けることができるのに対して、第２のプロセッサ１０５’をミラーマウント２０７内の回路板に取付けることができる。この方法で、第２のプロセッサ１０５’は、イメージデータが読み取られるときにそれを受信および処理し、セグメントリストまたは被写体リストを上述の処理手順で開発し、次いでこれらのリストを第１のプロセッサ１０５へ、白色および赤色光リストの開発など、後続の処理のために転送することができる。第２のプロセッサ１０５’を別法として使用して赤色および白色光リストを作成し、次いでその情報を第１のプロセッサ１０５に伝送することができ、これがこれらのリストを解析し、車両のヘッドランプを制御するための制御信号を生成する。処理能力をこの方法で分割することによって、ミラーマウント２０７内からミラーベゼル２００へ伝送される必要のある情報の量を最小限にすることができ、これにより第１のプロセッサ１０５が、ミラー２０３の反射力の制御など、他の処理タスクを実行することができる。
【００７０】
また上で説明したように、本発明の画像処理システム１００を、ヘッドランプ制御および雨検知など、様々な応用例のために使用することができる。同じ撮像システムをこれらの応用例のために使用することができるので、制御回路を、イメージデータを両方のこのような応用例のために同時に処理して、本発明のイメージ検知システムを使用して得られた情報に基づいて車両のヘッドランプおよびワイパーを制御するように、構成することができる。加えて、本発明の画像処理システムを、車両が背後の別の車両に接近しすぎるときに衝突回避警告を生成するためのシステムにおいて使用することができる。加えて、本発明の画像処理システムから得られたイメージを、適応的クルーズコントロールシステムによって使用することができ、これは、クルーズコントロールが車両前方における他の車両への車両の近接に基づいて設定される速度を変えるものである。さらに、車両がその現在の車線から逸脱していることを検出するとき、車線逸脱指示信号を生成するシステムで、イメージを使用することができる。このような信号を、ドライバーへの車線逸脱警告の提供など、様々な目的のために使用することができる。共通の制御回路内の雨検出器およびヘッドランプコントローラ機能の組み合わせのように、上述の様々な応用例のいずれかを組み合わせて、本発明のイメージプロセッサシステムから得られたイメージデータを共通の制御回路によって処理できるようにすることができ、これは１つまたは複数のプロセッサを含んで、それにより衝突回避警告を生成し、車両の速度を制御し、車両のヘッドランプを制御し、車両のワイパーを制御し、車両の環境制御システムを制御し、かつ／または、車線逸脱指示信号を生成することができる。
【００７１】
本発明をカラーイメージセンサと共に使用して、シーン内の被写体の色についての追加情報を提供することができる。上で開示した実施形態では、色（赤対白）が、アレイの異なる半分における２つのイメージを形成する２つの異なる色のレンズを使用することによって検知される。代替物として、チェッカーボードまたはモザイクパターンをアレイ上に置いて、近接のピクセルが露光されて光のバンドが分離されるようにすることができる。異なる色の干渉フィルタを近接のピクセル上に置くための技術は、Ｐｈｉｌｉｐ Ｅ． Ｂｕｃｈｓｂａｕｍの米国特許第５，７１１，８８９号において開示され、その開示の全体が参照により本明細書に組み込まれる。一実施形態では、近接のピクセルが別法として赤フィルタ（Ｒ）およびフィルタなし（透明（Ｃ））によりコートされ、これを以下の表に例示する。
【００７２】
【表３】

【００７３】
この実施形態では、光学系の焦点がわずかにぼかされ、遠点光源からのスポットサイズが少なくとも２つのピクセルをカバーするようにされる。このようにして、被写体の赤成分の正確な読み取りを決定することができる。発明者は、通常はポリマーフィルタを使用する共通色フィルタアレイ技術が、直接焦点が合わせられた陽光に耐えないであろうことを発見している。多数の自動車の応用例では、太陽がカメラの視野内にあるように車両が移動または駐車されている場合、太陽がアレイ上に焦点合わせされる可能性がある。干渉フィルタははるかにより頑丈であり、望まれない光のスペクトルバンドを吸収するのではなく反射する。結果として、これらの使用は、従来のフィルタリング技術の制限を克服し、自動車用カメラの構築を可能にする。これらのフィルタを、車両機器を制御する応用例で使用されるカメラと共に使用できるだけでなく、イメージがドライバーに視覚的支援のために獲得および表示される応用例でも使用することができる。
【００７４】
もう１つの実施形態では、３色干渉フィルタを使用して、赤、緑および青（ＲＧＢ）ピクセルアレイ（またはそれらの補足物）を構築することができ、これを以下の表に例示する。
【００７５】
【表４】

【００７６】
各ピクセルについての全色値は、現在のピクセルの色を使用すること、および、近接のピクセルからの他の２色を異なるフィルタ色で補間することによって、決定される。この補間を実行するための技術は、当技術分野で周知である。より簡素なスキームでは、４つのピクセルのグループが１つの「スーパーピクセル」として扱われる。レンズの焦点が十分にぼかされ、点光源のイメージが２×２ブロックのピクセル上にぼやけるようにされる。２×２ピクセルの各ブロックでは、赤、緑および青色成分が個々のピクセルから決定される。このデータを、３つの別個の値としても、あるいは強度および色値としても表現することができる。
【００７７】
２×２スーパーピクセルの使用により処理が簡素化され、格納される値の合計数が減る。この技術を、カラー撮像を必要とする応用例における他の技術のいずれかと組み合わせることができる。ハイビームヘッドランプ制御システムなどの応用例では、従来の色補間をイメージの中心付近で、増大された解像度のために使用することができ、スーパーピクセルを使用する技術を中心から離れて使用することができる。２×２ブロックより大きいスーパーピクセルを、実質的に低減された解像度が受け入れ可能であるところで使用することができる。赤、緑および青の代わりに、マゼンタ、シアンおよび黄の補色を同様に使用することができる。
【００７８】
イメージデータを処理するために割り振られる必要のあるメモリ空間の量を減らすことによって、メモリの量を全体として減らすこともでき、あるいはメモリのさらに多くを、光リスト履歴を格納するため、あるいはコンパス処理機能、エレクトロクロミックミラー制御機能、テレマティックス機能などの他の処理機能のために使用することもできる。したがって、プロセッサ１０５をこのような他の機能のために使用できることが考えられる。
【００７９】
上の説明は、好ましい実施形態のものでしかないと考慮される。本発明の修正は、当業者および本発明を作成または使用する者には想起されよう。したがって、図面に示し、上で説明した実施形態は例示のためのものにすぎず、本発明の範囲を限定するように意図されず、本発明の範囲は、均一物の原則を含む特許法の原理に従って解釈されるような以下の特許請求の範囲によって定義されることを理解されたい。
【図面の簡単な説明】
【００８０】
【図１】本発明の画像処理システム１００を示す、ブロック形式の電気回路図である。
【図２】本発明の画像処理システムを実施することができるバックミラーアセンブリの断面図である。
【図３】セグメントリストを開発する、第１の実施形態のイメージ読み取りおよび処理部を例示する流れ図である。
【図４Ａ】本発明の第１の実施形態による、それによって被写体リストが作成されるイメージ受信および処理段階を例示する流れ図である。
【図４Ｂ】本発明の第１の実施形態による、それによって被写体リストが作成されるイメージ受信および処理段階を例示する流れ図である。
【図５Ａ】本発明の第２の実施形態による画像処理ルーチンによるデータの流れを例示するブロック図である。
【図５Ｂ】本発明の第２の実施形態による画像処理ルーチンによるデータの流れを例示するブロック図である。

Claims (34)

1. 複数のピクセルを含み、前記各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサと、
   前記ピクセルからの前記信号をデジタル値に量子化するためのアナログ−デジタルコンバータと、
   前記アナログ−デジタルコンバータからの前記デジタル値を格納するための複数の割り振られた記憶位置を含むメモリとを含み、
   前記メモリにおける割り振られた記憶位置の数は前記イメージアレイセンサにおけるピクセルの数より少ない、車両機器を制御するための撮像システム。
2. 前記イメージアレイセンサによって撮像されたシーンにおいて検出された被写体の輝度に応答して車両のヘッドランプの輝度を制御するための、前記イメージアレイセンサに結合された制御回路をさらに含む、請求項１に記載の撮像システム。
3. 前記イメージアレイセンサによって撮像された車両のフロントガラスにおける湿気の検出に応答して車両のワイパーを制御するための、前記イメージアレイセンサに結合された制御回路をさらに含む、請求項１に記載の撮像システム。
4. 前記イメージアレイセンサから得られたシーンのイメージを処理して、衝突回避警告を生成するための、前記イメージアレイセンサに結合された制御回路をさらに含む、請求項１に記載の撮像システム。
5. 前記イメージアレイセンサから得られたシーンのイメージを処理して、車線逸脱指示信号を生成するための、前記イメージアレイセンサに結合された制御回路をさらに含む、請求項１に記載の撮像システム。
6. 前記イメージアレイセンサから得られたシーンのイメージを処理して、車両の速度を制御するための、前記イメージアレイセンサに結合された制御回路をさらに含む、請求項１に記載の撮像システム。
7. 複数のピクセルを含み、前記各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサと、
   制御された車両前方のシーンを前記イメージアレイセンサ上に結像するように構成された光学系と、
   前記ピクセルからの前記信号をデジタル値に量子化するためのアナログ−デジタルコンバータと、
   撮像システムから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答してヘッドランプを制御するための制御回路とを含み、
   前記制御回路は、前記アナログ−デジタルコンバータからの前記デジタル値を格納するための複数の割り振られた記憶位置を含むメモリを含み、前記メモリにおいて割り振られた記憶位置の数は前記イメージアレイセンサにおけるピクセルの数より少ない、車両のヘッドランプを制御するための制御システム。
8. 前記制御回路は、信号が前記ピクセルから受信されるとき、前記ピクセルのうち、しきい値を上回るグレースケール値を有する信号を生成する隣接したもののセグメントを識別するセグメントリストを生成する、請求項７に記載のヘッドランプ制御システム。
9. 前記制御回路は、撮像されたシーンにおける白色光源のリスト、および撮像されたシーンにおける赤色光源のリストを、前記セグメントリストにおける情報に基づいて生成する、請求項８に記載のヘッドランプ制御システム。
10. 前記制御回路は、ピクセルが前記イメージアレイセンサから受信されるとき、しきい値を上回るグレースケール値を有する信号を生成する隣接ピクセルを結合することによって、撮像されたシーンにおける被写体のリストを生成する、請求項７に記載のヘッドランプ制御システム。
11. 前記制御回路は、前記イメージセンサから受信された信号を処理するための第１のプロセッサ、および、追加の処理を実行するため、かつヘッドランプの輝度を制御するための、前記第１のプロセッサに結合された第２のプロセッサを含む、請求項７に記載のヘッドランプ制御システム。
12. 前記第１のプロセッサは、信号が前記ピクセルから受信されるとき、前記ピクセルのうち、しきい値を上回るグレースケール値を有する信号を生成する隣接したもののセグメントを識別するセグメントリストを生成する、請求項１１に記載のヘッドランプ制御システム。
13. 前記第２のプロセッサはセグメントリストを前記第１のプロセッサから受信し、撮像されたシーンにおける被写体を、前記セグメントリストにおける情報に基づいて識別する、請求項１２に記載のヘッドランプ制御システム。
14. 前記第２のプロセッサは、撮像されたシーンにおける白色光源のリスト、および撮像されたシーンにおける赤色光源のリストを、前記セグメントリストにおける情報に基づいて生成する、請求項１３に記載のヘッドランプ制御システム。
15. 複数のピクセルを含み、前記各ピクセルは、ピクセル上で受信された光量を示す信号を生成するように動作可能であるイメージアレイセンサと、
    制御された車両前方のシーンを前記イメージアレイセンサ上に結像するように構成された光学系と、
    撮像システムから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答してヘッドランプを制御するための制御回路とを含み、前記制御回路は、信号が前記ピクセルから受信されるとき、前記ピクセルのうち、しきい値を上回るグレースケール値を有する信号を生成する隣接したもののセグメントを識別するセグメントリストを生成する、車両のヘッドランプを制御するための制御システム。
16. 前記制御回路は、撮像されたシーンにおける白色光源のリスト、および撮像されたシーンにおける赤色光源のリストを、前記セグメントリストにおける情報に基づいて生成する、請求項１５に記載のヘッドランプ制御システム。
17. 前記制御回路は、前記アナログ−デジタルコンバータからの前記デジタル値を格納するための複数の割り振られた記憶位置を含むメモリを含み、前記メモリにおいて割り振られた記憶位置の数は前記イメージアレイセンサにおけるピクセルの数より少ない、請求項１６に記載のヘッドランプ制御システム。
18. 車両内部で車両のフロントガラスに最も近いかあるいはその上の位置に取付けられるように適合されたミラーマウントと、
    前記ミラーマウントに結合されたミラーベゼルと、
    前記ミラーベゼルに取付けられたミラーと、
    前記ミラーマウントに取付けられ、車両前方のシーンを撮像するように構成された撮像システムと、
    前記イメージアレイセンサから得られたシーンのイメージを処理するため、かつ処理されたシーンにおいて検出された被写体に応答して所定の機能を実行するための、前記撮像システムに電気的に結合された制御回路とを含み、前記制御回路の少なくとも一部が前記ミラーマウントに取付けられる、車両のための内部バックミラーアセンブリ。
19. 前記制御回路の少なくとも一部が前記ミラーベゼルに取付けられる、請求項１８に記載の内部バックミラーアセンブリ。
20. 前記制御回路は、撮像システムによって得られたイメージにおける被写体を識別し、被写体のリストおよび被写体の相対輝度を生成する前処理コンポーネント、および、ヘッドランプの輝度を、識別された被写体およびそれらの輝度に応じて制御する制御コンポーネントを含む、請求項１８に記載の内部バックミラーアセンブリ。
21. 前記制御コンポーネントは前記前処理コンポーネントに、フレックス回路によって結合される、請求項２０に記載の内部バックミラーアセンブリ。
22. 前記前処理コンポーネントは前記ミラーマウントに取付けられる、請求項２０に記載の内部バックミラーアセンブリ。
23. 前記制御コンポーネントは前記ミラーベゼルに取付けられる、請求項２０に記載の内部バックミラーアセンブリ。
24. イメージアレイセンサと、
    制御された車両前方のシーンを前記イメージアレイセンサ上に結像するように構成された光学系と、
    前記イメージアレイセンサから得られたシーンのイメージを処理して、処理されたシーンにおいて検出された被写体に応答して車両のヘッドランプを制御するために、前記イメージアレイセンサに結合するための制御回路とを含み、前記制御回路は、前記イメージアレイセンサから得られたシーンをさらに処理して、（ａ）衝突回避警告を生成する機能、（ｂ）車両の速度を制御する機能、（ｃ）車線逸脱指示信号を生成する機能、および（ｄ）雨を検知する機能のうち少なくとも１つを実行する、車両のための撮像システム。
25. 前記制御回路はさらに、前記イメージアレイセンサから得られた情報に応答して、車両のワイパーを制御する機能を実行する、請求項２４に記載の撮像システム。
26. 前記制御回路はさらに、前記イメージアレイセンサから得られた情報に応答して、車両の環境制御システムを制御する機能を実行する、請求項２４に記載の撮像システム。
27. 前記制御回路はさらに、車両のバックミラーの反射力を制御する機能を実行する、請求項２４に記載の撮像システム。
28. 前記制御回路は前記機能を実行するための単一のプロセッサを含む、請求項２４に記載の撮像システム。
29. アレイ内に配列された複数のピクセルを有するイメージセンサと、
    前記ピクセル上に配置された多層インターフェイスフィルタとを含み、前記多層インターフェイスフィルタは、異なる色のフィルタを近接のピクセルまたはピクセルのグループに提供するようにパターン化される、車両のための撮像デバイス。
30. 前記多層インターフェイスフィルタは、各隣接ピクセルについて異なる色のフィルタを有する、交互の色のフィルタのチェッカーボードパターンを有する、請求項２９に記載の撮像デバイス。
31. 前記交互の色は赤および透明である、請求項３０に記載の撮像デバイス。
32. 前記多層インターフェイスフィルタは、各隣接ピクセルについて異なる色を有する、赤、緑および青色のモザイクパターンを有する、請求項２９に記載の撮像デバイス。
33. 前記多層インターフェイスフィルタは、各隣接ピクセルについて異なる色を有する、マゼンタ、シアンおよび黄色のモザイクパターンを有する、請求項２９に記載の撮像デバイス。
34. 前記インターフェイスフィルタは、望まれない光のスペクトルバンドを反射する、請求項２９に記載の撮像デバイス。

Images