JP2010537602A - 車載カメラのイメージセンサ用のカラーマスク - Google Patents

Abstract

本発明は車載カメラのイメージセンサ用のカラーマスクに関する。該カラーマスクは、第１および第２のフィルタ画素から成るマトリクス配列であり、該マトリクス配列においてはどの水平行および／またはどの垂直列にも第１のフィルタ画素と第２のフィルタ画素が配置されている。この際、第１および第２のフィルタ画素には光学的な光に対する異なる透過特性がある。有利には、第２のフィルタ画素には著しく広範な透過特性があり、該第２のフィルタ画素は殊に光学的な光に対して完全に透過可能である。第１のフィルタ画素は有利には赤い。光源の確実な識別がカラーマスクを具備していないイメージセンサと比べて解像度の僅かな低減のみで行われる。車内で使用されると、殊に車両のピッチングまたはヨーイング運動の際に確実に検出可能である。さらに、この種のカラーマスクを有する車載カメラおよび該カメラを有する車両が実現される。

Description

本発明は、車載カメラのイメージセンサ用のカラーマスクに関する。

車両のロービームとハイビームの間で切り換えるために、次のような自律的ないしは自動的な切り換えシステムが公知である。すなわち、これらの切り換えシステムの場合、車両前方の関連する領域においてほかの車両ないしは道路使用者が存在しているか否かを車載カメラが検出し、検出結果に応じて自律的にハイビームとロービームの間で切り替わる。これらのカメラには、一般にはカラーマスクを具備するセンサが設けられており、このカラーマスクによって色彩の区別例えば赤色と白色の区別が可能となる。これは、一般に赤色のテールライトとほかの車両の一般に白色のロービームおよびハイビームを識別し、相互に区別するためである。この場合、例として、例えば弱い赤色光とほかの対象物、例えば交通標識の白色の反射光も区別することができる。

赤色と白色の区別を行う際の最も大きな難点の1つが光源の大きさとなるのは、これらの光源が概してただ１つのセンサ画素に撮像されるためである。したがって、カラーマスクを通して、前述のように区別を行う際には、運動に基づき種々の色を有する種々の画素を露出させる運動する光源が必要となる。

通常はカラーマスクとして、そのカラーマスクのフィルタ画素が１つおきに緑色となるスタンダードベイヤーパターンマスクが使用される。この場合、フィルタ画素のマトリクス配列を介して市松模様に交互に割り振られて緑色フィルタ画素が配置されている。ほかのマトリクス位置には青色と赤色のフィルタ画素が配置されており、この場合、緑色と青色の画素を有する行および赤色と緑色の画素を有する行が交互に配置されている。スタンダードベイヤーパターンマスクによって、完全な色の区別すなわち赤、青、緑の色の解釈が可能となる。しかしながら、モノクロのイメージセンサの空間解像度と比べて２倍の空間解像度の低減は不利である。さらに、スタンダードベイヤーパターンの幾つかのカラー画素が除かれ、それに伴いその位置に透明な画素が残された低減されたフィルタマスクが公知であり、このようにすれば、空間解像度は高くなる。

日本国公開特許公報ＪＰ２００４３０４７０６Ａには、緑色、白色、赤色及び青色のカラーフィルタセグメントを有するカラーフィルタが示されており、これらのカラーフィルタセグメントのうち、ルミネセンス信号（Luminiszenz-Signal）に使用される白色セグメントが市松模様においてマトリクス位置を１つおきに占有し、カラーセグメントはマトリクス位置のうち残っているほかの半分を占有する。この場合、白色と緑色のセグメントを有する行および白色と赤色と青色のセグメントを有する行が交互に配置されており、これによって、全ての緑色セグメントの４隅には対角線上に反対側に各々２つの青色セグメントおよび２つの赤色セグメントが配置されている。さらに、この種のカラーマスクを用いて記録されるイメージ信号を評価するための補間法が記載されている。

本発明が基礎としている着想は、マトリクス配列の行および／または列において相互にシフトされている２つの異なるフィルタ画素のみを用いてカラーマスクないしはフィルタマスクを実現することである。

この場合、有利な実施形態によれば、第１のフィルタ画素は赤色の透過特性を有し、第２のフィルタ画素は赤色のスペクトル領域およびさらに別のスペクトル領域を含むより広範な透過特性を有している。この場合の第２のフィルタ画素は、殊に光学領域において全体的にまたは完全に透過させることができる。

本発明によれば、赤色波長領域において光を透過させ、その他の波長領域を実質的に通過させないフィルタ画素ないしはフィルタセグメントが赤色フィルタ画素と称されている。より広範な波長領域にわたって光を透過させ、ひいては視覚領域においては実質的に透明ないしは白色に見えるフィルタ画素ないしはフィルタセグメントが透明なフィルタ画素と称されている。それ故に、全輝度を計測するルミネセンス信号が生じる。したがって、この種のカラーマスクを取り付けると、透明なフィルタ画素のためにマスクを省略することができ、その結果として、そのためにプロセスステップが必要ではなく、完全な透過が実現される。

本発明によれば、透明なフィルタ画素と赤色フィルタ画素のみが設けられることによって、ロービームないしはハイビームあるいはテールライトを検出するために使用するべき、カラーマスクを具備していないイメージセンサと比べて例えば約１．５倍しか解像度が低減されない、空間解像度が高いフィルタ画素を配置することができる。

本発明の基礎としている着想によれば、車両において例えばピッチング運動つまり横軸を中心とした揺動運動（回転）、並びにヨーイング運動つまり垂直軸を中心とした揺動運動（回転）が現れるということである。ピッチング運動は、殊にブレーキングプロセスおよび加速プロセスの際、並びに悪路走行（Fahrunebenheiten）に応じて現れる。ヨーイング運動は、殊に比較的大きなあるいは比較的小さなハンドル操作に応じて現れる。この場合重要であるのは、本発明によるカメラを具備する車両と検出すべき対象物の間の相対する運動である。これによって、直線走行中であっても車両の車線に対してずらされて存在する対象物に対して、例えば対向車線を走行している車両に対して相対するヨーイング運動を発生させることができる。

この場合、ピッチング運動は、マトリクス配列上での垂直方向の検出された光源の動き、つまり列に沿った検出された光源の動きに相当する。ヨーイング運動は、マトリクス配列の水平行に沿った点（Punkt）の動きに相当する。この場合、カメラの中でセンサ前方に配置されている光学システムは、場合によっては方向の反転すなわち左右並びに上下の反転を引き起こすが、このことはしかし、水平のヨーイング運動および垂直のピッチング運動を識別するという本発明の原理にとって重要ではない。

車両における典型的な事柄として、単純なピッチング運動の発生が識別されるということがある。このために、どの列にも赤色フィルタ画素が例えば４つ目の画素として全てどの列にも配置されているマトリクス配列が実現される。この場合、連続する列は、有利には相互にシフトされている。この場合、相応して完全に純一の透明な行が生じてもよい。というのは、そのことはピッチング運動の捕捉のために重要ではないためである。したがって、比較的わずかな数の赤色カラー画素しかなくとも、ピッチング運動を比較的確実に識別することができる。

さらに別の実施形態によれば、単純なヨーイング運動を捕捉することができる。そのために、赤色フィルタ画素は、全ての行に有利には再び相互にシフトされて、すなわち連続する行において相互にシフトされた位置に配置されている。

ヨーイング運動およびピッチング運動を捕捉するために、赤色フィルタ画素の行および列的なシフトを行うことができる。これによって、赤色画素および透明な画素から例えば市松模様を成すことができ、この市松模様において列方向および行方向でそれぞれ交互に透明な画素および赤色画素が設けられている。この場合当然、カラーマスクを具備していないイメージセンサに比べて２倍の解像度の損失が現れる可能性がある。対応して、この種の実施形態でもいっそうわずかな数の赤色画素を設けることができる。

本発明によれば、赤色透明の組合わせとは別の形態も原則的に選択することができる。この場合、例えばより狭い透過スペクトルつまり例えば青色、黄色または緑色あるいは混色のようなカラーのフィルタ画素を、より広範の透過スペクトル例えば透明のフィルタ画素と組合わせることができる。さらに、部分的にのみ重なるか、または全く重ならない２つのスペクトル領域を選択することもできる。

カメラを具備する車両の１車線場面から見た平面図 側面図ないしは側面断面図で表した車両の中にあるイメージセンサおよびカラーマスクを具備するカメラの配置図 ピッチング運動を殊に捕捉する第１の実施形態によるカラーマスクを示す図 ヨーイング運動を殊に捕捉する第２の実施形態によるカラーマスクを示す図 種々の運動を捕捉する第３の実施形態によるカラーマスクを示す図

カメラ２を具備する車両１が車線３上を走行している。カメラ２の検出範囲４において、種々の対象物Ｏ１，Ｏ２，Ｏ３が車線３上および車線３の外で検出される。図２によれば、カメラ２は車両１のガラス５、例えばフロントガラス５の奥に取り付けられており、このカメラ２には、ここでは詳細に図示していないレンズ６のほかにセンサ画素から成るマトリクス配列を有するイメージセンサ７およびそのイメージセンサ７に向かって載置されたカラーマスク（フィルタマスク）８が含まれている。カラーマスク８については、図３から図５において種々の実施形態が示されている。イメージセンサ７は、カラーマスク８を通り入射する光学的な光を受光し、イメージ信号Ｓ１を制御および評価装置９に出力する。この制御および評価装置９は、それに伴い適切な空間解像度で評価することができ、場合によってはその後直ちに、適切な警告メッセージまたは車両マネジメントへの直接的な介入も行うことができる。

カラーマスク８は、ｉ＝１，２，．．．でｊ＝１，２，．．．であるフィルタ画素ｍ_ｉｊから成るマトリクス配列であり、図３から図５では図表を簡単にするために４×７の行列によって示されている。フィルタ画素ｍ_ｉｊは入射光を露出し、その都度予め設定された波長領域内の光を透過させる。図示した実施形態によれば、フィルタ画素ｍ_ｉｊは完全に（または実質的に完全に）光学的な光について透過させる。この種のフィルタ画素ｍ_ｉｊは、Ｃ（透明）と称されており、したがって透明ないしは"白色"であり、あるいはまた、赤色のフィルタ画素として実質的に赤色光しか透過させず、Ｒと称されている。

どのフィルタ画素ｍ_ｉｊもイメージセンサ画素の直ぐ前方に配置され、例えば貼付されている。図２に示したイメージセンサ７とカラーマスク８の間の間隔は、ただ分かり易くするために示したものにすぎない。マトリクス配列ｍ_ｉｊは、それぞれ水平行ｌ１，ｌ２，ｌ３，ｌ４および垂直列ｋ１，ｋ２，ｋ３，．．．を有している。したがって、行ｌｉの水平方向は図１の水平方向ｈに相当する。垂直列ｋｊの方向は図２の垂直方向ｖに相当する。

本発明によれば、ただ１つのイメージセンサ画素に撮像される対象物Ｏ１，Ｏ２，Ｏ３の小さな光源も考慮される。車両１および／または対象物Ｏ１，Ｏ２，Ｏ３の運動に基づき、個々の光源はイメージセンサマトリクスおよびその前方にあるカラーマトリクスｍ_ｉｊ上の複数の画素に行き渡る。車両１のピッチング運動つまり車両１の横軸を中心とした回転の際に、カメラ２は垂直方向ｖに揺動させられる。これによって、光源として記録される対象物Ｏ１，Ｏ２，Ｏ３はそれぞれ列ｋｊの方向に移動する。ヨーイング運動つまり車両の垂直軸（ヨーイング軸）を中心とした回転すなわち図１の水平方向ｈで車線３と平行していると、対象物Ｏ１，Ｏ２，Ｏ３の光源信号は水平方向に、つまり行ｌｉに沿って移動する。

図３の実施形態には、４つの画素のうち３つが透明で、どの４つ目の画素も赤色であるカラーマトリクス配列が示されている。この場合、列ｋｊの全てに赤色のフィルタ画素Ｒが配置されている。この場合有利には、まったく透明な行ｌ１，ｌ３が交互に配置されており、これらの透明な行のフィルタ画素ｍ１ｊとｍ３ｊはｊ＝１，２，３．．．の全てにわたってＣであり、同じくまた、その間にある行ｌ２，ｌ４においては赤色および透明なフィルタ画素が交互に配置されており、すなわち例示すると、ｍ２１＝ｍ２３＝ｍ２５＝ｍ２７＝Ｒでありｍ２２＝ｍ２４＝ｍ２６＝Ｃである。

図３の実施形態は、例えば車両１の単純なピッチング運動すなわち垂直方向ｖないしは列方向でのカメラ２の運動をカバーするのに適している。車両によって典型的には例えば加速およびブレーキングの際並びに悪路走行に基づいてもピッチング運動が行われるために、該当する列ｋｊのただ１つの画素上にしか撮像されないとしてもそれぞれの対象物Ｏ１，Ｏ２，Ｏ３に複数の連続するフィルタ画素ｍ_ｉｊそれに赤色フィルタ画素Ｒも行き渡る。

まったく透明な列が現れる低減されたベイヤーパターンカラーマトリクスと比べて、同等の空間解像度において、驚くほど簡単な措置すなわち赤色フィルタ画素Ｒをシフトした配置によって、それ故に典型的なピッチング運動であれば、赤色光を白色の反射光と識別する確実性を著しく向上させることができる。完全なＲＧＢベイヤーパターンとは反対に、約１．５倍の解像度の低減しか現れない。

図４の実施形態では、全ての行ｋｉに赤色フィルタ画素Ｒが設けられている。この場合有利には、まったく透明な列ｋ９，ｋ１１，ｋ１３は、それぞれ赤色フィルタ画素Ｒおよび透明フィルタ画素Ｃが交互に配置されているすなわち透明と赤色を組合わせた列ｋ８，ｋ１０，ｋ１２，ｋ１４と交互に配置されている。ここで再び、４つの画素のうち３つが透明で、どの４つ目の画素も赤色である、すなわち図３と同等の物理的な空間解像度を有している。

それ故に、カメラが水平方向ｈに揺れ動くヨーイング運動でも、小さな光源が透明な画素および赤色画素によって捕捉される。

図５には、行方向および列方向においても赤色フィルタ画素Ｒおよび透明な画素Ｃが交互に配置されて組み合わされた実施形態が示されており、このＲとＣから市松模様ができる。この模様によってそれ故に、単純なヨーイング運動およびピッチング運動並びにその組み合わされた運動をカバーすることができる。しかしながらこの場合、カラーマスクを具備していないセンサ７と比べて２倍の解像度の損失が現れる。

したがって、制御および評価装置９は、透明フィルタ画素（ルミネセンス信号）および赤色フィルタ画素のイメージ信号Ｓ１の強度を比較し、このことからマトリクス配列にわたって運動する光源の撮像には白色光または赤色光が含まれているか否か算出することができる。

Claims (12)

1. 車載カメラ（２）のイメージセンサ（７）用のカラーマスクにおいて、
   前記カラーマスク（８）は、第１のフィルタ画素（Ｒ）および第２のフィルタ画素（Ｃ）から成るマトリクス配列（ｍ_ｉｊ）を有しており、
   前記マトリクス配列（ｍ_ｉｊ）は、水平な行（ｌ_ｉ）および垂直な列（ｋ_ｊ）から構成されており、
   前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）は、光学的な光に対する異なった透過特性を有しており、
   どの前記行（ｌ_ｉ）および／またはどの前記列（ｋ_ｊ）にも、前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）が配置されていることを特徴とする、
   カラーマスク。
2. 前記マトリクス配列（ｍ_ｉｊ）は、前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）のみから成る、請求項１記載のカラーマスク。
3. 前記第２のフィルタ画素（Ｃ）を透過させる波長領域は、前記第１のフィルタ画素（Ｒ）を透過させる波長領域を含んでいる、請求項１または２記載のカラーマスク。
4. 前記第２のフィルタ画素（Ｃ）は、光学的な光に対して少なくとも実質的に完全に透過させる、請求項３記載のカラーマスク。
5. 前記第１のフィルタ画素（Ｒ）は、赤色フィルタ画素（Ｒ）である、請求項１から４のいずれか１項記載のカラーマスク。
6. 前記第１のフィルタ画素（Ｒ）は、連続する前記行（ｌ_ｉ）および／または連続する前記列（ｋ_ｊ）において相互にシフトされて配置されている、請求項１から５のいずれか１項記載のカラーマスク。
7. 前記マトリクス配列（ｍ_ｉｊ）には、前記第２のフィルタ画素（Ｃ）から成る第２の行（ｌ１，ｌ３）と、前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）から成る組合わされた行（ｌ２，ｌ４）とが交互に設けられており、
   連続する前記組合わされた行（ｌ２，ｌ４）において、前記第１のフィルタ画素（Ｒ）は異なる前記列（ｋ_ｊ）に配置されている、請求項１から６のいずれか１項記載のカラーマスク。
8. 前記マトリクス配列（ｍ_ｉｊ）には、前記第２のフィルタ画素（Ｃ）のみ有する第２の列（ｋ９，ｋ１１，ｋ１３）と、前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）から成る第１第２の列（ｋ８，ｋ１０，ｋ１２，ｋ１４）とが交互に設けられており、
   連続する前記第１第２の列（ｋ８，ｋ１０）において、前記第１のフィルタ画素（Ｒ）は異なる前記行（ｌ_ｉ）に配置されている、請求項１から６のいずれか１項記載のカラーマスク。
9. 前記マトリクス配列（ｍ_ｉｊ）は、前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）がそれぞれ交互に設けられている組合わされた行（ｌ９，ｌ１０，ｌ１１，ｌ１２）および組み合わされた列（ｋ１５，ｋ１６，ｋ１７，ｋ１８，ｋ１９，ｋ２０，ｋ２１）から成る、請求項１から６のいずれか１項記載のカラーマスク。
10. 前記第１のフィルタ画素（Ｒ）および前記第２のフィルタ画素（Ｃ）は、前記第２のフィルタ画素（Ｃ）から成る第２の対角部と前記第１のフィルタ画素（Ｒ）から成る第１の対角部とを有する市松模様を成す、請求項９記載のカラーマスク。
11. 光学的な光を記録し、イメージ信号（Ｓ１）を出力するセンサ画素のマトリクス配列を有するイメージセンサ（７）と、
    該イメージセンサ（７）の前方に配置されている請求項１から１０のいずれか１項記載のカラーマスク（８）
    とが設けられた車両（１）用のカメラ（２）において、
    どのフィルタ画素（ｍ_ｉｊ）もセンサ画素の直ぐ前方に配置されていることを特徴とする、
    カメラ（２）。
12. 請求項１１記載のカメラおよび少なくとも１つの制御および評価装置（９）が設けられた車両（１）において、
    該制御および評価装置（９）は、前記カメラ（２）からイメージ信号（Ｓ１）を受け取り、該カメラ（２）の検出範囲（４）に赤色のテールライトまたは白色のヘッドライトを放射する対象物（Ｏ１，Ｏ２，Ｏ３）が配置されているか否か、該イメージ信号（Ｓ１）の時間経過から算出することを特徴とする、
    車両（１）。

Images