JP2013524664A - 車両カメラの画像センサ用のカラーマスク - Google Patents

車両カメラの画像センサ用のカラーマスク Download PDF

Info

Publication number
JP2013524664A
JP2013524664A JP2013503045A JP2013503045A JP2013524664A JP 2013524664 A JP2013524664 A JP 2013524664A JP 2013503045 A JP2013503045 A JP 2013503045A JP 2013503045 A JP2013503045 A JP 2013503045A JP 2013524664 A JP2013524664 A JP 2013524664A
Authority
JP
Japan
Prior art keywords
color
image
mask
pixel
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013503045A
Other languages
English (en)
Other versions
JP5591395B2 (ja
Inventor
ゼーガー ウルリヒ
ヴュアツ−ヴェセル アレクサンダー
ルーナウ パウル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2013524664A publication Critical patent/JP2013524664A/ja
Application granted granted Critical
Publication of JP5591395B2 publication Critical patent/JP5591395B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明は、車両カメラ(2)の画像センサ(7)用のカラーマスク(8)に関するものである。前記カラーマスク(8)は、種々のスペクトル透過特性を備えるフィルタピクセル(Pij)からなるマトリクス配置を有しており、一部のフィルタピクセルは、可視光に対しては少なくとも実質的に均等に透明な透明フィルタピクセルであり、他のフィルタピクセルは、波長選択性の透過特性を備えるカラーピクセルであり、カラーマスク(8)は、固有の透過特性を備えるフィルタピクセル(Pij)からなる反復配置としてのカラーパターンを有する。本発明によれば、前記カラーマスク(8)は、第1のカラーパターンを備える中央領域(8a)と、第2のカラーパターンを備える下方領域(8b)および/または上方領域(8c)とを有し、前記第1のカラーパターンと第2のカラーパターンとは異なっており、前記第1のカラーパターンは透明なフィルタピクセルを含む。

Description

車両カメラはとりわけ当該車両前方の交通環境を検出し、表示装置上に画像を表示し、ならびに検出された画像を評価し、運転者支援システムで使用するために使用され、ここでは検出された画像中の対象物が識別される。これによりたとえばさらなる道路使用者、車線マーク、交通標識、および交通照明を検出することができる。対象物の重要性を判断するためには、とりわけそれらの色が重要である。黄色と白色の車線マークがたとえば工事現場領域に同時に発生する場合、一般的には黄色マークが優先される。さらに光信号にその色値を対応して割り当てることができ、たとえば赤い色値の尾灯は、白色または黄色の色値を有する前照灯および黄色の色値を有する側灯から区別され、信号およびウインカーのような交通標識および交通照明も対応してそれぞれの色値に関連付けられる。
そのために、検出された対象物の色分類が行われることが公知である。しかし検出された画像中の色は、照明の色または平均色値に依存する環境の色温度のため異なって表示されることがある。検出された画像の色温度は、たとえば一日の時間、種々の道路照明に依存する種々の照明によって、また車両カメラが一般的に取り付けられるフロントウインドウの色調によっても異なってくる。フロントウインドウの色調は最初は未知である。なぜならこれは車種に依存して非常に異なっており、一方ではフロントウインドウにおける位置に依存して変化するからである。したがって一般的には、色ピクセルと強度ピクセルのヒストグラムが均等に占有されている(ランダムな占有)「グレーワールド」が仮定されるがすべての画像で正しいものではない。そのために複雑なシステムでは、ホワイトバランスを取るために検出された画像領域の色温度が決定され、環境の色温度が算出され、または補正され、これにより対象物の色温度を正しく分類することができる。
色を弁別するために、一般的には感光性のセンサ面の前方にカラーマスクが取り付けられる。このカラーマスクのフィルタピクセルは、各センサピクセルの前方で固有の色値を有する。すなわち光学的波長領域に固有の透過特性を有する。ここでカラーマスクは一般的に固有の色パターンを有する。この色パターンは、固有の色値、たとえばR(赤)、G(緑)、B(青)の4つのピクセルからなるブロックとしての基本パターンが周期的に反復されることにより形成される。特許文献1および特許文献2は、固有の色パターンを有するこの種のカラーマスクを開示する。この種のカラーパターンを使用することにより、とりわけ位置的解像度が低下する。なぜなら1つの画素に対して、種々の色値を有する4つのピクセルからなるブロックが使用されるからである。さらにフィルタリングによって入射光の強度が低下し、ひいては感度が低下する。たとえばハイビームとロービームとの自動切替えのための光制御機能のような夜間の使用では、遠く離れた光源を検知しなければならず、このことは高い解像度と高い感度を必要とする。しかしとくにRGGBのようなフルカラーパターンでは位置的解像度が低下し、到来する光の強度が減衰する。特許文献2に記載されたようなハーフカラーパターンは、それぞれの色フィルタピクセルによる色分類と、透明なフィルタピクセルによる解像度および高感度との妥協を図ろうとするものである。
したがって色決定の精度の他に位置的解像度および光感度が低下し、さらに色値またはクロミナンスの位置的解像度ならびに車両カメラと運転者支援システムのための明度に関連する特徴の位置的分解能が低下する。
日本特許公開公報第2004304706号 特許国際公開第2009/027134号
本発明によれば、カラーマスクが、種々の色パターンを備える種々の領域に形成される。ここでは実質的に垂直方向に区画され、中央領域と、好ましくは比較的小さい上方領域および/または下方領域に区画される。
ここで本発明は次のような知識を基礎とする。すなわちたとえばフロントウインドウの後方に配置された車両カメラにより撮影される典型的な画像では、下方画像領域が、一般的にはアスファルトまたはコンクリートにより形成された車両前方の道路および車道を検知し、したがって顕著な着色のないグレー値を示し、このグレー値は車道の組成およびそれぞれの照明状況に依存して炭黒から明るい灰色にまで達し得る。これに対して上方画像領域は、一般的に昼間の状況では主要な露光源となる空を表す。これらの領域は一般的に運転者支援システムに対する評価に対して重要ではなく、下方画像領域は、車両ダイナミクス介入の開始時に走行することになる車両直前の道路部分をしばしば描写する。
上方画像領域および/または下方画像領域から、とりわけこれらの画像領域の組合せから、周囲温度および周囲の色温度を決定することができる。本発明によればこの画像領域に対して比較的少数の透明フィルタピクセルを備えるカラーパターンが使用される。これはとりわけ透明なフィルタピクセルのないフルカラーパターン、たとえばRGGBである。本発明によれば、この領域における位置的解像度は一般的には重要ではないと認識される。なぜならここに関連する対象物はそれほど頻繁に予期されるものではなく、非常に高い位置的解像度で再現されるものではないからである。
したがって上方領域および/または下方領域における色決定は、中央画像領域のピクセル信号のホワイトバランスおよび色補正のために使用することができる。この中央画像領域に対しては、透明フィルタピクセルの割合の高いカラーパターン、とりわけハーフカラーパターンが設けられている。これは高い解像度および色決定との妥協、すなわちクロミナンスの位置的解像度と輝度の位置的解像度が高くても、色弁別位置的解像度と明度弁別位置的解像度との妥協を図るものである。
本発明によればいくつかの利点が得られる。透明なフィルタピクセルを備えるハーフカラーパターンによって、位置的解像度が高く、色決定も良好であり、クロミナンスの位置的解像度も高い中央画像領域内で対象物の検出が行われる。そして中央画像領域の色値の補正またはホワイトバランスを上方画像領域および/または下方画像領域によって行うことができる。この調整はそれぞれ動的に、すなわちそれぞれの走行状況と照明状況で行うことができ、付加的なセンサを必要とせず、画像処理を損なうこともない。このホワイトバランスまたは補正は、基本的に制御および評価装置において純粋にソフトウエア的に行うことができ、したがって付加的なハードウエアコストを必要としない。さらに使用される制御および評価装置も、連続的に発生する色調および彩色を持続的なものとして、たとえば車両ウインドウの色調または長期の汚れとして推定することができる。
したがって好ましくは中央画像領域における種々のカラーパターンを複雑に考慮することが行われない。なぜならただ1つのハーフカラーパターンをそこに設けることができるからであり、カメラ制御のためのヒストグラム調整または車線識別のための縁石検出もしくは対象物識別をこのハーフカラーパターンに調整することができる。したがって本発明によれば、比較的わずかなハードウエアコストによりデータを高速に処理することができる。
基本的に上方領域の第2のカラーパターンは、下方領域の第2のカラーパターンとは異なっていても良い。
さらにカラーマスクの上方領域と下方領域とは異なる大きさでよい。これらはそれぞれピクセルアレイの完全なライン上に伸長するか、または水平方向にそれぞれ中央のピクセルだけを含む。これにより中央領域は上方領域の横であってカラーマスクの上方縁部まで側方に、および/または下方領域の横であってカラーマスクの下方縁部まで側方に伸長することができる。これは、上方画像領域と下方画像領域では側部の区間に対象物が発生することがあり、この対象物は一方で識別および分類に重要であるが、他方では周囲の色温度の検出を妨げることもあるという知識に基づくものである。
さらに中央画像領域で検出され分類された対象物を上方画像領域または下方画像領域に外挿することができる。たとえば車線マークまたは建物や樹木のように大きな対象物を外挿することができ、上方領域および/または下方領域のこれらの部分は色温度の検出には用いられない。これらの対象物は場合により後続のアルゴリズムのために考慮することができる。
下方画像領域および/または上方画像領域の第2のピクセル信号から、カメラの光センサ機能も補充的に表示することができ、車両のさらなる機能のために使用することができる。
本発明を以下、図面に基づき実施例について詳細に説明する。
カメラを備える車両の道路シーンの平面図である。 車両のカメラ配置を示す図である。 種々のカラーパターンを示す図である。 カメラにより検出された画像ならびに本発明により区分されたカラーマスクのピクセルアレイを示す図である。 本発明の方法のフローチャートである。
カメラ2を備える車両1が道路3上を走行している。カメラ2の検出領域4では、道路3上または道路外の種々の対種物10、11、12、13、14、15、16が検出される。図2によれば、カメラ2は車両1のガラス5、とりわけフロントウインドウ5の後方に取り付けられており、ここに詳細に図示しない結合光学系6の他に感知センサ面を備える画像センサ7を有する。このセンサ面には詳細に図示しないセンサピクセル(イメージピクセル)7aのマトリクス配置が形成されている。センサピクセル7aを備える感知センサ面上にはカラーマスク(フィルタマスク)8が載置されており、このカラーマスクは図4によればフィルタピクセルPijからなるマトリクス配置を有する。各フィルタピクセルPijは公知のようにセンサピクセル7aの直前にあり、色値に対応して、すなわちそのスペクトル透過特性に対応して入射光をフィルタリングする。画像センサ4は、カラーマスク8を通って入射した可視光を記録し、画像信号S1を制御および評価装置9に出力する。制御および評価装置は位置的および色的分解能で評価を行い、これに基づいて検出画像を車両内部の表示装置に表示する。および/または画像処理によって量的評価を行い、これにより運転者に警報を発し、とりわけ車両操作への介入も行うことができる。図4の左は、検出された走行シーンまたは画像信号S1から作成された画像18を示す。たとえば先行車両10までの一定の間隔を調整するための車間制御システムは、車線マーク11、12の同定による車線識別、さらに交通標識13および他の道路使用者15の識別を行うことができる。とりわけ検出された対象物10、11、12、13、15の色値を求め、対象物または対象物の部分領域の同定のために利用することができる。
本発明のカラーマスク8は図4によれば領域8a、8b、8cに分割される。これらの領域は画像18の画像領域18a、18b、18cにそれぞれ対応する。ここで中央領域8aはカラーマスク8の大部分を含んでおり、したがって対応する画像領域18aには重要な対象物10、11、12、13、15、とりわけ他の道路使用者10、15、交通標識13および車線マーク11、12が入る。カラーマスク8の下方領域8bは下方画像領域18bに対応し、この領域には車道3の一部または車両1の前方の道路がある。この下方領域8bでは差し当たり重要な対象物は予期されず、場合によっては車線マーク11、12の一部が下方領域8bまで伸長している。カラーマスク8の上方領域8cは画像18では上方画像領域18cに対応し、実質的に空が結像される。図4の図示から画像18をカラーマスク8に直接対応付けることができる。実際には結像光学系6が反転型の場合、画像18も反転され、鏡対称で画像センサ7に結像される。したがってたとえば下方領域8bが物理的にはカラーマスク8の上部に配置される。しかし以下では下方領域8bは下方画像領域18bに対応する領域であり、上方領域8cも同様であると理解されたい。
領域8bと8cは、図示のようにカラーマスク8の複数のラインにわたり完全に伸長している。または上方ないしは下方のラインの中央部分をそれぞれ含む。なぜなら検出された画像18の側方領域には比較的高い確率で他の対象物、たとえば道路脇の建物14または樹木16が発生し、これらが画像18の上方縁部まで伸長することがあるからである。
本発明によれば、下方領域8bおよび/または上方領域8cが、画像18の色温度または平均色温度Faを求めるために用いられる。ここで本発明では、上方画像領域18cが空、すなわち均等に明るい照明を、他の対象物を格別に損なうことなく表すことを認識する。この上方画像領域18cの明度値およびスペクトル組成が画像18全体の明度に影響する。上方画像領域18cで検出された空は、たとえば白、または朝夕には赤、夜には黒となる。下方画像領域18bで検出された車道3は一般的には、アスファルトまたは道路舗装のグレー値を表し、組成と全体的明度に応じて明るい灰色から黒まで変化することがある。とりわけアスファルトは、色温度または平均色温度Faを求めるための適切な対象であり、全体的明度についてのデータも対応して含んでいる。ここではフロントウインドウ5の色調とフロントウインドウ5の汚れも、場合により結像光学系6によってともに検出される。
本発明によれば、カラーマスク8の中央領域8aは、領域8bおよび8cとして別のカラーパターンを含む。図3は例としてカラーパターン20a〜20fを示す。それぞれのフィルタピクセルPijが色値に応じて示されている。ここでは透明なピクセルが値Iとして、赤ピクセルがRとして、シアンピクセルがCとして、青ピクセルがBとして、緑ピクセルがGとして示されている。パターン20aは4Iパターンを示す。このパターンはグレーイメージとして用いられ、グレー値を求めることができるだけである。カラーパターン20b、20c、20d、20fは、色値R、G、B、Cと強度ピクセルIを備えるハーフカラーパターンであり、20bはR3I、20cはRC2I、20cはRC2I、20dはRGBIパターンを表す。20eにはフルカラーパターン、ここではRGGBまたはバイヤーパターンが示されている。20fは、疎なバイヤーパターンとして知られるハーフカラーパターンを示す。
中央領域8aは複数の透明値Iを領域8bおよび8cとして含んでおり、とりわけハーフカラーパターン20bから20dの1つまたは20fとすることができる。領域8bおよび/または8cはたとえばフルカラーパターン20fである。ここでは領域8bと8cに種々異なるフルカラーパターンを設けることもできる。または領域8bまたは8cの1つに、透明値Iの割合の少ないパターン20dを設けることもできる。
使用されるハーフカラーパターン20b、c、dまたはfにより、領域18a内に対象物が検出され、その色値が求められる。たとえばテールライト10a、15aを赤値として、ヘッドライト15bを白値または黄値として、対応して右左折過程のためにウインカーライトを時間的なパルスの黄値として求めることができ、さらに交通標識13の色および場合により信号の色提示を識別することができる。さらに車線マーク11、12の色値を識別し、白色調を黄色調から区別することができる。一時的な車線変更の際に、黄車線マーク11が道路3に加わり、白い車線マークが遠ざかることがなければ、黄色の車線マーク11が優先である。本発明では、ハーフカラーパターン20bから20eの1つの中央領域8a内で、色値白または実質的に無色と黄色を区別することができる。このことはR3Iカラーパターン20bによって達成される。
中央領域8aの後方にある画像センサ7のイメージピクセル7aは第1のピクセル信号S1aを、領域8bと8cの後方のイメージピクセル7aは対応して第2のピクセル信号S1bとS1cを出力し、したがって画像信号S1はこれらピクセル信号S1a、S1bおよびS1cを含む。これが図2の矢印S1により示されている。制御および評価装置9は、ピクセル信号S1bとS1cを、平均色値Faおよび/または平均明度値Haを求めるために使用する。これはホワイトバランスのため、すなわち画像信号S1したがってピクセル信号S1a全体を補正するためである。この補正された画像信号S1に基づいて、対象物10、11、12、13、14、15の検出と恣意別が行われる。制御および評価装置9は、対応して出力信号S2を出力し、この出力信号S2は走行管理に介入するために、および画像18を表示装置にグラフィック表示するための画像信号として用いられる。
ここで出力信号S2または中央画像領域18aにある既知の対象物を、画像領域18bと18cの評価のために補完的に使用することができる。たとえば車線マーク11または12を中央画像領域18a内に識別した場合、これらを下方へ画像領域18bに外挿することができる。これにより画像領域18bに識別された輪郭をこれらの車線マーク11および12に割り当てることができる。さらに図4から、右の樹木16が中央画像領域18aから上方に延びており、上方画像領域18cの対応する右部分領域16−1がこの樹木または対象物16に割り当てられることが分かる。このようにしてこの該当する部分領域16−1は、平均色値Faおよび/または平均明度Haの検出には用いられない。さらにこの部分領域内で検出された対象物を、出力信号S2による画像表示および車両管理介入のために使用することもできる。
図5による本発明の方法は、ステップSt0で、とりわけカメラ2のスイッチオンでスタートする。これに続いてステップSt1でピクセル信号S1a、S1b、S1cを備える画像信号S1が出力される。ステップSt2では色温度、すなわち平均色値Faおよび/または平均明度Haがホワイトバランスのために検出される。ホワイトバランスによりステップSt3で補正されたピクセル値または画像信号を形成することができ、対象物10、11、12、13、14、15、16を画像18中に同定することができる。そしてステップSt4で出力信号S2が出力される。
別の実施形態によれば、結像光学系6にたとえばディフューザが導入される。このディフューザは上方画像領域18cおよび/または下方画像領域18bを特異的に不鮮明に結像する。これによりこの画像領域にある構造体が色測定および平均色値Faの検出を妨げることがない。
第2のピクセル信号S1bおよびS1cから補充的にカメラの光センシング機能を提示することができる。すなわちこれらのピクセル信号は光センサとして車両の別の機能のために使用することができる。
制御および評価装置9は、比較的長い測定時間から持続的にたとえば着色されたフロントウインドウ5による色基本値または色調を識別するように構成することができる。したがって目下のピクセル信号S1aとS1bなしで、たとえば夜間走行時には暗い画像領域18bと18cにより対応するホワイトバランスを行うことができる。

Claims (10)

  1. 車両カメラ(2)の画像センサ(7)用のカラーマスク(8)であって、
    前記カラーマスク(8)は、種々のスペクトル透過特性を備えるフィルタピクセル(Pij)からなるマトリクス配置を有しており、
    一部のフィルタピクセルは、可視光に対しては少なくとも実質的に均等に透明な透明フィルタピクセル(I)であり、他のフィルタピクセル(R、G、B、C)は、波長選択性の透過特性を備えるカラーピクセル(R、G、B、C)であり、
    前記カラーマスク(8)は、固有の透過特性を備えるフィルタピクセル(Pij)からなる反復配置としてのカラーパターン(20a、20b、20c、20d、20e、20f)を有するカラーマスクにおいて、
    前記カラーマスク(8)は、第1のカラーパターン(20b、20c、20d、20f)を備える中央領域(8a)と、第2のカラーパターン(20e)を備える下方領域(8b)および/または上方領域(8c)とを有し、
    前記第1のカラーパターン(20b、20c、20d、20f)と第2のカラーパターン(20e)とは異なっており、前記第1のカラーパターンは透明なフィルタピクセル(I)を含む、ことを特徴とするカラーマスク。
  2. 前記第1のカラーパターン(20b、20c、20d、20e)の透明フィルタピクセル(I)の割合は、第2のカラーパターン(20f)よりも大きい、ことを特徴とする請求項1に記載のカラーマスク。
  3. 第2のカラーパターン(20f)は、透明なフィルタピクセルのないフルカラーパターン(20f)であり、たとえばRGGBパターン(20f)として構成されている、ことを特徴とする請求項1または2に記載のカラーマスク。
  4. 前記下方領域(8b)および/または上方領域(8c)は、フィルタピクセル(Pij)のマトリクス配置の複数の完全なラインを有し、
    前記中央領域(8a)は、上方領域(8c)および/または下方領域(8b)として複数のラインを含む、ことを特徴とする請求項1から3までのいずれか1項に記載のカラーマスク。
  5. 前記第1のカラーパターンは、透明のフィルタとカラーフィルタの両方を有するハーフカラーパターン(20b、20c、20d、20f)である、ことを特徴とする請求項1から4までのいずれか1項に記載のカラーマスク。
  6. センサピクセル(7a)を備える画像センサ(7)と、該センサピクセル(7a)の前方に配置された請求項1から5までのいずれか1項に記載のカラーマスク(8)と、制御および評価装置(9)とを有する車両カメラ(2)であって、
    前記画像センサ(7)は、制御および評価装置(9)に画像信号(S1)を出力し、該画像信号は、中央領域(8a)のフィルタピクセル(Pij)により覆われたセンサピクセル(7a)の第1のピクセル信号(S1a)と、下方領域(8b)および/または上方(8c)のフィルタピクセル(Pij)により覆われた画像センサ(7)のフィルタピクセル(7a)の第2のピクセル信号(S1b、S1c)とを含んでおり、
    前記制御および評価装置(9)は、第2のピクセル信号(S1b、S1c)から平均色値(Fa)および/または色温度および/または平均グレー値を、第1のピクセル信号(S1a)のホワイトバランスまたは色補正のために求める車両カメラ。
  7. 前記制御および評価装置(9)は、前記画像センサ(S1)により伝送された画像(18)の中央画像領域(18a)において、補正された第1のピクセル信号(S1a)から対象物(10、11、12、13、14、15、16)を求め、該対象物(10、11、12、13、14、15、16)の色値および当該対象物(10、11、12、13、14、15、16)の部分領域(10a、15a、15b)の色値を求める、ことを特徴とする請求項6に記載の車両カメラ(2)。
  8. 前記制御および評価装置(9)は、対象物(16)が下方画像領域(18b)まで、または上方画像領域(18c)まで延びているか否かを検査し、
    検出した対象物が存在する下方および/または上方画像領域(18b、18c)の部分領域(16−1)は、平均色値(Fa)および/または色温度および/または平均グレー値の検出には用いられない、ことを特徴とする請求項6または7に記載の車両カメラ(2)。
  9. 前記画像センサ(7)の前方に結像光学系(6)と、不鮮明を形成する装置(17)、たとえばディフューザとが配置されており、
    前記不鮮明を形成する装置(17)下方画像領域(18b)および/または上方画像領域(18c)に拡散または不鮮明な結像を形成する、ことを特徴とする請求項6から8までのいずれか1項に記載の車両カメラ(2)。
  10. 車両カメラ(2)の画像信号(S1)から画像(18)を作成し、当該画像(18)において対象物(10、11、12、13、14、15、16)を検出する方法において、
    ・画像センサ(7)と、該画像センサ(7)の前方に配置され第1のカラーパターン(20b、20c、20d、20f)を備える中央領域(8a)ならびに第2のカラーパターン(20e)を備える下方領域(8b)および/または上方領域(8c)を有するカラーマスク(8)とを備えるカメラ(2)によって車両環境(4)を検出するステップと、
    ・第1の領域(8a)の後方に配置されたセンサピクセル(7a)の第1のピクセル信号(S1a)と、第1のカラーパターン(S1b、S1c)の後方に配置されたセンサピクセル(7a)の第2のピクセル信号(S1b、S1c)とを含む画像信号(S1)を記録するステップと、
    ・平均色値(Fa)および/または色温度および/または平均グレー値を検出するステップと、
    ・少なくとも第1のピクセル信号(S1a)のホワイトバランスまたは色補正を実行するステップと、
    を有する方法。
JP2013503045A 2010-04-07 2011-02-09 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法 Expired - Fee Related JP5591395B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010003668.4A DE102010003668B4 (de) 2010-04-07 2010-04-07 Farbmaske für einen Bildsensor einer Fahrzeugkamera
DE102010003668.4 2010-04-07
PCT/EP2011/051849 WO2011124406A1 (de) 2010-04-07 2011-02-09 Farbmaske für einen bildsensor einer fahrzeugkamera

Publications (2)

Publication Number Publication Date
JP2013524664A true JP2013524664A (ja) 2013-06-17
JP5591395B2 JP5591395B2 (ja) 2014-09-17

Family

ID=44314993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013503045A Expired - Fee Related JP5591395B2 (ja) 2010-04-07 2011-02-09 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法

Country Status (6)

Country Link
US (1) US9883148B2 (ja)
EP (1) EP2556676A1 (ja)
JP (1) JP5591395B2 (ja)
CN (1) CN102835115B (ja)
DE (1) DE102010003668B4 (ja)
WO (1) WO2011124406A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545331A (ja) * 2010-09-28 2013-12-19 ライカ ジオシステムズ アクチエンゲゼルシャフト 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム
JP2015122747A (ja) * 2013-12-20 2015-07-02 スイスタイミング・リミテッド デジタルセンサー用適応色フィルター
KR20190016335A (ko) * 2017-08-08 2019-02-18 네이버랩스 주식회사 픽업 로봇의 제어 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011086404A1 (de) * 2011-11-15 2013-05-16 Robert Bosch Gmbh Anfahrfreigabe
DE102012221356A1 (de) * 2012-06-20 2013-12-24 Robert Bosch Gmbh Sensor und Verfahren zur Erfassung von Licht und Verfahren und Vorrichtung zur Ermittlung einer Farbinformation
DE102012216065A1 (de) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug
JP5746116B2 (ja) * 2012-09-12 2015-07-08 本田技研工業株式会社 車両用監視装置
DE102012108861A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
DE102012108860A1 (de) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
DE102012217093A1 (de) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
JP2014107665A (ja) * 2012-11-27 2014-06-09 Nikon Corp 固体撮像素子、撮像システム、および車両
DE102012024661A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックIpマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
DE102014216421A1 (de) * 2014-08-19 2016-02-25 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs mit einer Kamera und Verfahren zur Justage einer Kamera
DE102014218460B4 (de) * 2014-09-15 2021-02-11 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor
DE102014220199B3 (de) * 2014-10-06 2016-01-14 Continental Automotive Gmbh Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System
DE102014117711A1 (de) * 2014-12-02 2016-06-02 Connaught Electronics Ltd. Verfahren zum Konvertieren eines ersten Farbbildes in ein zweites Farbbild, Kamerasystem und Kraftfahrzeug
US10310298B2 (en) * 2016-10-25 2019-06-04 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
US10079255B1 (en) * 2017-08-04 2018-09-18 GM Global Technology Operations LLC Color filter array apparatus
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
WO2021166450A1 (ja) * 2020-02-19 2021-08-26 ソニーグループ株式会社 画像処理方法、センサ装置
CN112614455B (zh) * 2020-03-25 2022-07-15 西安诺瓦星云科技股份有限公司 显示屏色温漂移补偿方法、装置和系统以及显示控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007538440A (ja) * 2004-05-25 2007-12-27 シーメンス アクチエンゲゼルシヤフト 自動車の監視ユニット並びに支援システム
JP2010044472A (ja) * 2008-08-11 2010-02-25 Hitachi Ltd 道路標示認識装置
JP2010537602A (ja) * 2007-08-24 2010-12-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車載カメラのイメージセンサ用のカラーマスク

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774988B2 (en) * 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
JP2002026304A (ja) 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
DE102007034608A1 (de) * 2007-07-25 2009-01-29 Robert Bosch Gmbh Kamera
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP2009198664A (ja) * 2008-02-20 2009-09-03 Fujifilm Corp カラーフィルタ及びその製造方法並びに固体撮像素子
CN102037717B (zh) * 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
DE102008031593A1 (de) 2008-07-03 2010-01-07 Hella Kgaa Hueck & Co. Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems
DE102008044325A1 (de) 2008-12-03 2010-06-10 Robert Bosch Gmbh Imager-Halbleiterbauelement, Kameraanordnung und Verfahren zum Regeln eines Imager-Halbleiterbauelementes
US9077916B2 (en) * 2009-01-16 2015-07-07 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
DE102009001122B8 (de) * 2009-02-24 2020-11-26 Robert Bosch Gmbh Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007538440A (ja) * 2004-05-25 2007-12-27 シーメンス アクチエンゲゼルシヤフト 自動車の監視ユニット並びに支援システム
JP2010537602A (ja) * 2007-08-24 2010-12-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車載カメラのイメージセンサ用のカラーマスク
JP2010044472A (ja) * 2008-08-11 2010-02-25 Hitachi Ltd 道路標示認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545331A (ja) * 2010-09-28 2013-12-19 ライカ ジオシステムズ アクチエンゲゼルシャフト 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム
JP2015122747A (ja) * 2013-12-20 2015-07-02 スイスタイミング・リミテッド デジタルセンサー用適応色フィルター
KR20190016335A (ko) * 2017-08-08 2019-02-18 네이버랩스 주식회사 픽업 로봇의 제어 방법
KR101970295B1 (ko) 2017-08-08 2019-04-18 네이버랩스 주식회사 픽업 로봇의 제어 방법

Also Published As

Publication number Publication date
CN102835115B (zh) 2016-01-20
WO2011124406A1 (de) 2011-10-13
US9883148B2 (en) 2018-01-30
EP2556676A1 (de) 2013-02-13
DE102010003668A1 (de) 2011-10-13
DE102010003668B4 (de) 2020-03-26
CN102835115A (zh) 2012-12-19
US20130027560A1 (en) 2013-01-31
JP5591395B2 (ja) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5591395B2 (ja) 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
CN104512411B (zh) 车辆控制系统及图像传感器
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
JP3909691B2 (ja) 車載用画像処理装置
US9319647B2 (en) Image processing device
US20100235040A1 (en) Illumination apparatus for vehicle
US20100134616A1 (en) Color mask for an image sensor of a vehicle camera
CN1867954A (zh) 用于显示车辆环境的方法和装置
JP6034923B1 (ja) 車外環境認識装置
JP2012240530A (ja) 画像処理装置
US8817140B2 (en) Camera set-up and method for ascertaining picture signals having color values
JP2013097885A (ja) ヘッドライト装置、及びヘッドライトシステム
KR20200111938A (ko) 교차로 신호제어 시스템 및 그 방법
JP3926673B2 (ja) 車種識別装置
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JPWO2020129522A1 (ja) 画像処理装置
JP4143521B2 (ja) 車載用カメラ
JP2007124676A (ja) 車載用画像処理装置
US7613326B2 (en) Method and apparatus for discriminating the colour of road markings
JP2015097018A (ja) 矢印信号灯検出装置
JP6151569B2 (ja) 周囲環境判定装置
JP5746116B2 (ja) 車両用監視装置
JP5904825B2 (ja) 画像処理装置
US20160080659A1 (en) Assistance System of a Motor Vehicle, with a Camera Comprising an Image Sensor, as well as Image Sensor of a Camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140403

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140729

R150 Certificate of patent or registration of utility model

Ref document number: 5591395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees