JP2015527847A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2015527847A5 JP2015527847A5 JP2015525742A JP2015525742A JP2015527847A5 JP 2015527847 A5 JP2015527847 A5 JP 2015527847A5 JP 2015525742 A JP2015525742 A JP 2015525742A JP 2015525742 A JP2015525742 A JP 2015525742A JP 2015527847 A5 JP2015527847 A5 JP 2015527847A5
- Authority
- JP
- Japan
- Prior art keywords
- filter
- glass
- camera
- image sensor
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 claims description 77
- 238000005286 illumination Methods 0.000 claims description 55
- 239000003086 colorant Substances 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 230000003595 spectral Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000903 blocking Effects 0.000 claims 1
- 238000009736 wetting Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000875 corresponding Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000051 modifying Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 101700046188 RGGB Proteins 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Description
本発明は、照明光源およびカメラを用いたガラス面の雨滴検出のための装置および方法に関する。
US7,259,367B2には、ガラス板を用い、カメラ画角の透過ウインドを広範囲に照射するカメラを用いた雨センシング方法が、提案されている。カメラは、略無限大にフォーカスされているため、ドライバー・アシスタント・アプリケーションにも同時に用いることができる。遠距離部の結像であるため、雨滴は、画像の障害としてのみ認識され、ピクセル・タクトとシンクロするようパルスする、或いは、モジュレーションされた光により撮影された画像の煩雑な差異測定によって検知されなければならない。
WO 2012/092911 A1には、雨を認識するための手段、並びに、方法が、開示されている。このカメラは、ガラスの裏、特に、車両内部、フロントガラスの裏に配置され、該ガラス板前面の遠距離領域にフォーカスされている。ガラスに向けられた少なくとも一本の光線を得るための照明光源は、少なくとも一本のガラス外側で反射された光線が、外側光反射、或いは、外反射として、カメラに当たるように、ガラスに照射される。カメラに当たる少なくとも一本の光線の、具体的には、光反射の光量は、カメラによって測定することができる。更に、照明光源は、少なくとも一本の光線をガラスに対して、ガラス内側および外側において反射した光線が、少なくとも二本の空間的に分離光線としてカメラに到達するように向けられる。カメラに当たる少なくとも二本の光線(外反射と内反射)の光量は、カメラによって測定することができる。ガラス内側において(直接)反射しカメラに到達する光線は、ガラス外側上の雨滴の有無に関わらず一定であるため、基準シグナルとされる。
バックグラウンド影響を避け、SN比(信号対雑音比)を改善するために、画面信号周波数のタクトにおける照明の経時的変調が提案される。
100%の変調とは、ある画像が、完全に照明され、その次の画像は、照明されないことを意味している。双方の撮影画像間で、光景が変化しなかった場合、双方の画像間の除算により、バックグラウンド影響を完全に取り除くことができ、評価用としては、フロントガラスから反射した光だけが残る。
しかし現実では、二枚の撮影画像間の理想化された変化の無いバックグラウンドは、限定的にしか該当しない。走行中、特に、カーブをしている場合、バックグラウンドは、多かれ少なかれ、激しく変化し、バックグラウンド影響を十分に相殺することはできない。該影響は、本来の雨シグナルに被さり、雨シグナルの誤評価の要因となり得る。ワイパーの誤作動を回避するために、濡れたフロントガラスを検出するための閾値に十分な許容値を与えることはできるが、これに伴う鈍感な挙動は、避けることができない。
DE 602 04 567 T2には、重なるモザイクのように描写する雨センサーが、開示されているが、ここでは、該雨センサーは、第一波長の光線によってガラスを照らすための照明手段を包含し、第一波長によって照らされた画像、並びに、第二波長の光線の周辺画像を同時に捉え、湿潤シグナルを作成するために互いを比較している。またここでは、RGBフィルターの代わりに、赤外線・帯域フィルターのモザイク状、乃至、ストライプ状のマトリックスが採用されている。
よって、本発明の課題は、従来の技術において既知の装置、並びに、方法の上記問題点を解消することにある。
この課題は、請求項1に記載の:
雨(4)を認識するための装置において、
当該装置は、1つのカメラと1つの照明光源(3)とを備え、
−前記カメラは、画像センサーと、この画像センサー(5)のピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
−前記照明光源(3)が、単色光(h)を発生させ、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
−前記照明光源(3)がガラス(2)に照射する単色光(r1,r2′)から信号を取得できるように、前記カメラ及び前記照明光源(3)が構成されていて且つ配置されている当該装置によって解決される、
さらに、この課題は、請求項10に記載の:
カメラ(1)によって雨を認識するための方法において、
前記カメラは、画像センサーと、この画像センサーのピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
単色光(h)が、照明光源(3)によって発生され、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
前記カメラが、前記単色光(r1,r2′)から信号を取得できるように、ガラス(2)が、前記単色光(h)によって照射される当該方法によって解決される。
この解決策の出発点は、カラーフィルターを備えた画像センサーの採用である。普及しているのは、三原色、緑、赤、青をカラーフィルターとして、既知の配置、即ち、赤・緑・緑・青に並べたバイエル・パターンである。赤外線は、通常、カラー解像度を最適化するための一般的な赤外線遮蔽フィルターを通過できないため一般的なドライバー・アシスタント用カメラによっては検知できないが、可視の波長領域の照明には、そのスペクトル領域ならそのようなドライバー・アシスタント用カメラによっても完全に捉えることができると言う長所がある。
雨(4)を認識するための装置において、
当該装置は、1つのカメラと1つの照明光源(3)とを備え、
−前記カメラは、画像センサーと、この画像センサー(5)のピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
−前記照明光源(3)が、単色光(h)を発生させ、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
−前記照明光源(3)がガラス(2)に照射する単色光(r1,r2′)から信号を取得できるように、前記カメラ及び前記照明光源(3)が構成されていて且つ配置されている当該装置によって解決される、
さらに、この課題は、請求項10に記載の:
カメラ(1)によって雨を認識するための方法において、
前記カメラは、画像センサーと、この画像センサーのピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
単色光(h)が、照明光源(3)によって発生され、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
前記カメラが、前記単色光(r1,r2′)から信号を取得できるように、ガラス(2)が、前記単色光(h)によって照射される当該方法によって解決される。
この解決策の出発点は、カラーフィルターを備えた画像センサーの採用である。普及しているのは、三原色、緑、赤、青をカラーフィルターとして、既知の配置、即ち、赤・緑・緑・青に並べたバイエル・パターンである。赤外線は、通常、カラー解像度を最適化するための一般的な赤外線遮蔽フィルターを通過できないため一般的なドライバー・アシスタント用カメラによっては検知できないが、可視の波長領域の照明には、そのスペクトル領域ならそのようなドライバー・アシスタント用カメラによっても完全に捉えることができると言う長所がある。
本発明に係る雨を認識するための装置は、画像センサーと該画像センサーのピクセル用の複数のフィルター原色からなるカラーフィルターを備えたカメラ、並びに、第一フィルター原色の単色光を発生させるための照明光源を包含している。該単色光は、第一フィルター原色を透過し、他のフィルター原色からは、ブロックされる可視の波長領域に属している。尚これらフィルター原色は、それぞれ異なる可視の波長領域に属していることが好ましい。該照明光源の光は、第一フィルター原色に合わせた波長領域に属している。これにより、従来のカラー解像性カメラを用いることが可能になる。該カメラは、画像センサーによって赤外線が捉えられないように、赤外線遮蔽フィルターを包含していることが好ましい。
該カメラ、並びに、該照明光源は、該カメラが、該照明光源がガラスを照らしている単色光のシグナルを捉えることができるように構成され、配置されている。この際該カメラによって検出されたシグナルは、特に、ガラス内側面、或いは、外側面、及び/或いは、雨滴で反射された、及び/或いは、散乱された該照明光源の単色光と相関関係を有している。
該カメラは、ガラスの後ろに配置されていることが好ましく、特に、車両の内部、例えば、フロントガラスの後ろに配置されていることが好ましい。
該カメラは、例えば、CCDセンサー、或いは、COMSセンサーなどの画像センサー、並びに、該画像センサー上に電磁線をフォーカスするためのレンズユニットを包含していることが好ましい。
また、該カメラは、無限大、乃至、ガラス前方にある遠距離領域にフォーカスされていることが好ましい。
単色光を発生させるための該照明光源は、その少なくとも一本の光線を、少なくとも一本のガラス外側から反射された光線(或いは、ガラスに向けられた光線の部分光線)が、好ましくは、ガラスの内側から反射されカメラに当たる部分光線とは重ならないように、カメラに当たるようにガラスに向けて照射している。
該照明光源は、一つ乃至複数の発光ダイオード(LED)或いは発光バンドとして構成されることができる。
少なくとも一本のカメラに当たる一色の光線の照明反射は、カメラによって測定することができる。
好ましい実施形態では、照明光源は、少なくとも一本の一色の光線をガラスに対して、ガラス内側および外側において反射した光線が、少なくとも二本の空間的に分離光線としてカメラに到達するように向けられる。特に内側で反射された光線に関しては、該光線の全体が、カメラの画像センサーに映る必要はない。カメラに当たる少なくとも二本の光線の一色の照明反射は、カメラによって空間的に分離して測定することができる。
ガラス内側において(直接)反射しカメラに到達する光線は、ガラス外側上の雨滴の有無に関わらず一定であるため、好ましくは、基準シグナル候補とされることが好ましい。
本発明の基本的アイデアは、一色の、例えば、青色の光で照明することである。これにより、赤色と緑色のピクセルは、青色の光に対して透明ではないため、対応する(青色の)ピクセルにおいてのみ、雨に依存する、或いは、ウェッティングに依存するシグナルが検出されるようにすることができる。
これは、隣接する青色ではないピクセルおいて、ピクセル精度に割出すことのできる、バックグランウドの同時撮影が実施されると言う長所を有している。
本発明は、更に、カメラを用いた雨の検出方法にも関するが、該カメラは、画像センサー、並びに、該画像センサーの画像ピクセル用の複数のフィルター原色のカラーフィルターを包含している。
照明光源からは、第一フィルター色の単色光が発生される。この単色光により、該カメラが、該単色光のシグナルを捕捉できるように、ガラスが照射される。
ある有利な実施形態では、第一フィルター原色の第一画像センサーピクセルの輝度が割出される。また付加的に、第一画像センサーピクセルを取り巻き、第一フィルターピクセル色とは異なる色を有するピクセルの輝度も割出される。第一画像センサーピクセルを取り巻き、第一フィルターピクセル色とは異なる色を有するピクセルの割出された輝度から、第一画像センサーピクセルのバックグラウンド輝度が割出される。
これは、ピクセル精度のバックグラウンド・シグナルを考慮することを可能にする。即ち、ウェッティング・シグナルの有意に改善された空間的解像度が達成される。
尚好ましくは、青色のピクセルを取り巻く八つの赤色と緑色のピクセルの輝度が同時に測定される。これらの輝度は、バックグラウンドのみから影響されている。これらのピクセルの輝度からは、例えば、平均値を計算することで、青色のピクセルのバックグラウンド・シグナルが推測される。代案的に、バックグラウンドの特定のスペクトル分布を考慮すべく、赤色と緑色の割合を重み付けすることも可能である。
尚ここでは、バックグラウンドの青色の割合のみを、青色のピクセルのシグナルから除算するのであるから、このバックグラウンド値を更に適切に重み付けすることも好ましい。
適した重み付け用の割合ファクターは、例えば、経験的に割出すことが可能である。しかしながら、多くのシナリオにおいて、ある程度等分配されたスペクトル分布によって、青色のバックグラウンド割合を、良好に推定できることが示された。
但し、バックグラウンドにおいてある色、例えば、赤色が優勢である場合、青色のピクセルから多すぎる青色分が、差し引かれることになる。このようなスペクトル分布のシフトは、赤色対緑色の比からも算出することができるため、重み付けの際に、ファクターに考慮することができる。
付加的に、これらの重み付けファクターは、照明されていない状態における更なる測定によって検証する、或いは、ふさわしく調整することができる。ただし、この測定は、時間的に異なる撮影画像において実施されるため、ここでは、バックグラウンドがほとんど、或いは、僅かにだけ変化したことを確認しなければならない(例えば、停車時)。代案的には、可能な限り歪曲されていないバックグラウンドをファクター計算のために得ることができるように、画像処理技術に基づく方法によって、観察される部分を経時的に追跡(「トラッキング」)することも可能である。
照明光源として青色の光を使う代わりに、赤色の光も好ましく、同じピクセルカラーパターンにおいて採用できる。バックグラウンドの計算は、同様に、青色と緑色のピクセルから実施される。
代案的に緑色の光を照明光源として用いる場合は、それぞれ二つの青色と赤色の直接隣接するピクセルからバックグラウンドが計算されなければならない。
ある好ましい実施形態では、バイエル・フィルターの代わりに、他のカラーパターンを用いることもできるが、本発明に係る方法用としては、二色の原色(例えば、赤色と青色)のみからなるカラーフィルターで十分である。
良好且つ同時に実施されるバックグラウンドの考慮に対しては、色が、使用されている照明光に対して高い透過率を有すると共に、該照明光が、他のカラーピクセルから良好にブロックされるカラーパターンを採用することが特に好ましい。
本発明の好ましい発展形態では、リアルタイムなバックグラウンド処理済みの測定シグナルの標準化は、乾いたガラスのバックグラウンド処理済みの測定シグナルに対して実施される。全ての(例えば、青色の)ピクセルの標準化は、特に、ピクセルのリアルタイムなバックグラウンド処理済みの輝度を、乾いたガラスの同じピクセルのバックグラウンド処理済みの輝度で割ることによって実施できる。乾いたガラスのバックグラウンド処理済みの輝度は、イニシャル・キャリブレーションの範囲において割出し、セーブしておくことができる、或いは、乾いたガラスが認識された時に、時折、自動的に再較正することもできる。
影響を受けていない(乾いたガラスに相当する)基準シグナルは、何時でも、ガラス内側の鏡像から同様な方法によって得ることができる(WO 2012/092911 A1)。これの外側の鏡像との差は、 − 外側の鏡像も影響を受けていない間は − そのより高い輝度のみである。このファクターは、一定であるため、一度割出しておけば、比を計算する際に考慮することができる。
以下、本発明を、図面と実施例に基づいて詳しく説明する。
画像センサー用のカラーフィルターとして非常に普及しているのは、図1に示す、米国特許3971065から既知のバイエル模様(乃至、パターン)であり、ここでは、三原色である緑(G)、赤(R)、青(B)が、カラーフィルターとして、赤・緑・緑・青(RGGB)のフィルターピクセル・マトリクス配置において使用されている。
バイエル・パターンの一部を示している図2を用いて、本発明の第一実施形態を詳しく説明する。
バックグラウンドの同時撮影を達成するため、青色の光によって、照明される。これにより、赤色と緑色のピクセルは、青色の光に対して透明ではないため、青色のピクセル(B、斜線)においてのみ、雨に依存する、或いは、ウェッティングに依存するシグナルが検出されるようにすることができる。
これと同時に、青色のピクセルを取り巻く八つの赤色(R)と緑色(G)のピクセルの輝度も測定される。即ち、図2では、中央の青いピクセル(太字のB)を取り巻く四つの赤色(R)と四つの緑色(G)のピクセル(太線のグリッド内)の輝度が、測定される。これらの輝度は、バックグラウンドのみから影響されている。これらのピクセルの輝度からは、例えば、平均値を計算することで、青色のピクセル(B)のバックグラウンド・シグナルが推測される。代案的に、バックグラウンドの特定のスペクトル分布を考慮すべく、赤色と緑色を異なる割合で重み付けすることも可能である。
尚ここでは、バックグラウンドの青色の割合のみを、青色のピクセル(B)のシグナルから除算するので、このバックグラウンド値を更に適切に重み付けしている。
これらのファクターは、例えば、経験的に割出すことができる。しかしながら、多くのシナリオにおいて、ある程度等分配されたスペクトル分布によって、青色のバックグラウンド割合を、良好に推定できることが示された。
但し、バックグラウンドにおいてある色、例えば、赤色が優勢である場合、青色のピクセル(B)から多すぎる青色分が、差し引かれることになる。このようなスペクトル分布のシフトは、赤色対緑色の比からも算出することができるため、重み付けの際に、ファクターに考慮することができる。
付加的に、これらの重み付けファクターは、照明されていない状態における更なる測定によって検証する、或いは、ふさわしく調整することができる。ただし、この測定は、時間的に異なる撮影画像において実施されるため、ここでは、バックグラウンドがほとんど、或いは、僅かにだけ変化したことを確認しなければならない(例えば、停車時)。代案的には、可能な限り歪曲されていないバックグラウンドをファクター計算のために得ることができるように、画像処理技術に基づく方法によって、観察される部分を経時的に追跡(「トラッキング」)することも可能である。
図3は、遠距離領域にフォーカスされたカメラ(1)と、一本の、或いは、複数の青色の光線(h)を発生する照明手段(3)を示している。
照明光源(3)が発した光線(h)の一本は、ガラス内側(2.1)と外側(2.2)において反射された光線が、空間的に分離した光線(r1,r2’)として、レンズ、乃至、カメラ(1)に当たるように、ガラス(2)に対する向きが調整されている。遠距離領域に焦点が合わされているため、光線束の輪郭は、画像チップ(5)には、ぼけた状態でしか映らない。しかし、光線(r1,r2’)は、十分に分離されており、それぞれの照明反射は、画像センサー(5)で検出可能である。
この実施形態では、照明光源(3)の主光線(h)が、用いられるため、該照明光源の光は、収束されていることが好ましい。空気・ガラス・境界面(即ち、ガラス内面(2.1))で反射された、主光線の一部(r1)は、基準光線として用いられる。ガラスを透過する一部(t1)のうち、ガラス・雨滴・境界面(即ち、ガラス外側(2.2))で反射し、カメラ(1)に当たる一部が、測定光線(r2’)である。尚、光線の内、ガラス(2)内で複数回反射した割合は、示されていない(ガラス外側(2.2)ガラス・空気面で反射した後、ガラス内部(2.1)ガラス・雨滴面で再び反射)。
即ち、ここに示したごとく、雨天時(4)に、フロントガラス(2)の外側(2.2)が」濡れた場合、光の大部分(t1)がアンカップリングされ、反射される割合(r2’)は、これに伴って弱くなる(図2参照)。内側(2.1)で反射される光線(r1)は、影響を受けない。
双方の光線の検出された照明光反射(8;9)の比較(r1とr2’)から、双方の照明光反射シグナルの一定な互いの比が既知の場合は、降雨(4)によって弱まったシグナル(r2’)を測定し、ワイパーを適切に制御することができる。
ガラス(2)外側(2.2)の照明光反射(9)のみの評価から、如何に雨を信頼性高く検知できるかについては、後に、図5から7を用いて説明する。
カメラは、図1に示す如くバイエル・カラーフィルターを有しており、測定されたシグナルは、図2に示す如く、評価される。
図4には、雨検知用に用いられている画像センサー(5)の上部(6)に、例えば、七つの青LEDを照明光源(3)とする七つのペアの照明光の反射(8,9)が、示されている。これはらは、カメラ(1)の焦点が無限大に合わせられているため、鮮明には映らないが、認識はできる。特に、輝度は、測定可能である。上の照明光反射(8)は、フロントガラス(2)内側(2.1)で反射した光線(r1)から、一方、下の照明光反射(9)は、フロントガラス外側で反射した光線(r2’)から生じたものである。
即ち、図4は、画像チップ(5)上で、ドライバー・アシスタント範囲(7)と雨検知範囲(6)を分ける例を示している。雨滴(4)がついているフロントガラス外側の照明光反射(9)は、輝度が弱まっている。照明光反射(9)は、フロントガラス(2)の外側(2.2)で反射した光線(r2’)によるものであるが、フロントガラス(2)を透過した光線(t1)の大部分は、雨滴を介して、フロントガラスからアンカップリング(t2’)してしまうため、カメラ(1)に向かって反射(r2’)されない。該照明光反射(9)は、雨(4)が、ガラス(2)の外側(2.2)に存在するか否かと言う情報を包含しており、その光量のみを、測定シグナルとして用いることができる。
図5から7に示す如く、バックグラウンドのピクセル精度での除算(図2による説明参照)と、影響を受けていないシグナルへの標準化とを行った後は、(乾いたガラス面では)最小の雨滴すらも検出することができるようになる。
図5は、乾いたガラスにおける、ピクセル精度で(それぞれ、各々の青色のピクセルを取り巻く緑色と赤色のピクセルから求めた)バックグラウンド・シグナルを差し引いた後の照明斑点の空間的分散(9; 青色のピクセルの測定シグナル)を示している。個々の青色のピクセルの青色の光の反射輝度を、ここでは、恣意的な単位の二つの画像座標(それぞれ0から30)に、恣意的な単位の0から800の範囲でプロットしている。これにより図5は、乾いたガラス用の現実的なアウトプット・シグナルを表している。
雨によってガラスがウェッティングすることによるシグナルの低下は、ウェッティングしている面の大きさと厚さに依存する。図6は、ガラスが、直径1mm未満の小さな雨滴(4)によってウェッティングした際のこれに応じて低下した照明斑点(9)の(図5と同様にプロットした)空間的シグナル分布を示している。
図5の影響を受けていないシグナル分布によってカバーされたボリュームに対しての、図6の「輝度光景(intensity scene)」によってカバーされたボリュームの変化を計算することにより、小さな雨滴に敏感に反応できるだけでなく、雨の種類(雨滴の大きさ)、或いは、ウェッティング、並びに、雨量も割出すことができる。
図7は、図6のシグナル分布を、図5の影響を受けていないシグナル分布に対して標準化したものを示している。青色の光の標準化された反射輝度は、ここでは、単位の無い0から1の範囲でプロットされている。ここでは、小さな雨滴(4)のシグナル影響は、(標準化された最小値が、約0.6から0.7の)対称な凹みとして明確に見ることができる。雨滴(4)が、照明光線(h)に影響を与えていない箇所では、標準化された輝度値は、約1である。
1 カメラ
2 ガラス
2.1 ガラス内側
2.2 ガラス外側
3 照明光源
4 雨、雨滴
5 画像センサー
6 雨センサー領域
7 ドライバー・アシスタント領域
8 ガラス内側での照明反射
9 ガラス外側での照明反射
10 雨滴がある際のシグナルの変化
h 光線
r1 ガラス内側で反射されるhの割合
t1 ガラス内側を透過するhの割合
r2’ ガラス外側で反射するt1の割合(雨天時)
t2’ ガラス外側を透過するt1の割合(雨天時)
R 赤色の波長領域の光を透過させるフィルター・エレメント
G 緑色の波長領域の光を透過させるフィルター・エレメント
B 青色の波長領域の光を透過させるフィルター・エレメント
2 ガラス
2.1 ガラス内側
2.2 ガラス外側
3 照明光源
4 雨、雨滴
5 画像センサー
6 雨センサー領域
7 ドライバー・アシスタント領域
8 ガラス内側での照明反射
9 ガラス外側での照明反射
10 雨滴がある際のシグナルの変化
h 光線
r1 ガラス内側で反射されるhの割合
t1 ガラス内側を透過するhの割合
r2’ ガラス外側で反射するt1の割合(雨天時)
t2’ ガラス外側を透過するt1の割合(雨天時)
R 赤色の波長領域の光を透過させるフィルター・エレメント
G 緑色の波長領域の光を透過させるフィルター・エレメント
B 青色の波長領域の光を透過させるフィルター・エレメント
Claims (15)
- 雨(4)を認識するための装置において、
当該装置は、1つのカメラと1つの照明光源(3)とを備え、
−前記カメラは、画像センサーと、この画像センサー(5)のピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
−前記照明光源(3)が、単色光(h)を発生させ、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
−前記照明光源(3)がガラス(2)に照射する単色光(r1,r2′)から、前記カメラが信号を取得できるように、前記カメラ及び前記照明光源(3)が構成されていて且つ配置されている当該装置。 - 前記カメラは、ガラス(2)の後ろに配置されていて、このガラス(2)の前方にある遠距離領域に焦点合わせされている請求項1に記載の装置。
- 前記ガラス(2)の外側(2.2)から反射した少なくとも一本の単色光線(r2’)が、前記カメラの前記画像センサー(5)に当たるように、前記照明光源(3)が、単色光を発生させるために少なくとも一本の単色光線(h)を前記ガラス(2)へ向ける請求項2に記載の装置。
- 前記ガラス(2)の外側(2.2)から反射した少なくとも一本の光線(r2’)が、前記ガラス(2)の内側(2.1)で反射される光線(r1)と重ならないで前記カメラの前記画像センサー(5)に当たる請求項3に記載の装置。
- 前記ガラスの前記内側(2.1)と前記外側(2.2)とから反射した光線が、空間的に分離された少なくとも2つの光線(r1,r2’)として前記カメラの前記画像センサー(5)に当たるように、前記照明光源(3)が、前記少なくとも一本の単色光線(h)を前記ガラス(2)へ向ける請求項3又は4に記載の装置。
- 異なる2つの原色から成る透過フィルターが、前記画像センサー(5)のピクセル用のカラーフィルターとして設けられている請求項1〜5のいずれか1項に記載の装置。
- 前記透過フィルターは、当該2つの原色である赤及び青(B)から成る請求項6に記載の装置。
- 前記照明光源(3)は、青色の波長領域内にある光(h)を発生させる請求項1〜7のいずれか1項に記載の装置。
- 前記カメラ(1)は、赤外線遮断フィルターを有する結果、赤外線が、前記画像センサー(5)によって検出され得ない請求項1〜8のいずれか1項に記載の装置。
- カメラ(1)によって雨を認識するための方法において、
前記カメラは、画像センサーと、この画像センサーのピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
単色光(h)が、照明光源(3)によって発生され、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
前記カメラが、前記単色光(r1,r2′)から信号を取得できるように、ガラス(2)が、前記単色光(h)によって照射される当該方法。 - 前記第1フィルター原色の第1画像センサーピクセルの輝度が算出され、
前記第1画像センサーピクセルを包囲し、前記第1フィルターピクセル色とは異なるフィルターピクセル色を有する複数のピクセルの輝度が算出され、
前記第1画像センサーピクセルのバックグラウンド輝度が、前記第1画像センサーピクセルを包囲し、前記第1フィルターピクセル色とは異なるフィルターピクセル色を有する複数のピクセルの当該算出された輝度から算定される請求項10に記載の方法。 - バックグラウンド輝度を算出するために、前記第1画像センサーピクセルを包囲し、第一フィルターピクセル色とは異なる色を有する複数のピクセルの輝度の平均値が算出されることを特徴とする請求項10又は11に記載の方法。
- バックグラウンド輝度を算出する際に、バックグラウンドの特定のスペクトル分布を考慮するために、第二フィルターピクセル色を有する周辺ピクセルの輝度が、第三フィルターピクセル色を有する周辺ピクセルの輝度とは異なる重み付けを受けることを特徴とする請求項10〜12のいずれか1項に記載の方法。
- 周辺ピクセルの平均された、或いは、重み付け平均された輝度のうち、第一フィルター原色のカラー割合のみが、第一画像センサーピクセルの(第一フィルター原色の)算出された輝度から、バックグラウンド輝度を相殺するために差し引かれることを特徴とする請求項12又は13に記載の方法。
- リアルタイムなバックグラウンド処理済みの測定シグナルの標準化が、乾いたガラス(2)のバックグラウンド処理済みの測定シグナルに対して実施されることを特徴とする請求項10〜14のいずれか1項に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012107198 | 2012-08-06 | ||
DE102012107198.5 | 2012-08-06 | ||
DE102012108316.9 | 2012-09-07 | ||
DE201210108316 DE102012108316A1 (de) | 2012-08-06 | 2012-09-07 | Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung |
DE102013100292.7A DE102013100292A1 (de) | 2013-01-11 | 2013-01-11 | Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera |
DE102013100292.7 | 2013-01-11 | ||
PCT/DE2013/200094 WO2014023307A1 (de) | 2012-08-06 | 2013-08-02 | Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015527847A JP2015527847A (ja) | 2015-09-17 |
JP2015527847A5 true JP2015527847A5 (ja) | 2017-06-29 |
JP6246808B2 JP6246808B2 (ja) | 2017-12-13 |
Family
ID=50067433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015525742A Active JP6246808B2 (ja) | 2012-08-06 | 2013-08-02 | カメラ及び照明を用いたガラス面の雨滴検出 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150321644A1 (ja) |
EP (1) | EP2879919B1 (ja) |
JP (1) | JP6246808B2 (ja) |
KR (1) | KR102081747B1 (ja) |
CN (1) | CN104080663B (ja) |
WO (1) | WO2014023307A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013225156A1 (de) | 2013-12-06 | 2015-06-11 | Conti Temic Microelectronic Gmbh | Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera |
DE102013225155A1 (de) | 2013-12-06 | 2015-06-11 | Conti Temic Microelectronic Gmbh | Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera |
JP6468482B2 (ja) | 2014-11-26 | 2019-02-13 | 株式会社リコー | 撮像装置、物体検出装置及び移動体機器制御システム |
KR101684782B1 (ko) * | 2015-05-11 | 2016-12-08 | 한국오므론전장주식회사 | 우적 감응형 와이퍼 장치 |
DE102015209410B4 (de) * | 2015-05-22 | 2018-05-09 | Sirona Dental Systems Gmbh | Kamera und Verfahren zur dreidimensionalen Vermessung eines dentalen Objekts |
US9781361B2 (en) * | 2015-09-01 | 2017-10-03 | Delphi Technologies, Inc. | Integrated camera, ambient light detection, and rain sensor assembly |
CN105966358B (zh) * | 2015-11-06 | 2018-06-08 | 武汉理工大学 | 一种汽车前挡风玻璃上雨滴的检测算法 |
US10427645B2 (en) * | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
KR101746531B1 (ko) * | 2016-10-19 | 2017-06-14 | 주식회사 오디텍 | 차량용 레인센서 및 이를 구비하는 차량의 와이퍼 구동 장치 |
CN106872406B (zh) * | 2017-02-21 | 2023-12-19 | 中国水利水电科学研究院 | 基于数字图像处理技术的区域降雨均匀度测量系统及方法 |
CN106772700B (zh) * | 2017-02-21 | 2023-12-19 | 中国水利水电科学研究院 | 一种基于近景摄影测量原理的区域降雨均匀度测量系统及方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JP2713996B2 (ja) * | 1988-06-17 | 1998-02-16 | キヤノン株式会社 | カラー画像信号記録装置 |
US5398077A (en) * | 1992-05-19 | 1995-03-14 | Eastman Kodak Company | Method for adjusting the luminance of a color signal |
US5923027A (en) * | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
US6313454B1 (en) * | 1999-07-02 | 2001-11-06 | Donnelly Corporation | Rain sensor |
US6603137B2 (en) * | 2001-04-16 | 2003-08-05 | Valeo Electrical Systems, Inc. | Differential imaging rain sensor |
US6573490B2 (en) * | 2001-06-28 | 2003-06-03 | Valeo Electrical Systems, Inc. | Interleaved mosaic imaging rain sensor |
AU2003240267A1 (en) | 2002-05-18 | 2003-12-02 | Elmos Semiconductor Ag | Rain sensor |
DE102004015040A1 (de) * | 2004-03-26 | 2005-10-13 | Robert Bosch Gmbh | Kamera in einem Kraftfahrzeug |
JP2006044380A (ja) * | 2004-08-02 | 2006-02-16 | Nissan Motor Co Ltd | 車間距離制御装置 |
US7212214B2 (en) * | 2004-09-03 | 2007-05-01 | Seiko Epson Corporation | Apparatuses and methods for interpolating missing colors |
US20060072319A1 (en) * | 2004-10-05 | 2006-04-06 | Dziekan Michael E | Method of using light emitting diodes for illumination sensing and using ultra-violet light sources for white light illumination |
KR100649016B1 (ko) * | 2004-12-30 | 2006-11-27 | 동부일렉트로닉스 주식회사 | 시모스 이미지 센서 및 그의 제조방법 |
US7456881B2 (en) * | 2006-01-12 | 2008-11-25 | Aptina Imaging Corporation | Method and apparatus for producing Bayer color mosaic interpolation for imagers |
US8866920B2 (en) * | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP4547462B1 (ja) * | 2009-11-16 | 2010-09-22 | アキュートロジック株式会社 | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
DE102010023593A1 (de) * | 2010-06-12 | 2011-12-15 | Conti Temic Microelectronic Gmbh | Optische Vorrichtung mit einem bifokalen optischen Element und einem Spiegelelement |
DE112011102968A5 (de) * | 2010-11-30 | 2013-07-04 | Conti Temic Microelectronic Gmbh | Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung |
EP2656602A1 (en) * | 2010-12-21 | 2013-10-30 | Zamir Recognition Systems Ltd. | A visible light and ir hybrid digital camera |
JP5423697B2 (ja) * | 2011-02-09 | 2014-02-19 | 株式会社ニコン | 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法 |
BR112012027306A2 (pt) * | 2011-02-28 | 2016-08-02 | Fujifilm Corp | aparelho de geração de imagem colorida |
US8946638B2 (en) * | 2011-09-06 | 2015-02-03 | Basil Henry Scott | Subpixel resolution by interpolation of crosstalk from adjacent pixels |
US9939386B2 (en) * | 2012-04-12 | 2018-04-10 | KLA—Tencor Corporation | Systems and methods for sample inspection and review |
US9270899B1 (en) * | 2012-06-27 | 2016-02-23 | Amazon Technologies, Inc. | Segmentation approaches for object recognition |
-
2013
- 2013-08-02 WO PCT/DE2013/200094 patent/WO2014023307A1/de active Application Filing
- 2013-08-02 KR KR1020147022941A patent/KR102081747B1/ko active IP Right Grant
- 2013-08-02 CN CN201380007161.7A patent/CN104080663B/zh active Active
- 2013-08-02 US US14/394,358 patent/US20150321644A1/en not_active Abandoned
- 2013-08-02 JP JP2015525742A patent/JP6246808B2/ja active Active
- 2013-08-02 EP EP13762053.0A patent/EP2879919B1/de active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246808B2 (ja) | カメラ及び照明を用いたガラス面の雨滴検出 | |
JP2015527847A5 (ja) | ||
JP5944405B2 (ja) | カメラ及び照明による窓ガラス上の雨滴の検出 | |
JP6333238B2 (ja) | カメラ及び照明を用いたガラス面の雨滴検出 | |
JP2014502360A5 (ja) | ||
KR102432765B1 (ko) | Tof 카메라 시스템 및 그 시스템과의 거리를 측정하는 방법 | |
US10574909B2 (en) | Hybrid imaging sensor for structured light object capture | |
US7259367B2 (en) | Rain sensor device for detecting the wetting and/or soiling of a windscreen surface | |
US8480246B2 (en) | System and method for reduction of optical noise | |
CN113272624A (zh) | 包括具有多个通带的带通滤波器的三维传感器 | |
KR20110101177A (ko) | 차창의 상태를 검출하기 위한 카메라 장치 | |
CN104024827A (zh) | 图像处理装置、图像捕捉方法和车辆 | |
US8421037B2 (en) | System and method for reduction of optical noise | |
US10368063B2 (en) | Optical test device for a vehicle camera and testing method | |
WO2020184447A1 (ja) | ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置 | |
JP2008064630A (ja) | 付着物検知機能付き車載用撮像装置 | |
US20090115993A1 (en) | Device and Method for Recording Distance Images | |
JP2015187832A (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
JP6268190B2 (ja) | カメラを用いたガラス面の雨滴検出のための照明 | |
JPH0937147A (ja) | 視覚装置 | |
US6373561B2 (en) | Device and method for detecting depth and color information of an object to be surveyed | |
WO2023085403A1 (ja) | センシングシステム | |
WO2021015208A1 (ja) | アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 | |
CN104603586B (zh) | 用于求取颜色信息的光检测 | |
KR20230071525A (ko) | 항공용 전자광학적외선 장비에 내장된 자동광축정렬장치 및 방법 |