JP2010512271A - カメラによる車両電灯の識別 - Google Patents

Abstract

色カメラセンサを持つ車両の前照灯と尾灯とを識別する方法が紹介される。色カメラセンサは、多数の赤い画素即ち赤いスペクトル範囲においてのみ感度の高い画素、及び他の色の多数の画素を含んでいる。第１の評価段階において、画像にある重要な光点を選択するため、画像にある赤い画素の強度のみが分析される。

Description

本発明は、色カメラセンサによる車両電灯の識別方法に関する。このような方法は、例えば自動車前照灯の遠距離灯の自動制御のために使用可能である。

光センサに基く自動的な電灯制御は、ドイツ連邦共和国特許第１９８２０３４８号明細書に記載されている。そのため自動車に高感度光センサが設けられて、走行方向前方へ向けられている。向かってくる車両の前照灯の光は、自動車が近づく時光センサに当たり、遠距離灯が消灯される。向かって来る車両が自己の車両を通過して、光センサの検出範囲外にあると、光の十分小さい強度が再び検出され、遠距離灯が再び点灯される。

この非常に簡単な方法では、光の強度が測定されるだけで、光源即ち周囲光、反射体、交通標識、車両の前照灯、街路灯などの種類は分類されない。これは照明制御の誤動作の原因となる。

従って本発明の課題は、モノカメラセンサにより車両周辺にある車両電灯を識別するための確実かつ安価な方法を提示することである。

本発明によればこの課題は、独立請求項に記載の方法によって解決される。有利な展開は従属請求項からわかる。

色カメラ及びデータ処理装置により車両電灯を識別する方法が提示される。費用を節約するため、車両電灯を識別するための計算費用が減少される。そのため車両電灯を選択するために、赤い光に対してのみ感度の高い画素が評価される。これらの画素は、ここでは赤い画素とも称される。従って市販のＲＧＢ色カメラチップを使用すると、データ量の４分の１だけが評価される。それに応じて小さい容量を持つ安価なデータ処理装置を使用することができる。赤い光の選択的な検査は、カメラ画像において自動車の赤い尾灯と同様に赤いスペクトル成分を持つ白い前照灯とを識別する。さて測定される強度が雑音または所定の閾値より上にあると、画像にある光点は可能性のある車両電灯である。

本発明の好ましい構成では、所定の第１の閾値Ｓ１より上の赤い色の強度を持つ光点が、可能性のある車両前照灯であることを確認される。他の車両の前照灯が一般に比較して明るいという経験が、この対応既定の根拠になっている。ここでカメラ画像において任意の形状を持つ明るい範囲が光点と称される。所定の第２の閾値Ｓ２より下の強度を持つ光点が、可能性のある車両尾灯であることを確認される。他の車両の尾灯が暗く写像され、所定の強度を一般に上回らないという経験が、この対応既定の根拠になっている。この方法では、閾値Ｓ１は閾値Ｓ２より大きいか又はこれに等しい。

本発明の好ましい構成では、赤色光分析において可能性のある車両尾灯であることを確認される光点は、それが実際に車両の尾灯であることを確実にするために、更に検査される。そのため光点の赤いスペクトル成分が他のスペクトル成分と比較される。ＲＧＢカメラチップでは、これは赤い光の強度と青い光の強度及び／又は緑の光の強度との比較である。赤い光点のみが車両尾灯であることを確認される。

本発明の別の有利な構成では、赤い光の分析の際可能性のある車両尾灯であることを確認される光点において、光点の強度の時間的推移及び／又は時間に関係する運動が画像において分析される。時間的強度推移（例えば強度勾配、強度変動等）が発光する光源のそれに一致し、かつ／又は画像における運動が可動物体のそれに一致している赤い光点が、車両尾灯であることを確認される。

本発明の好ましい構成では、赤い光の分析において可能性のある車両前照灯であることがわかった光点が、更に検査される。そのため時間的強度推移（例えば強度勾配、強度変動等）及び／又はその時間に関係する運動が画像において検査されて、車両前照灯を他の光源たとえば車道を際立たせる反射体から区別する。

本発明が実施例及び図面により本発明が以下に説明される。

ＲＧＢ色カメラチップを示す。 所定の強度範囲内で向ってくる前照灯（上部）及び反射体（下部）の強度に関して記入される強度変動Ｓを示す。 反射体及び車両電灯の強度の概略的な頻度分布を示す。 縦揺れ運動を示す。

ここで説明するすべての特徴は、個々にまたは任意の組合わせで本発明に寄与する。方法段階の時間的推移は、ここで選ばれている順序によっては必ずしも規定されない。

本発明による方法の実施例において、第１の段階で、赤い画素の輝度が、一般にカメラチップの雑音に対して典型的な所定の閾値より上にあるか否かが検査される。方法を一層よくわかり易くするため、図１に典型的なＲＧＢ色カメラチップの画素分布が示されている。赤い画素は灰色に示されている。図からわかるように赤い画素：青い画素：緑の画素の比は１：１：２である。こうして赤い画素のみの評価の際、生じるデータ量の４分の１だけが評価される。破線により任意の光点１の位置が示されている。第２の方法段階で局部的最大値が求められる。そのため赤い画素の輝度が隣接する赤い画素の輝度と比較される。赤い画素の輝度が隣接する画素の輝度より大きいと、局部的最大値が存在する。同じことが、複数の赤い画素を含みかつもっと暗い赤い画素により包囲されているもっと大きい輝度の範囲にも当てはまる。第３の方法段階において、局部的最大値が明るい光点１であるか又は明るくない光点１であるかが検査される。そのため輝度閾値Ｓが規定される。閾値Ｓより上にある輝度を持つ光点１は、可能性のある車両前照灯である。閾値Ｓより下にある輝度を持つ光点１は、可能性のある車両尾灯である。可能性のある車両前照灯である光点１は記憶され、場合によっては強度の時間的推移及び／又は光点１の運動が画像において検査されて、前照灯をたとえば車道区画用反射体から区別する。これらの方法はさらに後述される。可能性のある尾灯である光点は、別の方法段階において、それが赤い光であるか否かを検査される。そのため光点１の範囲にある他の色の画素が少なくとも部分的に評価される。ＲＧＢカメラチップが使用されると、緑の画素及び／又は青い画素が評価される。青及び／又は緑の画素の輝度が、赤い画素の輝度と比較される。赤い画素の輝度が他の色の画素の輝度より著しく大きいと、光点１が赤い光従って車両尾灯である。

別の実施例では、尾灯を例えば車道区画用反射体から区別するため、画像にある光点の強度の時間的推移及び／又は絶対強度及び／又は光点の運動が検査される。

カメラ画像にある光点を分類する別の方法が以下に示される。光点１の運動分析及び強度分析に、１つの色の画素の輝度及び異なる色をもつ画素の輝度が寄与する。

適当な画像部分の選択
本発明の実施例において、探索される車両における画像部分（窓）が決定される。窓処理により、画像処理費用が著しく減少される。なぜならば、車両のためにもはや全画像を探索する必要がないからである。更に車線を識別する際、道路縁の誤検出が少なくなるように、窓を予想される車線に位置ぎめすることができる。窓の大きさは、求められる車両物体がきちんと入るように選ばれる。大きくなるほど予想される車両位置についての識別が不正確になる縁範囲が付け加えられる。探索窓の垂直位置、幅および高さは、カメラ写像方程式の知識からの距離仮定に従って位置ぎめされる（画像における光点の運動の部分分析を参照）。窓の水平な位置ぎめは、車両の前の車線の推移についての知識に基いて、画像処理による以前の車線算定から行われる。これらのデータは、例えば車両に統合されている車線離脱警告システム、運転者援助システム（ＡＣＣ）、ディジタルカード及び（例えばナビゲーションシステムから）衛星により援助される位置算定により、又は慣性センサ装置により得られる進路評価から、利用可能にされる。

光点の強度の分析
Ｉ）光点の時間的強度変動の分析
光点が識別されると、画像において追跡される。追跡される光点の強度は、多数の画 像において分析される。特に関心のあるのは、平均値の周りの強度である。光点の強 度は、カメラを持つ動く車両において一般に連続的に変化する距離に関係しているの で、浮動平均値が強度変動を求めるのに利用される。強度変動を示す別の方法は、順 次に続く測定値の偏移を求めることである。図２の上部には、向かって来る光源に対 して、また図２の下部には、反射体に対して、所定の強度範囲において強度変動が記 入されている。向かって来る車両の前照灯の所定の強度範囲内で求められた強度変動 が平均して反射体の強度変動より大きいことが、直ちにわかる。図２の上部及び下部 において、明らかにするため同じ白い線が記入されている。図２の上部（向かって来 る車両の前照灯）では、著しく多数の強度変動が線より上にあるのに反し、図２の下 部（車道区画用反射体）では、著しく多数の分散値が線より下にある。分散の異なる 特性の原因は、光が来た方向へこの光を反射する反射体の特別な反射特性である。自 動車にある前照灯及びカメラセンサは、自己の自動車と同じ自己運動を行うので、カ メラチップへの反射光の入射角従って光点の強度は比較的一定である。光源が問題で ある場合、少なくともカメラの担体である自己の車両が自己運動例えば縦揺れ運動を 示す。カメラチップへの光の入射角従って画像にある光点の強度はあまり一定ではな い。この特性が、反射体を発光する光源から区別するために利用される。強度変動値 が主として限界線より下にある光点は、反射体として分類される。強度変動値が主と して限界線より上にある光点は、発光する光点であると判定される。このような限界 線の推移は、データ処理のためプログラムに固定的に規定することができる。１つの 代案は、限界線の推移を前に記録された測定値に合わせることである。そのため光点 の分散値及びその分類（反射体、発光する光源）が、回顧的に考察される。分類は分 散基準及び／又は他の方法により行うことができる。限界線は、反射体のできるだけ 僅かな分散値が限界線より上にあり、発光する光源のできるだけ僅かな分散値が限界 線より下にあるように、計算される。

ＩＩ）光点の絶対強度の分析
反射体により反射される自己の前照灯の光の強度は、１／ｘ^４に比例している。こ こでｘは反射体と自動車との間隔を示す。これに反し発光する光源一般に車両前照 灯の強度は１／ｘ^２に比例している。即ち同じ距離では、向かって来る車両の前照 灯は、自己の車両の照灯の光を反射する反射体より明るく画像に描かれる。強度に ついて典型的な頻度分布が図３に示されている。発光する光源の頻度分布が破線で 示され、反射体の頻度分布が実線で示されている。明らかにわかるように、頻度分 布は互いにずれている。図において３つの強度範囲が確認される。Ｉで示す低い強 度範囲では反射体のみが示され、ＩＩで示す中間の強度範囲では反射体及び発光す る光源が示され、ＩＩＩで示す高い強度範囲では発光する光源のみが示される。従 って上の閾値Ｓ１より上の強度を持つ光点は、前照灯により生じる。下の限界地Ｓ ２より下の強度を持つ光点は、反射体により高い確率で生じる。光点が両方の閾値 Ｓ１とＳ２の間にある強度を持っていると、この方法では、反射体であるかまたは 発光する光源であるかを表わすことができない。

ＩＩＩ）強度勾配の分析
更に少なくとも１つの光点の強度推移が記録される。
反射体により反射される自己の前照灯の光の強度は、１／ｘ^４に比例している。 ここでｘは反射体と自動車との間隔である。即ち強度の時間的推移により、光点 を受動光源（反射体）として、又は発光する能動光源として分類することができ る。この対応関係は、本発明の好ましい構成では、求められる光点の距離及び自 己の前照灯の光度についての知識及び道路縁にある普通の反射体の反射特性によ り立証される。本発明の構成では、受動光源及び能動光源の予想される強度推移 を求めて、反射体であるか能動光源であるかの証明に利用するため、距離算定が 利用される。同様に本発明の好ましい構成では、測定される光点の強度が、前照 灯又は特定の距離にある普通の光度の反射光の予想される強度と比較される。同 じ予想が、自己の前照灯による照射を仮定して、特定の距離にある普通の反射体 についてなされる。計算される値は、反射体であるか又は能動光源（車両電灯） であるかを立証するために利用される。

ここに示す方法では、光点の運動の時間的推移が、車道に対して静止している物体の反応にとってほぼ充分であり、強度の時間的推移が受動光源に対して予想される推移にほぼ一致していると、光点が反射体であることを確認される。更に光点の運動の時間的推移が、車道に対して動かされる物体の反応にとってほぼ充分であり、強度の時間的推移が能動光源に対して予想される推移にほぼ一致していると、光点が車両発光体であることを確認される。

画像における光点の運動の分析
Ｉ）画像流れ
車両電灯を識別するため、公知の画像処理方法（相関、形態素濾波、領域区分）によ り抽出される明るい点状画像対象の光流れが求められる。この画像対象の画像流れが 自己運動（速度、片揺れ運動）と一致すると、静止している光点から出発することが できる。そのため動かない画素のための仮定画像流れが種々の距離において求められ 、現在の画像から抽出される光点の実際の画像流れと比較される。これらの光点の画 像流れが大体において既知の自己運動（速度、片揺れ運動）により形成されていると 、静止している光点である。どの仮定も光点の測定される画像流れに当てはまらない と、それは動かない光でなければならない。区別の際、示される光点と車両との距離 をほぼ知ることが有益である。なぜならば、画像流れは、カメラ車両の自己運動及び 光点の起こり得る運動のほかに、光点の距離にも関係するからである。近くにある物 体は、離れている静止物体より強い画像流れをもっている。

単眼カメラによる点または物体の間隔ｄを求める方法が示される。単眼カメラに対する間隔はカメラ取付け高さｈ、カメラ縦揺れ角α、点の画像列ｙ、画素の大きさη及びカメラ焦点距離ｆから求められる。

前記のパラメータがカメラの視方向の調節により既知であると、距離ｄを求めることができる。

ＩＩ）自己の車両の縦揺れ運動により生じる障害
光源の運動方向の評価の際しばしば生じる問題は、自己の車両の車体従ってカメラ の揺れである。それにより物体の画像流れがカメラ車両の速度および片揺れ運動の 影響を受けるだけでなく、車道面に対する車体の回転運動、車両の縦揺れ運動の影 響を受ける。速度及び片揺れ運動とは異なり、縦揺れ運動はセンサにより直ちには 測定されない。この障害は、車道の凹凸及び（正及び負の方向における）縦加速度 において増大されて起こる。カメラ車両のシャシが生じる力をどれ位よく減衰でき るかに関係なく、縦揺れ運動により障害が常に存在する。

続く補償を可能にするため、縦揺れ運動を求める可能性が以下に示される。そのためカメラ画像自体が分析される。シャシが前で沈むと、カメラは下方へ傾き、ビデオ画像にあるすべての点がそれに応じて上方へ移動し、カメラが再びはね戻ると、点は逆に下方へ動く。さてビデオ画像におけるこの運動がすべての点に対して同じであり、垂直方向にのみ起こり、即ち画素の水平な運動成分がカメラの縦揺れ運動の影響を受けないままであることを、利用することができる。考察されている画素が静止している物体であると仮定して、画像におけるその位置、カメラ車両の既知の速度及び片揺れ運動から、またその水平移動のみから、カメラに対するこの点の距離を計算することができる。静止している物体であるか又は動く物体であるかは、例えば画像列の強度の分析により突き止めることができる。水平移動から点の距離を知ると、それにより再び対応する垂直移動を突き止めることができる。上述したように点の水平移動は縦揺れ運動とは無関係なので、このことは突き止められた垂直移動にも当てはまる。ビデオ画像において測定される移動が今やカメラの縦揺れ運動によって乱されている場合、測定される垂直移動と計算される垂直移動との差によって、そのことを知る。突き止められる縦揺れ運動により、今や適当な画像データを修正することができる。図４には縦揺れ運動の検出が概略的にベクトル図として示されている。Ｖｇは画像において測定される物体の全移動を表している。このベクトルは、測定されるＸ方向の全移動ＸｇとＹ方向の全移動Ｙｇとに分解される。ＹｂはＹ方向の計算される移動を示し、前述したように静止している物体に対して計算されたものである。Ｙｄは、Ｙ方向における計算された移動と測定される移動との差、従って縦揺れ運動の影響を示す。

Claims (6)

1. 色カメラセンサ及びデータ処理装置を持つ車両の前照灯及び／又は尾灯を識別する方法であって、色カメラセンサが、赤色光に対してのみ感度の高い多数の画素、及び他の色の光に対して感度の高い多数の画素を含んでいるものにおいて、画像において可能性のある前照灯又は尾灯を選択する第１の評価段階において、赤い光に対して感度の高い画素の強度のみが評価される、方法。
2. ｉ） 所定の第１の閾値より上の赤い色の強度を持つ光点が、可能性のある車両前照灯で あることを確認され、
   ｉｉ）所定の第２の閾値より下の強度を持つ光点が、可能性のある車両尾灯であることを 確認される
   ことを特徴とする、請求項１に記載の方法。
3. 可能性のある車両尾灯である光点において、赤い光に対してのみ感度の高い画素の強度が、他の光に対して感度の高い少なくとも１つの画素の強度と比較され、赤い光が車両尾灯であることを確認されることを特徴とする、先行する請求項の１つに記載の方法。
4. 可能性のある車両尾灯である光点において、更に時間的強度推移及び／又は光点の時間に関係する運動が画像において考察されて、他の光点から車両尾灯を区別することを特徴とする、請求項１または２に記載の方法。
5. 可能性のある車両前照灯である光点において、更に時間的強度推移及び／又は絶対強度及び／又は光点の時間に関係する運動が画像において考察されて、他の光点から車両前照灯を区別することを特徴とする、請求項１または２に記載の方法。
6. カメラセンサ及び請求項１〜５に記載の方法が実行される画像データ処理プログラムを持つ自動車。

Images