JP2013043639A - 自発光する物体と反射する物体とを区別するための方法および装置 - Google Patents

Abstract

【課題】従来技術による物体を区別する方法および装置を改善すること。
【解決手段】少なくとも１つのヘッドライト１０４を備える車両１００のカメラ１０６の検出範囲内において、物体がヘッドライトによって照射される際に、自発光する物体と反射する物体とを区別するための方法において、・カメラから、車両に対する物体の相対位置と物体の輝度値とを受信するステップと、・該輝度値と、相対位置において予想される自発光値および／または相対位置において予想される反射値とを比較するステップと、・輝度値が自発光値を中心とした自発光許容範囲内にある場合に、物体を、自発光している物体であると分類し、または、輝度値が反射値を中心とした反射許容範囲内にある場合に、物体を、反射している物体であると分類するステップと、を有する。
【選択図】図１

Description

本発明は、少なくとも１つのヘッドライトを備える車両のカメラの検出範囲内において自発光する物体と反射する物体とを区別するための方法と、少なくとも１つのヘッドライトを備える車両のカメラの検出範囲内において自発光する物体と反射する物体とを区別するための装置と、相応のコンピュータプログラムとに関する。

夜間には、ほぼ自発光する物体および反射する物体のみが車両のカメラによって検出される。車両のヘッドライトは地面の車両前方に位置する部分を照明し、この部分も同様に反射する面として検出される。例えば道路境界にある視線誘導標のリフレクタのような反射する物体を表すカメラの画像内の光点と、例えば車両のヘッドライトのような自発光する物体を表すカメラの画像内の光点とを区別するために、種々の識別特徴を使用することができる。

例えばＤＥ１０２００８０２５７４９Ａ１は、車両の前方の領域を示す少なくとも１つの画像内において検出された物体を分類する方法および装置を開示している。処理ユニットは、画像検出ユニットによって検出された画像の画像データを処理する。この処理ユニットは物体を分類する際に、車両の少なくとも１つのフロントヘッドライトによって放射される光の配光を考慮する。

ＤＥ１０２００８０２５７４９Ａ１

本発明の課題は、従来技術による物体を区別する方法および装置を改善することである。

このような背景に基づき本発明によれば、独立請求項に記載した、少なくとも１つのヘッドライトを備える車両のカメラの検出領域内において自発光する物体と反射する物体とを区別するための改善された方法と、少なくとも１つのヘッドライトを備える車両のカメラの検出領域内において自発光する物体と反射する物体とを区別するための改善された装置と、改善された相応のコンピュータプログラムプロダクトとが提供される。有利な実施形態はそれぞれの従属請求項および以下の説明から明らかとなる。

本発明は、平面上にて光源によって生じる照度が、当該平面と光源との間の距離の２乗に比例して低下するということを利用している。無指向性の光源の場合には、照度は周囲に亘って均一に低下する。例えば車両のヘッドライトのような指向性の光源の場合には、照射された光は光円錐を形成し、この光円錐はヘッドライトの前方で例えば地面上に配光を生じさせる。配光は、平面上の種々の場所における照度を表す。

光円錐内の反射する物体は、配光内の当該物体の位置に相応する所定の照度によって照らされる。したがって反射する物体自体がさらなる別の光源になり、当該光源から放射される光の照度も、反射する物体との距離の２乗に比例して低下する。したがってヘッドライト近傍の受信器は、ヘッドライトから反射する物体の方向へ出力される光束よりも、ヘッドライトと反射する物体との間の距離のほぼ４乗だけ小さい光度のみを受信することができる。この作用は、反射する物体への光の入射角に依存した、反射する物体の反射率によってさらに強まる。

これに対して自発光する物体の照度は、自発光する物体に対する距離の２乗に比例して低下するだけである。

本発明は、ヘッドライトの前方における既知の配光を使用して、配光の種々の位置に対する反射する物体の取得可能な輝度値が予め与えられており、また同様に、配光の種々の位置に対する自発光する物体の取得可能な輝度値が予め与えられているという認識に基づく。ある１つの位置における２つの取得可能な輝度値と、当該位置において検出された未知の物体の輝度値とを比較することによって、物体をより確実に分類することが可能となる。

本発明の課題は、少なくとも１つのヘッドライトを備える車両のカメラの検出範囲内において、物体がヘッドライトによって照射される際に、自発光する物体と反射する物体とを区別するための方法において、
・前記カメラから、前記車両に対する前記物体の相対位置と前記物体の輝度値とを受信するステップと、
・該輝度値と、前記相対位置において予想される自発光値および／または前記相対位置において予想される反射値とを比較するステップと、
・前記輝度値が前記自発光値を中心とした自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類するか、または、
前記輝度値が前記反射値を中心とした反射許容範囲内にある場合に、前記物体を、反射している物体であると分類するステップと、
を有することを特徴とする方法によって解決される。

本発明の課題はさらに、少なくとも１つのヘッドライトを備える車両のカメラの検出範囲内において、物体がヘッドライトによって照射される際に、自発光する物体と反射する物体とを区別するための装置において、
・前記カメラから、前記車両に対する前記物体の相対位置と前記物体の輝度値とを受信するための装置と、
・該輝度値と、前記相対位置において予想される自発光値および／または前記相対位置において予想される反射値とを比較する装置と、
・前記輝度値が前記自発光値を中心とした自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類する、または、
前記輝度値が前記反射値を中心とした反射許容範囲内にある場合に、前記物体を、反射している物体であると分類する装置と、
を有することを特徴とする装置によって解決される。本発明の実施形態は装置としても、本発明の基礎となる課題を迅速かつ効率的に解決することができる。

自発光する物体は、独自のエネルギ供給部を有する光源であると理解することができる。例えば自発光する物体は、他の車両のヘッドライト、道路照明、またはネオンサインとすることができる。反射する物体は、入射光を少なくともある程度まで再びこの入射光の光源へと反射する対象物であると理解することができる。例えば反射する物体は、路面標示、交通標識、または道路境界にある視線誘導標のリフレクタとすることができる。相対位置は、カメラの画像情報における物体の座標とすることができる。カメラは車両に固定的に配置されているので、画像情報は、車両に対して固定的な角度で配向されているカメラの検出範囲を示す。例えばハイビームまたはロービームのような１つまたは複数のヘッドライトの配光は、所定の範囲におけるカメラ画像内でそれぞれ１つの固定的な照度を有する。車両に対する相対位置と車両に対する配向とに基づいて、配光の範囲内において反射する物体は、輝度の予想値、すなわち予想される反射値を有する。同様にして自発光する物体も、車両に対する相対位置と車両に対する自発光する物体の配向とに依存した、輝度の予想値、すなわち予想される自発光値を有する。これらの値は、車両に対する共通の１つの相対位置においてそれぞれ互いに異なっている。許容範囲は、例えば異なる周囲条件に基づいた変動幅を表すことができる。

本願における装置は、センサ信号を処理し、処理したセンサ信号に依存して制御信号を出力する電子機器を含むことができる。装置はインタフェースを有することができ、このインタフェースは、ハードウェアおよび／ソフトウェアで構成してもよい。ハードウェアで実現される場合には、インタフェースは例えば、前記装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部とすることができる。しかし、インタフェースは独立した集積回路であることも、少なくとも部分的にディスクリート部品から形成されていることも可能である。ソフトウェアで構成される場合、上記のインタフェースは、例えばマイクロコントローラ上に別のソフトウェアモジュールと並列して設けられるソフトウェアモジュールとすることができる。

本発明はさらに先行する算出ステップを有することができ、この算出ステップにおいては、車両前方の種々の相対位置において予想される自発光値の関数、および／または、車両前方の種々の相対位置において予想される反射値の関数が算出される。この算出ステップは、例えば一種の較正として車両にて直接実施することができる。この算出ステップを実験室において実施することも可能であり、予想される自発光値および／または予想される反射値を、均一の車両照明を備えた多数の車両においてデータセットとして使用することも可能である。上記算出に基づき、シミュレーションよりも高い精度を達成することができる。

前記受信ステップにおいてさらに、車両の移動に応じて、車両に対する物体の別の相対位置と、物体の別の輝度値とを受信することができ、前記比較ステップにおいてさらに、前記別の輝度値と、前記別の相対位置において予想される別の自発光値および／または前記別の相対位置において予想される別の反射値とを比較することができ、前記分類ステップにおいてさらに、前記別の輝度値が前記別の自発光値を中心とした別の自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、前記別の輝度値が前記別の反射値を中心とした別の反射許容範囲内にある場合に、前記物体を、反射している物体であると分類することができる。車両が移動した後の第２の時点における同一の物体の第２の輝度値によって、反射する物体と自発光する物体とをより精確に区別することが可能となる。

前記比較ステップにおいてさらに、前記輝度値と前記別の輝度値との間の勾配と、前記相対位置と前記別の相対位置との間で予想される自発光勾配および／または前記相対位置と前記別の相対位置との間で予想される反射勾配とを比較することができ、前記分類ステップにおいてさらに、前記勾配が前記自発光勾配を中心とした自発光勾配許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、前記勾配が前記反射勾配を中心とした反射勾配許容範囲内にある場合に、前記物体を、反射している物体であると分類することができる。２つの測定値の間の勾配を考慮することによって、予想曲線のうちの同一の勾配を有する区間を発見することができる。勾配を比較することによって、車両に対する物体の相対位置を確認することができる。

前記分類ステップはさらに、前記比較ステップにおいて輝度が所定の閾値よりも小さいと識別された場合には実行されないようにすることもできる。閾値は、例えば自然な周囲光を考慮しないようにすることによって、識別のための計算コストを低減することが可能である。

また、コンピュータまたは装置上でプログラムを実行させるときに本発明の方法の上述の実施形態を実施するために使用される、該プログラムのプログラムコードを含むコンピュータプログラムも有利である。このコンピュータプログラムは、たとえば半導体メモリ、ハードディスク記憶装置または光学式記憶装置等である機械読み取り可能な担体上に記憶することができる。

以下に、添付図面に基づいて本発明の実施形態をより詳細に説明する。

図１は、本発明の１つの実施形態による、自発光する物体と反射する物体とを区別するための装置を備えた車両を示す図である。 図２は、本発明の１つの実施形態による、自発光する物体と反射する物体とを区別するための方法のフローチャートである。 図３は、図１のカメラの視野角からの輝度分布を示す図である。 図４は、図３の輝度分布の平面図である。 図５は、本発明の１つの実施形態による、予想される輝度値に関する特性曲線を示す線図である。

本発明の有利な実施形態に関する以下の説明において、異なる図面に図示された類似の作用を有するエレメントに対しては同一または類似の参照符号を使用し、またこれらのエレメントを繰り返して説明することは省略する。

図１は、本発明の１つの実施形態による、自発光する物体と反射する物体とを区別するための装置１０２を備えた車両１００を示す。車両１００は、少なくとも１つのヘッドライト１０４および少なくとも１つのカメラ１０６を有する。装置１０２は、受信装置１０８と比較装置１１０と分類装置１１２とを有する。カメラ１０６は、該カメラ１０６の検出範囲の画像を提供するよう構成されており、この際物体はヘッドライト１０４によって照射される。受信装置１０８はカメラから、車両１００に対する物体の相対位置と物体の輝度値とを受信するよう構成されている。比較装置１１０は、この受信した輝度値と、受信した相対位置において予想される自発光値および／または受信した相対位置において予想される反射値とを比較するよう構成されている。物体の分類装置１１２は、輝度値が自発光値を中心とした自発光許容範囲内にある場合に、この物体を、自発光している物体であると分類し、輝度値が反射値を中心とした反射許容範囲内にある場合に、この物体を、反射している物体であると分類する。

図２は、本発明の１つの実施形態による、自発光する物体と反射する物体とを区別するための方法２００のフローチャートを示す。方法２００は、図１に図示したような装置において実施することができる。少なくとも１つのヘッドライトを備える車両のカメラの検出範囲内において自発光する物体と反射する物体とを区別するための当該方法は、受信ステップ２０２と比較ステップ２０４と分類ステップ２０６とを有する。少なくとも１つのヘッドライトが作動され、物体の方向に光を放射する。受信ステップ２０２において、車両に対する物体の相対位置と物体の輝度値とがカメラから受信される。比較ステップ２０４において、この受信した輝度値と、受信した相対位置において予想される自発光値および／または受信した相対位置において予想される反射値とが比較される。分類ステップ２０６において、輝度値が自発光値を中心とした自発光許容範囲内にある場合に、この物体は自発光している物体であると分類され、輝度値が反射値を中心とした反射許容範囲内にある場合に、この物体は反射している物体であると分類される。

ここで提示したアプローチは、車両の少なくとも１つのヘッドライトによって放射された光の配光の能動的ないし受動的な変化を考慮することに関連している。例えば有利には、変化に関する情報を、自発光する物体と反射する物体とを区別するために使用することが可能である。

静止している場合、ないしは車両またはヘッドライトの固有運動による配光に変化が無い場合には、配光を考慮しても、照明された物体ないし反射する物体と自発光する物体とを有効に区別することができない。配光の能動的ないし受動的な変化に関する情報を利用することによって初めてこの特徴を区別のために有効に使用することが可能となる。

実際の配光に関して、および場合によっては実際の配光の状況に応じた変化（例えば街道照明、高速道路の照明、交差点照明、またはダイナミックコーナーライト）に関して、抽象的に把握していることが前提とされる。すなわち撮影された画像において、物体が自車両のヘッドライトによって能動的に照明され得ると考えられる場所、とりわけ、その照明の強さないし顕著さについて既知であることが前提である。さらには、物体の能動的な照明（自発光しない反射する物体）に基づいて、物体特徴の規定された変化ないし導出可能な変化を検出することが可能であるということ、つまりは、例えば配光の能動的ないし受動的な変化に基づいて、輝度の変化を許容範囲内で予測することが可能であることが前提とされる。さらに自発光する物体の場合には、例えば物体の検出可能な輝度または検出可能な光のスペクトル合成などといった物体特徴の、相対的な不変性ないし規定された（場合によって周期的でもある）変化は、配光の変化に基づいて予測することはできないということが前提とされる。自発光する物体と反射する物体とを区別するために、まさにこの相違点、つまり予想される変化（シーンのダイナミクス）に対する予測可能性が利用され、自発光する物体と反射する物体との有効な区別化が保証される。

図３は、図１のカメラの視野角からの輝度分布を示す図である。車両の前方には、白色の側方境界線と破線の中央線とを有する道路が伸長している。例えばハイビームにおける配光が概略的に図示されている。配光は、同じ照度の点を結んでいる多数の等照度曲線によって表されている。等照度曲線同士の間の領域は、種々のグレートーンで濃淡付けられている。付加的に、視線誘導標３００がそれぞれ互いに約５０ｍの間隔を置いて図示されている。この図に基づいて本発明のアプローチを良好に示すことができる。反射する物体の一例である遠く離れた視線誘導標３００は、僅かな照度の領域３０２において最初に検出することができる。車両は前方へと移動する。したがって反射する物体３００は、車両に対して相対的に、後続の領域を通過して最大限に検出可能な照度を有する領域３０４まで"移動する"ように見え、その後再び僅かな照度の領域において検出される。

図４は、図３の輝度分布の平面図である。ハイビーム動作におけるキセノンヘッドライトに対して仮定された配光が、上からの視点で図示されている。ここではほぼ同一の照度を有する領域は、同一のグレートーンによって濃淡付けられている。領域３０２はここでは例えば１ｌｘが仮定されている照度に相当し、領域４００は例えば３ｌｘ、領域３０４は例えば１１０ｌｘが仮定されている照度に相当する。

図５は、本発明の１つの実施形態による、予想される輝度値に対する３つの特性曲線を示す線図である。車両が前方に走行する間における、基準物体である３つの静止した物体の"時間的な"推移が、図３および４の配光によって概略的に図示されている。線図の横軸には車両からの距離がメートルでプロットされている。縦軸には知覚可能な照度が百分率でプロットされている。特性曲線５００は、自発光する物体の測定された（規格化された）輝度の変化に相当し、その一方で特性曲線５０２および５０４は、車両長手軸との横方向距離が５ｍ（５０４）ないし１０ｍ（５０２）である、反射する物体の輝度の変化を表している。直線５０６はここでは検出閾値を画定しており、すなわちこの閾値５０６を下回る物体は考慮ないし分類されない。特性曲線５００は、０ｍにおける１００％の輝度から３２５ｍにおける２０％の値まで若干変動する勾配で降下する。特性曲線５０２は、原点から急峻に、２５ｍにおける８０％の輝度の頂点まで上昇し、その後再び急峻に降下する。特性曲線５０２は、距離が大きくなるにつれて絶えず平坦になっていく勾配で、３２５ｍにおける０％へと近づいていく。特性曲線５０４は、原点から、５０ｍにおける２０％の頂点まで緩やかに上昇し、その後同様に３２５ｍにおける０％へと漸近的に降下する。ここでは検出可能な輝度の例として図示されている、自発光する物体に関する種々の特徴の変化は、距離の変化（車両が進んだ道のり）に対して比例しており、この特徴は、格段に後の時点でさえ検出可能である。他方では、反射する物体に関する特徴の変化は格段に顕著であり、すなわち基準量、とりわけ進んだ道のりに関連した上昇は、実質的に所定の点に至るまで格段に急峻になっている。その後この特徴の進展は再び継続的に減少し、その一方で、自発光する物体とは異なり最後に挙げた状況は存在していない。したがって例えば検出可能な特徴の変化は、予め規定された閾値よりも著しく大きいか、または予め規定された閾値よりも相応に小さくなっている。

予測可能な特徴の変化に対する、例えばダイナミックカーブライトまたは他の考えられる配光の影響を、自発光する物体と反射する物体とを区別する際に相応に考慮することが可能である。

ここで説明しかつ図面に示した実施形態は、単に例示として選択したものである。種々異なる実施形態を、完全にまたは個々の特徴的構成について互いに組み合わせることができる。また１つの実施形態を別の実施形態の特徴によって補足することも可能である。

また、本発明の方法のステップを繰り返して、かつここで記載された順序と異なる順序で実施することもできる。

Claims (7)

1. 少なくとも１つのヘッドライト（１０４）を備える車両（１００）のカメラ（１０６）の検出範囲内において、物体がヘッドライト（１０４）によって照射される際に、自発光する物体と反射する物体（３００）とを区別するための方法（２００）において、
   ・前記カメラ（１０６）から、前記車両（１００）に対する前記物体の相対位置と、前記物体の輝度値とを受信するステップ（２０２）と、
   ・該輝度値と、前記相対位置において予想される自発光値および／または前記相対位置において予想される反射値とを比較するステップ（２０４）と、
   ・前記輝度値が前記自発光値を中心とした自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、または、前記輝度値が前記反射値を中心とした反射許容範囲内にある場合に、前記物体を、反射している物体であると分類するステップ（２０６）と、
   を有することを特徴とする方法（２００）。
2. 車両前方の種々の相対位置において予想される自発光値の関数、および／または、車両前方の種々の相対位置において予想される反射値の関数を算出する先行ステップを有する、
   ことを特徴とする請求項１記載の方法（２００）。
3. 前記受信ステップ（２０２）においてさらに、前記車両の移動（１００）に応じて、前記車両（１００）に対する物体の別の相対位置と、物体の別の輝度値とを受信し、
   前記比較ステップ（２０４）においてさらに、前記別の輝度値と、前記別の相対位置において予想される別の自発光値および／または前記別の相対位置において予想される別の反射値とを比較し、
   前記分類ステップ（２０６）においてさらに、前記別の輝度値が前記別の自発光値を中心とした別の自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、または、前記別の輝度値が前記別の反射値を中心とした別の反射許容範囲内にある場合に、前記物体を、反射している物体であると分類する、
   ことを特徴とする請求項１または２記載の方法（２００）。
4. 前記比較ステップ（２０４）においてさらに、前記輝度値と前記別の輝度値との間の勾配と、前記相対位置と前記別の相対位置との間で予想される自発光勾配および／または前記相対位置と前記別の相対位置との間で予想される反射勾配とを比較し、
   前記分類ステップ（２０６）においてさらに、前記勾配が前記自発光勾配を中心とした自発光勾配許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、または、前記勾配が前記反射勾配を中心とした反射勾配許容範囲内にある場合に、前記物体を、反射している物体であると分類する、
   ことを特徴とする請求項３記載の方法（２００）。
5. 前記比較ステップ（２０４）において前記輝度値が所定の閾値（５０６）よりも小さいことが識別された場合には、前記分類ステップ（２０６）を実施しない、
   ことを特徴とする請求項１から４のいずれか一項記載の方法（２００）。
6. 少なくとも１つのヘッドライト（１０４）を備える車両（１００）のカメラ（１０６）の検出範囲内において、物体がヘッドライト（１０４）によって照射される際に、自発光する物体と反射する物体（３００）とを区別するための装置（１０２）において、
   ・前記カメラ（１０６）から、前記車両（１００）に対する前記物体の相対位置と前記物体の輝度値とを受信するための装置（１０８）と、
   ・該輝度値と、前記相対位置において予想される自発光値および／または前記相対位置において予想される反射値とを比較する装置（１１０）と、
   ・前記輝度値が前記自発光値を中心とした自発光許容範囲内にある場合に、前記物体を、自発光している物体であると分類し、または、前記輝度値が前記反射値を中心とした反射許容範囲内にある場合に、前記物体を、反射している物体であると分類する装置（１１２）と、
   を有することを特徴とする装置（１０２）。
7. プログラムを装置上で実行させたときに請求項１から５までのいずれか１項記載の方法を実施するためのプログラムコードを有する、コンピュータプログラム。

Images