JP2014525067A - 車両の周辺区域にある物体を認識する方法および装置 - Google Patents

Abstract

本発明は、車両（１００）の周辺区域（１３０）にある物体（２４０，２５０）を認識する方法（５００）に関する。この方法（５００）は、車両（１００）の周辺区域（１３０）を表し、第１の露光時間で記録された、車両カメラ（１１０）の第１の画像（２１０）を読み込むステップ（５１０）と、第１の画像（２１０）の後で第２の露光時間で記録された、車両カメラ（１１０）の第２の画像（２２０）を読み込むステップとを含んでおり、このとき第２の露光時間は第１の露光時間と相違している。さらにこの方法は、車両カメラ（１１０）の第２の画像（２２０）から画像断片（２３０）を抽出するステップ（５２０）を含んでおり、画像断片（２３０）は第１の画像（２１０）よりも狭い車両（１００）の周辺区域（１３０）の領域を表しており、抽出（５２０）のときには、車両の走行に関する情報および／または車両前方のインフラストラクチャー措置の位置を表す、および／または先行ステップのときに画像断片（２３０）で認識された運動する物体とは関わりのない、少なくとも１つのパラメータに基づいて第２の画像（２２０）における画像断片（２３０）の位置が決定される。最後にこの方法は、第１の物体認識アルゴリズムを第１の画像（２１０）に適用し（５３０）、それにより第１の画像（２１０）で少なくとも１つの物体（２４０）を認識し、第２の物体認識アルゴリズムを画像断片（２３０）に適用し、それにより画像断片（２３０）で少なくとも１つの別の物体（２５０）を認識するステップを含んでいる。
【選択図】 図２

Description

本発明は、車両の周辺区域にある物体を認識する方法、これに対応する装置、ならびに、これに対応するコンピュータプログラム製品に関する。

車両のカメラの画像から、物体のできるだけ良好な認識を得るために、利用できる情報のできるだけ詳細な評価が行われるべきである。しかしながら特に夜間には、車両カメラの画像を利用するときに、近くの対向車両のヘッドライトによる「過剰照射」によって、たとえば遠く離れたところにいる先行車両から発せられる情報を隠す眩惑が生じる可能性があることが考慮されるべきである。このような眩惑を回避するために、たとえば、１つまたは複数の露光時間で車両周辺の光景を計測し、各々の画像について、同一の関数またはそれぞれただ１つの評価関数を実行するシステムを利用することができる。

特許文献１は、カメラで記録された画像情報を受信するための入力部と、カメラから受信された第１の画像情報において所定の形状を含む画像断片を発見するための第１の構成要素と、第２の画像情報を要求するための第２の構成要素とを有する、車両の運転者支援システムのための評価装置に関わるものであり、第２の画像情報は、第１の構成要素により発見された画像断片を、第１の画像情報に比べて改善されたコントラストで、あらためて記録することに相当している。さらに、第２の画像情報で交通標識を識別するための第３の構成要素、ならびに、第３の構成要素により識別された交通標識に関して信号を出力するための出力部が存在している。

ドイツ特許出願公開第１０２００７００１０９９Ａ１号明細書

以上を背景としたうえで、本発明により、それぞれの独立請求項に記載された、車両の周辺区域にある物体を認識する方法、さらにはこの方法を適用する装置、ならびに最後に、これに対応するコンピュータプログラム製品が提供される。好ましい実施形態は、それぞれの従属請求項および以下の説明から明らかとなる。

本発明は、車両の周辺区域にある物体を認識する方法を提供するものであり、前記方法は次の各ステップを有している：
− 車両の周辺区域を表し、第１の露光時間で記録された、車両カメラの第１の画像を読み込み、第１の画像とは別の時点のときに第１の露光時間と異なる第２の露光時間で記録された、車両カメラの第２の画像を読み込み、
− 車両カメラの第２の画像から画像断片を抽出し、画像断片は特に第１の画像よりも狭い車両の周辺区域の領域を表しており、抽出のときには、車両の走行に関する情報および／または車両前方のインフラストラクチャー要素の位置を表す、および／または先行ステップのときに画像断片で認識された運動する物体とは関わりのない、少なくとも１つのパラメータに基づいて、第２の画像における画像断片の位置が決定され、
− 第１の物体認識アルゴリズムを第１の画像に適用し、それにより第１の画像で少なくとも１つの物体を認識し、第２の物体認識アルゴリズムを第２の画像の前記画像断片に適用し、それにより画像断片で少なくとも１つの別の物体を認識する。

さらに本発明は、本発明の方法の各ステップを相応のユニットで実施ないし具体化するために構成された装置を提供する。装置の形態における本発明のこのような実施態様によっても、本発明の根底にある課題を迅速かつ効果的に解決することができる。

したがって本発明は、車両の周辺区域にある物体を認識する装置を提供するものであり、この装置は次の各ステップを有している：
− 車両の周辺区域を表し、第１の露光時間で記録された、車両カメラの第１の画像を読み込み、第１の画像の後で第１の露光時間と異なる第２の露光時間で記録された、車両カメラの第２の画像を読み込むためのインターフェース；
− 車両カメラの第２の画像から画像断片を抽出するためのユニットであって、画像断片は特に第１の画像よりも狭い車両の周辺区域の領域を表しており、抽出のときには、車両の走行に関する情報および／または車両前方のインフラストラクチャー要素の位置を表す、および／または先行ステップのときに画像断片で認識された運動する物体とは関わりのない、少なくとも１つのパラメータに基づいて、第２の画像における前記画像断片の位置が決定されるもの；
− 第１の物体認識アルゴリズムを第１の画像に適用し、それにより第１の画像で少なくとも１つの物体を認識し、第２の物体認識アルゴリズムを第２の画像の画像断片に適用し、それにより画像断片で少なくとも１つの別の物体を認識するためのユニット。

本件において装置とは、センサ信号を処理し、これに依存して制御信号や情報信号を出力する電気機器を意味している。装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。インターフェースは、ハードウェアとして構成されている場合には、たとえば装置の多種多様な機能を含む、いわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独立した集積回路であるか、または、離散したデバイスで少なくとも部分的に構成されていることも可能である。インターフェースは、ソフトウェアとして構成されている場合には、たとえばマイクロコントローラに他のソフトウェアモジュールと並んで存在するソフトウェアモジュールであってよい。

半導体メモリ、ハードディスクメモリ、光学メモリのような機械式に読取可能な担体に保存されていてよく、プログラムがコンピュータまたは装置で実行されたときに上に説明した実施形態に基づく方法を実施するために利用される、プログラムコードを有しているコンピュータプログラム製品も好ましい。

車両カメラとは、光景または車両の周辺区域をビデオ画像に変換し、これを以後の処理のために他のコンポーネントに供給する光学センサであると理解することができる。このような光学センサは複数のモードで作動することができ、これらのモードの各々は、特に、当該モードで画像を記録するための露光時間の違いによって特徴づけられる。画像断片とは、車両カメラの画像よりも狭い車両の周辺が結像された、車両カメラの画像の部分領域であると理解することができる。このような画像断片の位置は、たとえば先行するステップのときに画像断片で認識された運動する物体（たとえば車両）とは関わりのないパラメータによって、または、車両の走行に関する情報を表すパラメータに依存するパラメータによって、抽出のステップの前に決定することができる。画像断片の位置は、車両前方のインフラストラクチャー要素の位置に依存していてもよく、インフラストラクチャー要素とは、たとえば街灯や視線誘導標のような道路建設に関わる措置であると理解することができる。その代替または追加として、このようなパラメータは、先行するステップで画像断片に認識された運動する車両とは無関係であってよい。車両の走行に関する情報を表すパラメータは、たとえば、自分の車両の運動を表すセンサの情報、または、車両を制御するための操作部材の設定を表すセンサの情報であってよい。たとえば車両の走行に関する情報は、車両の速度、ハンドルを切るステアリング角度、事前に指定された道路形状、もしくはたとえばナビゲーション機器から読み出された想定される道路形状であってよい。第１の画像で認識される物体、または、画像断片で認識される別の物体とは、たとえば、該当する画像または画像断片で認識される車両であると理解することができる。その代替または追加として、第１の画像で認識される物体は、建設に関わる措置または単位、特に車道縁部にあるインフラストラクチャー設備であってもよい（たとえば視線誘導標や街灯）。同じくその代替または追加として、画像断片で認識される第２の物体は、建設に関わる措置または単位、特に車道縁部にあるインフラストラクチャー設備であってよく、たとえば同じく視線誘導標や街灯であってよい。さらに、特に第２の露光時間は第１の露光時間よりも長くてよく、それによって画像断片では、第１の画像で認識される物体よりも低い明度を有する物体を認識することができる。それにより、車両カメラを備える車両から遠く離れている物体、および／または第１の画像で認識される物体よりも弱い光もしくはこれと異なる色の光を放射する物体を、画像断片で認識することが可能となる。第１の物体認識アルゴリズムは、第２の物体認識アルゴリズムと同一であってよいが、別々に実行することができる。その別案として第１の物体認識アルゴリズムは、第２の物体認識アルゴリズムとは異なるステップを有することができる。第１の物体認識アルゴリズムは、第２の物体認識アルゴリズムと同じステップを有することができるが、これらが異なるパラメータを用いたうえで実行される。たとえば、第１のパラメータセットを用いて物体認識アルゴリズムを第１の画像に適用することができ、第２のパラメータセットを用いて、この物体認識アルゴリズムを画像断片に適用することができる。

本発明が踏まえている知見は、一方では、車両のただ１つのカメラの画像を相応の物体認識アルゴリズムによって評価することができ、他方では、異なる露光時間で記録された画像の異なる画像領域を選択することができるというものである。その際に、該当する画像断片それ自体において先行する時点で認識された運動する物体または車両に依拠するのではないパラメータによって、画像断片の追跡が惹起されていてよい。このようにして、特に、車両前方の領域で弱く光る物体に関しても継続して監視をすることができ、この領域は、走行をするときの車両の将来的な位置にとって特別な意義がある。特に、画像断片によって表された車両周辺区域に、車両前方への光照射の調整をするにあたって考慮するべき物体や車両が存在するかどうかを認識することができ、それは、このような物体または車両の運転者の眩惑を回避するためである。

本発明は、画像の露光時間が長いときに、車両前方の他の物体または車両からの光照射によって照らされた車両前方の物体または車両が認識されないという事態を、それぞれ独自の物体認識アルゴリズムによる、異なる露光時間で記録された画像の評価の分離によって回避できるという利点をもたらす。それと同時に、高い光強度を放射する物体ないし車両だけでなく、低い光強度を放射する物体ないし車両をも１つの画像から認識する、高度に複雑な物体認識アルゴリズムの適用を回避することができる。このようにして、複数の（少なくとも２つの）モード（特に露光モード）で作動し、それに応じて露光された画像を提供する、ただ１つの車両カメラの画像の評価の簡素化を実現することができる。しかしながら同時に、車両に搭載されたカメラを、およびこれに伴ってただ１つの、かつ多くの場合すでにシリーズ製品として設けられるハードウェアを使用して、本発明の具体化のための入力信号を供給することができる。さらに、技術的に簡素に具体化可能な評価ソフトウェアの変更によって、および、車両にすでに設けられている評価ユニットのこれに応じたプログラミング変更によって、追加用途の具体化を可能にすることができる。

抽出のステップで、位置情報を利用したうえで画像断片が抽出されると好都合であり、この位置情報は車両の走行を表す情報に対する応答として変更可能であり、もしくは変更される。位置情報とは、第２の画像における画像断片の位置特定に関する情報、および／または第２の画像における画像断片のサイズに関する情報であると理解することができる。本発明のこのような種類の実施形態は、第２の画像の異なる位置に配置された画像断片を、または第２の画像の異なる大きさの画像領域を含む画像断片を、車両の走行中に処理することができるという利点をもたらす。このようにして、画像断片の追跡または好ましくは予測が特にカーブ走行のときに可能であり、このとき画像断片では、車両がカーブ走行をするときに車両安全性にとって重要な、または車両前方の領域の照明にとって重要な、物体または車両が存在しているか、もしくは推定される。たとえば車両がアウトバーン走行をしているとき（または、より一般的には車両が高速走行しているとき）、画像断片を拡大して、特に長い露光時間で、高速で運動する物体または車両の十分な考慮を確保することができる。

本発明の別の実施形態では、読み込みのステップで、第１の画像として、第２の画像として読み込まれる画像よりも短い露光時間を有する画像が読み込まれる。適用のステップでも、第１の物体認識アルゴリズムを第１の画像全体に適用できるのが好ましい。特にこのような種類の実施例では、露光時間の短い画像全体が、第１の物体認識アルゴリズムによって処理される。本発明のこのような種類の実施形態は、特に、発せられる高い光強度によって特徴づけられる車両の近傍領域にある物体が、できるだけ迅速かつ一義的に認識されるという利点をもたらす。特に車両の近傍領域にあるこのような物体または車両は、たとえば自分の車両の近傍領域にいるこのような車両の運転者を眩惑しないために、高い安全予防措置を必要とする。その一方で、自分の車両の近傍領域にいるこのような車両の運転者が眩惑されてしまうと、自分の車両の安全性も著しく脅かされることになる。

さらに抽出のステップで、車両前方の事前設定された最低距離に配置された物体が車両カメラの画像に結像される、第２の画像の画像断片が抽出されると好都合である。本発明のこのような種類の実施形態は、車両から遠くに離れている、車両の周辺区域の物体または車両も認識できるという利点をもたらす。特にこの画像断片で、高い光放射または反射が見込まれる物体または車両があると見込まれないとき、本発明のこのような種類の実施形態により、自分の車両の近傍領域にある物体または車両の光放射による「フェードオーバー」による、弱い照明または発光をする物体または車両に関する情報の情報欠落が生じないことを保証することができる。

本発明のさらに別の実施形態では、適用のステップで、第１の物体認識アルゴリズムを第１の物体タイプの物体の認識のために利用することができ、第２の物体認識アルゴリズムを、第１の物体タイプとは相違する第２の物体タイプの物体の認識のために利用することができる。たとえば第１の物体タイプはフロントヘッドライトを表すことができ、それに対して第２の物体タイプはテールライト、視線誘導標、街灯などを表すことができる。本発明のこのような種類の実施形態は、該当する物体タイプにどのような光放射特性が見込まれるかに応じて、さまざまに異なる物体タイプを車両カメラの画像から認識できるという利点をもたらす。

適用のステップで、第１の物体認識アルゴリズムは、第１の画像における位置での明度と、第２の画像における、特に画像断片における、対応する位置での明度との比較を利用したうえで、第１の画像の物体を認識するために構成されていると特別に好ましい。適用のステップで、第２の物体認識アルゴリズムも、第２の画像における、特に画像断片における位置での明度と、第１の画像における対応する位置での明度との比較を利用したうえで、第２画像における、特に画像断片における物体を認識するために構成されていてよい。本発明のこのような種類の実施形態は、技術的に特別に簡単に実施できる物体の区別もしくは認識という利点をもたらし、異なる露光時間で記録されたそれぞれの画像の共通の情報を利用することができる。

本発明の１つの特別な実施形態では、適用のステップで、第１の画像における位置での明度が、第２の画像における、特に画像断片における、対応する位置での明度に許容誤差範囲内で等しいときには、第１の物体認識アルゴリズムによって物体をパルス状の光源として認識することができる。さらに、第１の画像における位置での明度が、事前設定された閾値（露光時間の差異に依存）を超えて、第２の画像における、特に画像断片における、対応する位置での明度と相違しているときには、第１の物体認識アルゴリズムによって物体を一定の光を放射する光源として認識することもできる。さらに、第２の画像における、特に画像断片における位置での明度が、第１の画像における対応する位置での明度に許容誤差範囲内で等しいときには、第２の物体認識アルゴリズムによって物体がパルス状の光源として認識されると好都合である。第２の画像における、特に画像断片における位置での明度が、事前設定された閾値を超えて、第１の画像における対応する位置での明度と相違しているときには、第２の物体認識アルゴリズムによって物体が一定の光を放射する光源として認識される、本発明の実施形態も考えられる。ここで明度値に関する許容誤差範囲とは、たとえば１０パーセントの明度差であると理解することができる。本発明のこのような種類の実施形態は、第２の画像における、特に画像断片における、および第１の画像における、互いに対応する位置での明度の比較によって、異なる種類の物体を非常に簡単に認識できるという利点をもたらす。このとき特に活用することができるのは、たとえば街灯のような異なる物体は、たとえば車両ライトやＬＥＤ車両ライトなどとは異なる周波数の光放射を有しているということである。このように、本発明のこのような種類の実施形態により、第１の画像または画像断片におけるそれぞれの位置で認識もしくは推定された物体のタイプを、技術的に非常に簡単に推定することができる。

さらに、本発明の１つの実施形態に基づき、車両前方の車道照明を制御する方法が意図されていると好都合であり、この方法は次の各ステップを有している：
− 上に説明した方法の各ステップが実施され、
− 第１の物体認識アルゴリズムにより認識された少なくとも１つの物体に対する応答として、および／または第２の物体認識アルゴリズムにより認識された少なくとも１つの物体に対する応答として、車両のヘッドライトの光放射の変更が制御される。

本発明のこのような種類の実施形態は、上に説明した実施形態に基づく物体の認識が、車両のヘッドライトの光放射のコントロールまたは制御を、技術的に非常に簡単な仕方で容易にするという利点をもたらす。それによって特に、先行車両または対向車両の運転者の眩惑を容易に回避し、もしくは少なくとも低減することができる。物体の認識により、特に物体のタイプの認識により、自分の車両のヘッドライトによる光放射を相応に適合化することができるからである。

本発明の１つの実施形態では、画像断片においても、たとえば車道縁部にあるインフラストラクチャー設備のような建設に関わる措置を、たとえば街灯や視線誘導標などを、認識することができる。さらに本発明のこのような種類の実施形態では、制御のステップで、第２の物体認識アルゴリズムにより認識された物体に関わりなく、光放射の変更を行うことができる。

次に、添付の図面を参照しながら、一例として本発明を詳しく説明する。図面は次のものを示している：

本発明の一実施例が適用された車両のブロック図である。 車両周辺の光景、およびこれから車両カメラによって得られる画像、ならびに、本発明の一実施例に基づく画像中の画像断片の選択を示す図である。 物体としての一定の光を放射する光源の判定を図解するグラフである。 物体としてのパルス状の光を放射する光源の判定を図解するグラフである。 本発明の一実施例のフローチャートである。

本発明の好ましい実施例の以下の説明では、異なる図面に示されている類似の働きをする部材については、同一または類似の符号が使われており、これらの部材について繰り返し説明することはしない。

暗闇での車両の検出にあたっては、画像評価システムに対してさまざまな要求事項が課されるが、カメラの画像のただ１つの露光時間では、こうした要求事項を妥協のうえでしか満たすことができない。特に、距離が離れているために比較的暗い先行車両のテールライトや、さまざまな距離にある対向通行者も同様に認識しなければならない。その帰結として、一方では評価システムは暗い物体に対して非常に感度が高く、また、近い対向通行者の過剰照射に対してもロバスト性が高いことが望まれる。これら両方の極端な事例はマルチモード式の、ただし少なくとも２モード式のカメラ制御によって、特別に好ましく対処することができる。すなわち、比較的長い露光時間で記録され、画像評価を画像の特別な部分領域だけに追加的に制約することが選択される画像で、たとえば遠く離れた車両のテールライトを検出、分類することができる。それに対して、短い露光時間で記録された画像に基づき、対向通行者がある場合に近くの１組の車両のヘッドライトを高いロバスト性で解像することができ、これらの明るいヘッドライトの過剰照射によって、暗い物体および／または物体特有の構造そのものが認識できなくなるほどに、画像が明るくなることがない。そうしたケースは、近くの対向車両の非常に明るいヘッドライトによる眩惑によるカメラの「目くらまし」として解釈することができよう。

従来のシステムは、
ａ）単一の露光時間で作動するか、または
ｂ）複数の露光時間を有する画像の場合には、物体検出と物体分類のためにそのつど同一のルーチンで作動するかのいずれかである。

選択肢ａ）では、到達範囲と近距離での分解能に関して妥協を図ることが必要であり、それに対して選択肢ｂ）は、真に関連する物体の最善の検出と分類を保証するために、複雑な評価ストラテジーがもたらされる。

しかし一般に、自分の車両による光ないし光放射を制御するための物体認識に関わる要求事項は、とりわけ夜間や薄暮のときにはきわめて複雑であり、上記のような取り組みによっては、妥協を通じて実現することしかできない。少なくとも１つの短い露光での画像記録と長い露光での画像記録、およびこれらの評価を含むマルチモード式の、ただし少なくとも２モード式の露光制御により、それぞれの極端なケースを明らかに良好にカバーすることができる。それぞれの露光時間を有する画像の評価については、明瞭に異なる処理ステップが意図される。

図１は、本発明の一実施例を適用することができる車両１００のブロック図を示している。車両１００は、車両１００の前方の周辺区域１３０の視野領域１２０の画像を生起するカメラ１１０を含んでいる。このときカメラ１１０は複数のモードで画像を記録するために構成されており、異なるモードは、相応のモードで画像を記録するときに異なる露光時間を有している。カメラ１１０により生起される画像は評価ユニット１４０へと伝送され、以下で説明するように、ここで物体認識アルゴリズムを適用したうえで、物体に関する画像ないし画像の画像断片の評価が行われる。そして、たとえば先行車両や対向車両のヘッドライトのような、特定の物体区分の特定の物体がカメラ１１０の視野領域１２０で認識されると、相応の情報が照明制御ユニット１５０に送られて、照明制御ユニット１５０により制御される車両１００のヘッドライト１６０の光放射が、先行車両や対向車両を眩惑する光を車両１００の周辺１３０に放射しないことを確保する。

カメラで記録されるべき異なる画像についての露光時間は、一方では少なくとも４００ｍの距離にある遠くのテールライト、他方では少なくとも８００ｍの距離にあるヘッドライトを検出することができ、ならびに、近くの対向通行者が画像の過剰照射につながらないように、すなわち物体を特徴づけるすべてのピクセルの飽和につながらないように選択されるのが好ましく、そのことは、近距離領域にある両方のヘッドライトの解像ないし検出を難しくする。さらに露光制御部は、中距離領域（たとえば１００ｍから３００ｍ）にあるテールライトの認識が複数の露光時間によってカバーされ、そのようにして、可能性のある眩惑の観点からクリティカルであるこのような領域で、ロバスト性が高く迅速な分類が確保されるように設計されているのがよい。

それぞれの画像の効率的な処理のために、たとえば露光時間の長い画像については、さまざまな追加の情報に依存して、処理領域ないし関心領域（region of interest）を限定することができる。

図２は、上側の部分図で、図１のカメラ１１０によって車両１００の視野領域１２０で記録された光景２００を示している。この光景２００は、たとえば比較的短い第１の露光時間を有する第１のモードで検出されるものであり、左下に示す第１の画像２１０がこれから生起されて、評価ユニット１４０に伝送される。これに続くステップで、比較的長い露光時間を有する第２のモードで光景２００が記録されて、図２の右下に示す第２の画像２２０が生起される。さらに、第２の画像で画像断片２３０が抽出されて、これが処理のために評価ユニット１４０へ伝送される。第２の画像２２０そのものが図１の評価ユニット１４０に伝送され、評価ユニット１４０で初めて画像断片２３０が抽出されることも考えられる。

評価ユニット１４０では、第１の物体認識アルゴリズムを第１の画像に適用することによって、（全体の）第１の画像を、自分の車両１００すなわちカメラ１１０を備える車両１００に対して空間的に非常に近いところにある、たとえば対向車両の１組のヘッドライトのような明るい（近くの）物体２４０に関して認識することができる。第１の画像全体を評価することで、車両の非常に近くにある物体が見過ごされないことを確保することができ、そうしないと、光放射の制御が考慮されなかった場合に、当該物体または車両を運転する人の眩惑につながる可能性があり、そのために自分の車両の走行安全性が脅かされる恐れがある。

さらに、同じく評価ユニット１４０で、第２の物体認識アルゴリズムが第２の画像２２０の画像断片２３０に適用され、それにより、当該画像断片２３０でも物体２５０が認識される。このときさらに、たとえば画像断片に適用される第２の物体認識アルゴリズムの適用を、画像断片の範囲外にある第２の画像の領域では省略することができる。画像断片２３０で認識されるべきこれらの物体２５０は、たとえば車両１００の前方を走る車両のテールライトを表す、遠く離れた（すなわち暗く見える）物体２５０である。画像断片２３０は、図２の左下の図面に示す対向車両のフロントヘッドライトのような近くの明るい物体２４０が、画像断片の物体認識では考慮されないように選択されるのが好ましく、このような画像断片を評価することで、こうした明るい物体による、評価されるべき画像の過剰照明を回避することができる。このように、露光時間の長い第２の画像から得られる限定された領域を表す画像断片は、遠く離れた物体の認識を可能にし、そのような物体は近くの物体に比べて多くの場合に暗く見え、したがって露光時間の長い撮影によって、近い物体と遠い物体をどちらも評価するために単一の露光時間で記録された画像に比べて良好に認識可能である。

車両がカーブの多い道路を走るときには、画像断片が第２の画像の事前設定された領域からスタティックに取り出されるのではないのが好ましい。たとえば、特に左カーブへのコーナリング走行では、第２の画像から画像断片として取り出される領域も、第２の画像の左側縁部に向かって変位していると好都合である。このようにして、たとえば先行車両またはその他の物体を、車道の前方に位置する左カーブのところでも十分に認識できることを確保することができる。その場合には、これらが評価されるべき画像断片の中に位置しているからである。第２の画像における画像断片の位置のこのような変更を可能にするために、さまざまな情報を利用することができる。このような情報に含まれるのは、たとえば車両の速度、車両の切られたステアリング角度、事前に指定された道路形状、街灯や視線誘導標の設置状態の評価から（たとえば第１の画像から認識することができる強い光反射によって）想定される道路形状などである。さらに、ナビゲーションデータすなわちナビゲーションシステムオンデータ、画像の特定領域における異なる物体タイプの検出確率に関するモデル想定なども、第２の画像における画像断片の位置を変位または変更するための情報として利用することができる。

さらに異なる露光時間は、パルス状の光源（たとえば街灯ないしＬＥＤテールライト／フロントライト（５０Ｈｚ １６０Ｈｚ））の認識を補助することができる。このようなパルス状の光源の認識についての一実施例が、図３と図４に示されている。

図３は、２モード式に制御されるカメラによって、一定に発光する光源の測定された明度を認識するための２つのグラフを示している。図３の上の図面では、横軸には（連続する画像番号の形態の）時間が示されており、縦軸には、（一定の光放射を有する）光源の測定された（１つの値に正規化された）光強度３００が、カメラによる当該光源の光強度の測定３１０に対して示されている。２モード式に制御されるカメラにより、一定に発光する光源を走査することで、すなわち、異なる画像を順次記録することで、光源がパルス状の物体として画像に現れる図像がもたらされる。パルス化の特性は、さまざまな露光時間での物体の明度の比較によって、より良好に認識することができる。このとき、たとえば第１の画像における物体の明度または光強度が、画像断片における明度または光強度と比較される。このケースでは、第１の画像における物体は、第２の画像の画像断片における位置に対応する位置に位置しているのがよく、それにより、さまざまな露光時間での物体の明度の評価が可能となる。画像断片に位置するのではない物体の明度または光強度を評価することもでき、このケースでは、画像断片に代えて第２の画像が評価のために援用される。

一定の光を放射する光源では、図３の下側の図面に掲げるような明度推移がもたらされる。ここでは一定の発光をする光源は、露光時間の異なる画像でそれぞれ異なる明度強度を有している。たとえばこの光源は、露光時間の短い画像では、露光時間の長い画像よりも低い明度値３２０を有しており、後者の画像では、一定の発光をする光源についてこれより高い明度値３３０が生じている。このように、一定の発光をする光源の測定された光強度または明度は、２モード式に制御されるカメラにより、評価される画像の異なる露光時間に応じて変動する。すなわち一定に発光する光源は、そのつどの照明時間についてそれぞれ別様に結像される。したがって明度または光強度の変化は、異なる照明時間で記録された画像の評価にあたって、自己発光する物体の分類のための重要な情報として利用することができる。たとえばこのようにして、エネルギー供給網の周波数に応じて５０から６０Ｈｚの光放射周波数をもつ遠く離れた街灯を認識することができ、このような街灯のときには、自分の車両のヘッドライトを減光しなくてよい。また、たとえば反射性の物体を認識することもでき、自分の車両のヘッドライトによる光放射の周波数を変調させることで、物体に当たって相応に反射される変調された光を認識することができる。

一般に言えるのは、単一モード式に制御されるカメラによってパルス状の光源がパルス状として認知されるのは、走査周波数（たとえば画像３０枚／秒＝３０Ｈｚ）が、光源のパルス周波数の整数倍でないときに限られる。３０Ｈｚのカメラを用いると、６０Ｈｚの光源は一定に発光しているように見える（暗闇について典型的な画像１枚あたりの集積時間のとき）。２モード式に制御されるカメラでは、以下に記述する方策によって詳しく説明するように、このような制約を回避することができる。

図４には、パルス状の光源をどのようにして認識できるかが示されている。図４の上側の図面には、２モード式に制御されるカメラによって６０Ｈｚのパルス状光源を走査した明度値が掲げられている。同じく横軸には（連続する画像番号の形態の）時間が示されており、縦軸には、測定された（１つの値に正規化された）光源（パルス状の光放射）の光強度３００が、カメラによる当該光源の光強度の測定３１０に対して示されている。図４の上側の図面から明らかなように、パルス状の光源による光放射の時点ないし時間帯は、カメラによる相応に評価されるべき画像の走査ないし露光の時点または時間帯と重なり合っている。図４の下側のグラフから明らかなように、重なり合う露光時間帯とパルス状の光源の光放射時間帯のこのような種類の走査は、許容誤差範囲内で等しい、両方の画像における光源の明度値４００という結果をもたらす。このようにパルス状の光源は、異なる露光時間について、明度値が非常に似た異なる画像で結像される。すなわち露光時間の異なる画像から得られる光源の光強度の測定結果は、それぞれの評価された画像の露光時間に応じて変化するのではなく、それにより、このような光源のパルス化を認識することができる。

さらに、比較的長い露光時間は、画像中でのパルス状の光源の特性のいっそう安定的な表出を惹起し、それにより、光物体のいっそう妥当な色再構成と形状分析が可能である。それに対して露光の短い画像からの情報は、いっそうコントラストに富んでいる。運動の不鮮明さが低くなり、このことは、運動とその方向を見積もるときに特別に好ましいからである。

図５は、車両の周辺区域にある物体を認識する方法５００としての本発明の一実施例のフローチャートを示している。方法５００は、車両の周辺区域を表す、第１の露光時間で記録された、車両カメラの第１の画像を読み込むステップ５１０を含んでおり、さらに読み込みのステップでは、第１の画像の後に第２の露光時間で記録された車両カメラの第２の画像の読み込みが行われ、第２の露光時間は第１の露光時間とは相違している。さらに方法５００は、車両カメラの第２の画像から画像断片を抽出するステップ５２０を含んでおり、この画像断片は第２の画像よりも狭い車両の周辺区域の領域を表しており、抽出にあたって第２の画像における画像断片の位置は、車両の走行に関する情報および／または車両前方のインフラストラクチャー措置の位置に関する情報を表す、および／または先行するステップで画像断片に認識された運動する物体に関わりのない、少なくとも１つのパラメータに基づいて決定される。最後に方法５００は、第１の画像に第１の物体認識アルゴリズムを適用するステップ５３０を含んでおり、それにより少なくとも１つの物体を第１の画像で認識し、画像断片に第２の物体認識アルゴリズムを適用し、それにより少なくとも１つの別の物体を画像断片で認識する。

図面に示す上述した各実施例は、一例として選択されたものにすぎない。異なる実施例を全面的に、または個々の構成要件に関して、相互に組み合わせることができる。１つの実施例を、別の実施例の構成要件によって補完することもできる。

さらに、本発明による方法ステップは反復式に実施することができ、ならびに、上述した順序とは異なる順序で実施することができる。

１つの実施例が、第１の構成要件と第２の構成要件との間の「および／または」の接続を含んでいるとき、このことは当該実施例が、１つの実施形態では、第１の構成要件と第２の構成要件をいずれも有しており、別の実施形態では、第１の構成要件または第２の構成要件のいずれか一方だけを有しているという意味に読まれるべきである。

１００ 車両
１１０ 車両カメラ
１２０ 視野領域
１３０ 周辺区域
１４０ 評価ユニット
１５０ 照明制御ユニット
１６０ ヘッドライト
２００ 光景
２１０ 第１の画像
２２０ 第２の画像
２３０ 画像断片
２４０ 物体
２５０ 物体
３００ 光強度
３１０ 光強度の測定
３２０ 明度
３３０ 明度
４００ 明度
５００ 認識する方法
５１０ 読み込みのステップ
５２０ 抽出のステップ
５３０ 適用のステップ

Claims (12)

1. 車両（１００）の周辺区域（１３０）にある物体（２４０，２５０）を認識する方法（５００）において、前記方法（５００）は次の各ステップを有しており、すなわち、
   車両（１００）の周辺区域（１３０）を表し、第１の露光時間で記録された、車両カメラ（１１０）の第１の画像（２１０）を読み込み（５１０）、第１の画像（２１０）の後で第２の露光時間で記録された、車両カメラ（１１０）の第２の画像（２２０）を読み込み、このとき第２の露光時間は第１の露光時間と相違しており、
   車両カメラ（１１０）の第２の画像（２２０）から画像断片（２３０）を抽出し（５２０）、画像断片（２３０）は第１の画像（２１０）よりも狭い車両（１００）の周辺区域（１３０）の領域を表しており、抽出（５２０）のときには、車両の走行に関する情報および／または車両前方のインフラストラクチャー措置の位置を表す、および／または先行ステップのときに画像断片（２３０）で認識された運動する物体とは関わりのない、少なくとも１つのパラメータに基づいて第２の画像（２２０）における画像断片（２３０）の位置が決定され、
   第１の物体認識アルゴリズムを第１の画像（２１０）に適用し（５３０）、それにより第１の画像（２１０）で少なくとも１つの物体（２４０）を認識し、第２の物体認識アルゴリズムを画像断片（２３０）に適用し、それにより画像断片（２３０）で少なくとも１つの別の物体（２５０）を認識する方法。
2. 抽出のステップ（５２０）で、位置情報を利用したうえで画像断片（２３０）が抽出され、位置情報は、車両（１００）の走行を表す情報に対する応答として変更可能であり、もしくは変更されることを特徴とする、請求項１に記載の方法（５００）。
3. 読み込みのステップ（５１０）で、第２の画像（２２０）として読み込まれる画像よりも短い露光時間を有する画像が第１の画像（２１０）として読み込まれることを特徴とする、先行請求項のうちいずれか１項に記載の方法（５００）。
4. 適用のステップ（５３０）で、第１の物体認識アルゴリズムが第１の画像（２１０）の全体に適用されることを特徴とする、先行請求項のうちいずれか１項に記載の方法（５００）。
5. 抽出のステップ（５２０）で、車両（１００）前方の事前設定された最低距離に配置された物体（２５０）が車両カメラ（１１０）の画像で結像されている、第２の画像（２２０）の画像断片（２３０）が抽出されることを特徴とする、先行請求項のうちいずれか１項に記載の方法（５００）。
6. 適用のステップ（５３０）で、第１の物体認識アルゴリズムが第１の物体タイプの物体（２４０）の認識のために利用され、第２の物体認識アルゴリズムが、第１の物体タイプとは相違する第２の物体タイプの物体（２５０）の認識のために利用されることを特徴とする、先行請求項のうちいずれか１項に記載の方法（５００）。
7. 適用のステップ（５３０）で、第１の物体認識アルゴリズムは、第１の画像（２１０）における位置での明度（３２０，３３０；４００）と、第２の画像（２２０）における、特に画像断片（２３０）における、対応する位置での明度（３２０，３３０；４００）との比較を利用したうえで、第１の画像（２１０）で物体（２４０）を認識するために構成されており、および／または適用のステップ（５３０）で、第２の物体認識アルゴリズムは、第２の画像（２２０）における、特に画像断片（２３０）における位置での明度（３２０，３３０；４００）と、第１の画像（２１０）における対応する位置での明度（３２，３３０；４００）との比較を利用したうえで、第２の画像（２２０）、特に画像断片（２３０）で物体（２５０）を認識するために構成されていることを特徴とする、先行請求項のうちいずれか１項に記載の方法（５００）。
8. 適用のステップ（５３０）で、第１の画像（２１０）における位置での明度（４００）が、第２の画像（２２０）における、特に画像断片における（２３０）、対応する位置での明度（４００）に許容誤差範囲内で等しいときには、第１の物体認識アルゴリズムによって物体（２４０）がパルス状の光源として認識され、および／または第１の画像（２１０）における位置での明度（３２０，３３０）が、事前設定された閾値を超えて、第２の画像（２２０）における、特に画像断片（２３０）における、対応する位置での明度（３２０，３３０）と相違しているときには、第１の物体認識アルゴリズムによって物体（２４０）が一定の光を放射する光源として認識され、および／または第２の画像（２２０）における、特に画像断片（２３０）における位置での明度（４００）が、第１の画像（２１０）における対応する位置での明度（４００）に許容誤差範囲内で等しいときには、第２の物体認識アルゴリズムによって物体（２５０）がパルス状の光源として認識され、および／または第２の画像（２２０）における、特に画像断片（２３０）における位置での明度（３２０，３３０）が、事前設定された閾値を超えて、第１の画像（２１０）における対応する位置での明度（３２０，３３０）と相違しているときには、第２の物体認識アルゴリズムによって物体（２５０）が一定の光を放射する光源として認識されることを特徴とする、請求項７に記載の方法（５００）。
9. 車両前方の車道照明を制御する方法において、次の各ステップを有しており、すなわち、
   先行請求項のうちいずれか１項に記載の方法（５００）の各ステップを実施し、
   第１の物体認識アルゴリズムにより認識された少なくとも１つの物体（２４０）に対する応答として、および／または第２の物体認識アルゴリズムにより認識された少なくとも１つの物体（２５０）に対する応答として、車両（１００のヘッドライト（１６０）の光放射の変更を制御する方法。
10. さらに制御のステップで、第２または第２の物体認識アルゴリズムにより認識された車道縁部のインフラストラクチャー設備に関わりなく、光放射の変更が行われることを特徴とする、請求項９に記載の方法。
11. 請求項１から１０のいずれか１項に記載の方法（５００）の各ステップを実施するために構成された各ユニットを有している装置（１４０）。
12. プログラムが前記装置（１４０）で実行されたときに、請求項１から１０のいずれか１項に記載の方法（５００）を実施するためのプログラムコードを有しているコンピュータプログラム製品。

Images