JP2020077384A - 車両のための周囲検出システム - Google Patents

Abstract

【課題】本物の物体と、反射に起因するアーティファクトとの間の改善された区別を可能にする周囲検出システムを提供する。【解決手段】電磁スペクトルの異なる領域で電磁放射について感度がある複数のセンサ１２、１４、１６、１８、２０と、センサから供給されるデータを用いて周囲にある物体を位置特定およびまたは分類するための付属の評価モジュール２２とを備える車両１０のための周囲検出システムであって、物体の３Ｄ位置データに加えて物体の表面のスペクトル反射特性に関するデータも含む周囲モデルが保存されるモデルモジュール２６、２８を有し、モデルモジュール２６、２８は、これらのデータを評価モジュール２２に提供する。【選択図】図１

Description

本発明は、電磁スペクトルの異なる領域で電磁放射について感度がある複数のセンサと、センサから供給されるデータを用いて周囲にある物体を位置特定および／または分類するための付属の評価モジュールとを備える、車両のための周囲検出システムに関する。

車両のための運転者アシストシステムでは、適切なセンサ装置を利用して車両の周囲を可能な限り正確に検出することが重要である。車両運転の自動化の進展にともない、周囲検出システムの精度と信頼性にはますます厳しい要求が課されるようになっている。

電磁スペクトルの異なる領域で作動する異なる型式のセンサ、たとえば異なるレーダ周波数を有するロングレンジやショートレンジのレーダセンサ、ライダーセンサ、光学式のカメラなどを利用することが知られている。種々のセンサから得られたデータが相互に融合されれば、検出される周囲のイメージを完全なものにすることができる。

しかし１つの問題点は、物体により放出または反射される放射が別の物体の表面で反射されることがあり、その場合に複数の経路上でセンサまで到達し、そのためセンサで、実際には存在しない見かけの物体が誤認されることにある。その例は、たとえば車道表面やガードレールに当たったレーダ放射の反射、ショーウィンドウガラスに当たった可視光の反射などである。このようにして誤認された見かけの物体は本物の物体と区別するのがしばしば難しく、その結果、妥当でない周囲のイメージが取得されることになる。

本発明の課題は、本物の物体と、反射に起因するアーティファクトとの間の改善された区別を可能にする周囲検出システムを提供することにある。

この課題は本発明により、物体の３Ｄ位置データに加えて物体の表面のスペクトル反射特性に関するデータも含む周囲モデルが保存されるモデルモジュールによって解決され、モデルモジュールはこれらのデータを評価モジュールへ提供することができる。

そして、モデルモジュールに保存されているモデルを用いて、該当するセンサが感度を有している波長領域のビーム伝搬をシミュレーションし、そのようにして、多重反射により生成される見かけの物体の発生を予測することが可能である。そしてこのような情報を用いて、センサデータの評価の際に見かけの物体を容易に発見することができ、それにより、誤解釈の確率が明らかに低減される。

本発明の好ましい実施形態と発展例は従属請求項に記載されている。

周囲モデルには、位置と、程度の差こそあれ高い空間解像度での周囲の物体のジオメトリーとを特徴づけるデータを保存することができる。そしてこれらのデータを用いて、潜在的な反射が起こることがあり得る物体表面の場所、ジオメトリー、および向きも決定することができる。これに加えて、これらの表面の各々について、センサで適用される波長のうちの１つまたは複数での表面の反射特性を特徴づける少なくとも１つのパラメータが保存される。たとえば各々の表面について、および関心の対象となる各々の周波数について反射係数および／または光沢パラメータを保存することができ、このとき光沢パラメータは、放射の指向性の反射と拡散性の散乱との間の比率である。

１つの実施形態では、モデルモジュールは車両に実装されていてよい。そして、モデルの構造に関するデータは周囲検出のために利用される各センサから供給され、場合により物体の典型的な性質に関する「予備知識」によって補足される。たとえばカメラシステムによって防音壁、ガードレール、または建物玄関が認識されたとき、カメラデータを用いて反射性の面の位置と向きを認識して、モデルに登録することができる。それと同時に、可視光についての反射特性と、関心の対象となる周波数でのレーダ放射についての反射特性とを見積り、同じくモデルに登録することができ、それにより、反射に起因するアーティファクトに関する予測を行うことができる。

これとは逆に、レーダセンサまたはライダーセンサから供給されるデータを物体の距離の正確な決定のために利用することができ、それは、ステレオカメラも含めたカメラシステムでは所要の精度で取得することが状況によって難しい距離情報を取得するためである。そして周囲モデルにアクセスすることで、カメラ画像の解釈を容易にする距離データがカメラシステムの評価モジュールに提供される。

周囲モデルは、周囲検出システムを装備する車両のそのつどの場所に合わせて、ならびに可動の物体（たとえば他の車両）の場所に合わせて、ダイナミックに適合化することができる。

しかしながら別の実施形態では、モデルモジュールは車両の外部で定置に、車両の周囲検出システムと無線通信をするサーバに実装されていてもよい。このような定置のモデルモジュールは、特に、交通網の所与の区間区域についての周囲モデルを保存するのに適しており、そのデータを複数の車両の周囲検出システムに提供することができる。その利点は、このケースでは表面の反射特性と物体の場所およびジオメトリーとがいずれも測定され、もしくは他のソースから取り寄せられて、モデルへ手動式に入力することができ、それにより、モデルのいっそう高い精度が実現されることにある。ただし、これらのデータの更新はせいぜいのところ時に応じてしか行えないので、このケースではモデルはどちらかというと静的なモデルである。

これら両方の実施形態を相互に組み合わせるのが特別に好ましく、それにより、評価モジュールが、一方ではローカルなモデルモジュールの動的なモデルにアクセスし、他方では、定置のモジュールの静的ではあるがいっそう正確なモデルにアクセスする。

次に、図面を参照しながら実施例について詳しく説明する。

本発明による周囲検出システムを示すブロック図である。 周囲モデルのデータ構造の例である。 反射アーティファクトを予測するために図１の周囲検出システムで進行するルーチンについてのフローチャートである。 本発明の用途を例示するための交通状況の略図である。 本発明の用途を例示するための交通状況の略図である。

図１には車両１０の輪郭が模式的に示されており、その中に周囲検出のためのさまざまなセンサが設置されている。これらのセンサは、図示した例では、たとえば７６ＧＨｚの周波数で作動し、特に先行する交通および後続する交通を検出する役目を果たすロングレンジのレーダセンサ１２，１４と、たとえば２４ＧＨｚの周波数で作動し、車両の近くの周囲を監視するために車両の４つのコーナーに設置されたショートレンジのレーダセンサ１６と、車両の前面に設置された２つの光学カメラ１８を有するステレオカメラシステムと、スペクトルの可視領域または赤外領域の特定の周波数を有するライダービームによって周囲を全方向監視するためのライダーセンサ２０である。これらのセンサの各々に、センサから供給されるデータを予備評価するための評価モジュール２２が付属している。そして、このような予備評価の結果が中央の評価装置２４に伝送され、車両周囲のできる限り完全なイメージを取得するためにそこでさらに処理されて相互に融合され、その後、このイメージがさまざまな車両アシスト機能または自律的な車両制御機能のための基礎をなす。

中央の評価装置２４には、車両１０の現在の周囲で車両独自のセンサにより位置特定された物体の位置とジオメトリーを表す周囲モデルが保存されたローカルなモデルモジュール２６が実装されている。このモデルは、評価モジュール２２から供給されるデータを用いて継続的に更新される。

図示した例では、中央の評価装置２４は、たとえば車両外部のサーバにインプリメントされた、車両１０により通過される区間区域にある交通インフラストラクチャーや静的な物体の静的なモデルが保存されている定置のモデルモジュール２８と無線通信する。

図２は、モデルモジュール２６または２８に保存される周囲モデル３０のデータ構造の例を示している。このモデルは、周囲にある物体３２のリストを含んでいる。

このような物体の例は、ローカルなモデルモジュール２６の場合にはたとえば「直接的に先行している車両」、「隣車線の車両」、「車道の縁部にいる歩行者」、「ガードレール」、「車道表面」などである。このような物体の各々が、センサ１２から２０のうちの少なくとも１つによって位置特定され、場合により複数のセンサのデータの照合によって分類される。

定置のモデルモジュール２８の場合、物体３２はたとえば車道の右横と左横にある建物であり、あるいはガードレール、車道表面などであり得る。

これらの物体３２の各々について、該当する物体の位置および場合によりジオメトリーを特徴づける３Ｄ位置データ３４が周囲モデルに保存されている。ローカルなモデルモジュール２６では、位置データは先行車両の場合、たとえばレーダセンサで測定された距離や方向の角度（方位角および場合により仰角）であり得る。ガードレールの場合、たとえばガードレールの主面の姿勢と向きによって位置データ３４を形成することができ、車道表面の場合、位置データは距離の関数としての車道傾斜を含むことができる。ローカルなモデルモジュール２６では、これらの位置データをたとえばカメラデータを用いて計算することができ、それに対して定置のモデルモジュール２８では、これらのデータを直接的に入力することができる。定置のモデルモジュール２８に保存されている近似的に直方体形状を有する建物の場合、位置データ３４は、グローバルな静止座標系における建物の角の座標であってよい。

３Ｄ位置データ３４を用いて、電磁放射が波長に応じて、程度の差こそあれ、よく反射され得る表面を各々の物体３２について識別することができる。このとき関心の対象となるのは、特に、車両１０のセンサのうちの１つへ放射を反射することができる表面である。このような表面の各々について、たとえば既知の材料特性を基礎として、または場合により以前の測定や物体分類を基礎として、該当する表面のスペクトル反射特性を表す１セットのデータ３６が周囲モデル３０に保存される。図示した例では、３つの異なる周波数ｆ１（７６ＧＨｚ）、ｆ２（２４ＧＨｚ）、およびｆ３（ライダーセンサ２０で適用される可視光の周波数）について、反射係数ρと光沢パラメータγが保存される。そしてこれらのデータを用いて、着目する各々の表面について、該当する波長の電磁放射が表面でどれだけ反射および／または散乱されるかを計算することができる。そしてこの計算結果を用いて、反射または散乱された放射が車両独自のセンサのうちの１つに到達して、そこで見かけの物体を誤認させるかどうかを判断することができる。見かけの物体を表す信号の強度も、ある程度の限度内で予測することができる。このことは、評価モジュール２２または中央の評価装置２４で、真の物体と反射に依拠する見かけの物体との間で区別をすることを容易にする。

図３は、一例として中央の評価装置２４で見かけの物体またはゴースト画像の発生が予測される方法の主要なステップを示している。ステップＳ１で、評価モジュールに供給される１つまたは複数の信号を用いて個々の物体が特定される。そしてこの物体がそのステップで周囲モデル３０の中で探索され、３Ｄ位置データ３４ならびに物体の反射特性に関するデータ３６がステップ２で読み出され、このとき位置データが場合により車両固有の座標系に変換される。そしてステップ３で、位置特定された物体から発する、ステップＳ２で特性が読み出された表面で反射されるビームについての反射経路が計算される。そしてステップＳ４で、車両独自のセンサ１２−２０のうちの１つへと通じる反射経路が選択され、それぞれの周波数に当てはまる反射特性を用いて、該当するセンサでゴースト画像を生成する信号が予測される。

図４には、一方の側に防音壁４０が設置された車道３８を車両１０が走行している状況が例として示されている。車両１０のレーダセンサ１２がレーダビーム４２を放射し、これが先行車両（物体）４４の後部に当たって反射され、反射されたビーム４６としてそのままレーダセンサ１２に戻るように進行する。しかし、車両４４の後部は完全に平坦なわけではないので、レーダ放射の一部は防音壁４０の方向にも反射され、防音壁であらためて反射され、その結果、反射されたビーム４８が迂回してレーダセンサ１２へと到達し、そこで、車両４４と同じ相対速度を有してはいるが若干大きい距離を有し、異なる方向の角度に見える見かけの物体５０を誤認させる。

図３に示す手順を用いて、このようなプロセスをシミュレーションすることができ、それにより見かけの物体５０を予測して、本物でない物体として正しく解釈することができる。

図示した例では、防音壁４０は１つの区域（図４の左側）に音を吸収する粗面の構造５２を有しており、それに対して、防音壁の後続する区域は平滑な表面５４を有している。粗面の構造５２ではレーダ放射はせいぜいのところ拡散散乱されるにすぎず、したがって、せいぜいのところ背景騒音から際立つことがほとんどない弱い反射信号しか生成されない。それに対して、平滑な表面５４を有する防音壁４０の区域に車両が達すると明瞭な反射信号が突然発生し、それが車両１０の周囲検出システムによって迅速かつ正確に解釈されなければならない。車両１０のカメラ１８によって、防音壁４０の構造変化を認識することができ、それにより、反射信号の突然の発生を予測することができる。同様に、定置のモデルモジュール２８に保存されているモデルを基礎とする予測も可能である。

これに準ずる方式により、たとえばショーウィンドウ前面の可視光の反射も予測することができる。

さらに別の例は、車道表面に当たったレーダビームの反射の予測である。このような反射は、保存されている車道傾斜を用いて、および／またはカメラ１８によって見積もられた車道傾斜を用いて計算することができる。さらに、たとえばカメラ画像を用いて濡れた車道面と乾いた車道との間で区別を行い、周囲モデル３０でレーダ放射についての反射特性を相応に適合化することが可能である。

図５は、車両１０のカメラ１８とライダーセンサ２０とによって、先行するトラック５８の後部５６が位置特定される例を示している。後部５６は、たとえば平坦でほとんど無構造の表面を有する、上方旋回した積載プラットフォームによって形成される。このことはステレオカメラシステムによる距離測定を難しくする。なぜなら距離決定のために、カメラの視野で特定された構造の視差によるずれを決定しなくてはならないことになるからである。

これらの車両はちょうどカーブを通過しているので、後部５６は車両１０の前進方向とともに直角を形成しない。後部５６は可視光のもとで高い光沢値を有しているので、ライダーセンサ２０が信号を供給するのは、そのビームが後部５６に直角に当たったときに限られる。したがってライダーセンサ２０によっては、その後部が実際にははるかに大きく広がる物体であることを認識できない。そこでカメラ１８のデータを用いて、後部５６がほぼ平坦で無構造であり、高い光沢値を有しているという情報を周囲モデル３０に補足することができる。逆にライダーセンサのデータを用いて、後部５６と車両１０の間の距離についていっそう正確な値を記述することができる。そしてこれらの情報を総合することで、カメラ１８に写る物体がライダーセンサ２０により位置特定されたのと同一の後部５６であることを一義的に判断することができる。一方では、後部の高い光沢値に基づき、それが実際にははるかに大きく広がっているにもかかわらず、ライダーセンサでは点状の物体としてしか位置特定されないことが予想される。逆に、ライダーセンサから供給される距離情報は、その視差が測定されるべき距離に正確に適合する値を有する、カメラ画像では困難にしか認識可能でない構造を的確に探索することを可能にし、それにより、カメラシステムによる距離測定を検証することもできる。

トラック５８が停止し、積載プラットフォームがちょうど下方旋回している状況では、後部５６の増していく傾斜がライダーセンサ２０の信号の突然の消失をもたらす。このことは、積載プラットフォームの輪郭形状の変化をカメラ画像で探索し、そのようにして、積載プラットフォームがちょうど下方旋回しており、それに伴って衝突の危険が増す可能性があることを判断するための契機となる。

１０ 車両
１２−２０ センサ
２２ 評価モジュール
２４ 評価装置
２６，２８ モデルモジュール
３０ 周囲モデル
３２，４４，５８ 物体
３４ ３Ｄ位置データ
３６ データ

Claims (6)

1. 電磁スペクトルの異なる領域で電磁放射について感度がある複数のセンサ（１２−２０）と、前記センサから供給されるデータを用いて周囲にある物体（３２，４４，５８）を位置特定および／または分類するための付属の評価モジュール（２２）とを備える、車両（１０）のための周囲検出システムにおいて、物体（３２，４４，５８）の３Ｄ位置データ（３４）に加えて物体の表面のスペクトル反射特性に関するデータ（３６）も含む周囲モデル（３０）が保存されるモデルモジュール（２６，２８）を有し、前記モデルモジュールが、これらのデータを前記評価モジュール（２２）に提供することができることを特徴とする周囲検出システム。
2. 前記モデルモジュール（２６）は前記車両（１０）に局所的に実装される、請求項１に記載の周囲検出システム。
3. 前記モデルモジュール（２８）は前記車両（１０）の評価装置（２４）と無線通信をする定置のサーバに実装される、請求項１に記載の周囲検出システム。
4. 前記車両に実装される局所的なモデルモジュール（２６）と前記車両の外部に実装される定置のモデルモジュール（２８）とを有する、請求項１に記載の周囲検出システム。
5. 前記評価モジュール（２２）により生起されるデータを用いて前記周囲モデル（３０）を構成するために構成された評価装置（２４）を有する、請求項１から４のいずれか１項に記載の周囲検出システム。
6. 位置特定された物体から発せられて他の物体の表面での反射により前記周囲検出システムの前記センサ（１２−２０）のうちの１つに到達する電磁放射についての反射経路を前記周囲モデル（３０）に保存されているデータを用いて計算するために構成された評価装置（２４）を有し、さらに前記評価装置（２４）は、前記評価モジュール（２２）で当該物体の信号として解釈可能である信号を計算された反射経路を用いて予測し、そのような信号に対応する物体を見かけの物体として特定するために構成される、請求項１から５のいずれか１項に記載の周囲検出システム。

Images