JP2010165352A - 多重３次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両 - Google Patents

Abstract

【課題】車両の環境（「シーン」）を表現する信号の中で動的物体を検出するための効果的なアプローチを提供する。
【解決手段】車両の内部センサ、および少なくとも１台が３次元センサである外部センサからの信号を供給するステップと、供給された外部センサ信号に基づいて３次元世界座標の中でシーンモデルを生成するステップと、測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップと、３次元世界座標の中で表現された、シーン表現の中の動的物体の位置および動的物体の運動パラメータをそれぞれ検出するために、予測されたシーンモデルを外部センサ信号に基づく３次元世界座標の中のシーンモデルと比較するステップと、検出された動的物体および動的物体の運動パラメータを記憶するステップと、を含む。
【選択図】図１

Description

本発明は、３次元情報を含むセンサ信号を用いて動的（すなわち、運動）物体を検出する技術に関係し、例えば、ドライバ支援システムで利用できる。

ドライバ支援システムは、車両（自動車、モーターバイク、航空機、ボートなど）、または、交通関係者の快適性および安全性を高めることを目的とする知的車両テクノロジーの制御システムである。このようなシステムの潜在的な用途は、車線逸脱警報と、車線維持と、衝突警報または回避と、適応走行制御と、混雑した交通状況における低速自動化とを含む。

非特許文献１２は、このようなシステムの典型的な用途、すなわち、重要な局面において、組織内のインスピレーションと人間の脳の特徴とを探求する、複雑な高性能ドライバ支援システム（ＡＤＡＳ）について説明する。このようなドライバ支援システムの構造は、このようなシステムが現実世界の屋外シナリオにおいて直面させられる典型的な難問を強調して、詳細に記載されている。システムのリアルタイム能力は、システムを試作車両に統合することによって明らかにされる。リアルタイム能力は、システムが運搬車両の自律的な制動を与えるかなり典型的な交通シナリオに適用される。記載されているシステムは、このようなシステムが直面させられる典型的な問題を明らかにする範囲で本発明に関係する。さらに、ドライバ支援における技術的な最先端に関するかなり包括的な背景が与えられる。

したがって、本発明の状況におけるドライバ支援システムは、ドライバによって誘発されるか、または、実行される動作を「支援」することが可能であるが、車両のための制御動作を自律的に開始および実行することもまた可能である。後者の場合に、ドライバ支援システムは制御信号を車両の１台以上のアクチュエータへ出力する。車両は、その意味で、（複数の）支援システムによって与えられるフィードバックを考慮する人間であるドライバによって運転される。

ドライバ支援システムには、車両の環境、車両の状態、およびドライバに関する情報を提供できる。この情報は、例えば、車両の環境を視覚的に感知するセンサによって供給される。

本明細書の中で説明の目的のため使用される本発明の用途は自動車分野である。しかし、本発明はこの用途分野に限定されることがなく、離陸または着陸フェーズにある飛行機、または、移動ロボットのような他の分野にも適用可能である。さらにこれらの分野において、動的物体の検出は安全運転のため極めて重要である。

ドライバ支援システムは、既にドライバのための非常に有用な支援であり、次の数年にさらに一層有用な支援になる。ドライバ支援システムは、人間と共に、かつ、人間の近くで動作し、このことは、ドライバ支援システムが決定を行い、自律的に行為（例えば、車線上の障害物の検出後の自律的制動）を生成する能力があるとき、高い安全性要件をもたらす。車両領域は、動的物体（例えば、自動車、自転車）と、１つ１つが静的シーン要素である静的物体（例えば、駐車中の自動車、道路、建物）とに細分割可能である。

すべての静的シーン要素に対し、システムは、測定の誤り（すなわち、センサのばらつき）に対処する必要があり、測定の誤りの補正のためにある程度の数の効果的な周知のアプローチ（例えば、モデルベース車線マーク検出システム（非特許文献２）のように、ノイズの多い入力データに依存するアプローチをよりロバストにするカルマンフィルタ（非特許文献１））が存在する。

動的シーン要素に関して、センサのばらつきの対処に加えて、物体によって誘発される運動が考慮されなければならない。以下、このような動的物体の運動は、ＡＤＡＳ（高性能ドライバ支援システム、この用語、およびドライバを支援する典型的なＡＤＡＳに関する包括的な背景情報のため要約された上記の非特許文献１２を参照のこと）、および感覚装置を積載する自動車の「車両自己運動」に対して「物体運動」と呼ばれる。前記動的物体は、動的物体の予期しない運動が人に被害を与えるかもしれない危険な状況を招く可能性があるので、ドライバ支援システムに対し非常に関連性がある。したがって、動的であるシーン要素に関する情報をロバストに集めるアプローチはドライバ支援システムに対し非常に関連性がある。

シーンがすべての動的物体に対し静的シーン要素および動的シーン要素に細分割されると、物体運動は、ドライバ支援システムの行為生成およびプランニングに物体運動を組み込むためにモデル化（例えば、動的物体の軌道を推定し、動的物体の軌道を衝突緩和モジュールへ組み込みための専用運動モデルの使用）が可能である。

監視分野における視覚ベースのアプローチは動的物体を検出するため異なる画像を使用する。この場合、時点ｔでの画像は、時点ｔ−１での画像が差し引かれる。しかし、カメラの自己運動のため、差分画像は、図４に示されているように、動的物体を確実に検出できない。車両自己運動は、殆どすべての画像ピクセル位置の変化を引き起こし、車両自己運動と物体運動との間の確実な分離を実行不可能にする。

別のアプローチ（非特許文献６）は、カルマンフィルタに基づいてオプティカル・フローをステレオ・カメラ・システムの視差マップと組み合わせ、画像の中の単一点の３次元位置および３次元速度を与える。これらの単一点は、複数のフレームに亘ってカメラ車両の自己運動を計算するために使用される。しかし、他の物体の運動は、予測２次元ワープピクセル画像と現在画像との間のオプティカル・フロー計算に基づいて計算される。

非特許文献１３では、屋内環境において移動する人を検出するシステムが説明されている。このシステムは監視タスクを遂行する移動ロボットによって搬送される。このシステムは、３６０度監視を可能にする３６台のステレオカメラのカメラセットアップに基づいている。

動的物体の検出のための典型的なシステムは、予測画像（ロボットの自己運動を相殺する前の画像のワーピング）と現在の撮影画像との間で、オプティカル・フロー（像平面上の運動の大きさおよび方向を導出する２つの連続画像のピクセルに関する相関）を計算する。このオプティカル・フローは、動的（すなわち、自己推進）物体を含む画像領域に対する零とは異なる。

この典型的なシステムに反して、非特許文献１３に記載されたシステムは、シーンの奥行きマップの計算のためのステレオデータに依存する。前のフレームの奥行きマップおよび推測航法を使用して、自己運動が補償され、予測奥行きマップを導く。予測奥行きマップと測定奥行きマップとの間の差を計算すると、動的物体を含む領域に予期しないピークが現れる（画像座標における）差分奥行きマップが得られる。しかし、結果として得られた奥行きマップがどのように後処理されるかに関する疑問は、移動する各物体が２つの領域（新しい位置と前の位置）の奥行きを変化させるので、答えられないままである。比較的静的な屋内シーンでは、簡単な経験則が現在の物体位置を見つける課題を解決するため適用できる場合がある。いまだに、この点は確定していないままである。

非特許文献１３のシステムは、動的物体の検出のためのステレオ情報の重要な役割が認識されている範囲で本発明に関係する。しかし、このアプローチは、典型的なオプティカル・フロー・ベースの画像ワーピングアプローチのように、奥行きマップに、したがって、画像座標において効果を奏する。古典的なアプローチに反して、すべての移動する物体が差分奥行きマップに二重に影響を与えるので（前の物体位置および新しい物体位置のピーク、すなわち、どちらの位置がどちらであるかを導出するための情報が差分奥行きマップに存在しない）、対応する課題が生じる。さらに、用途の分野は、人の監視という主要な用途をもつ移動ロボットプラットフォームに関して屋内である。このような特定のタスク、およびかなり構造化された環境の場合、検出タスクはかなり軽減され、検出システムが環境に合わせられることを可能にする（人の高さにおける物体の探索という典型的な物体サイズに関連した制約が利用され、カメラシステムは接近した物体だけを検出するように設計される）。

移動ロボットに搭載された、動的物体の検出のための多少関連したシステムは、非特許文献１４に提案されている。提案されたアプローチは、計算された密なオプティカル・フロー場と、較正されたステレオカメラのペアの画像から計算された密なステレオ視差とに基づいている。非特許文献１３において説明されているシステムとは異なり、システムは、車両の自己運動を考慮して期待視差マップ（奥行き情報を計算するための生データ）を計算し、ある種の「視差フロー」を計算することにより、期待視差マップを測定視差マップと比較する。残留視差フローを含む領域でのモジュロ・ノイズは動的物体に印を付ける。要約すると、このアプローチは、ｕ画像座標およびｖ画像座標の変化の他に視差の変化の３次元場である、いわゆる３次元自己フローを計算する（著者によって明示的に記載されているように、これはＸＹＺ方向の３次元座標と混同すべきでない。非特許文献１４のパート２を参照のこと）。

動的物体を推定するためオプティカル・フローを使用する別のアプローチは非特許文献７に記載されている。この場合、時点ｔでの現在の画像は、既知の自己運動を考慮し、全シーンが静的であると仮定して、時点ｔ−１での画像へピクセル毎に逆投影される。その後、オプティカル・フローが画像ｔ−１と、ｔ−１へ逆投影された時点ｔでの画像とを使用して、動的物体を検出するため使用される。この方法のリソース要求は、各画像ピクセルの変換が予め実行されなければならないので、前述されたアプローチの場合よりさらに高い。さらに、動的物体のオプティカル・フロー検出は横運動だけに適し、動的物体が奥行き方向において縦に運動する場合に不十分な結果を招く。

情報として視差だけを使用する方法は非特許文献８に記載されている。そのアルゴリズムは、ピクセル毎のカルマンフィルタリング法に基づいて前の視差フレームを現在の視差フレームと統合する。したがって、視差の変化（すなわち、奥行き方向における位置変化）がカルマンフィルタのプロセスモデルに追加される。しかし、横運動および垂直運動はモデル化できない。このアプローチは奥行き情報を改善することを目的としているが、前のアプローチが移動する物体に対し不正確な奥行き推定を生成する問題を解決しようとしている。要約すると、このアプローチは、時間積分を適用することにより、誤りが低減された、密な奥行きマップを集めることを目的としている。副産物として、動的物体が検出可能であるが、横物体運動が像平面で起こる場合に限る。

すべてのこれらの方法は物体運動検出、したがって、像平面上のピクセル毎の変化の探索のためのオプティカル・フローに依存する。オプティカル・フローは、リソース要求が多く、その上、特に、画像の境界で誤りやすいことに注意することが重要である。しかし、オプティカル・フローを使うワーピングアプローチの主要な課題および欠点は、自己カメラ車両の運動に対し横方向の物体運動（例えば、前方で道路を横切る自転車）だけが検出できることである。しかし、像平面に測定可能な横運動が存在せず、したがって、オプティカル・フローは存在しないので、車両進路に対し縦方向に向けられた運動は検出できない（例えば、前方で道路を走行する車両が激しく制動し、接近する）。

Ｒ．Ｅ．Ｋａｌｍａｎ，"Ａ ｎｅｗ ａｐｐｒｏａｃｈ ｔｏ ｌｉｎｅａｒ ｆｉｌｔｅｒｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｂｌｅｍｓ，"Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＭＥ−Ｊｏｕｒｎａｌ ｏｆ Ｂａｓｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．８２，ｎｏ．Ｓｅｒｉｅｓ Ｄ，ｐｐ．３５−４５，１９６０． Ｍ．Ｎｉｅｔｏ，Ｌ．Ｓａｌｇａｄｏ，Ｆ．Ｊａｕｒｅｇｕｉｚａｒ，ａｎｄ Ｊ．Ｃａｂｒｅｒａ，"Ｓｔａｂｉｌｉｚａｔｉｏｎ ｏｆ ｉｎｖｅｒｓｅ ｐｅｒｓｐｅｃｔｉｖｅ ｍａｐｐｉｎｇ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｒｏｂｕｓｔ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ ｅｓｔｉｍａｔｉｏｎ，"ｉｎ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，６ ２００７． Ｋ．Ｋｏｎｏｌｉｇｅ，"Ｓｍａｌｌ ｖｉｓｉｏｎ ｓｙｓｔｅｍ：Ｈａｒｄｗａｒｅ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ，"ｉｎ Ｅｉｇｈｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ，１９９７． Ｘｕｍｉｎｇ Ｌｕａｎ，"Ｅｘｐｅｒｉｍｅｎｔａｌ Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ＴＯＦ ３Ｄ Ｒａｎｇｉｎｇ Ｓｙｓｔｅｍｓ Ｂａｓｅｄ ｏｎ ＰＭＤ Ｔｅｃｈｎｏｌｏｇｙ"，ＰＨＤ Ｔｈｅｓｉｓ，２００１． ｗｗｗ．ｖｅｌｏｄｙｎｅ．ｃｏｍ／ｌｉｄａｒ Ｈ．Ｂａｄｉｎｏ，Ｕ．Ｆｒａｎｋｅ，Ｃ．Ｒａｂｅ ａｎｄ Ｓ．Ｇｅｈｒｉｇ．"Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ ｕｎｄｅｒ Ｓｔｒｏｎｇ Ｃａｍｅｒａ Ｍｏｔｉｏｎ"．Ｉｎ １ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（ＶＩＳＡＰＰ），Ｓｅｔｕｂａｌ，Ｐｏｒｔｕｇａｌ．２５−２８ Ｆｅｂｒｕａｒｙ，２００６． Ｊ．Ｓｃｈｍｕｄｄｅｒｉｃｈ，Ｖ．Ｗｉｌｌｅｒｔ，Ｊ．Ｅｇｇｅｒｔ，Ｓ．Ｒｅｂｈａｎ，Ｃ．Ｇｏｅｒｉｃｋ，Ｇ．Ｓａｇｅｒｅｒ ａｎｄ Ｅ．Ｋｏｒｎｅｒ．"Ｅｓｔｉｍａｔｉｎｇ ｏｂｊｅｃｔ ｐｒｏｐｅｒ ｍｏｔｉｏｎ ｕｓｉｎｇ ｏｐｔｉｃａｌ ｆｌｏｗ，ｋｉｎｅｍａｔｉｃｓ，ａｎｄ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ"ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ Ｂ，Ｖｏｌｕｍｅ ３８，Ｉｓｓｕｅ ４，Ｐａｇｅｓ １１３９−１１５１，２００８． Ｔ．Ｖａｕｄｒｅｙ，Ｈ．Ｂａｄｉｎｏ ａｎｄ Ｓ．Ｇｅｈｒｉｇ "Ｉｎｔｅｇｒａｔｉｎｇ Ｄｉｓｐａｒｉｔｙ Ｉｍａｇｅｓ ｂｙ Ｉｎｃｏｒｐｏｒａｔｉｎｇ Ｄｉｓｐａｒｉｔｙ Ｒａｔｅ"．Ｉｎ ２ｎｄ Ｗｏｒｋｓｈｏｐ "Ｒｏｂｏｔ Ｖｉｓｉｏｎ"，Ａｕｃｋｌａｎｄ，Ｎｅｗ Ｚｅａｌａｎｄ，Ｆｅｂｒｕａｒｙ １８−２０，２００８． Ｉ．Ｎ．Ｂｒｏｎｓｔｅｉｎ，Ｋ．Ａ．Ｓｅｍｅｎｄｊａｊｅｗ，Ｇ．Ｍｕｓｉｏｌ ａｎｄ Ｈ．Ｍｕｈｌｉｇ，"Ｔａｓｃｈｅｎｂｕｃｈ ｄｅｒ Ｍａｔｈｅｍａｔｉｋ"，Ｖｅｒｌａｇ Ｈａｒｒｉ Ｄｅｕｔｓｃｈ，Ｆｒａｎｋｆｕｒｔ ａｍ Ｍａｉｎ，１９９９． Ｂ．Ｊａｅｈｎｅ，"Ｄｉｇｉｔａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ"，Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ，２００５． Ｔ．Ｍｉｃｈａｌｋｅ ｅｔ．ａｌ．"Ａ Ｇｅｎｅｒｉｃ Ｔｅｍｐｏｒａｌ Ｉｎｔｅｇｒａｔｉｏｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｅｎｈａｎｃｉｎｇ Ｆｅａｔｕｒｅ−ｂａｓｅｄ Ｒｏａｄ−ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ"，ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ，Ｂｅｉｊｉｎｇ，２００８． Ｊ．Ｆｒｉｔｓｃｈ ｅｔ．ａｌ．："Ｔｏｗａｒｄｓ ａ Ｈｕｍａｎ−ｌｉｋｅ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ"，ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，Ｅｉｎｄｈｏｖｅｎ，２００８． Ｓ．Ｓｈｉｍｉｚｕ："Ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂｙ ｍｏｂｉｌｅ ｓｔｅｒｅｏ ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ ｓｙｓｔｅｍ（ＳＯＳ）ｕｓｉｎｇ ｓｐｈｅｒｉｃａｌ ｄｅｐｔｈ ｉｍａｇｅ"，Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．９，ｎｏ．２−３，ｐａｇｅｓ １１３−１２６，２００５． Ａ．Ｔａｌｕｄｅｒ ｅｔ．ａｌ．："Ｒｅａｌ−ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ ｆｒｏｍ ｍｏｖｉｎｇ ｖｅｈｉｃｌｅｓ ｕｓｉｎｇ ｄｅｎｓｅ ｓｔｅｒｅｏ ａｎｄ ｏｐｔｉｃａｌ ｆｌｏｗ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），Ｊａｐａｎ，２００４． Ｐ．Ｒａｎｄｅｒ："Ｖｉｒｔｕａｌｉｚｅｄ ｒｅａｌｉｔｙ：Ｃｏｎｓｔｒｕｃｔｉｎｇ ｔｉｍｅ−ｖａｒｙｉｎｇ ｖｉｒｔｕａｌ ｗｏｒｌｄｓ ｆｒｏｍ ｒｅａｌ ｗｏｒｌｄ ｅｖｅｎｔｓ"，Ａｎｎｕａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ，ｐａｇｅｓ ２７７−２８３，１９９７．

本発明は車両の環境（「シーン」）を表現する信号の中で動的物体を検出するための効果的なアプローチを提案する。

上記目的は独立請求項の特徴を用いて実現される。従属請求項は本発明の主要なアイデアをさらに展開する。

本発明の第１の態様は、例えば、車両のドライバ支援システムにおいてシーン表現の中の動的物体を検出する方法であって、
車両の内部センサ、および少なくとも１台が３次元センサである外部センサからの信号を供給するステップと、
供給された外部センサ信号に基づいて３次元世界座標の中でシーンモデルを生成するステップと、
測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップと、
３次元世界座標の中で表現された、シーン表現の中の動的物体の位置および動的物体の運動パラメータをそれぞれ検出するために、予測されたシーンモデルを外部センサ信号に基づく３次元世界座標の中のシーンモデルと比較するステップと、
検出された動的物体および動的物体の運動パラメータを記憶するステップと、を含む方法に関係する。

測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップは、車両の縦速度およびヨーレートのためのセンサから獲得された情報を使用することがある。

測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップは、以下のステップ、
ａ）３次元世界座標で計算されたセンサ信号に関して直接的にアイコニック３次元ワーピングを行うステップ、
ｂ）既知の静的物体が独立に取り扱われるシーン知識のトップダウン知識を使用するステップ、
ｃ）センサ信号の中のノイズ（奥行き値の測定されたノイズ）を減少させるため、環境モデルおよび平面モデルの形式のシーン知識の組み込みを可能にする領域ベースの３次元ワーピングを行うステップ、および／または、
ｄ）３次元ワーピング手順の複雑さを軽減するために、着目中の平面の環境エンベロープを使用するステップ
のうちの１つ以上のステップを含むことが可能である。

例えば、回転レーザスキャナのような３次元奥行きセンサからの情報は外部センサ信号を生成するため使用可能である。

例えば、フォトニック・ミクサ・デバイスのような２次元奥行きセンサからの情報はセンサ信号を生成するため使用可能である。

例えば、レーザスキャナのような１次元奥行きセンサからの情報は３次元データを生成するため使用可能である。

衛星ベースのナビゲーションシステムからの情報が３次元データを生成するため、および／または、環境情報を生成するため使用されてもよい。

本発明のさらなる態様は、先行する請求項のいずれかに記載された方法を実施するため設計されたドライバ支援演算ユニットに関係する。

さらなる態様は、このようなドライバ支援演算ユニットを備えている車両に関係する。

さらなる態様は、演算ユニットで実行されるときに上述されているような方法を実施するコンピュータ・プログラム・プロダクトに関係する。

本発明は、モデル生成装置を備えたドライバ支援システムであって、モデル生成装置が、
環境信号をドライバ支援システムに供給する少なくとも１台の３次元センサと、
少なくとも１台の３次元センサの信号に基づいて３次元世界モデルを生成する演算手段、および３次元世界の中のセンサ信号に基づいて動的物体を検出する手段と、
検出された動的物体および動的物体の運動パラメータを記憶する記憶手段と、
検出された動的物体に基づいてドライバ支援動作を実行するかどうかを決定する手段と、
ドライバ支援動作を実行する手段と、を備える、ドライバ支援システムをさらに提案する。

センサはビデオカメラを含むことがある。

ドライバ支援動作は警告メッセージの発行でもよい。

既知の方法に対し、ここに記載されているアプローチは、奥行きデータの他に内部センサデータ（例えば、自己車両速度）だけに基づき、サポートされる物体運動（横、縦）に関する制限は存在しない。

記載されたアプローチは、以下の点で既存のアプローチとは異なる。

計算時間を短縮し、質を高める計算を要求しないオプティカル・フロー（ビデオデータのストリームの処理）が必要とされる。（ｗｗｗ．ｗｉｋｉｐｅｄｉａ．ｅｎ．ｏｒｇによれば、「オプティカル・フローまたはオプティック・フローは、観測者（眼またはカメラ）とシーンとの間の相対運動によって引き起こされた仮想シーンの中での物体、表面、およびエッジの明白な運動のパターンである。」）
既知のオプティカル・フロー・ベースのアプローチは、自己車両運動に直交する物体運動（横運動）を検出可能である。それとは異なり、提案されたアプローチは、自己車両の方向（縦運動方向）における物体運動も検出する。

像平面（すなわち、斜視画像の中のピクセルの中）で物体運動を検出するオプティカル・フロー・ベースのアプローチとは異なり、提案されたアプローチは３次元世界座標の中で物体運動の情報（すなわち、メートル単位での大きさおよび方向）を出す。したがって、（ワーピングと呼ばれる）画像ピクセルのピクセル毎の運動を予測する代わりに、記載されたアプローチは、３次元世界座標を直接的に問題とし、予測する（以下では、像平面に関するピクセル毎のワーピングに対して３次元ワーピングと呼ばれる）。

オプティカル・フロー・ベースのアプローチに相反して、動的物体が一旦検出されると、３次元座標の中での動的物体の運動は利用可能である。オプティカル・フロー・ベースのアプローチは像平面だけでピクセル座標の中で物体運動を与える。

本発明のさらなる態様、目的および利点は、添付図面の中の図と併せて解釈されるならば、本発明の好ましい実施形態の以下の詳細な説明を読むとき当業者にとって明白になる。

例えば、スチールカメラまたはビデオカメラによって作られた、シーン、すなわち、車両の環境の密な３次元データを示す図である（３次元位置座標は視覚化の目的のためだけに像平面に投影され、３次元ワーピング手順は、像平面への任意の投影無しで３次元ボクセルクラウド／世界座標における３次元位置を使用する）。 自動車のシングル・トラック・モデルを示す図である。 本発明によるシステムの概要を示す図である。 動的物体を検出する特徴としての差分画像の潜在的な困難さを説明するために重畳された２つの連続画像を示す図である。

用語および定義（用語集）
以下、明細書の全体を通じて使用される用語が定義される。この用語集は本発明のより十分な理解を促進する。

トップダウン知識
より高水準の情報統合を伴った、システム内の他のモジュールに由来する情報であり、例えば、すべての検出された物体を表現する環境モデルである。

ドライバ支援システム（ＤＡＳ）
典型的な運転作業の他に、危険な状況においてドライバを支援するシステムである。ドイツ交通法（Ｓｔｒａｓｓｅｎｖｅｒｋｅｈｒｓｏｒｄｕｎｇ、ＳｔＶＯ）に従って、ＤＡＳ反応は制御可能な状態に留まるべきであり、ドライバによる却下の影響力を可能にしなければならない。それに基づいて、完全に自律的な行為生成は市販されているＤＡＳの場合には実行できない。多くの場合に自動車の警報システムはＤＡＳの実施である。

高性能ドライバ支援システム（ＡＤＡＳ）
多数のモジュールとモジュール間のリンクとを組み込むドライバ支援システムである。すべてのこれらのコンポーネントは、すべてが相互に絡み合わされ、相互作用するセンサと、計算ハードウェアと、動作主体との複雑な枠組みに統合されている。それに対して、従来のドライバ支援システムは、制限された複雑性と、車両の中の他のモジュールとの情報の共有のためのインターフェイスの欠落とによってマークされる。さらに、従来のドライバ支援システムは単一のタスクおよび適用分野（例えば、高速道路）を対象にしている。

環境エンベロープ
Ｘ−Ｚ平面（水平位置座標および奥行き）は３次元ボクセルクラウドの寄せ集め部分である。環境エンベロープは３次元領域の中で表現されたままであり（高さＹは一定である）、動的物体を検出するため画像に投影されない。したがって、エンベロープは、Ｘ−Ｚ平面内の第１の物体への境界線の図解である。高さが異なるＸ−Ｚ平面の数は変化可能であり、１つ以上のＸ−Ｚ平面でのある特定の高さ間隔を近似するためにも使用される。環境エンベロープは、すべてのシーン物体の３次元位置座標の部分集合を含む。カメラからのグレー値ピクセルではなく、高さ値Ｙが再マッピングされる。環境エンベロープは、任意の画像特徴（例えば、色、構造）にも依存することがなく、３次元データだけに基づいて計算される。

外部センサ
３次元奥行きセンサ（例えば、回転レーザスキャナ）、２次元奥行きセンサ（例えば、フォトニック・ミクサ・デバイス）、１次元奥行きセンサ（例えば、レーザスキャナ）、ステレオカメラなどのように、そのような種類の奥行きセンサでもよい。さらに、ナビゲーションシステムも、環境に関する詳細な情報を提供できるので、外部センサと見なすことができる。したがって、ナビゲーションシステムは、現在の周辺の奥行き情報を提供するために現在のＧＰＳ位置およびその地図データを使用する仮想外部センサであり得る。一般に、外部センサの意味は、周囲環境の情報を収集／提供するセンサである。

内部センサ
一般に、内部センサは、環境からの情報と独立に車両運動の情報を収集／提供するセンサである。内部センサは、（車輪回転を測定する）単純な速度インジケータから回転の角度のための環状レーザジャイロスコープまで多岐に亘る。

内部センサデータ
内部センサデータは、車両自体の状態および特性を検出するセンサによって生成されるデータである。

未来時／過去時の予測
自己運動物体を検出するため、一般に、２つの予測方法が存在する。一方で、単純なアプローチは、時点ｔ−１でのシーンモデルが未来の次の時間ステップｔの中で予測される（前方ワーピング）。その後、予測が測定と比較され、自己運動物体が抽出される。

他方で、現在の時間ステップｔの測定は、過去時（または後方ワーピング）と呼ばれる前の時間ステップｔ−１に投影可能である。そして、前の測定が投影と比較され、自己運動物体が抽出される。

シーンモデル
現在のシーンコンテキスト（例えば、高速道路、田舎道、都市中心部）および現在の周囲環境からの測定のような他の処理モジュールに基づいて、ある種のモデルが学習可能であるか、または、抽出可能である。そこで、高速道路での運転中に、ガードレールが測定と知識組み込みの組み合わせによって抽出可能である。さらに、典型的な幾何学的形状を測定されたデータに適合させるデータ駆動型アプローチが使用可能である。

シーン表現（または３次元表現）
３次元表現は、センサ層から取り出され、単一センサに拘束されない。このため、３次元表現は、３次元グリッド、ボクセルグラフなどでもよい。したがって、３次元表現は周囲環境のある種の部分を、センサ層から切り離された内部メモリにマッピングする。

実施形態の詳細な説明
本発明は、３次元世界座標における環境（「シーン」）の表現を配信するセンサ（例えば、ステレオカメラに由来する視差情報（非特許文献３）、フォトニック・ミクサ・デバイス（非特許文献４）、または、密なレーザスキャナ（例えば、高品位ライダー・センサ・ベロダイン（非特許文献５））に基づいて、動的物体を検出し、物体運動の大きさを計算する新しいロバストな手順である３次元ワーピングアプローチを提案する。

本発明のシステムは、車両の運転方向に環境を感知する奥行きセンサ（例えば、２台のカメラ）を使用する。「フレームアウト」が起こる間に（すなわち、物体が視野から出る間に）、付加的に組み込まれた環境モデルは、カメラの視野の外にあるときに予測される、過去に検出された物体をさらに含む。本発明のシステムは、計算コストがかなり低いので、リアルタイム用途を考慮に入れる。さらに、システムは、システムに予め認識されていない物体が直ちに評価される必要がある徐々に変化する環境における屋外用途のため設計されている。したがって、システムは、例えば、ドライバが事故を防止するために支援システムからのフィードバックに基づいて遅れずに反応することを可能にするため、自動車分野において必要とされる長距離用途のため設計されている。

本発明のシステムは、主として自動車の中に設置されるように設計されているので、天候および／または照明の変化、車両およびその他の動的物体の高速性に対処できる。この点において、本発明のシステムは、例えば、非特許文献１３に記載されているような一般的な屋内システムの機能性に勝る。屋内環境での動作は、実行される検出タスクの複雑さを限定する。他方で、このような屋内シーンは非常に安定性があり、３次元構造の点でかなり低い複雑性によってマークされる。高速に移動することが要求されない移動ロボットのような完全に自律的な車両は、豊富な演算リソースを使用可能であるが、厳しいリアルタイム要件は存在しない。さらに、十分に構造化された屋内環境は自動車分野のため利用できない様々な限定的な仮定を許す。この原因は、システムが変化する環境条件下で、複雑な、どちらかといえば構造化されていない環境の中で作動する間に、厳しいリアルタイム要件が存在するためである。したがって、斬新、精巧なアプローチが要求される。

本発明のシステムにおける物体の検出は、単に奥行き画像から導出された画像座標の中ではなく、３次元空間で起こる（奥行きは３次元空間のほんの１つの次元である）。したがって、発明のシステムは、オクルージョン現象が予測ステップの間に存在しないので、３次元座標（例えば、ボクセルクラウド）を使用する。画像座標（球面画像）を使用する従来のシステムでは、オクルージョン現象は問題である（例えば、非特許文献１３を参照のこと、オクルージョンは、システムが画像座標系の中で機能するとき、静的物体および動的物体によって引き起こされる）。この問題を解決するアプローチは、動的物体ではなく、静的物体に関して、非特許文献１３に明らかにされている。システム全体で（情報を獲得する際に、シーン表現のため、および後続の予測ステップにおいて）３次元座標を使用する利点は、画像データの３次元空間への変換が必要でないことである。

従来のシステムはセンサ層から抽出するのではなく、カメラ座標の中で（像平面上で）直接的に計算を実行し、その計算の結果は別のカメラ画像（カメラ座標における差分奥行き画像）であるが、本発明のシステムは３次元表現に依存する。３次元表現はセンサ層から抽出され、単一のセンサに拘束されない。この意味で３次元表現は、３次元グリッド、ボクセルグラフなどである。しかし、従来のシステムによって獲得される奥行きマップは、本発明の意味では、３次元シーン表現として認めることができない。奥行きマップは画像座標の中で体系づけられ、奥行きマップは、非線形式によって像平面に投影されたシーンのＺ座標を含む。それに対して、提案されたアルゴリズムは、例えば、３次元ボクセルクラウドを構築する３次元座標（Ｘ、Ｙ、Ｚ）を問題とする。このアプローチの利点は、動的物体の３次元運動パラメータ（運動の大きさ、および３次元方向）が決定できることである。奥行きマップからは、運動パラメータについてのさらなる情報を伴うことなく、動的物体を含む画像領域しか決定できない。

一般的なシステムにおける検出結果は、多くの場合に、奥行きの変化を伴う画像領域である。しかし、収集された結果は曖昧である（すなわち、移動物体が何個存在しているか？元の物体位置と現在の物体位置はどこか？）。これは実施例によって明確にされる。左から右へ移動する人を考える。これは、左側に奥行き増加を、右側に奥行き減少を引き起こす。同じ結果は、（１人がカメラの左側に、もう１人がカメラの右側にいる）２人がカメラまでの距離を正反対に変える場合に測定される。１人が左から右へ移動する場合と同様に、差分奥行きマップは元の物体位置と新しい物体位置にピークを保持する。差分奥行きマップだけに基づいて、この問題は、屋内シナリオのような、十分に構造化された、かなり単純な環境だけで解決可能である。自動車または交通分野のようなより複雑なシナリオの場合、曖昧な差分奥行きマップの解釈は実行不可能である。本発明は、その代わりに、動的物体検出が３次元空間で行われるので、検出された動的物体の曖昧でない３次元運動パラメータ（運動の大きさおよび方向）を導出する。

同様に、従来のシステムは、テクスチャ／エッジを抽出し、傾き復元のための対応探索を行うため必要とされる画像データに依存するが、本発明は、任意の画像データを必要とせずに、奥行き情報だけを必要とする。さらに、カメラのヨー角およびピッチ角は傾きを復元するため推定される必要がない。

本発明は検出可能な物体クラスの内在的な制限がない。あらゆる大きさおよび方向のあらゆる物体の運動がサポートされる。その他のシステムは、移動物体の探索空間を人またはその他の特定の物体クラスに制限するので、これらのアプローチは移動物体の外観（例えば、高さ、幅など）に関してある種の仮定を設ける（設けることができる）。これは、明らかに、自動車分野に適用される発明のシステムに適していない。

狭い場所では、動的物体の検出は、予測された（すなわち、３次元ワープされた）シーンの３次元データと測定されたシーンの３次元データとの比較に基づく。より詳細には、３次元ワーピング手順では、１つの時間ステップにおける（静的物体および動的物体を含む）シーンの３次元世界座標は、３次元座標に関して表現された車両自体の運動を含むように変換される。車両自体の３次元運動は、シングル・トラック・モデルを使用して、両方共に、例えば、自動車の中のＣＡＮバス上で典型的に利用可能である車両の縦速度およびヨーレートのためのセンサを使用して獲得できる。以下、前方３次元ワーピング（および括弧内に入れられた後方３次元ワーピング）のための手順が説明される。

より厳密には、ある時間ステップでのシーンの３次元世界座標は、シーンの中のすべての物体が静的であるという仮定の下で、未来に向かって［時間的に後方へ］予測される。シーンの３次元世界座標は、シングル・トラック・モデルに由来する測定された車両自己運動が誘発した縦運動および横運動の他に、ヨーレートに基づいて予測される（図２を参照）。それによって予測された事前３次元世界位置が、次の時間ステップ［前の時間ステップ］における測定された事後３次元世界位置と比較される。３次元ワープされた世界位置と現実３次元位置との間の比較の残差（差分）は、すべての動的シーン要素をマークする。残差はメトリック世界座標（すなわち、３次元物体運動が誘発した位置変化）で与えられる。

さらに、検出された動的物体の対応するピクセル位置は、ピンホール・カメラ・モデルを用いて計算できる。ピンホール・カメラ・モデルに基づいて、所与の３次元世界位置（Ｘ、Ｙ、Ｚ）から２次元画像位置（ｕ、ｖ）を計算するための変換式は以下の通りである（式１および２を参照）。ここで、θ_Ｘ、θ_Ｙおよびθ_Ｚは３つのカメラ角である。さらに、ｔ_１、ｔ_２およびｔ_３は、座標系の中心からの３つのカメラオフセットである。パラメータｖ_０およびｕ_０は、カメラの垂直主点および水平主点である（ほぼ画像の中心である）。パラメータｆ_ｕおよびｆ_ｖは、水平ピクセルサイズおよび垂直ピクセルサイズに正規化された焦点距離である（以下の式の包括的な説明のため非特許文献１１を参照。しかし、式は、別の技術的コンテキストにおいて、すなわち、マークされていない道路検出結果の一般的な改良のため使用されている）。
但し、Ｙ＝０
および

非特許文献１５において取り扱われているアプローチは、特殊効果および仮想現実感の分野により類似し、したがって、知的交通システムを扱う科学分野とはやや異なるが、本発明のため重要であるいくつかの技術的背景が取り上げられている。より詳細には、非特許文献１５は、カメラの自己運動の下でワーピングアルゴリズムが直面する典型的な難問について説明している。さらに、ステレオカメラ較正、オプティカル・フロー計算、オクルージョン（ホールが画像ワーピングの結果として表れる）、および３次元座標対画像変換の問題が取り上げられている。これらすべての態様もまた本発明において重要な役割を果たすので、非特許文献１５は本発明のサブモジュールを十分理解するための参考文献として役立つ。

以下、図３に視覚化された４つの処理ステップを区別して、３次元ワーピングアプローチについて説明する。

１．測定キューの計算
ここで説明されるアプローチは、入力として、例えば、２台の平行カメラから得ることができる密な３次元データを使用する。このコンテキストにおいて、「密な」は、シーン全体に対しデータが存在することを表す。より詳細には、２台の平行カメラの画像は相関アプローチに基づいて領域毎に比較される。画像の中のすべてのピクセルに対し、視差と呼ばれる水平シフトを決定できる。視差Ｄ（ｕ、ｖ）は奥行きＺに反比例する（式３を参照）。よって、画像の中のすべてのピクセルに対し、奥行き値が存在する。これに基づいて、密な奥行きマップ（Ｚマップ）、密な高さマップＹ、および画像の中のすべてのピクセルの水平位置を含むＸマップを計算できる（式４および５を参照し、図１を参照）。式４および５において、ｔ_１およびｔ_２は座標系と相対的なカメラの位置を定義し、Ｂはカメラの水平距離（ステレオ基準）であり、ｖおよびｕは水平および垂直ピクセル位置であり、ｖ_０およびｕ_０は主点を定義し、ｆ_ｕおよびｆ_ｖは垂直および水平焦点距離である。

その他の密な奥行きセンサ、例えば、フォトニック・ミクサ・デバイス（非特許文献４）または密なレーザスキャナ（非特許文献５）も同様にシステムの唯一の入力として使用できる。これらのセンサに基づいて、シーンを表現するＸマップ、Ｙマップ、およびＺマップ（すなわち、奥行きマップ）が同様に計算できる。したがって、画像データは説明されているアプローチにおいて必要でない。

２．予測キューの計算
計算は、処理されるデータの量に関して、異なる方法の他に、異なる方法の組み合わせで行うことが可能である。アイコニックベース計算、ボクセルベース計算、およびエンベロープベース計算の３つの異なる計算方法がここに提案されている。以下、異なる計算方法が説明される。

概要
第１の計算方法（２．１）は完全にアイコニックに実行される（すなわち、すべての３次元ボクセルが独立に取り扱われる）。より詳細には、これは環境の中のすべての既知点の既知３次元位置が３次元の車両自己運動を考慮して適合させられることを表す。車両の３次元並進および回転は、各点を独立に３次元ワープするため使用される。その後、予測された（３次元ワープされた）点と測定された点とが、残差に基づいて動的物体を決定するために比較され、この比較は３次元空間の中のどのような距離メトリックによっても行うことができる。

第２の計算方法（２．２）はシーンの３次元ボクセルクラウド（すなわち、３次元セグメントのクラウド）を構築する。第１のアイコニックアプローチとは異なり、領域ベースの後処理およびボクセルクラウド内のモデリングが行われる。それによって、近傍ボクセルからの情報が伝搬され、範囲外にあるボクセルを補正する幾何学的３次元物体モデルが導入され、これらの手段はアプローチの全体的な精度を高める。

第３の計算方法（２．３）は、処理を環境の中の１つ（または、数個）の表面に限定することによって問題の複雑性を軽減する。自動車分野において、この表面は道路表面でもよい。この表面上のシーン要素だけが考慮される。この情報に基づいて、環境エンベロープと呼ばれるエンベロープが構築され、問題の複雑性を軽減する。

２．１ アイコニックベース法
時間ステップｔ−１（後方ワーピングの場合には時点ｔ）におけるすべての点（ｕ、ｖ）の３次元世界位置がマップＸ（ｕ、ｖ）、Ｙ（ｕ、ｖ）およびＺ（ｕ、ｖ）から読み出され（図１を参照）、ＣＡＮバスからもたらされる自動車の測定された自己運動（並進運動ΔＸ、ΔＹ、および回転運動Δθ_Ｙ）によって適合させられる。

したがって、結果は時間ステップｔ（後方ワーピングの場合には時点ｔ−１）に対し、車両自己運動を考慮する予測された点位置である。あらゆる予測された点位置は、完全に静的なシーンを仮定して３次元ワープされた。点位置は予測キューとして使用される。

２．２ ボクセルベース法
３次元ボクセル（すなわち、３次元点セグメント）クラウドは、シーンの３次元世界座標マップＸ、ＹおよびＺから構築される（図１を参照）。適切な離散的３次元グリッドに基づいて、ボクセルクラウドはホールを含み、点はセンサのばらつきに起因して誤った場所に置かれる。これらの誤りは、ホールを閉じ、クラウドの中の誤った場所に置かれたボクセルを調整する３次元環境モデルによって改善できる（例えば、表面を決定し、物体モデルを組み入れる）。さらに、分野専用のコンテキスト知識を組み入れることにより、表面は多次元回帰によって決定できる（例えば、非特許文献９を参照）。このようなモデルはホールを閉じ、ボクセル座標を補正（すなわち、移動）するため使用できる。その後、時間ステップｔ−１（後方ワーピングの場合には時点ｔ）のボクセルクラウドは、測定された車両自己運動に応じて適合させることができる。より詳細には、クラウドは、ΔＸおよびΔＺだけ並進されると共に、Δθ_Ｙだけ回転させられ、時間ステップｔ（後方ワーピングの場合には時点ｔ−１）の予測された（すなわち、３次元ワープされた）ボクセルクラウドを生じる。その後、予測されたボクセルクラウドのすべての点位置が予測キューとして使用される。

２．３ 領域ベース法（環境エンベロープ）
パート１における測定キューの計算に加えて、動的物体を検出するための領域を形成するある程度の個数の点が抽出される。より詳細には、時間ステップ毎に、Ｚ、Ｘ平面の中にエンベロープを発生させる表面が選択される。この表面に基づいて、定義された表面上の最も接近した障害物の距離と水平位置とを表現する曲線が抽出される。

換言すると、この曲線は定義されたＹ表面上のシーン要素の環境エンベロープである。

この曲線を計算するため、以下の手順が実行される。道路表面に置かれている物体だけに着目しているので、高さ零の近傍内にある高さマップＹ（ｕ、ｖ）の値だけが考慮される。その後に、このように選択された高さ値Ｙ（ｕ、ｖ）は、水平位置Ｘ（ｕ、ｖ）および奥行きＺ（ｕ、ｖ）を読み出すことによりＸ、Ｚ表面を表現するアレイにマッピングされる。導出されたＸ、Ｚ表面は連結されていない点クラウドを含む。マッピングされた高さ値Ｙ（ｕ、ｖ）は測定キューを形成するスプラインによって連結される。これは、異なる高さをもつある程度の個数の環境エンベロープを使って、かつ、ある種の高さ間隔をさらに使用して実行可能である。

この手順に基づいて、前の時間ステップｔ−１（後方ワーピングの場合には時点ｔ）の測定された環境エンベロープが計算される。時間ステップｔ−１（後方ワーピングの場合には時点ｔ）の結果として得られた曲線は、ΔＸおよびΔＹだけ並進されると共に、Δθ_Ｙだけ回転させられ、時間ステップｔ（後方ワーピングの場合には時点ｔ−１）の予測された環境エンベロープを発生する。

３．残差の計算
測定キュー（方法１および２の場合の３次元ワープされた点位置（同様に３次元ワープされたボクセルクラウド）、方法３の場合の３次元ワープされた環境エンベロープ）と、予測キューとの間の差分（残差）の計算の結果として、動的物体が存在しなければならない位置の値を含む残差が得られる。さらに、残差から、３次元座標の中での動的物体の相対運動を導出できる。残差の計算のため、あらゆる３次元距離メトリックを適用できる。

方法１および２の場合、残差は、動的物体を保持する領域の他に、３次元座標の中の物体運動の大きさを直接的に定義する。方法３の場合、残りの環境エンベロープは、ＸおよびＺ方向だけの動的物体の運動を定義する（高さＹは環境エンベロープ全体に亘って一定として定義される）。対応する世界位置を決定するため、すべての見つけられた動的物体が対応する表面高さにマッピングされる。この結果として、３次元座標の中で、選択された表面（例えば、道路）に位置付けられた直線セグメントが得られる。したがって、これらの直線セグメントは表面に存在するすべての動的物体の下側境界をマークする。

物体の領域を決定するため、像平面は、見つけられた下側物体境界を考慮する（例えば、類似した奥行き値、構造、または色に基づく）ビジョンベースのセグメンテーションアプローチ（非特許文献１０を参照）と共に使用できる。

４．後処理
上述の手順が生成するかもしれないアーティファクトに対処するため、２値化された残差に関する形態的演算が実行される（非特許文献１０を参照）。これは、残差のより大きい領域だけが動的であると解釈されることを確実にする。さらに、カメラベースの奥行きデータを使用するとき、正規化された相互相関（ＮＣＣ）に基づくステレオ視差の計算中に、品質マップが導出される。この品質マップは、各ピクセルとその領域とに対するＮＣＣ一致がどの程度良好であったかを評価する。したがって、この品質マップは残差の中の値に重みを付けるために使用できる。さらに、車両分野専用のコンテキスト（トップダウン知識）を組み入れることにより、静的であることがわかっているすべての物体（例えば、見つけられた道路セグメント）は選別が可能であり、３次元ワーピング手順を簡単にする。さらに、衛星ベースのナビゲーションシステムからのデータを組み込むことが可能であり、シーンのさらなる知識、例えば、静的なシーン内容の３次元ＧＰＳ位置を提供する。

上述の計算方法は、以下の表１に要約されているように、これらの計算方法を異なる分野および用途にさらに適用できるようにするか、または、適用できなくする異なる利点および欠点がある。表２は、既存のピクセルベースの２次元ワーピング手順と、ここで提案されている３次元座標に関する３次元ワーピングアプローチとの間の差を要約している。
表１：動的物体を検出する提案された計算方法の比較
表２：オプティカル・フローを用いるピクセルベースの２次元ワーピングと３次元座標に関する３次元ワーピングとの間の概念的な差

Claims (13)

1. 車両用のドライバ支援システムのシーン表現の中の動的物体を検出する方法であって、
   車両の内部センサ、および少なくとも１台が３次元センサである外部センサからの信号を供給するステップと、
   供給された外部センサ信号に基づいて３次元世界座標の中でシーンモデルを生成するステップと、
   測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップと、
   ３次元世界座標の中で表現された、シーン表現の中の動的物体の位置および動的物体の運動パラメータをそれぞれ検出するために、予測されたシーンモデルを外部センサ信号に基づく３次元世界座標の中のシーンモデルと比較するステップと、
   検出された動的物体および動的物体の運動パラメータを記憶するステップと、
   を含む方法。
2. 測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップが、車両の縦速度およびヨーレートのためのセンサから獲得された情報を使用する、請求項１に記載の方法。
3. 測定された車両の自己運動を考慮して３次元世界座標の中でシーンモデルを予測するステップが、
   ａ）３次元世界座標で計算されたセンサ信号に関して直接的にアイコニック３次元ワーピングを行うステップと、
   ｂ）既知の静的物体が独立に取り扱われるシーン知識のトップダウン知識を使用するステップと、
   ｃ）センサ信号の中のノイズを減少させるため、環境モデルおよび平面モデルの形式のシーン知識の組み込みを可能にする領域ベースの３次元ワーピングを行うステップと、および／または、
   ｄ）３次元ワーピング手順の複雑さを軽減するために、着目中の平面の環境エンベロープを使用するステップと、
   のうちの１つ以上のステップを含む、請求項１または２に記載の方法。
4. 回転レーザスキャナのような３次元奥行きセンサからの情報が外部センサ信号を生成するため使用される、請求項１から３のいずれかに記載の方法。
5. フォトニック・ミクサ・デバイスのような２次元奥行きセンサからの情報がセンサ信号を生成するため使用される、請求項１から４のいずれかに記載の方法。
6. レーザスキャナのような１次元奥行きセンサからの情報が３次元データを生成するため使用される、請求項１から５のいずれかに記載の方法。
7. 衛星ベースのナビゲーションシステムからの情報が３次元データを生成するため、および／または、環境情報を生成するために使用される、請求項１から６のいずれかに記載の方法。
8. 前記請求項のうちのいずれかに記載された方法を実施するため設計された、ドライバ支援演算ユニット。
9. 請求項８に記載されたドライバ支援演算ユニットを備えている車両。
10. 演算ユニットで実行されるときに請求項１ないし７のうちのいずれかに記載された方法を実施する、コンピュータ・プログラム。
11. モデル生成装置を含むドライバ支援システムであって、モデル生成装置が、
    信号をドライバ支援システムに供給する少なくとも１台の３次元センサと、
    少なくとも１台の３次元センサの信号に基づいて３次元世界モデルを生成する演算手段、および３次元世界の中のセンサ信号に基づいて動的物体を検出する手段と、
    検出された動的物体および動的物体の運動パラメータを記憶する記憶手段と、
    検出された動的物体に基づいてドライバ支援動作を実行するかどうかを決定する手段と、
    ドライバ支援動作を実行する手段と、を備える、ドライバ支援システム。
12. センサがビデオカメラを含む、請求項１１に記載のシステム。
13. ドライバ支援動作が警告メッセージの発行である、請求項１１または１２に記載のシステム。