JP2012517055A - ビデオに基く車両の運転者援助システムの作動方法及び装置 - Google Patents

Abstract

本発明は、ビデオに基く車両（Ｆ）の運転者援助ジステム（２）の作動方法に関し、画像記録装置（１．１）により記録されかつ画像処理装置（１．２）により処理される画像データによって、車両周辺及び／又は車両周辺にある少なくとも１つの物体（Ｏ）及び／又は状態データが求められる。車両周辺、車両周辺にある物体（Ｏ）及び／又は状態データを求める際、順次に続く画像の画像データに含まれる画素ずれ（Ｐ）が求められて補償される。
本発明は更にビデオに基く車両（Ｆ）の運転者援助システムを作動させる装置（１）に関する。
【選択図】図１

Description

本発明は、請求項１の上位概念に記載のビデオに基く車両の運転者援助システムの作動方法に関する。更に本発明は、請求項９の上位概念に記載のビデオに基く車両の運転者援助システムの作動装置に関する。

従来技術から、車両の運転者援助システムを異なる種類のセンサのデータに関係して作動させることが公知である。それは例えばビデオに基く運転者援助システムであり、その制御が画像データにより行われる。

このような画像データを求めかつ物体の確認及びその三次元的位置決定のため、物体モ

Ｔｒａｃｋｉｎｇ ｉｎ Ｍｕｌｔｉｏｃｕｌａｒ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ．Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ（ＩＣＶＳ），Ｂｉｅｌｅｆｅｌｄ，Ｇｅｒｍａｎｙ．）では、しばしばあいまいさ（誤った積極的対応）が生じる。物体は、それがしばしば又は全く存在していなくても、点群中に繰返し見出される。モデル適合に関する別の問題は、適合の不正確さである。現在通常の立体方法は、大抵の場合左及び右の画像における特徴（縁、点、隅、画素塊等）の検索、及びそれに続く同じ又は類似な特徴の対応に基いている。その代りにしばしば局部的画像窓の内容もその類似性について検査される。その場合左及び右の画像にある特徴又は画像窓のずれを求めることによって、いわゆる不一致値が求められる。校正されるカメラシステムを仮定して、三角測量により、続いて不一致値から、画素に深度値を対応させることができる。多くの場合誤った対応のため誤った深度値が生じる。これは、手の指、森等のように、縁に基く立体法では、画像にある反覆組織においてしばしば起こる。誤対応から生じる３Ｄ点は、誤対応又は誤一致又は部外値と称される。特徴の選択に応じてこの効果は多少頻繁に起こるが、それ以外の仮定なしでは基本的に決して排除されない。これらの誤一致は物体モデルの適合に不利な影響を及ぼす。なぜならば、誤一致により３Ｄ点群による光景の表現を悪化するからである。

文献から誤一致の問題を扱う種々の方法が公知である。方法の大部分は、部外値を検出し、続いてそれを除去しようとする。この場合の欠点は、３Ｄ点の数が少なくなるか、又

Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡ．）は、例えば部分的に滑らかな表面の仮定により、問題を抑制しようとする。このような平滑仮定により微細な組織はもはや検出不可能であり、それにより情報が失われる。更にこれらの方法は、実際に滑らかな表面が考慮される所でのみよい結果を与える。

本発明の基礎になっている課題は、ビデオに基く車両の運転者援助システムの改善された作動方法及び装置を提示することである。

課第を解決するための手段

この課題は、請求項１の特徴を持つ方法及び請求項９の特徴を持つ装置によって解決される。

本発明の有利な展開が従属請求項の対象である。

ビデオに基く車両の運転者援助システムの作動方法において、画像記録装置により記録されかつ画像処理装置により処理される画像データによって、車両周辺及び／又は車両周辺にある少なくとも１つの物体及び／又は状態データが求められる。

本発明によれば、車両周辺、車両周辺にある物体及び／又は状態データを求める際、順次に続く画像の画像データに含まれる画素ずれが求められて補償される。その結果有利なように、車両周辺及び／又は車両周辺にある少なくとも１つの物体及び／又は状態データを非常に正確に求め、それから続いて表示することが可能である。状態データは例えば車両と静止しているか又は動く物体との間隔、これらの物体の速度及び／又は加速度である。正確な検出の結果、運転者援助システムの最適化される制御、従って乗員及び他の道路使用者の安全性の向上が行われる。

本発明による方法の展開によれば、ピッチング角、ヨーイング角及び／又はローリング角の変化の結果生じる画素ずれが求められるので、ピッチング、ヨーイング及び／又はローリングが、車両周辺、車両周辺にある物体及び／又は状態データの検出に不利な影響を与えないか、ピッチング角、ヨーイング角及び／又はローリング角の変化を知る際、影響が補償されるようにすることができる。

ピッチング角、ヨーイング角及び／又はローリング角の変化から、順次に続く画像にある少なくとも１つの画素の位置変化が求められ、画素の求められた位置変化により、予想される画素ずれが求められるのがよい。その際有利なように、画像の各画素について位置変化を求める必要がないので、高い処理速度及びそれから続いて車両周辺、車両周辺にある物体及び／又は状態データを求めて表示する際の原動力が得られる。

ピッチング角、ヨーイング角及び／又はローリング角の変化が、検出される回転速度から、２つの順次に続く画像の記録中に求められる。回転速度を求めるため、回転軸線に沿う本体の回転速度が理解される。回転速度を求めるため、その横軸線、垂直軸線及び／又は縦軸線の周りにおける車両又は画像記録装置の回転速度が求められる。求められる回転速度の積分により車両又は画像記録装置が横軸線、垂直軸線及び／又は縦軸線の周りに特定の時間内に回転したピッチング角、ヨーイング角及び／又はローリング角が求められる。ここで特定の時間は、２つの順次に続く画像の記録のために必要な時間である。回転速度は非常に正確に求められるので、車両のピッチング角、ヨーイング角及び／又はローリング角の変化を求める際、非常に正確な結果が簡単に得られる。

回転速度を求めるため、少なくとも１つの回転速度センサが設けられ、回転速度が、この回転速度センサにより、少なくとも２つの順次に続く画像の記録中に求められる。少なくとも２つの順次に続く画像の期間中に求められるこれらの回転速度から、僅かな費用で同時に高い精度で画素ずれが求められる。

その代りに又はそれに加えて、少なくとも１つの加速度センサにより、車両の縦加速度及び／又は横加速度が、少なくとも２つの順次に続く画像の記録中に求められ、車両の回転速度が、検出された縦加速度及び／又は横加速度から、車両モデルにより求められる。加速度センサ及び少なくとも１つの回転速度センサにより回転速度を冗長に求めるため、この方法は外乱量に対して非常に強く、従って非常に信頼できる。

本発明による方法の有利な構成によれば、車両がまっすぐに動いている場合、求められた回転速度の目標値からの偏差が濾波により求められる。この濾波は例えば低域濾波であり、例えば車両の走行中に温度変動のため生じる偏差の濾波により、測定誤差が最小にされ、それにより測定の精度が高められる。

ビデオに基く車両の運転者援助システムの本発明による作動装置は、画像データを記録する画像記録装置、画像データを処理する画像処理装置、及び車両周辺及び／又は車両周辺にある少なくとも１つの物体及び／又は状態データを画像データから求める制御装置を含んでいる。本発明によれば、制御装置が少なくとも１つの回転速度センサ及び／又は少なくとも１つの加速度センサに接続されて、車両周辺、車両周辺にある物体及び状態データを求める際、順次に続く画像の画像データに含まれる画素ずれが、検出される回転速度により求められかつ補償される。

少なくとも１つの回転速度センサ及び／又は少なくとも１つの加速度センサが、画像記録装置に又はそのすぐそばに設けられているので、検出される回転速度を画像記録装置の位置に換算する必要がない。

更に回転速度センサが、三次元検出範囲を持つセンサであり、このセンサにより車両のピッチング角、ヨーイング角及びローリング角が同時に検出可能なので、車両の回転速度を求めるのに１つのセンサしか必要でない。その結果材料費及び配線費が少なくなり、費用上の利点が生じる。

本発明による装置の特に有利な構成では、２つの加速度センサが、互いに直角をなして画像記録装置に又はそのすぐそばに設けられ、一方の加速度センサにより車両の縦加速度が、また他方の加速度センサにより車両の横加速度が検出可能である。縦加速度及び横加速度から、特に記憶装置に記憶される車両モデルを使用して、車両の回転速度を簡単に求めることができ、回転速度を求めるために加速度センサを使用すると、装置が著しく頑丈になる。

１つ又は複数の回転速度センサに加えて加速度センサを使用すると、検出装置即ち加速度センサ及び回転速度センサの冗長性のため、装置の高い信頼性が得られる。

本発明の実施例が図面により以下に詳細に説明される。

ビデオに基く運転者援助システムの作動装置を持つ車両及び車両の前にある物体を概略的に示す。 図１による装置及び運転者援助システムの構成図を示す。

図１には、ビデオに基く運転者援助システム２の作動装置１を持つ車両Ｆ、及び車両の前にある物体Ｏが示されている。物体Ｏは例えば別の車両、歩行者、動物、又は動いているか又は静止している他の物体である。

運転者援助システムは、危険な走行状況の前又はその期間中に車両Ｆの駆動装置又は制御装置又は信号装置に介入するか、又は危険な走行状況について適当な手段により車両Ｆの運転者に警告する、１つ又は複数のシステムを含むことができる。

例えば間隔警報器又は自動間隔制御装置のようにこのようなシステムの一部において、車両Ｆと物体Ｏとの間隔Ｄが求められ、求められた間隔Ｄに基いて運転者援助システム２が制御される。

間隔Ｄを求めるため、装置１が画像記録装置１．１及び画像処理装置１．２を持ち、画像記録装置１．１により記録されかつ画像処理装置１．２により処理される画像データによって、車両周辺にある少なくとも１つの物体Ｏ及び／又は状態データが求められる。

図示した実施例では、画像データ即ち車両周辺にある物体Ｏが、画像記録装置１．１により検出される。

装置１は特にいわゆる立体画像検出システムとして構成され、このシステムにおいて画像記録装置１．１は、図示してないがなるべく水平に並べて設けられて車両周辺及びこの周辺にある物体Ｏを立体的に検出する２つのカメラを含んでいる。

画像処理装置１．２により検出された２つの画像を処理する際、従来技術から公知の多数の立体アルゴリズムの少なくとも１つに基いて、一方の画像の少なくとも１つの画素の座標が、他方の画像の潜在的に一致するとみなされる別の画素の座標と比較される。両方の画素の相互間隔、いわゆる不一致、及び水平に並んで設けられている両方のカメラの既知の相互間隔いわゆる基礎幅から、検出される画素が属している物体Ｏのカメラに対する間隔が求められる。

このアルゴリズムに従って、画像のすべての画素に対する不一致が形成され、不一致画像又は物体Ｏの三次元的表現をその文脈において示す不一致カードが形成される。こうしてカメラに対する物体Ｏの距離及び空間的位置を検出し、それにより物体Ｏに対する間隔Ｄを求めることができる。

車両Ｆの走行中に、例えば車道表面の凹凸、車両Ｆの横加速度Ｑ及び／又は縦加速度Ｌのため、車両のピッチング、ローリング及び／又はヨーイングが生じることがある。

ピッチングは車両Ｆの横軸線の周りにおける揺動を意味し、ローリングは車両Ｆの縦軸線の周りにおける揺動を意味する。ヨーイングは車両Ｆの垂直軸線の周りにおける運動によって特徴づけられ、横軸線、縦軸線及び垂直軸線は共に車両Ｆの重心を通って延びている。

ピッチング、ローリング及び／又はヨーイングのため生じる車両Ｆのピッチング角、ローリング角及び／又はヨーイング角の変化により、画像記録装置１．１により検出されて順次に続く画像に画素ずれＰが起こる。

ピッチング角、ローリング角及び／又はヨーイング角の変化により生じる画素ずれＰは、車両Ｆに対する物体Ｏの位置が変化しなくても、順次に続く画像における物体Ｏ又は物体Ｏの部分が画像中に異なる位置で表示されることによって、特徴づけられる。

画素ずれＰの結果生じる車両周辺及び／又は車両周辺にある物体Ｏ及び／又は状態データの不正確な検出及び／又は表示、特にその結果生じる物体Ｏと車両Ｆとの間隔Ｄの不正確又は誤った検出を回避するため、順次に続く画像に含まれる画素ずれＰが求められて補償される。

図２は図１による装置１の可能な実施例を示し、装置１は運転者援助システム２に接続されている。

装置１は、画像記録装置１．１及び画像処理装置１．２のほかに、三次元検出範囲を持つセンサ（３Ｄセンサ又は３Ｄクラスタとも称される）として構成される回転速度センサ１．３を含んでいるので、回転速度センサ１．３により車両Ｆの回転速度Ｒを検出して、同時に車両Ｆのピッチング角、ローリング角及びヨーイング角を求めることができる。

回転速度Ｒを検出するため、回転速度センサ１．３により、車両Ｆ又は画像記録装置１．１の横軸線及び／又は縦軸線及び／又は垂直軸線の周りにおけるその回転速度が求められ、回転速度の積分によりピッチング角及び／又はローリング角及び／又はヨーイング角が誘導される。

その代りに、車両Ｆの回転速度Ｒを求めるため３つの別々の回転速度センサを設けることもできる。

車両Ｆの回転速度Ｒは定常的に制御装置１．４へ供給され、この制御装置１．４が、回転速度Ｒの値からまず車両Ｆのピッチング角、ローリング角及びヨーイング角を求める。続いて制御装置１．４により、ピッチング角及び／又はローリング角及び／又はヨーイング角に基いて、少なくとも２つの順次に続く画像の期間に、ピッチング角及び／又はローリング角及び／又はヨーイング角の変化が求められる。

ピッチング角及び／又はローリング角及び／又はヨーイング角の変化から、２つの順次に続く画像の期間に、少なくとも１つの画素の位置変化が誘導され、それから予想される画素ずれＰが求められる。

その際画素ずれＰは、すべての画素に対してではなく、画像の画素の一部に対してのみ求められるのがよく、それからすべての画素に対する画素ずれＰが誘導され、その結果短い処理時間が生じる。

不一致の形成の際特定の画素ずれＰが考慮されるので、不一致画像又は不一致カードは物体Ｏの三次元表現をその文脈で表示し、この表現は車両Ｆのピッチング角、ローリング角及びヨーイング角とは無関係である。従って画像記録装置１．１に対する物体Ｏの距離及び空間的位置は、車両Ｆのピッチング角、ローリング角及びヨーイング角を考慮して検出されるので、物体Ｏに対して実際の誤りのない間隔Ｄが求められる。

不一致画像又は不一致カードは、画像記録装置１．１に対する画素の間隔によって形成されるので、画素ずれＰを正確に求めるために、車両Ｆの回転速度Ｒを画像記録装置１．１の位置で検出することが必要である。従って回転速度センサ１．３は画像記録装置１．１に又はそのすぐそばに設けられているので、車両Ｆの１つの他の位置から画像記録装置１．１の位置への回転速度Ｒの換算は必要でない。

回転速度Ｒの検出及びそれに続く画素ずれＰの検出に関する装置１の頑丈さを高めるため、装置１は更に互いに直角に設けられる２つの加速度センサ１．５，１．６を持ち、これらのセンサにより車両Ｆの縦加速度Ｌ及び横加速度Ｑが検出される。加速度センサ１．５，１．６も同様に画像記録装置１．１に又はそのすぐ近くに設けられている。

車両の縦加速度Ｌ及び横加速度Ｑは、回転速度センサ１．３により求められる回転速度Ｒのように、すくなくとも２つの順次に続く画像の期間に求められて、制御装置１．４へ供給される。

制御装置１．４は、車両Ｆの縦加速度及び横加速度の値から、記憶装置１．７に記憶されている車両モデルに基いて、車両の回転速度Ｒを求め、これらの回転速度Ｒから車両Ｆのピッチング角及び／又はローリング角及び／又はヨーイング角の変化が誘導され、それから生じる画素ずれＰが誘導される。

回転速度センサ１．３の値により求められる車両Ｆの回転速度Ｒと加速度センサ１．５，１．６の値により求められる回転速度Ｒとの比較によって、制御装置１．４によりもっともらしさの検査が行われ、この検査に関係して画素ずれＰが求められ、それにより装置１の頑丈さが増大される。

回転速度センサ１．３も加速度センサ１．５，１．６も、測定される回転速度又は加速度のいわゆるドリフトを持つことがある。ドリフトは、車両Ｆの一定の性能にもかかわらず回転速度センサ１．３又は加速度センサ１．５，１．６により与えられる回転速度又は車両Ｆの加速度の変化を意味する。

車両Ｆの一定の直線走行の際、このドリフト即ち目標値からの回転速度又は加速度の偏差は、例えば温度変動のような変化する環境条件によって生じる。

画素ずれＰ従って物体Ｏに対する間隔の不十分な正確さ又は誤った算定を生じる測定値の誤りを避けるため、ドリフト即ち目標値からの偏差が、濾波特に図示しない低域フィルタにより求められる。

求められる偏差が、車両Ｆのピッチング角及び／又はローリング角及び／又はヨーイング角の変化を求める際考慮されるので、測定誤差が最小にされ、車両周辺、車両周辺にある物体Ｏ及び／又は状態データ及び特にその結果生じる物体Ｏに対する車両Ｆの間隔Ｄの検出及び／又は表示の精度が高められる。

１ 装置
１．１ 画像記録装置
１．２ 画像処理装置
１．３ 回転速度センサ
１．４ 制御装置
１．５ 加速度センサ
１．６ 加速度センサ
１．７ 記憶装置
２ 運転者援助システム
Ｄ 間隔
Ｆ 車両
Ｌ 縦加速度
Ｏ 物体
Ｐ 画素ずれ
Ｑ 横加速度
Ｒ 回転速度

Claims (13)

1. ビデオに基く車両（Ｆ）の運転者援助システム（２）の作動方法であって、画像記録装置（１．１）により記録されかつ画像処理装置（１．２）により処理される画像データによって、車両周辺及び／又は車両周辺にある少なくとも１つの物体（Ｏ）及び／又は状態データが求められるものにおいて、車両周辺、車両周辺にある物体（Ｏ）及び／又は状態データを求める際、順次に続く画像の画像データに含まれる画素ずれ（Ｐ）が求められて補償されることを特徴とする方法。
2. ピッチング角、ヨーイング角及び／又はローリング角の変化の結果生じる画素ずれ（Ｐ）が求められることを特徴とする、請求項１に記載の方法。
3. ピッチング角、ヨーイング角及び／又はローリング角の変化から、順次に続く画像にある少なくとも１つの画素の位置変化が求められ、画素の求められた位置変化により、予想される画素ずれ（Ｐ）が求められることを特徴とする、請求項２に記載の方法。
4. ピッチング角、ヨーイング角及び／又はローリング角の変化が、検出される回転速度（Ｒ）から、２つの順次に続く画像の記録中に求められることを特徴とする、請求項２又は３に記載の方法。
5. 回転速度（Ｒ）が、少なくとも１つの回転速度センサ（１．３）により、少なくとも２つの順次に続く画像の記録中に求められることを特徴とする、請求項４に記載の方法。
6. 少なくとも１つの加速度センサ（１．５，１．６）により、車両（Ｆ）の縦加速度（Ｌ）及び／又は横加速度（Ｑ）が、少なくとも２つの順次に続く画像の記録中に求められることを特徴とする、先行する請求項の１つに記載の方法。
7. 回転速度（Ｒ）が、検出された縦加速度（Ｌ）及び／又は横加速度（Ｑ）から、車両モデルにより求められることを特徴とする、請求項６に記載の方法。
8. 車両（Ｆ）がまっすぐに動いている場合、求められた回転速度（Ｒ）の目標値からの偏差が濾波により求められることを特徴とする、請求項５〜７の２つに記載の方法。
9. ビデオに基く車両（Ｆ）の運転者援助システム（２）の作動装置（１）であって、画像データを記録する画像記録装置（１．１）、画像データを処理する画像処理装置（１．２）、及び車両周辺及び／又は車両周辺にある少なくとも１つの物体（Ｏ）及び／又は状態データを画像データから求める制御装置（１．４）を含むものにおいて、制御装置（１．４）が少なくとも１つの回転速度センサ（１．３）及び／又は少なくとも１つの加速度センサ（１．５，１．６）に接続されて、車両周辺、車両周辺にある物体（Ｏ）及び／又は状態データを求める際、順次に続く画像の画像データに含まれる画素ずれ（Ｐ）が、検出される回転速度（Ｒ）により求められかつ補償されることを特徴とする、装置。
10. 少なくとも１つの回転速度センサ（１．３）及び／又は少なくとも１つの加速度センサ（１．５，１．６）が、画像記録装置（１．１）に又はそのすぐそばに設けられていることを特徴とする、請求項９に記載の装置。
11. 回転速度センサ（１．３）が、三次元検出範囲を持つセンサであり、このセンサにより東両（Ｆ）のピッチング角、ヨーイング角及びローリング角が同時に検出可能であることを特徴とする、請求項９又は１０に記載の装置。
12. ２つの加速度センサ（１．５，１．６）が、互いに直角をなして画像記録装置（１．３）に又はそのすぐそばに設けられ、一方の加速度センサ（１．５）により車両（Ｆ）の縦加速度（Ｌ）が、また他方の加速度センサ（１．６）により車両（Ｆ）の横加速度（Ｑ）が検出可能であることを特徴とする、請求項９〜１１の１つに記載の装置。
13. 記憶装置（１．７）に車両モデルが記憶され、車両モデルにより、縦加速度（Ｌ）及び／又は横加速度（Ｑ）から、車両（Ｆ）の回転速度（Ｒ）が求められることを特徴とする、請求項１２に記載の装置。

Images