JP2015505759A - 車両の迫っている横転を検知するための方法 - Google Patents

車両の迫っている横転を検知するための方法 Download PDF

Info

Publication number
JP2015505759A
JP2015505759A JP2014542713A JP2014542713A JP2015505759A JP 2015505759 A JP2015505759 A JP 2015505759A JP 2014542713 A JP2014542713 A JP 2014542713A JP 2014542713 A JP2014542713 A JP 2014542713A JP 2015505759 A JP2015505759 A JP 2015505759A
Authority
JP
Japan
Prior art keywords
step
image
characterized
roll
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014542713A
Other languages
English (en)
Inventor
フェーザー・ミヒャエル
シュミット・ヨッヘン
バラトフ・グレゴリー
ライト・アンドレアス
エルトルマイアー・ルードルフ
ブラントマイアー・トーマス
Original Assignee
コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH
コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH
コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH
コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE102011055795A priority Critical patent/DE102011055795A1/de
Priority to DE102011055795.4 priority
Application filed by コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH, コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH, コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH, コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH filed Critical コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH
Priority to PCT/DE2012/100291 priority patent/WO2013079057A1/de
Publication of JP2015505759A publication Critical patent/JP2015505759A/ja
Application status is Pending legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0233Vehicle tilting, overturning or roll over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/783Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
    • G01S3/784Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude

Abstract

本発明は、車両の迫っている横転を認識するための方法並びに装置に関する。本方法は、以下のステップを包含する:
・ステップa)一台のカメラ(1a;1b)により、車両周辺部、特に、前方にある車線の画像シーケンスを撮影する。
・ステップb)画像シーケンスにおいて点状特徴を割出し、トラッキング(追跡する)。
・ステップc)静止している車両周辺部に対して動いているオブジェクト上の点状特徴を削除する。
・ステップd)残った点状特徴を考慮しながら、少なくとも一つの回転的なカメラの動き(ロール率、ピッチ率及び/或いはヨー率)の大きさを割出す。

Description

本発明は、横転認識、乃至、ロールオーバー認識における車両の迫っている横転を検知するための方法に関する。

EP 1240533 B1は、横転認識のための方法と、車内の搭乗者を守るための手段の作動を開示している。周辺の光学的監視から割り出された車両の平らな車線に対する傾き角が、回転率センサーによって割り出された傾き角とリンクされている。双方で割出された傾き角が一致した場合にのみ、搭乗者を保護するための手段が作動する。

EP 1474315 B1は、オブジェクトまでの間隔測定を実施し、画像センサー毎の画像ベクトルを作成するステレオ・カメラをベースとした横転認識のための装置を開示している。横転事象は、これら画像ベクトルの縦方向成分の経時的変化から認識される。

EP1240533B1 EP1474315B1

よって、本発明の課題は、車両の迫っている横転を早期に、適正価格、且つ、信頼性高く認識する方法を提供することである。

上記の課題は、本発明によって、独立請求項に記載されているような方法で解決される。更なる好ましい実施形態は、従属請求項に記載されている。

迫っている横転を検知するための該方法は、以下のステップを包含している:
ステップa)一台のカメラにより、車両周辺部、特に、前方にある車線の画像シーケンスを撮影する。該カメラは、好ましくは、例えば、フロントガラスの後ろの車両の内部空間に配置され、フロントガラスを介する視野を有するモノカメラ或いはステレオ・カメラであることができる。

ステップb)画像シーケンスにおいて点状特徴を割出し、トラッキング(追跡する)(Point feature tracking)。適した点状特徴は、特に第一画像分析では、該画像シーケンスにおいて、強いコントラスト、特別な色、及び/或いは、形状から追跡しやすい、はっきりとした特徴を有する点状特徴が、選ばれる。

ステップc)静止している車両周辺部に対して動いているオブジェクト上の点状特徴を削除する。静止している車両周辺部には、特に、車線、車線境界、交通標識、橋などが含まれる。動いているオブジェクトとは、例えば、前方を走行している、或いは、対向して走ってくる車両や、歩いている歩行者などである。「静止している」、或いは、「動いている」と言う区別は、例えば、必要に応じて付加的な仮定の基に実施される、画像シーケンスの分析によってなされるが、他のオブジェクトに対する相対的な速度を得ることのできる他のセンサー(例えば、レーダーやライダーなど)のデータを考慮して実施することもできる。

ステップd)残った点状特徴を考慮しながら、少なくとも一つの回転的なカメラの動き(ロール率、ピッチ率及び/或いはヨー率)の大きさを割出す。カメラは、車両と接続されているため、ここでは、カメラの動きと車の動きが一致していると仮定している。モーメンタム(運動量、複数可)の計算は、少なくとも近似的に実施される、即ち、推定に相当する。これには、二次元画像上の経時的に動いているオブジェクトから三次元(3D)ストラクチャーを再現する所謂「Structure−from−motion」メソッドを採用し得る。ロール率、或いは、ロール角は、ローリング率、或いは、ローリング角とも呼ばれる。

本発明の長所は、横転認識に関係するモーメンタムを信頼性高く、適正価格で割出すことができることにある。

本発明の好ましい実施形態では、更なるステップe)において、少なくとも算出されたロール率(車体前後軸を中心とした回転速度)に依存する一つのロール特性値が、算出されたロール角に依存する閾値を超えた場合には、車両の搭乗者の保護機能が作動される。保護機能とは、例えば、シートベルト・テンショナー、エアバック、或いは、ロールオーバー・バーを作動させることである。

ロール特性値には、ロール率に加え、算出されたピッチ率及び/或いはヨー率も考慮することができる。

好ましい実施形態では、付加的に、全ての、或いは、選択された直進的モーメンタム、言い換えれば、3つの空間方向への速度、及び/或いは、加速が、ロール特性値に導入される。これらモーメンタムも、ステップd)のカメラの動きからの近似的に計算から得られる、或いは、少なくとも一つの慣性センサーを備えた慣性センサー手段のデータから得られることができる。該少なくとも一つの慣性センサーは、特に、車両のセンサークラスターの回転率センサー、或いは、加速センサーであることができる(以下、これらを走行ダイナミクスセンサーと呼ぶ)。センサークラスターのデータには、ESCなどの電子的安定化プログラム、ACCなどの長手方向のダイナミクス制御システム、或いは、アダプティブ・カーブランプもアクセスする。慣性センサーとしては、代案的、或いは、付加的に、エアバックやその他の保護装置の作動用の加速センサー、或いは、クラッシュセンサーも用いることができる。該クラッシュセンサーは、走行ダイナミクスセンサーと比較して、広い測定範囲、解像度の低さ、並びに、測定周波数の高さなどで異なっている。

ステップb)では、好ましくは、点状特徴として少なくとも100の点が割出され、トラッキング(追跡)される。

本発明の好ましい実施形態では、ステップb)では、点状特徴の位置、乃至、画像内の点は、サブピクセルの精度で割出され、トラッキング(追跡)される。

本発明の好ましい実施形態によれば、ステップc)では、動いている点状特徴を割出すために、画像データの直接的分析が考慮される。

オプション的には、ステップc)では、動いている点状特徴を割出すために、例えば、交通標識認識や走行レーン認識など、少なくとも一つの二つ目のドライバー・アシスタント機能による画像データの分析も考慮される。

好ましい実施形態によれば、ステップc)では、動いている点状特徴を割出すために、少なくとも一つの車載されているセンサー(例えば、レーダー或いはライダー)のデータも考慮される。

ある好ましい実施形態によれば、ステップd)では、カメラが較正されている、即ち、内因的パラメーター(焦点距離、水平・鉛直方向のピクセルの間隔、画像主点偏位)が既知であると仮定される。

好ましくは、ステップd)において、一連の画像シーケンスの連続する画像ペア間のロール角変化の合計からロール角が推定される。この際、個々のロール角変化推定の誤差は、加算される。これを補正するため、該ロール角の代わりに、或いは、該ロール角に加え、ある一連の画像シーケンスの特定の枚数nの連続する画像の最初の画像と最後の画像の間(画像n枚からなる部分シーケンス)のロール角変化から推定される。

本発明の好ましい実施形態におけるステップa)では、画像シーケンスが、ステレオ・カメラによって撮影される、即ち、該カメラとして、ステレオ・カメラが用いられている。

ここでは、車線レベルが、ステレオ画像の不一致性から好ましく推定でき、これに基づいて、ステップd)において、車線に対する絶対ロール角を推定できる。

代案的には、ステレオ・カメラの双方の画像取得ユニット毎にロール角の推定を、個別に、即ちそれぞれモノカメラのごとく、行うことも可能である。

好ましくは、ステレオ画像シーケンスから、光学的流れによって、点状特徴、或いは、点を3D的に追跡し、3Dポイント・マッチングによって、回転的なカメラ運動を、要するに、ロール角も、直接的に推定できる。

本発明に係る方法は、慣性センサー手段によって認識された車両の迫っている横転の妥当性検証に用いることができる。

代案的には、ステップd)において計算されたモーメンタムを慣性センサー手段からのデータと統合し、ステップe)において、統合したデータを、ロール率とロール角に関して評価することもできる。

更なる好ましい実施形態によれば、ステップe)において、更なる、及び/或いは、既に述べた慣性センサー手段のデータによる妥当性検証を済ませてから作動を実施するようにもできる。

カメラ、評価手段、並びに、横転認識ユニットを包含する車両の迫っている横転を割出すための装置も本発明の対象である。

該カメラは、車両周辺部の画像シーケンスを撮影する役割を担っている。

該評価手段は、画像シーケンス内の点状特徴の割出しトラッキング(追跡)を担っているが、ここでは、該評価手段は、静止している車両周辺部に対して動いているオブジェクトの点状特徴は削除し、残った点状特徴を考慮しつつ、カメラ運動の少なくとも一つの回転的値(ロール率、ピッチ率及び/或いはヨー率(ψ‘))を計算する。該横転認識ユニットは、横転が認識された場合に、保護装置を作動させるためのシグナルを作成するために、評価手段が計算したモーメンタムを使用する。

以下、本発明を、実施例と図面に基づいて説明する。

車両の迫っている横転を認識するための方法のダイヤグラム モノカメラの画像データの評価 ステレオ・カメラの画像データの評価 少なくとも二つのソースからのデータによる横転認識と保護装置へのトリガーシグナルの出力のダイヤグラム

図1の描写は、車両の迫っている横転の認識のための方法の手順についての概要を示している。モノカメラ(1a)或いはステレオ・カメラ(1aと1b)によって、画像シーケンスが撮影される。画像データは、画像処理(2)において評価され、分析される。その結果得られる(カメラの、即ち、車両の)動きに関するデータ(φ‘,θ‘,ψ‘,vx,vy,vz,ax,ay,az)は、横転認識ユニット(3)へ転送される。付加的に横転認識ユニット(3)には、慣性センサー手段、或いは、クラッシュセンサー手段(5)で得られた動きに関するデータ(φ‘,θ‘,ψ‘,vx,vy,vz,ax,ay,az)も与えられる。横転認識ユニット(3)は、間髪なく迫っている横転が認識された場合、保護機能(4)を作動させるためのシグナル(TS)を出力する。

要するにここでは、カメラ・システムから車両のモーメンタムが計算される。簡単なケースでは、ロール率(φ‘)が計算され、横転アルゴリズム(即ち、横転認識(3))へ提供される。横転アルゴリズムは、カメラデータから計算されたモーメンタム(例えば、ロール率(φ‘))をベースに、横転するか否かを判断する。これから横転することが認識され、必要に応じて妥当性検証された場合、保護機能(4)が作動される。

図2aは、データをモノカメラ(1a)から得る場合の画像処理(2)の第一バリエーションを示している。画像処理(2)は、画像シーケンスから光学的流れ(21)を割出す。続いて、カメラの動きを少なくとも近似的に、「Structure−from−motion」メソッド(22)によって計算する。
計算された回転的な、並びに、必要な場合直線的なモーメンタムは、横転認識ユニット(3)へ送られる。典型的には、ロール率(φ‘)が送られるが、ピッチ率(θ‘)及び/或いはヨー率(ψ‘)、即ち、更なる回転的モーメンタム、空間速度(vx,vy,vz)、及び/或いは、空間加速度(ax,ay,az)、即ち、直線的モーメンタムを送ることもできる。

即ち、横転センサー(横転認識ユニット)にとって重要な車両の回転的な動き(φ‘,θ‘,ψ‘)の値は、カメラ(1a)を用いて、画像データのみから計算することが可能である。以下のアルゴリズム構成要素が必要である:
・経時的な点状特徴の追跡(英語=Point feature tracking)
・動いているオブジェクト上の特長の削除
・カメラの動きの計算

点状特徴の追跡
興味深い(即ち、追跡しやすい)点の検出と経時的な、即ち、一枚の画像から次の画像へ追跡ためのアルゴリズムが必要である。ここでは、例えば、光学的流れ(21)、或いは、「Tomasi−Kanade Tracker」が採用可能である。これに最終的な動きの再現の精度がかかっているので、サブピクセルレベルに正確な検出が重要である。安定した結果を得るため、数百の点を追跡する。

異常値の削除
追跡されている点状特徴のうち、異常値の認識と削除は、本方法における重量な要素である。カメラの動きの計算用の普及しているアルゴリズムは、静止しているシーンを必要としている、即ち、画像内の動きの原因は、カメラの動きのみであり、全ての他のオブジェクトは、互いに相対的に動かない。しかしこれは、典型的な道路のシーンでは有り得ないため、動いていないバックグランド上にない特長は、削除されなければならない。このような特徴は、ここでは、異常値と呼ぶ。

以下のようなやり方が考え得る:
・実績のある異常値消去の方法(RANSAC(RANdom Sample Consensus)の応用したもの、或いは、基本マトリックスを用いるLMedS(Least Median of Squares))
・カメラ(1a)の制御装置、或いは、画像データ評価にいずれにせよ実装されているアルゴリズムによってオブジェクトを検出(特に好ましくは、カメラベースのオブジェクト認識/分類、或いは、レーン認識による車線レベル推定、或いは、道路標識認識(異常値でないものを得ることができる))
・既に車載されている他のセンサー類(特に好ましくは、レーダー)を用いてオブジェクトを検出
・或いは、これらの方法の組み合わせ

カメラの動きの計算
経時的に追跡された点状特徴からカメラの動きを計算できる。原理的には、全種類の「Structure−from−motion」メソッドが適している。横転センサー手段用としては、計算を簡略化できる副条件がいくつか存在する:運動の回転的成分(φ‘,θ‘,ψ‘)のみが必要であり、カメラ(1a)は、較正されている、即ち、内因的なカメラパラメーターは既知である。

計算には、コア・マトリックスE(英語:Essential Matrix)を、基礎マトリクスを介する寄り道なく、即ち、堅牢に求めることができるNister式の5点アルゴリズムが、推奨される。コア・マトリクスEは、3x3ローテーション・マトリクスRと3D変換ベクトルtを包含している:尚、双方の成分が、マトリックスから抽出できるが、変換に関しては、(横転センサー手段では、重要でない)一つの不明なスケール・ファクターだけはできない。ローテーション・マトリクスは、三つの成分(ロール、ピッチ、ヨーイング)に分解できる、即ち、直接相対的な(通常、前の画像に対しての)回転角が得られる。

直接的に連続する画像のみを計算に用いると、相対的なロール角の加算は、エラーの蓄積の原因となり、より以前の比較用画像に対するロール角(φ)を、必要な精度では得られなくなる。しかし、一般的には、十分な数の点を複数の画像に渡って追跡できるため、安定した推定を得るために、ここからも付加的にロール角(φ)を再度求める、但し、アップデート率は、低くなる。

図2bは、データをステレオ・カメラ、即ち、二台のカメラ(1aと1b)から得る場合の画像処理(2)の第二バリエーションを示している。画像処理(2)は、画像シーケンスから光学的流れ(23)と不一致性(24)を割出す。これらから座標変換(26)によりカメラの動きが、少なくともと近似的に計算できる3D座標ペア(25)が得られる。

モーメンタムとしては、全ての回転的角速度(φ‘,θ‘,ψ‘)だけでなく、縦方向、横方向、高さ方向(即ち、長手方向、横方向、垂直方向)への直線的速度(vx,vy,vz)、及び/或いは、加速(ax,ay,az)も横転認識(3)へ供給することができる。

ステレオ・カメラ(1aと1b)の使用により、更に別のロール角推定方法も可能になる、例えば:
・不一致性(24)から車線レベルを推測する;これは、車線に対する絶対ロール角(φ)の簡単な三角関数から計算することができる。
・モノカメラ(1a)同様に計算する、但し、ここでは、左のカメラ(1a)と右のカメラ(1b)において、個別に計算する。これにより、各々のロール角(φ)の妥当性検証が可能になる。
・3D点からカメラの動きを計算する(不一致性(24)を基にする)。光学的な流れ(23)により、3D空間内の点を経時的に追跡できる。モノカメラ(1a)の場合とは異なり、ここでは、これを基に、変換に関する情報が無くとも、或いは、これを推定しなくても、直接的に回転マトリクスRの推定を可能にする3Dポイント・マッチング(点の比較)ができる。
光学的流れ(23)ではなく不一致性(24)のみが用いることができる場合は、該計算は、IPCアルゴリズム(Iterative−Closest−Point)によって実施される。

横転認識ユニット(3)の作動形態の一例を、図3に示す。

第一データ(31)(点線で示す)は、ロール角(φ)とロール特性値(KG=ennroesse=特性値)の計算に用いられる。第一データ(31)は、第一前処理(33)へ供給される。続いて、少なくとも近似的なロール角計算(35)、並びに、ロール特性値(KG)の計算(36)が、実施される。双方の算出された値(φ,KG)が、ある閾値と比較(37)される。これは、図3に示す如く、例えば、横転マップ(ロールオーバー・マップ)にプロットすることによって実施できる。この図では、ロール角(φ)は、x座標、特性値(KG)は、y座標にプロットされている。また、実線は、閾値を示している。点線は、横転はしない車両の揺れをしめし、破線は、横転を伴うロール運動を概略的に示している。ロール角(φ)とロール特性値(KG)の閾値との比較から、迫っている横転を認識できる。

横転認識ユニット(3)は、第一データ(31)の他には、これを基に迫っている横転を妥当性検証できる第二データ(32)を、用いることができる。第二データは、第二前処理(34)へ供給される。続いてこのデータを基に妥当性検証(38)が実施される。
最後に、第一データと第二データ(31,32)から割出された値(39)の統合が実施される。これは、例えば、論理的AND演算(論理積演算)に相当する。トリガー・シグナル(TS)は、第一データ(31)によって横転が認識され、第二データ(32)による妥当性検証(38)が、これを確認した場合、保護装置(4)へ出力される。シグナル(TS)の伝達により、保護機能(4)が作動する。

ロール角(φ)は、モーメンタム(φ‘,θ‘,ψ‘,vx,vy,vz,ax,ay,az)から計算される。ロール率(φ‘)(場合によっては、他の値やデータも含め)からは、バリアブル(例えば、ロール角(φ)等に依存して)な閾値と比較される特性値(KG)が割出される。特性値(KG)が閾値を超え、同時に、独立した(例えば、クラッシュセンサーによる)妥当性検証が成立した場合、保護機能(4)が作動される。

横転認識ユニット(3)の第一機能バリエーション用に、本発明に係る画像処理(2)は、ロール率とオプションとしてyとz方向への加速を、横転の認識のための第一データ(31)として、出力する。

第二データ(32)としては、クラッシュセンサーが、横方向の加速ayを、独立した妥当性検証のために出力する。

これは、安定化制御用に慣性センサー類を必要としないため、センサーの削減(節約)と言えるであろう。

横転認識ユニット(3)の第二機能バリエーション用には、第一慣性センサー手段(走行ダイナミクスセンサー手段)が、ロール率とオプションとして横方向、及び/或いは、鉛直方向への加速(ay;az)を、横転するか否かの認識のための第一データ(31)として出力する。

第二データ(32)としては、カメラの動きから割出されたモーメンタム、少なくともロール率と、付加的に第一慣性センサー手段(走行ダイナミクスセンサー手段)の横方向、及び/或いは、鉛直方向加速(ay;az)、及び/或いは、第二慣性センサー手段(クラッシュセンサー手段)の横方向加速(az)が、妥当性検証用に出力される。その結果、例えば、フリーフライト中でもこれによって妥当性検証できる最適化された妥当性検証パスが得られる。

第三機能バリエーションでは、アルゴリズムは、第一データ(31)としての第一慣性センサー手段(走行ダイナミクスセンサー)とカメラデータから計算されたモーメンタム(例えば、ロール率)をベースに、横転するか否かを判断する。そのために、第一データ(31)からは、ロール角とロール率に依存するロール特性値(KG)が計算される。特性値(KG)が閾値を超え、同時に、独立した妥当性検証が成立した場合、保護機能が作動される。妥当性検証は、第二データ、特に好ましくは、横方向、及び、鉛直方向加速、並びに、慣性センサー手段(加速)に、例えば、走行ダイナミクスセンサー(ay,az)とクラッシュセンサー(ay)の組み合わせに基づいている。

この第三機能バリエーションの長所は、起爆時間の改善、即ち、本方法の性能向上である。

第二および第三機能バリエーションは、カメラによって得られたモーメンタムを、慣性センサー手段のデータと共に、横転認識(3)用の(第一(31)或いは第二(32))入力データとして入力(閾値比較(37)或いは妥当性検証(38))することから、センサー統合と言える。

1a(+1b) モノ・カメラ(ステレオ・カメラ)
2 画像処理
3 横転認識
4 保護機能
5 慣性センサー手段
21 光学的流れ
22 「Structure−from−motion」メソッド
23 光学的流れ
24 不一致性
25 3D座標ペア
26 座標変換
31 第一データ
32 第二データ
33 第一前処理
34 第二前処理
35 計算、ロール角
36 計算、ロール率
37 閾値比較
38 妥当性検証
39 データ統合
φ ロール角
φ‘ ロール率
θ‘ ピッチ率
ψ‘ ヨー率
vx,vy,vz x、y及びz方向への速度
ax,ay,az x、y及びz方向への加速
KG ロール特性値
TS (トリガー)シグナル

Claims (16)

  1. 以下のステップを包含する車両の迫っている横転を検知するための方法:
    a)一台のカメラによって車両周辺部、特に、前方にある車線の画像シーケンスを撮影する(1a;1b)、
    b)画像シーケンスにおいて点状特徴を割出し、トラッキング(追跡)する、
    c)静止している車両周辺部に対して動いているオブジェクト上の点状特徴を削除する、並びに、
    d)残った点状特徴を考慮しながら、少なくとも一つの回転的なカメラの動き(ロール率(φ‘)、ピッチ率(θ‘)及び/或いはヨー率(ψ‘))の大きさを割出す。
  2. 更なるステップ:
    e)少なくとも算出されたロール率(φ‘)に依存する一つのロール特性値(KG)が、ロール率(φ‘)から算出されたロール角(φ)に依存する閾値を超えた場合に、保護機能(4)を作動する
    を包含することを特徴とする請求項1に記載の方法。
  3. ステップe)において付加的に、ロール特性値(KG)が、少なくとも一つの車両速度の回転的な値(vx,vy,vz,ax,ay,az)に依存する、但し、該少なくとも一つの回転的な値(vx,vy,vz,ax,ay,az)が、ステップd)において、カメラの動きから計算される、及び/或いは、慣性センサー手段から得られることを特徴とする請求項2に記載の方法。
  4. ステップb)における点状特徴の数が、少なくとも100の点を包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。
  5. ステップb)において、点状特徴の位置、乃至、画像内の点は、サブピクセルの精度で割出され、トラッキング(追跡)されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  6. ステップc)において、動いている点状特徴を割出すために、画像データの直接的分析が考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  7. ステップc)において、動いている点状特徴を割出すために、画像データの少なくとも一つの二つ目のドライバー・アシスタント機能による分析が考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  8. ステップc)において、動いている点状特徴を割出すために、少なくとも一つの他の車載されているセンサーのデータが考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  9. ステップd)において、一連の画像シーケンスの連続する画像ペア間のロール角変化の合計から、及び/或いは、ある一連の画像シーケンスの特定の枚数の連続する画像の最初の画像と最後の画像の間のロール角変化からロール角(φ)が推定されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  10. ステップa)において、ステレオ・カメラ(1a及び1b)によって画像シーケンスが撮影されることを特徴とする先行請求項のうち何れか一項に記載の方法。
  11. ロール角(φ)の推定を、請求項1から9の場合と同様に、双方のカメラ(1a,1b)それぞれ個別に実施することを特徴とする請求項10に記載の方法。
  12. ステレオ画像シーケンスから、光学的流れ(23)を用いて、3Dにおける点状特徴を追跡し、3Dポイント・マッチングから回転的なカメラ運動(φ‘,θ‘,ψ‘)を直接的に推定することを特徴とする請求項10に記載の方法。
  13. 一つの慣性センサー手段によって認識された車両に迫っている横転の妥当性検証に用いられる先行請求項のうち何れか一項に記載の方法。
  14. ステップd)において計算されたモーメンタム(φ‘,θ‘,ψ‘)を慣性センサー手段からのデータと統合し、ステップe)において、統合したデータを、ロール率(φ‘)とロール角(φ)に関して評価することを特徴とする請求項2から12のうち何れか一項に記載の方法。
  15. ステップe)において、更なる、及び/或いは、既に述べた慣性センサー手段のデータによる妥当性検証を済ませてから作動を実施することを特徴とする請求項14に記載の方法。
  16. 以下を包含することを特徴とする車両の迫っている横転を検知するための装置:
    a)車両周辺部の画像シーケンスを撮影するためのカメラ(1a;1b)
    b)画像シーケンス内の点状特徴の割出しトラッキング(追跡)するための評価手段、但し、該評価手段は、静止している車両周辺部に対して動いているオブジェクトの点状特徴は削除し、残った点状特徴を考慮しつつ、カメラ運動の少なくとも一つの回転的値(ロール率(φ‘)、ピッチ率(θ‘)及び/或いはヨー率(ψ‘))を計算する、並びに、
    c)横転が認識された場合に、保護装置を作動させるためのシグナルを作成するために、評価手段が計算したモーメンタムを使用する横転認識ユニット。
JP2014542713A 2011-11-29 2012-09-20 車両の迫っている横転を検知するための方法 Pending JP2015505759A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102011055795A DE102011055795A1 (de) 2011-11-29 2011-11-29 Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
DE102011055795.4 2011-11-29
PCT/DE2012/100291 WO2013079057A1 (de) 2011-11-29 2012-09-20 Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs

Publications (1)

Publication Number Publication Date
JP2015505759A true JP2015505759A (ja) 2015-02-26

Family

ID=47071037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014542713A Pending JP2015505759A (ja) 2011-11-29 2012-09-20 車両の迫っている横転を検知するための方法

Country Status (5)

Country Link
US (1) US9187051B2 (ja)
EP (1) EP2786166A1 (ja)
JP (1) JP2015505759A (ja)
DE (2) DE102011055795A1 (ja)
WO (1) WO2013079057A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE538987C2 (sv) * 2013-07-18 2017-03-14 Scania Cv Ab Vältvarning i fordon
WO2015151681A1 (ja) * 2014-03-31 2015-10-08 日立オートモティブシステムズ株式会社 車両姿勢検出装置
KR101619217B1 (ko) * 2014-05-07 2016-05-10 현대자동차 주식회사 차량 에어백 제어장치 및 방법
DE102015202230A1 (de) * 2015-02-09 2016-08-11 Conti Temic Microelectronic Gmbh Fusionierte Eigenbewegungsberechnung für ein Fahrzeug
DE102015209936B4 (de) * 2015-05-29 2018-02-08 Volkswagen Aktiengesellschaft Erkennung eines Überschlag-Lastfalls eines Fahrzeugs
DE102016223107A1 (de) * 2016-11-23 2018-05-24 Volkswagen Aktiengesellschaft System und Verfahren zur Schätzung der Eigenbewegung eines Fahrzeuges
DE102017201796A1 (de) 2017-02-06 2018-08-09 Audi Ag Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19822184B4 (de) * 1998-05-16 2006-05-04 Volkswagen Ag Vorrichtung zur Erfassung eines Überschlages eines Kraftfahrzeuges
DE19962491A1 (de) * 1999-12-23 2001-07-05 Daimler Chrysler Ag Verfahren zur optischen Überwachung der Umgebung eines sich bewegenden Fahrzeugs
DE10204128B4 (de) * 2002-02-01 2011-06-22 Robert Bosch GmbH, 70469 Vorrichtung zur Überrollerkennung
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
US7197388B2 (en) * 2003-11-06 2007-03-27 Ford Global Technologies, Llc Roll stability control system for an automotive vehicle using an external environmental sensing system
DE102004026638B4 (de) * 2004-04-08 2007-03-29 Daimlerchrysler Ag Verfahren zum Steuern von Insassenrückhaltemitteln in einem Fahrzeug
DE102004046101B4 (de) * 2004-09-23 2007-01-18 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
DE102007033735A1 (de) * 2007-02-26 2008-08-28 Volkswagen Ag Verfahren und Vorrichtung zur Detektion von nachfolgenden Fahrzeugen in einem Kraftfahrzeug
US20080262680A1 (en) * 2007-04-02 2008-10-23 Trw Automotive U.S. Llc Apparatus and method for detecting vehicle rollover using an enhanced algorithm having lane departure sensor inputs
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
US8489287B2 (en) * 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method

Also Published As

Publication number Publication date
DE102011055795A1 (de) 2013-05-29
WO2013079057A1 (de) 2013-06-06
US20140330485A1 (en) 2014-11-06
DE112012004982A5 (de) 2014-08-21
EP2786166A1 (de) 2014-10-08
US9187051B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
Keller et al. Active pedestrian safety by automatic braking and evasive steering
EP1780675B1 (en) Object detector
US6535114B1 (en) Method and apparatus for environment recognition
US20090121899A1 (en) Parking assistance device
EP2107503A1 (en) Method and device for generating a real time environment model for vehicles
EP2336999A1 (en) Device for detecting/judging road boundary
US9183463B2 (en) Orientation model for a sensor system
US10274598B2 (en) Navigation based on radar-cued visual imaging
JP4321821B2 (ja) 画像認識装置及び画像認識方法
CN103569112B (zh) 带有似真性模块的碰撞检测系统
US8989914B1 (en) Driver identification based on driving maneuver signature
WO2011013586A1 (ja) 道路形状認識装置
US9177212B2 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle
CN103124994B (zh) 车辆控制设备和车辆控制方法
CN101135558A (zh) 一种基于机器视觉的汽车防撞预警方法及装置
JP4433887B2 (ja) 車両用外界認識装置
US9824586B2 (en) Moving object recognition systems, moving object recognition programs, and moving object recognition methods
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
CN100552742C (zh) 安全运动支持装置
JP2006031162A (ja) 移動障害物検出装置
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
JP3239521B2 (ja) 移動体認識装置
US8682531B2 (en) Image processing system and vehicle control system
JP3986360B2 (ja) カメラ校正装置