JP2013512150A - 走行する車両における横揺れ角を評価する方法 - Google Patents

Abstract

本発明は、次の段階により走行する車両（７）の横揺れ角を評価する方法に関する。段階ａ）において、カメラ（８）により車両周辺特に前にある車道（１）の画像列を記録する。カメラ画像から、車道表面の少なくとも１つの記号（Ｓ１〜Ｓ６）を抽出従って求めて追跡する。１つ又は複数の後続のカメラ画像における少なくとも１つの記号（Ｓ１〜Ｓ６）の変化する位置から、段階ｃ）において、どの横揺れ方向にカメラ（８）が回転されているかを確かめる。段階ｄ）において横揺れ角の値を評価する。このため車両速度（ｖ）及びカメラ（８）の写像モデルを考慮して、段階ｄ１）において、横揺れ角の値を直接評価するか、又は評価される段階ｄ２）において、横揺れ角がカメラ（８）の回転を十分補償するまで、反復して所定の修正角だけ横揺れ角を増大するか又は減少する。これから評価される横揺れ角が全修正値として生じる。
【選択図】図１

Description

本発明は、カメラにより走行する車両の横揺れ角を評価する方法に関し、例えば運転者援助機能を備えた車両において使用される。

運転者援助機能には、例えば交通標識の識別、自動光制御、車両及び歩行者の識別、夜間可視システム、間隔制御経済走行装置（ＡＣＣ）、割込み補助装置又は自動割込み装置及び車線検出システムがあげられる。

車線検出システムは、車線幅、車線ずれ及び片揺れ角を評価するために、車両にあるカメラの組込み位置を正確に知る必要がある。特にこれはカメラの高さ、横揺れ角、縦揺れ角及び片揺れ角であり、一般に費用のかかるテープ端部校正又はサービス校正によって求めねばならない。

車線検出システムは縦揺れ角及び片揺れ角を評価できるが、横揺れ角がわかっている場合にのみ可能である。なぜならば、横揺れ角の誤差から、縦揺れ角及び片揺れ角の誤差が生じるからである。

根本的な問題は、車両への組込み後カメラの組込み状態の慎重な校正の際にも、一方では、横揺れ角の小さい誤差が生じて引続き維持されることがあり、他方では、カメラの組込み状態の後になっての変化又は例えば車両の不等な負荷が横揺れ角を変化することがあることである。

ドイツ連邦共和国特許出願公開第１０２００６０１８９７８号明細書は、車両の片揺れ速度及び比横揺ればね強度を求める装置を使用して動的横揺れ角を求める方法を示している。

ここに紹介される発明の課題は、走行する車両において現在の正確な横揺れ角評価を可能にする、横揺れ角の評価方法を提示することである。

課第を解決するための手段

本発明によればこの課題は、独立請求項に記載の方法によって解決される。有利な展開は従属請求項からわかる。

走行する車両における横揺れ角を評価する方法は、次の段階で示される。まず段階ａ）において、カメラにより車両周辺特に前にある車両の画像列を記録する。段階ｂ）において、カメラ画像から、車道表面の少なくとも１つの記号を抽出し、つまりその形状及び位置を求めて追跡する。記号は車道表面の構造例えば車道の標識の始端及び終端である。１つ又は複数の後続のカメラ画像における少なくとも１つの記号の変化する位置から、段階ｃ）において、どの横揺れ方向にカメラが回転されているかを確かめる。横揺れ角の値を段階ｄ）において評価する。このため段階ｄ１）において、（自己の車両の）車両速度及びカメラの写像モデルを考慮して、横揺れ角の値を直接評価するか又は段階ｄ２）において、横揺れ角がカメラの回転を補償するまで、横揺れ角を反復して修正角だけ大きくするか又は小さくする。横揺れ角の反復評価の際、方法の始めに横揺れ角をなるべく零に評価する。方法の過程中に、少なくとも１つの記号の変化される位置から、１つ又は複数の後続カメラ画像において、横揺れ角がカメラの回転を十分補償することが推論されるまで、段階ｃ）において確認される回転方向に応じて、（現在評価される）横揺れ角を修正角だけ修正する。十分な補償は、修正される横揺れ角が角解像度の範囲で零とあまり相違していない（例えば０．１°又は０．５°より小さい相違）ことで判断することができる。行われる修正を所定の修正角と乗算することにより全修正値として、又は変化する修正角値の場合行われる修正の和として、完全に評価される横揺れ角が生じる。

本発明の利点は、走行する車両における横揺れ角を正確に評価できることである。本発明による方法のために、片揺れ速度を求める装置は必要でない。試験走行の際、この方法により７°までの横揺れ角偏差を評価して補償することができた。

本発明の基礎になっている考察は、横揺れ角が零の場合、カメラにより記録されて車道の表面を表す画像の行内のすべての点が、世界座標において、車両縦方向の投影においてカメラに対して同じ距離を持っている、ということである。この考察は、道路が実質的に平らであるという仮定に基いている。これは道路に対する“フラットアースジオメトリー”仮定に相当する。この場合世界座標は、例えばカメラ画像の行及び列により与えられている画像座標とは異なり、実際の空間を意味する。カメラの写像モデルは、実際の空間における点が画像上にどのように写像されるかを示す（画像座標）。既知である画像座標を持つ点は、カメラの完全な写像モデルを知ると、世界座標における物点へ戻し投影することができる。定義による記号は車道表面上にあってもよく、車道表面が平らに延びていることが仮定されるので、世界座標における記号の位置を求めるために、簡単な逆投影で十分である。本発明の範囲内で、実際の空間にある車道表面上の点とカメラとの間隔の車両縦方向における成分に関心がある。

零でない横揺れ角の結果、カメラにより記録される画像の１つの行内にあって車道の表面を表す点が、世界座標において増大又は減少する距離を車両縦方向の投影に持っていることになる。例えば画像において１つの行にある車道点が、実際の空間において左から右へますます大きく離れていると、カメラがその視方向に対して左へ回転されている。

画素について車両縦方向の投影における距離を求めるために、特に画素の光束から、光束ベクトルの長さを分析することができる。例えば画像において１つの行にある車道点の光束ベクトルの垂直成分が、左から右へ増大していると、カメラは右方へ回転されている。

本発明の有利な構成では、段階ｄ１）においてカメラの写像モデルを考慮して、車両縦方向においてカメラに対する少なくとも１つの記号の間隔を求める。このためカメラ画像において求められる記号の表現が鳥瞰図において逆投影により行われ、車両縦方向における記号とカメラとの間隔がこの表現から求められる。

（車両縦方向においてカメラに対して）記号の求められた間隔及び車両速度から、時間Δｔ後の記号の間隔を予測するのがよい。

最初の画像の時間Δｔ後に記録された後続の画像から、車両縦方向においてカメラに対する同じ記号の間隔を逆投影により測定するのがよい。

予測される間隔に対する測定された間隔の偏差から、カメラの写像モデルを考慮して横揺れ角を評価するのがよい。この場合予測が横揺れ角０により間隔を与え、偏差があると横揺れ角が直接求められ、この横揺れ角においてカメラにより、予測された間隔に相当する間隔が測定されることを仮定する。

この場合車両速度の値における不確実さは、横揺れ角評価の際順序誤差を生じる可能性がある。従って本発明の好ましい実施形態では、車両速度における先の測定不確実さの意味で既知の誤差が、横揺れ角の評価の際考慮され、生じる横揺れ角誤差が特にカルマンフィルタにより評価される。

本発明の有利な構成によれば、段階ｂ）において、左の画像半分にある少なくとも１つの第１の記号を求めて追跡し、同じ又は後続の画像において右の画像半分にある第２の記号を求めて追跡する。更にカメラ画像の記録の時点に車両速度を記憶する。段階ｃ）において、車両速度及びカメラの写像モデルを考慮して、各記号に対して別々に、記号間隔の予測を行う。後続の画像において記号間隔を測定する。第１の記号のための測定される記号間隔を持つ予測された信号間隔を、第２の記号の信号間隔のための偏差と比較することによって、どの方向にカメラ（横揺れ角）が回転されているかが確かめられる。

段階ｄ２）により横揺れ角が反復して評価される。この構成は、右の記号偏差と左の記号偏差との比較によって誤差を補償できるという利点を与える。それによりこの方法は高度の精度を与える。

好ましい実施形態では、段階ｂ）において、左の画像半分にある少なくとも１つの第１の記号を求めて追跡し、同じ又は後続の画像において右の画像半分にある第２の記号を求めて追跡し、更にカメラ画像の記録の時点に車両速度を記憶する。段階ｃ）において、各記号に対して画像における垂直記号位置の変化を車両速度に関係させ、この関係を両方の画像半分について比較し、その際この関係が大きい方の画象半分の方へカメラが回転されていることを推論する。横揺れ角を段階ｄ２）により反復して評価する。この方法は、誤差が絶対車両速度に現れない、という利点を与える。

本発明の対象は、更にカメラ及び本発明により横揺れ角を評価する手段を持つ評価装置を含む、走行する車両において横揺れ角を評価する装置である。

以下実施例により本発明を説明する。

横揺れ角を評価する方法の流れ図を示す。 記号を持つ車道のカメラ画像を示す。 カメラ画像により再現される光景を鳥瞰図で示す。

図１の流れ図は横揺れ角を評価する方法の実施例を示す。走行する車両において、段階ａ）でカメラ８により、前にある車道を含む、車両周辺の画像が記録される。段階ｂ）でカメラ画像から、車道表面の記号Ｓ１〜Ｓ６が求められ、画像におけるその位置が求められる。記号Ｓ１〜Ｓ６は車道表面の構造例えば車道の標識の始端Ｓ２，Ｓ４又は終端Ｓ３である。次の段階ａ）で別の画像が記録され、この画像から画像における記号Ｓ１〜Ｓ６の現在の位置が求められる。少なくとも１つの記号Ｓ１〜Ｓ６の変化した位置から、段階ｃ）において、横揺れ角に関してカメラ８がどの方向に回転されているかが求められる。カメラ８が回転されていると、横揺れ角が段階ｄ）で修正される。横揺れ角の評価は段階ｄ）において修正の和から生じる。

図２は、段階ａ）において記録されるような車両周辺のカメラ画像を示す。車両は左の連続する車道標識２及び右の連続する車道標識３により区画されている車道１上を走行する。車道１の中央は、中断される中央縞により示されている。車道表面には多数の記号が認められる。記号Ｓ１〜Ｓ６が図に示されている。記号Ｓ１〜Ｓ６の検出は段階ｂ）で行われる。記号Ｓ１は車道左側の付加的な標識である。記号Ｓ２及びＳ４又はＳ３は中央縞標識の始端又は終端である。記号Ｓ５は車道路面の亀裂であり、記号Ｓ６は右の連続する車道標識上の構造、例えばその汚れ又は穴である。補助線４及び５は水平な画像中央及び垂直な画像中央を示す。画像の行及び列は補助線５及び４に対して平行に延びている。補助線４が水平に延びていないという事実は、観察者に対して、横揺れ角がこの画像の下で零とは相違して記録されたこと、及びカメラ８が左方へ回転されていることを示唆する。

カメラ画像により鳥瞰図で再現される光景の表現が図３に示されている。世界座標において標識及び記号Ｓ１〜Ｓ６により、鳥瞰図においてカメラ画像により再現される光景のこの表現の作成は、例えば５ｃｍの段階幅を持つ画像座標から、現在評価される横揺れ角を考慮してカメラ８の写像モデルから求められた逆投影によって行うことができる。車道表面の記号Ｓ１〜Ｓ６はこの表現から抽出される。世界座標において車両縦軸線の方向におけるカメラ８に対する記号Ｓ１〜Ｓ６の間隔ｄは、これから求められる。世界座標におけるこれらの記号Ｓ１〜Ｓ６の位置は、遅い時点のために、車両の自己速度ｖを考慮して予測される。その際遅い時点Δｔは、この遅い時点Δｔに後続の画像がカメラにより記録されるように、選ばれる。従って遅い時点Δｔは、画信号周波数の逆数の倍数だけ、第１の画像（図２）の記録の時点ｔ＝０より遅い（例えば４０ｍｓ）。遅い時点Δｔに記録される画像は表示されない。世界座標において時点ｔ＝０にカメラ８に対して間隔ｄ＿０を持つ記号Ｓ１〜Ｓ６のための時点Δｔにおける予測は、例えば次式から生じる。
ｄ＿ｅｓｔ＝ｄ＿０−ｖ・Δｔ
ここでｖは時点ｔ＝０に求められた車両の速度である。世界座標におけるこの記号Ｓ１〜Ｓ６の実際の間隔は、遅い時点ｄｔに記録された画像の適当な表現から測定される。測定される信号間隔と予測される信号間隔との比が求められる。即ちｄ＿ｍｅａｓ／ｄ＿ｅｓｔ。

このように別の実施形態によれば、左の画像半分（Ｎ＿ｌｉｎｋｓ＞Ｎ）及び右の画像半分（Ｎ＿ｒｅｃｈｔｓ＞Ｎ）のためにそれぞれ２つの順次に続く画像の間の記号間隔変化の十分な数Ｎの予測及び測定（例えばＮ＝１０又はＮ＝５０）が行われるまで、左の画像半分（Ｓ１〜Ｓ３）及び右の画像半分（Ｓ４〜Ｓ６）における長い記号を分析することができる。予測される記号間隔と測定される記号間隔との比が、左の画像半分（ｄ＿ｍｅａｓ＿ｌｉｎｋｓ／ｄ＿ｅｓｔ）及び右の画像半分（ｄ＿ｍｅａｓ＿ｒｅｃｈｔｓ／ｄ＿ｅｓｔ）のために求められる。それから評価される横揺れ角値の実現を次のように行うことができる。
ｄ＿ｍｅａｓ＿ｌｉｎｋｓ／ｄ＿ｅｓｔ＞ｄ＿ｍｅａｓ＿ｒｅｃｈｔｓ／ｄ＿ｅｓｔの場合、横揺れ角を修正角だけ増大する。
ｄ＿ｍｅａｓ＿ｌｉｎｋｓ／ｄ＿ｅｓｔ＜ｄ＿ｍｅａｓ＿ｒｅｃｈｔｓ／ｄ＿ｅｓｔの場合、横揺れ角だけ減少する。
他の場合、横揺れ角を維持する。

修正角が横揺れ角評価の解像度を決定する所定の一定値（例えば０．０５°又は０．１°）をとるか、又は修正角が（ｄ＿ｍｅａｓ＿ｌｉｎｋｓ／ｄ＿ｅｓｔ−ｄ＿ｍｅａｓ＿ｒｅｃｈｔｓ／ｄ＿ｅｓｔの値に比例する値をとることができる。測定される記号間隔（ｄ＿ｍｅａｓ）と予測される記号間隔（ｄ＿ｅｓｔ）との比の形成により、車両の速度変化の影響が考慮される。

１ 車道
２ 左の連続する車道標識
３ 右の連続する車道標識
４ 水平な画像中央
５ 垂直な画像中央
６ 水平線
７ 車両
８ カメラ
Ｓ１〜Ｓ６ 記号１〜６
ｄ 世界座標において車両縦軸線の方向における記号とカメラとの間隔
ｖ 車両速度

Claims (8)

1. カメラ（８）により走行する車両（７）の横揺れ角を評価する方法であって、次の段階
   ａ） カメラ（８）により車両周辺の画像列を記録し、
   ｂ） カメラ画像から、車道表面の少なくとも１つの記号（Ｓ１〜Ｓ６）を求めて追跡し、
   ｃ） １つ又は複数の後続のカメラ画像における少なくとも１つの記号（Ｓ１〜Ｓ６）の 変化する位置から、どの横揺れ方向にカメラ（８）が回転されているかを確かめ、
   ｄ１）横揺れ角の値を、
   車両速度（ｖ）及びカメラ（８）の写像モデルを考慮して、横揺れ角の値を直接評 価するか、又は
   ｄ２）評価される横揺れ角がカメラ（８）の回転を十分補償するまで、反復して修正角だ け横揺れ角の値を修正する
   方法。
2. 段階ｄ１）においてカメラ（８）の写像モデルを考慮して、車両縦方向においてカメラ（８）に対する少なくとも１つの記号（Ｓ１〜Ｓ６）の間隔（ｄ）を求める、請求項１に記載の方法。
3. 記号（Ｓ１〜Ｓ６）の求められる間隔（ｄ）及び車両速度（ｖ）から、時間Δｔ後の記号（Ｓ１〜Ｓ６）の間隔（ｄ＿ｅｓｔ）を予測する、請求項２に記載の方法。
4. 最初の画像の時間Δｔ後に記録された後続の画像から、車両縦方向においてカメラ（８）に対する同じ記号（Ｓ１〜Ｓ６）の間隔（ｄ＿ｍｅａｓ）を逆投影により測定する、請求項３に記載の方法。
5. 予測される間隔（ｄ＿ｅｓｔ）に対する測定された間隔（ｄ＿ｍｅａｓ）の偏差から、カメラ（８）の写像モデルを考慮して横揺れ角を評価する、請求項４に記載の方法。
6. 段階ｂ）において、左の画像半分にある少なくとも１つの第１の記号（Ｓ１〜Ｓ３）を求めて追跡し、同じ又は後続の画像において右の画像半分にある第２の記号（Ｓ４〜Ｓ６）を求めて追跡し、更にカメラ画像の記録の時点に車両速度（ｖ）を記憶し、
   段階ｃ）において、車両速度（ｖ）及びカメラ（８）の写像モデルを考慮して、各記号（Ｓ１〜Ｓ６）に対して別々に、記号間隔（ｄ＿ｅｓｔ）の予測を行い、後続の画像において記号間隔（ｄ＿ｍｅａｓ）を測定し、予測される記号間隔（ｄ＿ｅｓｔ）の偏差を、現在評価される横揺れ角を考慮して測定される記号間隔（ｄ＿ｍｅａｓ）と両方の画像半分において比較することによって、どの方向にカメラ（８）が回転されているかを確かめ、段階ｄ２）により横揺れ角を反復して評価する、請求項１に記載の方法。
7. 段階ｂ）において、左の画像半分にある少なくとも１つの第１の記号（Ｓ１〜Ｓ３）を求めて追跡し、同じ又は後続の画像において右の画像半分にある第２の記号（Ｓ４〜Ｓ６）を求めて追跡し、更にカメラ画像の記録の時点に車両速度（ｖ）を記憶し、
   段階ｃ）において、各記号（Ｓ１〜Ｓ６）に対して画像における記号位置の変化を車両速度（ｖ）に関係させ、この関係を両方の画像半分について比較し、その際この関係が大きい方の画象半分の方へカメラ（８）が回転されていることを推論し、横揺れ角を段階ｄ２）により反復して評価する、請求項１に記載の方法。
8. カメラ（８）及び請求項１〜７の１つに記載の横揺れ角を評価する手段を持つ評価装置を含む、走行する車両（７）において横揺れ角を評価する装置。

Images