JP2010193428A - ロール角補正方法及び装置 - Google Patents

Abstract

【課題】車載カメラ補助装置付き運転者支援システムを作動する際のロール角を補正する方法及び装置を提供する。
【解決手段】カメラは第一の画像３２を撮像し、少なくとも２つの特徴点３０の座標が決定される。カメラを用いて第二の画像が撮像され、２つの特徴点３０の座標が決定される。第一及び第二の画像の特徴点３０に依存して２つの実際の変位ベクトル（ＩＶ＿１、ＩＶ＿３）が決定される。第一の画像の特徴点の決定された座標に依存し且つ車速に依存して２つのモデル変位ベクトル（ＭＶ＿Ｎ）が決定され、それぞれ２つのモデル変位ベクトルは、画像平面における第一の画像から第二の画像への特徴点の変位をモデル化する。決定された実際の変位ベクトル（ＩＶ＿１、ＩＶ＿３）及びモデル変位ベクトル（ＭＶ＿Ｎ）に依存して基準ベクトルが決定される。そしてロール角（α）は基準ベクトルによって決定される。
【選択図】図１

Description

本発明は、車載カメラ補助装置付き運転者支援システムの作動時にロール角を補正する方法及び装置に関するものである。

最新の運転者支援システムは、定常的にカメラと連動し、カメラで撮像された画像を画像処理することによって支持されている。例えばカメラは、制限速度及び／又は車線境界線を認識する。車線維持支援は、特にカメラで撮像される車線境界線画像を分析して、道路に境界線を有する車線境界線を運転者が交差する場合に車両の運転者に警告を発する。

運転者支援システム及び／又は画像処理システムは、車線に対するカメラの的確な方向を認識している場合、カメラで撮像される画像を正確に分析するには有利である。これに関連して、撮像される画像の低端部の画像法線が車線の表面法線に平行している場合には、特に有利である。代わって、車線の表面法線と画像法線との間の角度が認識され、画像分析の際にこの角度を考慮できるならば十分である。

平面車線を想定すれば、車線の表面法線とカメラ画像平面における画像法線との間の角度は、例えば、不適切なカメラ搭載、タンク充填量、車両の一様でない荷量及び／又は車両の不均等な乗客分布から引き起こされ得る。かかる角度は、車走方向で考察する場合、車両のロール角に対応しており、これに関しては以下ロール角と記載する。

本発明の目的は、車載カメラ補助装置付き運転者支援システムを作動する際に容易にしかも正確にロール角を補正できるロール角補正方法及び装置を提供することにある。

この目的は、独立請求項の特徴によって解決される。有利な実施形態は、従属請求項において示される。

本発明は、車載カメラ補助装置付き運転者支援システムを作動する際のロール角を補正する方法及び装置に分類される。車載カメラによって第一の画像が撮像され、第一の画像の少なくとも２つの特徴点の座標が決定される。引き続きカメラによって第二の画像が撮像され、第二の画像の２つの特徴点の座標が決定される。第一及び第二の画像の決定された特徴点の座標に依存する２つの変位ベクトルが決定され、それぞれ２つの変位ベクトルはカメラの画像平面における特徴点、特に第一の画像から第二の画像への変位を表す。第一の画像で決定された特徴点の座標に依存して且つ第一の画像と第二の画像の撮像間の車両の動きに依存して、２つのモデル変位ベクトルが決定され、それぞれ２つのモデル変位ベクトルは画像平面で特徴点の変位をモデル化する。決定された実変位ベクトル及びモデル変位ベクトルに依存して、基準ベクトルが決定される。ロール角は、決定された基準ベクトルによって決定される。

これによって、特に、低い実用経費でしかも付加的な検知技術なしに保証されるロール角の補正を容易しかも正確に達成できる。画像は、カメラによって撮像された完全な画像或いは単にその一部分に対応することができる。さらに好ましくは、画像は車走方向で撮像される。第一の画像と第二の画像の撮像間の車両の動きは、好ましくは、車速で特徴付けられる。

有利な実施形態では、基準ベクトルはモデル法線ベクトルであって、モデル法線ベクトルは車線に対して垂直であり、車線の表面法線に一致する。さらにロール角は、好ましくは、画像平面にモデル法線ベクトルを投射し、そしてカメラ画像平面で投射されたモデル法線ベクトルを画像法線と比較して決定される。これに関連して、ロール角は投射されたモデル法線ベクトルと画像法線との間の角度に一致する。

さらに有利な実施形態では、３つ以上の実変位ベクトル及び、従って、３つ以上のモデル変位ベクトルが決定され、３つ以上の実変位ベクトル及び３つ以上のモデル変位ベクトルに依存して、モデル法線ベクトルが決定される。その結果、モデル法線ベクトルを決定する方程式の数学的システムは複数要因で決定でき、複数要因で決定できるスク学的システムはモデル法線ベクトルの特に正確な決定に貢献できる。

さらに有利な実施形態では、実変位ベクトルのうちの少なくとも１つは廃棄され、特に、１つ或いは幾つかの平均ベクトルから角度偏向が最も大きい実変位ベクトルを取り込まなくなる。これは、誤って決定された実変位ベクトルを除外して、モデル変位ベクトル及びモデル法線ベクトルの決定にそれらを取り込まないよう役立てることができ、従って、モデル法線ベクトルの特に正確な決定に貢献する。

さらに有利な実施形態では、モデル変位ベクトルは、モデル法線ベクトルの座標に従属している。モデル法線ベクトルは、モデル法線ベクトルの座標の変化によって、関数の関数値が最小化されるように決定され、関数値は、取り入れられたすべての実変位ベクトルと相対するモデル変位ベクトルとの間の差に一致する。これは、モデル法線ベクトルが特に低い実用経費で決定されることに役立っている。実変位ベクトルと相対するモデル変位ベクトルとの間の差は、例えば、関連ベクトルの差分量及びそれに続くすべての差分量の和で表すことができる。関数値が最小である場合、モデル法線ベクトルは最善の方法で車線の表面法線に一致する。

さらに有利な実施形態によれば、決定されたロール角はカメラ画像の画像補正用に使用される。代わって或いは加えて、決定されたロール角は運転者支援システムに自動的に活用することができる。これは、運転者支援システムの正確な機能及び、従って、車両の運転者の安全に寄与する。

さらに有利な実施形態では、モデル変位ベクトルは一般的な運動方程式、ピンホールカメラの画像方程式、及び一般的な平面方程式によって決定される。これにより、かかる方法をプログラミングする場合、実用経費の低下に貢献する。

以下、図面を参照して本発明の実施形態について詳細に説明する。

走行方向で車両から撮像した第一の画像を示す。 走行方向で車両から撮像した第二の画像を示す。 第一及び第二の画像の重畳を示す。 モデル法線ベクトルを算出する式を示す。 ロール角補正の概略図を示す。

同一の構造及び機能を有する要素は、すべての図面を通して同一の参照符号で示される。

図１は、車線境界線２４を設けた道路２０を示している。道路２０は水平線２６まで可視できる。沿道には交通標識２８を見ることができる。車載カメラ特に白黒カメラは、好ましくは、車走方向で第一の画像３２を撮像する。第一の画像３２内において、画像認証システムによって、特徴点３０が検索される。画像認証システムは、例えばエッジファインダーを備えることができ、エッジファインダーは特徴的な灰色の明度推移に基づいて道路２０における特徴点３０を検索する。これに関連して、好ましくは、可能な限り大きな相互距離を有する特徴点３０が検索される。

図２は、第一の画像３２を撮像した直後の道路２０の画像を示している。カメラは第二の画像３３を撮像する。画像認証システムは再度現在の特徴点３０を検索するが、車両の中間動作の結果、特徴点３０は第一の画像３２に対して第二の画像３３では移動している。

図３に示された画像比較３６によって、画像分析システムは、第一の画像３２と第二の画像３３の撮像間にカメラ画像平面での特徴点３０の移動（変位）を表す第一から第四の実変位ベクトルＩＶ＿１乃至ＩＶ＿４を決定（測定）することができる。好ましくは、さらに多くの実変位ベクトルＩＶ＿１乃至ＩＶ＿４が決定される。

これに関連して、実変位ベクトルＩＶ＿１乃至ＩＶ＿４のうちの１つ以上は、例えば、残存する実変位ベクトルＩＶ＿１乃至ＩＶ＿４のうちの１つ以上の平均角から非常に大きく偏向する角度を示す場合には、実変位ベクトルＩＶ＿１乃至ＩＶ＿４の決定後それらを廃棄できる。このようにして、誤って決定された実変位ベクトルＩＶ＿１乃至ＩＶ＿４をさらなる算出に取り込むのを回避できる。

第一の画像３２の特徴点３０の座標から開始して、実変位ベクトルＩＶ＿１乃至ＩＶ＿４に加えて、図４に示された式Ｆ１〜Ｆ４に基づいてモデル変位ベクトルＭＶ＿Ｎが決定される。モデル変位ベクトルＭＶ＿Ｎの決定を以下に単に簡潔に概説する。詳細については、論文"Automatische Hinderniserkennung im fahrenden Kraftfahrzeug"（動いている自動車における自動障害認証）６３〜６７頁、Dirk Feiden, Frankfort/Main, ２００２年、及び、"Digital Video Processing"(デジタルビデオ処理) Tekalp, A.M. Prentice Hall, １９９５年が参照される。

前提として、車線は平面であること、車両は直進していること、そして参照システムは車両と共に移動すること、が考えられる。式Ｆ２及び式Ｆ３は、例えばカメラ画像平面の１つの特徴点３０の２次元座標ｕ_１、ｕ_２と、例えば実際の車線上の対応する特徴点３０の対応する３次元座標ｐ_１、ｐ_２、ｐ_３との間の関係を示している。また式Ｆ２及びＦ式３は基本的には、ピンホールカメラの画像方程式と呼ばれている。ピンホールカメラの画像方程式に基づいて、第一の画像３２で検知された特徴点３０から開始して、それらの３次元座標を実際に決定することができる。さらに、式Ｆ１で示された一般的な運動方程式によって地点ｑの３次元座標を決定でき、地点ｑの３次元座標は３次元空間における地点ｐの任意の動きの後、地点ｐの座標に対応する。Ｒは回転マトリックスを表し、またｔは並進運動ベクトルを表し、それらは車両の動きに依存する。仮に車両が前方に直進し及び／又は車両のヨーレートがゼロに等しいときだけ計算するという簡素化された想定をするならば、回転マトリックスＲは単位マトリックスになるよう簡素化され、並進運動ベクトルは、ゼロではなくて車速に依存する唯一の成分を有する。従って、第一の画像３２と第二の画像３３との撮像間の車両の動きの後、特徴点３０の３次元座標ｑ_１、ｑ_２、ｑ_３を決定することができる。第四の式Ｆ４には、平面のすべての地点と適合する一般的な平面方程式が示され、ｂ_１乃至ｂ_３はそれぞれの平面の法線ベクトルの座標である。モデル変位ベクトルＭＶ＿Ｎは、ピンホールカメラの一般的な画像方程式及び一般的な平面方程式を用いて、モデル法線ベクトルｂに依存して、決定することができ、しかも、モデル変位ベクトルは、第一の画像３２から第二の画像３３への特徴点３０の変位を表しているが、車両の動きに依存する実際の特徴点３０の変位を介して決定される。

言い換えれば、一方で、実変位ベクトルＩＶ＿Ｎで表される画像平面での単純な測定によって、もう一方で、車両に相対する実際の車線上での特徴点３０の実際の変位を決定することによって、画像３２と画像３３との撮像間の特徴点３０の変位が決定され、画像平面上に座標転換される。従って、車両の動きの結果としての特徴点３０の変位は２つの異なる方法で決定される。

さて、式５による関数は、すべてのモデル変位ベクトルＭＶ＿Ｎと実際の変位ベクトルＩＶ＿Ｎの差分量の和を表している。この和が最小である場合、モデル変位ベクトルＭＶ＿Ｎは実際の変位ベクトルＩＶ＿Ｎに特に十分に対応している。さらに、この和は、モデル法線ベクトルｂの変化によって最小化することができる。そのため、モデル法線ベクトルｂは、和が最小であるならば、特に道路２０の車線上での実法線ベクトルに相当すると想定される。言い換えれば、モデル変位ベクトルＭＶ＿Ｎはできるだけ正確に実際の変位ベクトルＩＶ＿Ｎに一致するまで、モデル変位ベクトルＭＶ＿Ｎをモデル法線ベクトルｂの変化によって変化される。好ましくは、多数の変位ベクトルは２つ以上の画像に基づいて且つ式５による方程式で過剰に決定された描画モデルを介して決定される。これによって、道路平面の実際の法線ベクトルに特に正確な近似値をもたらす。

図５は、スクリーン平面への決定されたモデル法線ベクトルｂの投影を概略的に示している。投影されたモデル法線ベクトルｂは、画像平面３６の下位画像端部に垂直である画像法線４０に対して角度、特にロール角αを成している。ロール角αを補正するために、この角度を画像分析システムに取り込むことができ、また従って画像を回転することもできる。しかし、好ましくは、画像は修正されることなく、またロール角αを直接取り込んで特にそれを補正できるように、決定された回転角αを運転者支援システム及び／又は別の車両システムに提供する。

２０ 道路
２４ 車線境界線
２６ 水平線
２８ 交通標識
３０ 特徴点
３２ 第一の画像
３３ 第二の画像
３６ 画像平面
４０ 画像法線
α ロール角
ＩＶ＿Ｎ 実際の変位ベクトル
ＭＶ＿Ｎ モデル変位ベクトル
ｂ１、ｂ２、ｂ３ モデル法線ベクトル
ｐ１、ｐ２、ｐ３ ３次元座標
ｑ１、ｑ２、ｑ３ ３次元座標
Ｒ 回転行列
ｔ 並進運動ベクトル

Claims (11)

1. 車載カメラ補助装置付き運転者支援システムを作動する際のロール角（α）を補正する方法において、
   − カメラを用いて第一の画像（３２）が撮像され、第一の画像（３２）の少なくとも２つの特徴点（３０）の座標が決定され、
   − カメラを用いて第二の画像（３３）が撮像され、第二の画像（３３）の２つの特徴点の座標（３０）が決定され、
   − 第一及び第二の画像（３２、３３）における特徴点（３０）の決定された座標に依存して２つの実際の変位ベクトル（ＩＶ＿１、ＩＶ＿３）が決定され、それぞれ２つの実際の変位ベクトルの各々がカメラの画像平面に第一の画像（３２）から第二の画像（３３）への特徴点の変位を表し、
   − 第一の画像（３２）の特徴点（３０）の決定された座標に依存して且つ第一及び第二の画像（３２、３３）の撮像間の車両の動きに依存して２つのモデル変位ベクトル（ＭＶ＿Ｎ）が決定され、それぞれ２つのモデル変位ベクトルが画像平面において第一の画像（３２）から第二の画像（３３）への特徴点（３０）の変位をモデル化し、
   − 決定された実際の変位ベクトル（ＩＶ＿１、ＩＶ＿３）及びモデル変位ベクトル（ＭＶ＿Ｎ）に依存して基準ベクトルが決定され、
   − 決定された基準ベクトルに依存してロール角（α）が決定されること
   を特徴とする方法。
2. 基準ベクトルが、特徴点（３０）の実際に位置する平面に垂直なモデル法線ベクトル（ｂ）であることを特徴とする請求項１に記載の方法。
3. ロール角（α）が、画像平面上にモデル法線ベクトル（ｂ）を投射することによって且つ投射されたモデル法線ベクトル（ｂ）をカメラの画像法線（４０）と比較することによって決定されることを特徴とする請求項２に記載の方法。
4. ロール角（α）が、投射されたモデル法線ベクトル（ｂ）と画像法線（４０）間の角度に相当することを特徴とする請求項３に記載の方法。
5. あらゆる決定された実際の変位ベクトル（ＩＶ＿Ｎ）に対して１つのモデル変位ベクトル（ＭＶ＿Ｎ）が決定されることを特徴とする請求項１〜４のいずれか一項に記載の方法。
6. ３つ以上の実際の変位ベクトル（ＩＶ＿１、ＩＶ＿２、ＩＶ＿３、ＩＶ＿４）及び、従って３つ以上のモデル変位ベクトル（ＭＶ＿Ｎ）が決定され、３つ以上の実際の変位ベクトル及び３つ以上のモデル変位ベクトルに基いてモデル法線ベクトル（ｂ）が決定されることを特徴とする請求項１〜５の何れか一項に記載の方法。
7. １つ以上の平均ベクトルから角度偏向が最も大きい少なくとも１つの実際の変位ベクトル（ＩＶ＿１、ＩＶ＿２、ＩＶ＿３、ＩＶ＿４）を廃棄して取り込まなくすることを特徴とする請求項６項に記載の方法。
8. モデル変位ベクトル（ＭＶ＿Ｎ）がモデル法線ベクトル（ｂ）の座標に従属し、モデル法線ベクトル（ｂ）がモデル法線ベクトル（ｂ）の座標を変化させることによって、取り入れられたすべての実際の変位ベクトル（ＩＶ＿１、ＩＶ＿２、ＩＶ＿３、ＩＶ＿４）と相対するモデル変位ベクトル（ＭＶ＿Ｎ）との間の差に相当する関数（Ｆ５）の関数値を最小化することで決定されることを特徴とする請求項１〜７のいずれか一項に記載の方法。
9. 決定されたロール角（α）が、カメラ画像の画像補正用に使用され及び／又は自動的に運転者支援システムに供給されることを特徴とする請求項１〜８のいずれか一項に記載の方法。
10. モデル変位ベクトルが（ＭＶ＿Ｎ）、一般的な運動方程式、ピンホールカメラの画像方程式及び一般的な平面方程式によって決定されることを特徴とする請求項１〜９のいずれか一項に記載の方法。
11. 請求項１から１０のいずれか一項に記載の方法を実行するのに適した装置。

Images