JP2009230709A - 車両用走行路面検出装置 - Google Patents

Abstract

【課題】自車両走行路の白線等の路面表示によらずに、走行路の路面高さを検出する。
【解決手段】ステレオカメラによって得られた距離画像から、路傍立設物に係る上下に並ぶ対応点の列を抽出し、この対応点列から高さが最も低い最低対応点を抽出し、この最低対応点の高さ及び前後方向距離の情報に基いて、走行路の路面高さを検出する。
【選択図】図２

Description

本発明は、自車両の走行路の路面高さを検出する車両用走行路面検出装置に関する。

自車両前方の路面高さを検出する手法として、２つのカメラで自車両前方の路面を撮影し、得られた距離画像から路面高さを求める方法は一般に知られている。例えば特許文献１には、２つのカメラの画像データから路面上の白線部分を検出し、撮像位置から当該白線部分までの距離及び該白線部分の高さを求め、その距離及び高さのデータから当該道路の勾配を検出することが記載されている。同文献には、１回目に求めた白線部分までの距離と２回目に求めた当該白線部分までの距離との距離差と、１回目から２回目までの自車両の走行距離と、自車両の傾き角度とに基いて当該道路の勾配を検出することも記載されている。
特開平９−３２５０２６号公報

しかし、従来の自車両前方の路面を撮影した画像中の路面テクスチャから路面高さを求める手法では、路面に白線等の路面表示が存在しない場合、路面高さを求めることが難しくなる。また、自車前方に存する他車、その他の障害物による路面高さの誤検出をなくそうとすれば、それだけ、路面高さを検出するための画像処理負担が大きくなる。

そこで、本発明は、路面に白線等のテクスチャが存在しない場合でも、処理負担を大きくすることなく、路面高さを検出できるようにすることを課題とする。

このような課題を解決するために、本発明では、路傍に存在する建造物、その他の路傍立設物を利用して路面高さを検出するようにした。

請求項１に係る発明は、車両走行路の路傍を含めて車両前方を、互いの撮影画像の少なくとも一部が重複するように撮影する第１及び第２の撮像手段と、
上記第１及び第２の撮像手段で撮影した一対の画像の画素毎に、互いの相関を求めることで両画像の対応点を検出し、検出された各対応点について、上記両撮像手段の視差から求まる前後方向の距離情報を与えた距離画像を作成する距離画像作成手段と、
上記距離画像から、上記路傍において高さが変化するように上下に並ぶ上記対応点の列を抽出し、この対応点列から高さが最も低い最低対応点を抽出する最低対応点抽出手段と、
上記最低対応点に係る高さ及び前後方向距離の情報に基いて、上記走行路の路面高さを検出する路面高さ検出手段とを備えていることを特徴とする車両用走行路面検出装置である。

すなわち、路傍に存する複数の対応点が、高さが変化するように上下に並んでいるとき、その対応点列は路傍に立つ建造物、その他の立設物から得られたものとみることができる。そして、この対応点列から抽出される高さが最も低い最低対応点は、当該立設物と地面との境に相当する。従って、この最低対応点の高さ情報は、当該立設物が立っている地面の高さ、ひいては走行路面の高さを反映しているということができる。よって、この最低対応点に係る高さ及び前後方向距離の情報に基いて、上記走行路の路面高さを検出することができる。この路面高さを得るための路傍立設物は、移動しない固定物であるから、路面高さを検出するための処理負担が大きくなることはない。

請求項２に係る発明は、請求項１において、
上記路面高さ検出手段は、上記最低対応点抽出手段によって抽出される前後方向に並ぶ複数の最低対応点を曲線近似又は直線近似することにより、上記走行路面高さの変化を検出することを特徴とする。

すなわち、前後方向に並ぶ複数の最低対応点各々の高さ情報は、対応する路面各点の高さを反映しているから、上記曲線近似又は直線近似により、上記走行路面高さの変化を検出することができる。

請求項３に係る発明は、請求項２において、
上記路面高さ検出手段は、重回帰分析による曲線近似によって上記走行路面高さの変化を検出することを特徴とする。

従って、上記走行路面高さの変化を精度良く検出することができる。

請求項４に係る発明は、請求項１において、
上記最低対応点抽出手段は、上記距離画像上に仮想消失点から該距離画像上の近距離側に所定角度で広がる路面画像領域を設定し、この路面画像領域の両外側の画像領域から、上記対応点列を抽出することを特徴とする。

すなわち、路面高さは路傍立設物に係る対応点に基いて検出するのであるから、走行路面に存する対応点については、上記対応点列抽出の対象とする必要はない。そこで、本発明では、距離画像上の仮想消失点から近距離側に所定角度で広がる画像領域を走行路面の画像領域であるとして設定し、その画像領域の対応点を上記対応点列抽出の対象外としたものである。これにより、対応点列の抽出の処理負担が軽減される。

請求項５に係る発明は、請求項１において、
上記最低対応点抽出手段は、前後方向の距離が近接した所定の距離範囲に、最低対応点の高さが異なる複数の対応点列が抽出されたとき、その複数の最低対応点のうちの最も低い最低対応点を抽出することを特徴とする。

すなわち、走行路面の両側に路傍立設物が存在するケース、或いは走行路面の片側に複数の路傍立設物が略同じ前後方向距離で並んで存在するケースでは、それら路傍立設物の裾を撮像手段から遮る物（例えば花壇）が部分的に存在するときは、前後方向距離が近接した所定の距離範囲に、最低対応点の高さが異なる複数の対応点列が抽出される。この場合、高さが低い方の最低対応点が路面高さを反映しているのが通常であるため、複数の最低対応点のうちの最も低い最低対応点を抽出するようにしている。

なお、その複数の最低対応点の平均高さに基いて、走行路の路面高さを検出するようにしてもよい。

以上のように、本発明によれば、第１及び第２の撮像手段によって得られた距離画像から、路傍において高さが変化するように上下に並ぶ上記対応点の列を抽出し、この対応点列から高さが最も低い最低対応点を抽出し、この最低対応点の高さ及び前後方向距離の情報に基いて、走行路の路面高さを検出するようにしたから、白線等の路面テクスチャが得られない場合でも、処理負担の増大を招くことなく、路面高さを検出することができる。

以下、本発明の実施形態を図面に基づいて説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

図１に示すように、本発明の実施形態に係る車両用走行路面検出装置１は、車両２に搭載されており、第１及び第２の撮像手段としての左右一対のカメラ(ステレオカメラ)３，４と、カメラ３，４で撮影された画像を基に各種の演算を行なうＥＣＵ５とを備えている。各カメラ３，４は、車両１のルーフ部の前端部に、当該車両走行路の路傍を含めて車両前方を撮影できるように、且つ互いの撮影領域（撮影画像）が重複するように、光軸を所定方向に向けて配設されている。各カメラ３，４は、ＣＣＤ等の撮像素子を有するデジタルカメラにより構成され、取得した画像を信号化してＥＣＵ５に送信する。

ＥＣＵ５は、ＲＯＭ及びＲＡＭ等の記憶部や、該記憶部に記憶されているデータに対して演算を行うＣＰＵ等を有しており、各カメラ３，４から送信される画像信号を所定周期毎に受信(取得)し、受信した画像信号をデジタル画像データとして前記記憶部に記憶する。左側カメラ画像ＧＬ及び右側カメラ画像ＧＲ各々のデジタル画像データは、各カメラ画像ＧＬ，ＧＲを構成する各画素の画像面上での座標（ｘ，ｙ）情報と、各画素の輝度値情報とからなる。ＥＣＵ５は、このデジタル画像データを基に距離画像を作成する距離画像作成手段、該距離画像から後述の最低対応点を抽出する最低対応点抽出手段、並びに最低対応点の高さ及び前後方向距離の情報に基いて車両走行路の路面高さを検出する路面高さ検出手段として働く。

以下、ＥＣＵ５による走行路面検出処理の流れを示す図２のフローチャートに従って具体的に説明する。

スタート後のステップＳ１で各カメラ３，４から画像信号を取得して画像データとして記憶部に記憶する。続くステップＳ２では、左側カメラ画像ＧＬと右側カメラ画像ＧＲとで対応する画素、すなわち、対応点を探索（検出)する。対応点とは、画像中の種々の撮像対象における同一部位を構成する画素である。

対応点の検出は、公知の方法であるArea-based matching手法に基づいて行われる。Area-based matching手法とは、一方の画像のある画素に対応する画素を、他方の画像から探す際にその画素の回りの局所的な輝度値(濃度)パターンを手がかりに探索しようとするものである。

具体的には、図３(a)，(b)に示すように、左側カメラ画像ＧＬの一の画素回りに3×3ピクセルのウィンドを設定するとともに該ウィンドに囲まれた画像をテンプレート画像ＧＴとして、右側カメラ画像ＧＲのエピポーラ(epipolar line)線ＥＬ上に設定した探索範囲ＧＳ内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像ＧＬの全画素に対してそれぞれ実行される。このマッチング処理にはＳＡＤアルゴリズム(Sum of Absolute Difference)を採用している。すなわち、前記左側カメラ画像ＧＬに設定されたテンプレート画像ＧＴと、マッチングを行う右側カメラ画像ＧＲ内の画像との間で対応する画素間の輝度差の合計値(ＳＡＤ値)を次式(1)により算出して、この合計値が所定値以下である場合には対応する画素(対応点)が検出されたものとして、その画像面上での座標を記憶する。

当該マッチングに使用するアルゴリズムは、ＳＡＤアルゴリズムに限ったものではなく、例えば、ＳＳＤ(Sum of Squared Difference)アルゴリズムや、ＮＣＣ(Nomalized Cross Correlation)アルゴリズムを採用するようにしてもよい。

Ｍ_Ｌ:左側画像の画素の輝度値
Ｍ_Ｒ:右側画像の画素の輝度値

続くステップＳ３では、ステップＳ２で検出された各対応点について、自車両からの前後方向距離Ｌziを、左右のカメラ画像ＧＬ，ＧＲ問での対応点の位置ずれ量(視差)を基に三角測量の原理によって算出する。なお、前後方向距離は、カメラ３，４の焦点位置からの距離である。

図４の左側は上記各対応点についての前後方向距離の算出によって得られる距離画像を概略的に示したものである。なお、実際の距離画像は、画像上の座標（ｘ，ｙ）情報と、輝度値情報と、前後方向距離とを有する対応点データである。図４の例では走行路６の左右の路傍７に建造物８がみられる。

続くステップＳ４では、ステップＳ２で検出された各対応点について、路面からの上下方向距離(路面からの高さ)を算出する。なお、この上下方向距離は、対応点の座標（ｘ，ｙ）、カメラ３，４の路面からの高さ、及びカメラ３，４の光軸方向等に基づいて算出する。

続くステップＳ５では、ステップＳ４で検出された上下方向距離が算出された対応点群から上下方向に所定値(例えば３ｍ）以上連続的に並ぶ対応点の列を抽出する。この対応点列の抽出は、距離画像上に抽出領域を設定して行なう。すなわち、ここでは、路傍立設物に係る対応点列を抽出しようとするものであり、走行路面に存する対応点については、上記対応点列抽出の対象とする必要はない。そこで、距離画像上に左側カメラ３の光軸に基いて消失点Ｐを設定し、この消失点Ｐから距離画像上の近距離側に、所定角度θで広がる画像領域を走行路面に相当する画像領域として設定し、この画像領域の両外側の画像領域を上記抽出領域として、上記対応点列の抽出する。上記所定角度θは走行路の幅員を例えば４ｍとして設定する。

従って、ステップＳ５では、建造物、街灯支柱、その他の路傍立設物に係る対応点列が抽出されることになる。

続くステップＳ６では、上記対応点列を車両前後方向（遠近距離ｚ方向）と上下方向（高さｙ方向）とで規定される平面（以下、この平面をマッピング平面という）上にマッピングする。図４の右側は当該マッピング平面を示し、同図左側の距離画像の建造物８に係る複数の対応点列Ｌがマッピングされている。

続くステップＳ７では、ステップＳ６で得られたマッピングデータの各対応点列から、高さが最も低い最低対応点を抽出する。図５は上記マッピング平面上の抽出された車両前後方向（遠近距離方向）に並ぶ各最低対応点を示す。この場合、前後方向の距離が近接した所定の距離範囲（例えば、２ｍの範囲）に、最低対応点の高さが異なる複数の対応点列が抽出されたとき、その複数の最低対応点のうちの最も低い最低対応点を抽出する。

続くステップＳ８では、上記抽出された最低対応点の総数が所定数α以上である否かを判定する。最低対応点の総数が少ないときは路面高さの検出精度が低下するために所定数α以上という制限を加えるものである。最低対応点の総数が所定数α以上であるときはステップＳ９に進み、所定数α以上の最低対応点の列に対応する図６に示す近似曲線を重回帰分析により算出する。

本実施の形態においては、近似曲線は式(2)に示す二次関数により定める。その場合に、その係数ａ，ｂ，ｃは、ステップＳ７で抽出された最低対応点の列を構成する各最低対応点の座標値(ｙ，ｚ)を式(2)に代入して最小二乗法により求める。なお、近似式は、式(3)に示す三次関数により定めてもよく、この場合、二次関数の場合と同様に、その係数ａ，ｂ，ｃ，ｄは最小二乗法により求めればよい。また、二次関数、三次関数以外にも、適切に近似しうる関数を適用してもよい。

ｙ＝ａｚ^２＋ｂｚ＋ｃ ……(2)
ｙ＝ａｚ^３＋ｂｚ^２＋ｃｚ＋ｄ ……(3)

続くステップＳ１０では、ステップＳ９で得られた近似曲線に基いて、自車両前方の走行路面の高さ情報（何ｍ先の路面は自車両位置の路面高さを基準にしてどの位の高低差があるか）を生成する。

従って、上記実施形態においては、ステップＳ２，Ｓ３が距離画像作成手段を構成し、ステップＳ４〜Ｓ７が最低対応点抽出手段を構成し、ステップＳ９，１０が路面高さ検出手段を構成していることになる。そうして、自車両前方の走行路の路傍立設物の画像データに基いて該走行路の路面高さを検出するから、白線等の路面表示がない場合でも路面高さを検出することができる。

また、ステップＳ５の対応点列の抽出では、対応点列の抽出を行なう画像領域を限定するようにしたから、その抽出処理負担が軽減される。さらに、対応点列のマッピング処理を行なってから、最低対応点の列を抽出し曲線近似を行なうようにしたから、最低対応点を簡易に且つ精度良く抽出することができ、しかも、連続的に変化する路面高さの変化を簡単に検出することができる。

また、短い距離範囲に最低対応点の高さが異なる複数の対応点列が抽出されたときは、その複数の最低対応点のうちの最も低い最低対応点を抽出するようにしたから、例えば、走行路面の両側に路傍立設物が存在する場合において、それら路傍立設物の裾をカメラ３，４から遮る花壇等が存在するときでも、その遮蔽物による路面高さの誤検出を避けることができ、その結果、路面高さの検出精度が高くなる。

なお、路面高さの変化は、上記最低対応点の列からの曲線近似ではなく直線近似によって求めてよい。

本発明の実施形態に係る車両用走行路面検出装置を搭載した車両の概略平面図である。 上記走行路面検出処理のフロー図である。 対応点探索に用いられるＡrea-based matching手法の説明図である。 距離画像と対応点列マッピングデータとの関係を示す説明図である。 最低対応点のマッピングデータ図である。 最低対応点列から得られる近似曲線を示すマッピングデータ図である。

符号の説明

１ 車両用走行路面検出装置
２ 車両
３ 左側カメラ
４ 右側カメラ
５ ＥＣＵ
６ 走行路
７ 路傍
８ 建造物

Claims (5)

1. 車両走行路の路傍を含めて車両前方を、互いの撮影画像の少なくとも一部が重複するように撮影する第１及び第２の撮像手段と、
   上記第１及び第２の撮像手段で撮影した一対の画像の画素毎に、互いの相関を求めることで両画像の対応点を検出し、検出された各対応点について、上記両撮像手段の視差から求まる前後方向の距離情報を与えた距離画像を作成する距離画像作成手段と、
   上記距離画像から、上記路傍において高さが変化するように上下に並ぶ上記対応点の列を抽出し、この対応点列から高さが最も低い最低対応点を抽出する最低対応点抽出手段と、
   上記最低対応点に係る高さ及び前後方向距離の情報に基いて、上記走行路の路面高さを検出する路面高さ検出手段とを備えていることを特徴とする車両用走行路面検出装置。
2. 請求項１において、
   上記路面高さ検出手段は、上記最低対応点抽出手段によって抽出される前後方向に並ぶ複数の最低対応点を曲線近似又は直線近似することにより、上記走行路面高さの変化を検出することを特徴とする車両用走行路面検出装置。
3. 請求項２において、
   上記路面高さ検出手段は、重回帰分析による曲線近似によって上記走行路面高さの変化を検出することを特徴とする車両用走行路面検出装置。
4. 請求項１において、
   上記最低対応点抽出手段は、上記距離画像上に仮想消失点から該距離画像上の近距離側に所定角度で広がる路面画像領域を設定し、この路面画像領域の両外側の画像領域から、上記対応点列を抽出することを特徴とする車両用走行路面検出装置。
5. 請求項１において、
   上記最低対応点抽出手段は、前後方向の距離が近接した所定の距離範囲に、最低対応点の高さが異なる複数の対応点列が抽出されたとき、その複数の最低対応点のうちの最も低い最低対応点を抽出することを特徴とする車両用走行路面検出装置。

Images