JP2006285564A - 道路領域検出装置及び道路領域検出方法 - Google Patents

Abstract

【課題】 道路領域の明暗が急激に変化しても道路領域全体を検出することができる道路領域検出装置及び道路領域検出方法を提供する。
【解決手段】 車両が走行する道路を撮影する撮影手段１０１と、撮影された道路を含む画像を複数の分割領域に分割する画像分割手段１０２と、各分割領域内の画像の特徴量を算出する特徴量算出手段１０３と、算出された特徴量を用いる所定のアルゴリズムによって、車両が走行可能な道路の境界を検出する境界判別手段１０４とを備える。
【選択図】 図１

Description

本発明は、路面の舗装の違い、日照による明るさの変化・影などが存在する道路領域を含む画像から所望の道路領域を検出する道路領域検出装置及び道路領域検出方法に関する。

従来の道路領域検出技術では、「大域的な（全体的な）」情報を用いて道路領域の検出を行っている。このような技術が下記の特許文献１に開示されている。特許文献１の中で従来技術として引用されている特開平３−１１８６１５において、「大域的な」情報とは道路領域の代表画素値である。この特開平３−１１８６１５に開示されている技術では、道路領域の代表画素値との誤差が閾値以内である画素値をもつ画素を道路領域として認識を行っている。ここで、通常、車両に搭載されたカメラによって撮影された道路領域は、カメラ近傍では暗く、カメラ遠方では明るい画素値を取る。このことを考慮して、特許文献１に開示されている技術では、道路領域の画素値が従うモデル（画像の縦方向座標から推定画素値への関数）の推定を行い、特開平３−１１８６１５と比較してより柔軟な対応を図っている。すなわち、道路領域全体で単独の代表画素値を使用するのではなく、画像中の水平線位置に対し代表値を１つずつ定める方法を採っている。この手法を利用することにより、車両に搭載されたカメラによって撮影された道路領域における、遠近の違いによる道路領域画素値の緩やかな明暗変化に対応することが可能となっている。
特開平１１−３１６８４０号公報（段落０００８、図１）

しかしながら、道路領域にはそのような大域的な情報から離れた、急激に変化する部分も存在する。例えば、建造物の影の部分や舗装が異なる領域などである。特許文献１に開示された技術では、（カメラからの距離に起因する）画素値の違いに対する処置を行っているとは言えるが、それは画像上部の道路領域の取る画素値と画像下部の道路領域の取る画素値との違いに対応しているのみであり、上述のような例の領域では道路領域全体を検出することは困難である。

本発明は、上記問題を解決するためのものであり、道路領域の明暗が急激に変化しても道路領域全体を検出することができる道路領域検出装置及び道路領域検出方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、車両が走行する道路を撮影する撮影手段と、撮影された前記道路を含む画像を複数の分割領域に分割する画像分割手段と、前記各分割領域内の画像の特徴量を算出する特徴量算出手段と、算出された前記特徴量を用いる所定のアルゴリズムによって、前記車両が走行可能な前記道路の境界を検出する境界判別手段とを備える道路領域検出装置が提供される。この構成により、道路領域の明暗が急激に変化しても道路領域全体を検出することができる。

また、本発明において、前記画像分割手段が前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割することは、本発明の好ましい態様である。この構成により、距離による特徴の劣化を抑えることができる。

また、本発明において、前記画像分割手段が前記画像上の前記道路が一点に収束する収束点から等距離にある地点を結ぶことによって前記画像を分割することは、本発明の好ましい態様である。この構成により、距離による特徴の劣化を抑えることができる。

また、本発明において、前記画像分割手段が、あらかじめ決められた、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割することは、本発明の好ましい態様である。この構成により、ＦＯＥ（Focus of Expansion）を求める処理、分割領域を求める処理を減らすことができる。

また、本発明によれば、車両が走行する道路を撮影するステップと、撮影された前記道路を含む画像を複数の分割領域に分割するステップと、前記各分割領域内の画像の特徴量を算出するステップと、算出された前記特徴量を用いる所定のアルゴリズムによって、前記車両が走行可能な前記道路の境界を検出するステップとを有する道路領域検出方法が提供される。この構成により、道路領域の明暗が急激に変化しても道路領域全体を検出することができる。

また、本発明において、前記撮影された前記道路を含む画像を所定の領域に分割するステップが、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割するステップであることは、本発明の好ましい態様である。この構成により、距離による特徴の劣化を抑えることができる。

また、本発明において、前記撮影された前記道路を含む画像を所定の領域に分割するステップが、前記画像上の前記道路が一点に収束する収束点から等距離にある地点を結ぶことによって前記画像を分割するステップであることは、本発明の好ましい態様である。この構成により、距離による特徴の劣化を抑えることができる。

また、本発明において、前記撮影された前記道路を含む画像を所定の領域に分割するステップが、あらかじめ決められた、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割するステップであることは、本発明の好ましい態様である。この構成により、ＦＯＥを求める処理、分割領域を求める処理を減らすことができる。

本発明の道路領域検出装置及び道路領域検出方法は、上記構成を有し、道路領域の明暗が急激に変化しても道路領域全体を検出することができる。

以下、本発明の実施の形態に係る道路領域検出装置及び道路領域検出方法について、図１から図１１を用いて説明する。図１は本発明の実施の形態に係る道路領域検出装置の構成を示す構成図である。図２Ａは本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。図２Ｂは本発明の実施の形態に係る道路領域検出装置における画像分割手段によって１つ目の方法で分割された画像を示す図である。図３Ａは本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。図３Ｂは本発明の実施の形態に係る道路領域検出装置における画像分割手段によって２つ目の方法で分割された画像を示す図である。

図４Ａは本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。図４Ｂは本発明の実施の形態に係る道路領域検出装置における画像分割手段によって３つ目の方法で分割された画像を示す図である。図５Ａは本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。図５Ｂは本発明の実施の形態に係る道路領域検出装置における画像分割手段によって４つ目の方法で分割された画像を示す図である。図５Ｃは本発明の実施の形態に係る道路領域検出装置における固定ＦＯＥとのずれを示す画像を示す図である。図６は本発明の実施の形態に係る道路領域検出装置における画像分割手段によって分割された領域を示す図である。

図７Ａは本発明の実施の形態に係る道路領域検出装置における比較対象の領域から得られたヒストグラムの度数を示す図である。図７Ｂは本発明の実施の形態に係る道路領域検出装置における比較対象の領域から得られたヒストグラムを平行移動させたヒストグラムの度数を示す図である。図８は本発明の実施の形態に係る道路領域検出装置における特徴量算出手段でのブロックマッチングによる類似度の算出について説明するための図である。図９Ａは本発明の実施の形態に係る道路領域検出装置における特徴量算出手段での線分エッジの発見について説明するための図である。図９Ｂは本発明の実施の形態に係る道路領域検出装置における特徴量算出手段での線分エッジの発見について説明するための図である。図１０は本発明の実施の形態に係る道路領域検出装置における境界判別手段での走行路の境界の検出について説明するための図である。図１１は本発明の実施の形態に係る道路領域検出装置における走行路の境界検出のフローを示すフローチャートである。

まず、本発明の実施の形態に係る道路領域検出装置の構成について図１を用いて説明する。図１に示すように、道路領域検出装置１００は、撮影手段１０１、画像分割手段１０２、特徴量算出手段１０３、境界判別手段１０４から構成されている。撮影手段１０１は、自身が搭載された車両が走行する道路（以下、走行路とも言う）を撮影する手段であり、例えばカメラなどである。また、撮影手段１０１の撮影するタイミングは、定期的であっても不定期的であってもよい。また、撮影手段１０１の車両への搭載位置は特定された位置に限られず、例えばバックミラーの裏面などである。

画像分割手段１０２は、撮影された道路を含む画像を複数の分割領域に分割する手段である。ここで、画像の分割の方法について図２Ａ〜図５Ｃを用いて説明する。まず、１つ目の分割の方法について図２Ａ及び図２Ｂを用いて説明する。図２Ａには撮影手段１０１によって撮影された走行路が示されている。図２Ａの画像に対して、画像分割手段１０２は、図２Ｂに示すように複数の分割された領域で分割を行う。この分割された領域は１つの画素ではなく、複数の画素から構成されている。このように、複数の画素の構成とすることで、画素単位での探索に比べ高速な処理が可能となる。

次に、２つ目の分割の方法について図３Ａ及び図３Ｂを用いて説明する。図３Ａには撮影手段１０１によって撮影された画像が示されており、その画像には走行路、走行路沿いに物体Ａ、走行路上に物体Ｂが写っている。また、画像には走行路が一点に収束する収束点であるＦＯＥが示されている。図３Ａの画像に対して、画像分割手段１０２は、図３Ｂに示すように、ＦＯＥを基準として逆投影処理（奥行きを認識できるような処理）を行って分割を行う。これにより、車両から離れた地点（ＦＯＥに相当する地点）では分割幅が大きくなる。なお、ＦＯＥを求める方法に関しては公知の技術であり、ここでは説明を省略する。

次に、３つ目の分割の方法について図４Ａ及び図４Ｂを用いて説明する。図４Ａには撮影手段１０１によって撮影された画像が示されており、その画像には走行路が写っており、ＦＯＥが示されている。図４Ａの画像に対して、画像分割手段１０２は、図４Ｂに示すように、ＦＯＥから等距離にある地点を結ぶことによって画像を分割する。これにより、ＦＯＥを中心に円弧状に分割され、ＦＯＥから遠ざかる地点の分割領域は大きくなる。

次に、４つ目の分割の方法について図５Ａ〜図５Ｃを用いて説明する。図５Ａには撮影手段１０１によって撮影された画像が示されており、その画像には走行路が写っており、実際のＦＯＥと仮想のＦＯＥである固定ＦＯＥが示されている。図５Ａの画像に対して、画像分割手段１０２は、図５Ｂに示すように、あらかじめ決められた固定ＦＯＥを基準に画像を逆投影処理して分割する。このとき、実際の走行路は、図５Ｂに示すように傾くことになる。図５Ｃから分かるように、固定ＦＯＥから多少のずれは生じているが、このように、あらかじめ決められた固定ＦＯＥを用いることによって、実際のＦＯＥを求める処理、分割領域を求める処理を省くことができるため、処理の高速化が可能となる。

特徴量算出手段１０３は、各分割された領域内の画像の特徴量を算出する手段である。ここで、各分割された領域の特徴量を算出する方法について図６〜図９Ｂを用いて説明する。特徴量算出手段１０３では各領域間の類似度を算出する。まず、１つ目の算出方法について図６〜図７Ｂを用いて説明する。１つ目の方法はヒストグラム類似度を用いるものである。ここでは、図６に示すように、分割された領域Ａ及び領域Ｂの類似度を算出する。２つの比較対象の領域Ａ及び領域Ｂから得られたヒストグラムをp、qとし、p_u、q_uはBINがuである場合のヒストグラムの度数であり、図７Aはp_uとuとの関係を示す図である。なお、図７Bはp_u（ｙ）とuとの関係を示すものであり、p_u（ｙ）はｙだけBINを平行移動させたヒストグラムpのBINがuである場合のヒストグラムの度数である。BINは１、・・・、mである。ただし、下記に示す式のように合計が１になるように正規化されているものとする。ここで、BINとは、ヒストグラムにおける１つの区間を指している。

Bhattacharyya Coefficient若しくはKL Divergenceで類似度ρを与える。ここでは、Bhattacharyya Coefficientによる類似度を例に挙げる。類似度ρは下記の式（１）によって表される。

ここで、下記に示す窓関数k（ｘ）を導入し、ずらしたヒストグラムを重ね合わせ、平滑化を施したものをp´（ｙ）とすると、下記の式（２）のようになる。

ここで、Ｖ（ｙ）はｙの近傍で定義されるＲ上の閉区間であり、Ｃは下記の式（３）で表され、ｋ（ｘ）は下記の式（４）で表される。このとき、eは自然対数の底であり、ｈは窓関数の幅を表すパラメータである。

ヒストグラム類似度を与えるBhattacharyya Coefficientρは、ｙ＝ｙ₀で展開すると下記の式（５）のように表される。

第１項はヒストグラムずれ量ｙに依存しないため、第２項を局所最大とするｙを公知の技術であるmean shiftの観点から求める。式（２）を式（５）の第２項に代入すると、下記の式（６）のように表される。

式（６）の局所最大値を取るｙを以下の手順を用いて取得する。まず、ステップ１として、ｙ₀＝０として式（２）のp´（ｙ₀）を求める。次に、ステップ２として、下記に示す式を求め、それをｙ₁とする。ここで、ｇ＝−ｄｋ／ｄｘである。次に、ステップ３として、｜ｙ₀−ｙ₁｜が収束判定閾値未満ならばｙ₁を推定ずれ量として終了する。一方、閾値以上であればｙ₀＝ｙ₁としてステップ１へ戻る。

得られたずれ量（＝ｙ_max）からp（ｙ_max）を算出し、類似度ρ_maxを下記の式（７）を用いて計算する。そして、後述する境界判別手段１０４は、このｙ_maxとρ_maxの値を用いてヒストグラム間の類似度を判定する。例えば、判定閾値パラメータをｙ_upperbound、ρ_lowerboundのように与えておき、ｙ_max＜ｙ_upperboundかつρ_max＞ρ_lowerboundのとき類似しているとすることが考えられる。

なお、単純な方法として、上述したようにp、q、p_u、q_uを定める。ずれ許容範囲ｙ_maxをパラメータとして与えておき、−ｙ_max＜＝ｙ＜＝ｙ_maxにおいて、下記の式（８）の類似度ρを最大とするｙをヒストグラムずれ量（ｙ_max）とし、そのときの類似度をρ_maxとする。その後上述したように、あらかじめ与えられた判定閾値パラメータｙ_upperbound、ρ_lowerboundから、ｙ_max＜ｙ_upperboundかつρ_max＞ρ_lowerboundのとき類似していると判定される。

次に、２つ目の算出方法について図８を用いて説明する。２つ目の方法はブロックマッチングによる類似度を用いるものである。図８に示すように、比較する２つの領域Si、Sjに対する作用素（写像）Ai、Ajにより、任意の形状であるSi、Sjを幅w、縦hの画素からなる長方形Ti、Tjに補正する。その後、誤差の自乗和（S_error）を下記の式（８）によって算出する。ここで、Ti（k、l）、Tj（k、l）は画素値を示す。算出された誤差絶対和S_errorと与えられた判定閾値Max_errorとを比較し、S_error＜Max_errorである場合に２つの領域SiとSjは類似していると判定される。

次に、３つ目の算出方法について説明する。３つ目の方法は平均、分散による類似度を用いるものである。図８に示すように比較する２つの領域をSi、Sjとし、それぞれの画素値に関する平均値をSimean、Sjmean、分散をSivar、Sjvarとする。このとき、平均値の誤差に対する閾値MAX_MEAN_ERROR、分散の誤差に対する閾値MAX_VAR_ERRORを与え、下記の式（９）及び（１０）を満たす場合に、２つの領域は類似していると判定される。

次に、４つ目の算出方法について図９Ａ及び図９Ｂを用いて説明する。４つ目の方法は線分エッジを用いるものである。線分エッジの発見による判定を説明するために、図９Ａの一部である窓Ｗを例にして説明する。図９Ｂには窓Ｗが示されている。なお、図９Ａでの分割（メッシュ）の仕方は分割の枠の縦、横を均等に区切る（すなわち、正方形に区切る）やり方ではないが、これに限られるものではなく正方形の形状で分割してもよい。これは後述する図１０においても同様である。線分エッジを用いる方法では、各領域（領域Si及び領域Sj）間において、それぞれの領域のエッジをハフ変換して直線を取得し、各領域間で同一の線か否かを判定する。同一の線と判定されれば走行路の境界線であると判断できる。判定方法としては、例えば傾き、切片の違いが許容範囲以内であれば同一の直線と判定する方法が考えられる。

境界判別手段１０４は、算出された特徴量（類似度など）を用いる所定のアルゴリズムによって、走行路の境界を検出する手段である。ここで、所定のアルゴリズムとは、例えば後述するように、画像の水平方向の分割ラインごとに隣接する領域間の類似度を比較して走行路の境界を検出するものを言う。走行路の境界とは道路と非道路との境を言う。以下では具体的な走行路の境界の検出方法について図１０を用いて説明する。図１０に示すように、境界判別手段１０４は、画像の水平方向の分割ライン（ライン１、ライン２、ライン３、・・・）ごとに、隣接する分割領域間の類似度を比較していく。例えば、境界判別手段１０４が画像のライン１の左端から比較を行っていくとする。そして、走行路以外の領域と走行路の領域との境界線を越えて走行路の領域の分割領域同士の類似度を比較すると、走行路は舗装されたアスファルトなどであるため類似度が高い。

この特徴から、分割ラインごとに類似度が高くなり始める分割領域、又は類似度が低くなり始める分割領域の部分が走行路の境界線ということなる。なお、あらかじめ処理範囲を定める走行路判別上限を設け、必要のないラインの処理（走行路が存在しない領域の処理）をしないようにしている。これにより、より高速に走行路の境界を検出することができる。また、走行路の境界を検出する方法は、上述した方法に限られるものではなく、例えばコスト関数などを定義し、定義されたコスト関数に基づいて走行路の境界を検出するようにしてもよい。

次に、本発明の実施の形態に係る道路領域検出装置における走行路の境界検出のフローについて図１１を用いて説明する。図１１に示すように、まず、撮影手段１０１は、自身が搭載された車両が走行する走行路（車両前方の走行路）を撮影する（ステップＳ１１０１）。次に、画像分割手段１０２は、撮影された走行路を含む画像を複数の分割領域に分割する（ステップＳ１１０２）。なお、上述したように分割する方法はいくつかあり、どの分割方法を選択するかはあらかじめ決められていてもよく、また適宜選択するようにしてもよい。次に、特徴量算出手段１０３は各分割された領域内の画像の特徴量（類似度など）を算出する（ステップＳ１１０３）。そして、境界判別手段１０４は、算出された特徴量（類似度など）を用いる所定のアルゴリズムによって走行路の境界を検出する（ステップＳ１１０４）。

本発明に係る道路領域検出装置及び道路領域検出方法は、道路領域の明暗が急激に変化しても道路領域全体を検出することができるため、路面の舗装の違い、日照による明るさの変化・影などが存在する道路領域を含む画像から所望の道路領域を検出する道路領域検出装置及び道路領域検出方法などに有用である。

本発明の実施の形態に係る道路領域検出装置の構成を示す構成図である。 本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における画像分割手段によって１つ目の方法で分割された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における画像分割手段によって２つ目の方法で分割された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における画像分割手段によって３つ目の方法で分割された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における撮影手段によって撮影された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における画像分割手段によって４つ目の方法で分割された画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における固定ＦＯＥとのずれを示す画像を示す図である。 本発明の実施の形態に係る道路領域検出装置における画像分割手段によって分割された領域を示す図である。 本発明の実施の形態に係る道路領域検出装置における比較対象の領域から得られたヒストグラムの度数を示す図である。 本発明の実施の形態に係る道路領域検出装置における比較対象の領域から得られたヒストグラムを平行移動させたヒストグラムの度数を示す図である。 本発明の実施の形態に係る道路領域検出装置における特徴量算出手段でのブロックマッチングによる類似度の算出について説明するための図である。 本発明の実施の形態に係る道路領域検出装置における特徴量算出手段での線分エッジの発見について説明するための図である。 本発明の実施の形態に係る道路領域検出装置における特徴量算出手段での線分エッジの発見について説明するための図である。 本発明の実施の形態に係る道路領域検出装置における境界判別手段での走行路の境界の検出について説明するための図である。 本発明の実施の形態に係る道路領域検出装置における走行路の境界検出のフローを示すフローチャートである。

符号の説明

１００ 道路領域検出装置
１０１ 撮影手段
１０２ 画像分割手段
１０３ 特徴量算出手段
１０４ 境界判別手段

Claims (8)

1. 車両が走行する道路を撮影する撮影手段と、
   撮影された前記道路を含む画像を複数の分割領域に分割する画像分割手段と、
   前記各分割領域内の画像の特徴量を算出する特徴量算出手段と、
   算出された前記特徴量を用いる所定のアルゴリズムによって、前記車両が走行可能な前記道路の境界を検出する境界判別手段とを、
   備える道路領域検出装置。
2. 前記画像分割手段は、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割する請求項１に記載の道路領域検出装置。
3. 前記画像分割手段は、前記画像上の前記道路が一点に収束する収束点から等距離にある地点を結ぶことによって前記画像を分割する請求項１に記載の道路領域検出装置。
4. 前記画像分割手段は、あらかじめ決められた、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割する請求項１に記載の道路領域検出装置。
5. 車両が走行する道路を撮影するステップと、
   撮影された前記道路を含む画像を複数の分割領域に分割するステップと、
   前記各分割領域内の画像の特徴量を算出するステップと、
   算出された前記特徴量を用いる所定のアルゴリズムによって、前記車両が走行可能な前記道路の境界を検出するステップとを、
   有する道路領域検出方法。
6. 前記撮影された前記道路を含む画像を所定の領域に分割するステップは、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割するステップである請求項５に記載の道路領域検出方法。
7. 前記撮影された前記道路を含む画像を所定の領域に分割するステップは、前記画像上の前記道路が一点に収束する収束点から等距離にある地点を結ぶことによって前記画像を分割するステップである請求項５に記載の道路領域検出方法。
8. 前記撮影された前記道路を含む画像を所定の領域に分割するステップは、あらかじめ決められた、前記画像上の前記道路が一点に収束する収束点を基準に前記画像を逆投影処理して分割するステップである請求項５に記載の道路領域検出方法。
   

Images