JP2009053818A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】道路画像から路肩、側溝を抽出する画像処理装置を提供する。
【解決手段】画像入力部１２、線分抽出部１４、メモリ部１６、領域抽出部１８、移動量推定部２０，路肩側溝モデル生成部２２、路肩側溝検出部２４、カーブセンサ部２６から構成され、画像を進行方向に沿った線分で領域分割しておき、領域内の画素に対して、路面、路肩、側溝のそれぞれに応じた運動モデルを適用して判定する。
【選択図】 図１

Description

本発明は、自動車の安全運転支援や自動走行を実現するために、車両に搭載したカメラで走行環境、特に路肩、側溝を検出する画像処理装置及びその方法に関する。

従来より、車両に複数の撮像装置を搭載し、複数の画像をステレオ視の方法で比較して道路上にある立体物として路面上の障害物を検出する障害物検出方式が提案されている。

この従来技術では、道路脇の側溝は、道路面より低い位置にあるため道路上にある立体物と判定されず、障害物として検出することはできない。

また、一般的な道路で路肩は歩道と車道との段差であり、約１５ｃｍ程度の高さがあるが、これらの障害物検出方法が検出対象にしている車両や歩行者などに比べて高さが非常に低いため、ステレオ視による検出は非常に困難である。

そのため、特許文献１では、画像からセグメントを抽出し、セグメントの位置や傾き、セグメント左右の明度差などの特徴情報を学習して路肩を表すセグメントを識別する方法を提案している。
特開２００６−１８６８８公報

しかしながら、特許文献１の方法では、白線や舗装の継ぎ目など路面上の特徴によるセグメントと路肩によるセグメントでは、白線や舗装の継ぎ目等路面上のセグメントと、路肩上部のセグメントでは、角度の差は微小で、天候、夜間、道路の傾き、カーブなどの影響を考慮すると、角度差の識別ができないという問題点がある。

そのため、撮像装置の視野角を大きく絞れば相対的に画像の解像度が上がり微小な角度差も検出することはできるが、視野角を絞るとカメラから遠距離の路肩しか視野に入らず、他のセグメントとの角度差も小さくなる。また、視野角が小さいと、車両に搭載されたカメラを路肩や白線検出だけでなく、横から飛び出す人物や車両の検出など他の目的に利用できないという問題点がある。

以上述べたように、従来のステレオ視覚やセグメント特徴を用いる方式では、路肩や側溝を現す領域を画像から判別できないという問題点がある。

そこで、本発明は、上記問題点に鑑み、道路の路肩や側溝を現す領域を画像から判別することができる画像処理装置及びその方法を提供する。

本発明は、車両に搭載され、前記車両の前方の道路面の時系列の画像を取得するカメラと、前記道路面上において進行方向に沿って伸びる複数の線分を前記各画像から抽出する線分抽出部と、前記複数の線分と、前記画像中に任意に設定した２本の水平線とによって囲まれる複数の分割領域に、前記各画像中を分割する領域抽出部と、前記車両の移動量を求める移動量算出部と、前記複数の線分中の２本の線分と、前記２本の水平線とによって囲まれた前記道路面の路面領域を検出する路面領域検出部と、前記路面領域の側方にある分割領域が、前記道路面から立ち上がった部分を含む路肩領域であると仮定して、第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した路肩モデル領域を、前記移動量に基づいて生成する路肩モデル生成部と、前記路面領域の側方にある分割領域が、前記道路面に形成された溝を含む溝領域であると仮定して、前記第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した溝モデル領域を、前記移動量に基づいて生成する路肩モデル生成部と、（１）前記路面領域の側方にある前記分割領域に関して、第２基準時刻の画像中の前記分割領域を前記路肩モデル領域に基づいて変形移動させて路肩変形分割領域を求め、（２）前記路肩変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第１類似度を求める第１照合部と、（１）前記路面領域の側方にある前記分割領域に関して、前記第２基準時刻の画像中の前記分割領域を前記溝モデル領域に基づいて変形移動させて溝変形分割領域を求め、（２）前記溝変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第２類似度を求める第２照合部と、前記第１類似度と前記第２類似度とを比較して類似度が大きい方のモデル領域に基づいて、前記第２基準時刻における前記分割領域が立ち上がり部分、または、溝を含むと判定する判定部と、を具備する画像処理装置である。

本発明によると、撮影した時系列画像から道路面の路面の両側の路肩、溝を判定することができる。

以下、本発明の実施形態の画像処理装置１０を図１〜図４に基づいて説明する。

本実施形態の画像処理装置１０は、道路を走行する車両に搭載されて、車両の前方の画像を撮影して、道路の路肩、側溝を検出するものである。

（１）画像処理装置１０の構成
本実施形態の画像処理装置１０の構成について図１に基づいて説明する。

図１に示すように、画像処理装置１０は、画像入力部１２、線分抽出部１４、メモリ部１６、領域抽出部１８、移動量推定部２０，路肩側溝モデル生成部２２、路肩側溝検出部２４、カーブセンサ部２６から構成される。

画像入力部１２を除く各部１４〜２６は、コンピュータに格納されたプログラムによっても実現可能である。

以下、画像処理装置１０の各部１２〜２６の動作について説明する。

（２）画像入力部１２
画像入力部１２は、車両に取り付けられて、車体前方の路肩や側溝が撮影可能なビデオカメラであって、時系列で画像が入力する。このカメラは、ステレオキャリブレーション方式で障害物を検出する場合は、少なくとも２台必要であり、各カメラで共通する範囲を撮影する。

なお、フロントウインドウ内側にほぼ水平取り付けられてほぼ前方正面を向けたカメラでも撮影可能である。また、車両前方バンパー近くに左右斜め方向に向けて取り付けたカメラでもよい。

（３）線分抽出部１４
線分抽出部１４は、入力画像から道路進行方向に沿って伸びる線分を抽出する。

この線分の抽出は、特開２００４−３３４８１９公報に記載された白線検出方式に記載された線分抽出方法で実現可能である。

また、画像にソーベルフィルタ、キャニーのアルゴリズムなど、エッジ抽出フィルタを適用し、エッジ強度が閾値以上で、かつ隣接している画素をたどって線分を抽出することもできる。その際、車両の進行方向（画像中では、車両進行方向の無限遠点）に沿った線分を抽出する。

（４）メモリ部１６
メモリ部１６は、画像入力部１２で撮影した画像と、その画像から抽出した線分の位置、画像入力部１２で画像を撮影した時刻、または、撮影した画像に昇順に番号を割り付けたフレームＩＤ番号と共に記憶する記憶装置である。

（５）領域抽出部１８
領域抽出部１８は、画像入力部１２で撮影した画像について、線分抽出部１４で抽出された複数の線分のうち、隣接する２本の線分と任意に設定した２本の水平線で囲まれた領域に分割する。

図２は、領域抽出部１８で抽出した領域の例である。実線Ｌ１〜Ｌ５が線分抽出部１４で抽出した線分で、破線Ｍ１、Ｍ２が、任意に設定した２本の水平線である。抽出線分Ｌ１〜Ｌ４と水平線Ｍ１、Ｍ２でそれぞれ囲まれた領域Ｓ０〜Ｓ３が抽出した領域である。

水平線Ｍ１、Ｍ２の縦位置は、任意に決めてもよいし、路面上のペイントなど、道路上での位置が容易に判る特徴を基準に決めてもよい。

（６）移動量推定部２０
移動量推定部２０は、領域抽出部１８で抽出した領域から道路を表す道路領域を選択し、時間をずらして撮影した２枚の画像を照合して、車両の運動パラメータを求める。

前方正面に向けたカメラで撮影した画像では、画像中心Ｏ（図２では二重四角の位置）を含む領域（図２ではＳ１）を道路領域として選択する。

また、それ以外のバンパー付近に取り付けて斜め方向を向いたカメラでは、例えば画像の下端に接している、面積が最大であるなどのカメラの取り付け位置や方向に適した基準を決めて道路領域を選択する。

そして、使用する２枚の画像の一方の画像を時刻ｔで撮影した画像Ｉｔとし、もう一方の画像を時刻ｔからｄｔ後の画像Ｉｄｔとする。

ここで、横方向をＸ軸、縦方向をＹ軸、奥行き方向をＺ軸とし、前方正面に向けて水平に取り付けたカメラの焦点距離をｆ、路面からの高さＹ０とすると、時刻ｔでカメラの前方距離Ｚｔにある路面上の点がカメラに写ったｙｔ座標は、

で表すことができる。

なお、水平方向であるＸ軸方向に関しては、変化がないとする。

時間ｄｔの間の車両の移動量をＺｄｔとすれば、カメラ画像上で時刻ｔのＹ座標ｙｔは

で表すことができる。カメラの焦点距離ｆやカメラ高さＹ０は既知であるから、ｙ座標から前方距離Ｚｔを求めることができる。

また、Ｚｄｔについては、Ｚｄｔをある値とすれば、画像Ｉｔの路面領域内の画素は式（１）と式（２）により画像Ｉｄｔ中で、どの画素に対応するか計算することができる。あるＺｄｔの値について、画像Ｉｔの路面領域に対応するＩｄｔ中の画像領域を求めることができるから、対応する画像領域間で、画像の正規化相関を計算する。

Ｚｄｔの値を一定間隔でずらしつつ、その各値について画像Ｉｔの路面領域に対応するＩｄｔ内の画像領域を求めて正規化相関を計算し、相関値が最大になるＺｄｔを選択することにより、車両の移動量を表すＺｄｔを求めることができる。

以上により移動量推定部２０は、上記の計算を行って、車両の運動情報Ｚｔ，Ｚｄｔを求めることができる。

（７）路肩側溝モデル生成部２２
路肩側溝モデル生成部２２は、領域抽出部１８で抽出した領域が路面、路肩、側溝であった場合に、移動量推定部２０で推定した車両の運動による領域内の座標の変化量を計算する。

以下、図３〜図５に基づいて説明する。

（７−１）路面の場合
図３に示すように、領域が路面であった場合、Ｙ座標が等しい水平線上の座標は車両進行方向をＺ軸とした距離Ｚは等しいので、車両の移動によって水平線に移動する。

（７−２）路肩の場合
路肩は、図４（ａ）に示すように路面から高さＹｓだけほぼ鉛直に立ち上がっているので、車両の右側にある路肩では、時刻ｔにおける領域Ｓ２内の垂直線Ｑ１は、時刻ｔのｄｔ後の垂直線Ｑ２は、Ｚ軸上において距離Ｚは等しくなる。

また、図４（ｂ）に示すように、車両の右側にある路肩では、時刻ｔの位置では、水平線Ｍ１における領域Ｓ２内の左端の画素Ａは路面上にあり、水平線Ｍ１の右端の画素Ｂは路肩の高さＹｓだけ路面より高い位置にあるが、Ｚ軸上の距離においては左側の画素Ａより右側の画素Ｂの方が車両に近い。

そのため、車両が前方に進行して時刻ｔのｄｔ後においては、領域左側Ａ’の移動距離より、右側Ｂ’の移動距離が大きくなり、水平線Ｍ１はｄｔ後には右下がりの線Ｐに変化する。

したがって、水平線Ｍ１のｄｔ後の右側の画素Ｂの移動先の画素Ｂ’の位置ｙ’ｄｔは、以下の式（３）で求めることができる。法令で路肩の高さの基準が決められており、一般的な道路では、Ｙｓは規定値を使用することができる。

なお、水平方向であるＸ軸方向に関しては、変化がないとする。

上記の説明は車両の右側の路肩についての説明であるが、左側の路肩についても左右を反転するだけで同じ説明が成立する。

（７−３）側溝の場合
側溝は、図５（ａ）に示すように、ほぼ鉛直に立ち下がっているので、車両の右側にある側溝の右側壁（すなわち、外側壁）では、時刻ｔにおける領域内の垂直線Ｑ１は、時刻ｔのｄｔ後の垂直線Ｑ２は、Ｚ軸上において距離Ｚは等しくなる。

また、図５（ｂ）に示すように、時刻ｔにおいて、水平線Ｍ１の領域Ｓ２内の右端の画素Ｂは路面と同じ高さにあり、水平線Ｍ１の領域Ｓ２内の左端の画素Ａは路面より低い位置にある。なぜ低い位置にあるかを説明すると、画素Ａは側溝の右側壁上に存在するからである。そのため、水平線Ｍ１上では、領域Ｓ２の左側の画素Ａは、右側の画素ＢよりもＺ軸上において距離が車両より遠くなる。

そして、車両が前方に進行して時刻ｔのｄｔ後においては、領域Ｓ２の右端の画素Ｂ’が領域Ｓ２外の左側の路面Ｓ１と同じ位置に移動し、領域Ｓ２の左側の画素Ａ’は上記したように遠距離にあるため、領域Ｓ２内は左上がりに変形し、領域Ｓ２の左端で、領域Ｓ２内と外で途切れが発生する。

側溝の領域変形は、領域右側の輪郭線の傾きをθ、領域の水平方向の幅をｗとして、領域左端の画素Ａ’の位置ｙ’ｄｔは、

となる。

上記の説明は車両の右側の側溝についての説明であるが、左側の側溝についても左右を反転するだけで同じ説明が成立する。

（８）路肩側溝検出部２４
路肩側溝検出部２４は、路肩側溝モデル生成部２２で作成した領域のモデルと、路肩または側溝を検出したい画像Ｉｔの領域と、画像Ｉｄｔの領域の画像を比較して路肩と側溝を判定する。

なお、路肩側溝モデル生成部２２で作成した領域のモデルと、路肩または側溝を検出したい画像Ｉｔの領域と、画像Ｉｄｔとの時間関係を説明すると、前記モデルを生成した基準時刻ｔにおいて画像Ｉｔを抽出し、また、モデルを生成した時刻ｄｔにおいて画像Ｉｄｔを抽出するのが好ましい。すなわち、同じフレームの画像でモデルを生成して、その画像を用いて路肩などを検出するのが好ましい。但し、演算速度が遅く同じフレーム内で計算が終了しない場合は、道路面があまり変化をしないことを前提として、変化しない状態の基準となる時刻でモデルを生成し、その後に路肩などを検出してもよい。

ここでは右側の路肩を検出する方法を説明する。既に路面と判定している路面領域Ｓ１から右方向に隣接している領域Ｓ２，Ｓ３の順で処理を行う。

部分領域Ｓ２について、画像Ｉｔと画像Ｉｄｔで領域内画素と路肩モデルの照合を行う。領域Ｓ２は進行方向に沿って伸びる２本の線分で囲まれた領域であるが、この領域中に２本の水平線を置き、縦の線分と２本の水平線で囲まれた部分領域を選択する。

水平線は、部分領域の面積が一定基準以上になるように、予め決めた一定の座標を選択しても良いし、路面領域Ｓ１中に写っている路面上のマーキングや、領域Ｓ１とＳ２の境界となる白線などの途切れなど、画像中の特徴を水平線のＹ座標の基準として選択してもよい。

画像中の特徴からＹ座標を選択する場合は、２本の水平線で囲まれる部分領域Ｓ２の面積が、一定値より大きく、画面下方にあることが選択基準となる。

上記方法で選択した画像Ｉｔ中の部分領域Ｓ２について、移動量推定部２０で推定したＺｄｔと路面、路肩、側溝のモデルである式（２），式（３），式（４）を適用する。このモデルは部分領域Ｓ２中の任意画素のＩｄｔでの移動先座標を推定するモデルであり、Ｉｔの部分領域に対応するＩｄｔ中の画素が判明する。

画像Ｉｔ中の部分領域Ｓ２と、画像Ｉｄｔ中で各モデルで推定した対応画素で構成される画像領域について、例えば画像間正規化相関処理を行って比較し、相関値が最大となる、すなわち最も類似する変形モデルを選択する。

選択した変形モデルが路面であった場合、右方向に隣接している領域を順に調べ（図２では次のＳ３を調べる）、路肩か路面と判定されるか、画像の右端に到達するまで処理を続ける。

画像左側についても、路面領域から左方向へ同様の探索を行う。

（１０）カーブセンサ部２６
カーブセンサ部２６は、操舵角センサ、ヨーレートセンサなど角速度センサで構成されるセンサで、走行中の車両が大きくカーブしていることを検出し、カーブしている間、上記の路肩側溝検出部７の処理を停止する信号を出す。

（１１）効果
以上により、本実施形態の画像処理装置１０であると、路面の右側と左側の路肩と側溝を、走行しながら前方の画像を撮影するだけで検出できる。

（１２）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

上記実施形態では道路の路肩を検出したが、路肩に限らず、走行面の側方において、路面から立ち上がった部分であれば検出できる。例えば、中央分離帯などである。

また、上記実施形態では画像から車両の移動量を求めたが、これに代えて車両に搭載したセンサを用いて移動量を求めてもよい。

本発明の実施形態の画像処理装置のブロック図である。 抽出した領域の図である。 路面の変形の説明図である。 路肩の変形の説明図である。 側溝の変形の説明図である。

符号の説明

１０ 画像処理装置
１２ 画像入力部
１４ 線分抽出部
１６ メモリ部
１８ 領域抽出部
２０ 移動量推定部
２２ 路肩側溝モデル生成部
２４ 路肩側溝検出部
２６ カーブセンサ部

Claims (5)

1. 車両に搭載され、前記車両の前方の道路面の時系列の画像を取得するカメラと、
   前記道路面上において進行方向に沿って伸びる複数の線分を前記各画像から抽出する線分抽出部と、
   前記複数の線分と、前記画像中に任意に設定した２本の水平線とによって囲まれる複数の分割領域に、前記各画像中を分割する領域抽出部と、
   前記車両の移動量を求める移動量算出部と、
   前記複数の線分中の２本の線分と、前記２本の水平線とによって囲まれた前記道路面の路面領域を検出する路面領域検出部と、
   前記路面領域の側方にある分割領域が、前記道路面から立ち上がった部分を含む路肩領域であると仮定して、第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した路肩モデル領域を、前記移動量に基づいて生成する路肩モデル生成部と、
   前記路面領域の側方にある分割領域が、前記道路面に形成された溝を含む溝領域であると仮定して、前記第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した溝モデル領域を、前記移動量に基づいて生成する路肩モデル生成部と、
   （１）前記路面領域の側方にある前記分割領域に関して、第２基準時刻の画像中の前記分割領域を前記路肩モデル領域に基づいて変形移動させて路肩変形分割領域を求め、（２）前記路肩変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第１類似度を求める第１照合部と、
   （１）前記路面領域の側方にある前記分割領域に関して、前記第２基準時刻の画像中の前記分割領域を前記溝モデル領域に基づいて変形移動させて溝変形分割領域を求め、（２）前記溝変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第２類似度を求める第２照合部と、
   前記第１類似度と前記第２類似度とを比較して類似度が大きい方のモデル領域に基づいて、前記第２基準時刻における前記分割領域が立ち上がり部分、または、溝を含むと判定する判定部と、
   を具備する画像処理装置。
2. 前記路肩モデル生成部は、
   前記立ち上がり部の高さが予め記憶され、
   前記立ち上がり部の下端と上端を表す２本の線分と、前記２本の水平線との４個の交点の前記第１基準時刻におけるそれぞれの位置を設定し、
   前記任意の時間後における前記４点の交点の位置を、前記第１基準時刻における前記４個の交点の位置、前記高さ、前記移動量とからそれぞれ計算し、
   前記任意の時間後における前記４点の交点に囲まれた領域を、前記路肩モデル領域に設定する、
   請求項１記載の画像処理装置。
3. 前記溝モデル生成部は、
   前記溝の幅が予め記憶され、
   前記溝の一端と他端を表す２本の線分と、前記２本の水平線との４個の交点の前記第１基準時刻におけるそれぞれの位置をそれぞれ設定し、
   前記任意の時間後における前記４点の交点の位置を、前記第１基準時刻における前記４個の交点の位置、前記幅、前記移動量とからそれぞれ計算し、
   前記任意の時間後における前記４点の交点に囲まれた領域を、前記溝モデル領域に設定する、
   請求項１記載の画像処理装置。
4. 前記第２基準時刻が、前記第１時刻と同じ時刻、または、前記第１時刻より前の時刻である、
   請求項１記載の画像処理装置。
5. 車両に搭載され、前記車両の前方の道路面の時系列の画像をカメラを用いて取得する入力ステップと、
   前記道路面上において進行方向に沿って伸びる複数の線分を前記各画像から抽出する線分抽出ステップと、
   前記複数の線分と、前記画像中に任意に設定した２本の水平線とによって囲まれる複数の分割領域に、前記各画像中を分割する領域抽出ステップと、
   前記車両の移動量を求める移動量算出ステップと、
   前記複数の線分中の２本の線分と、前記２本の水平線とによって囲まれた前記道路面の路面領域を検出する路面領域検出ステップと、
   前記路面領域の側方にある分割領域が、前記道路面から立ち上がった部分を含む路肩領域であると仮定して、第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した路肩モデル領域を、前記移動量に基づいて生成する路肩モデル生成ステップと、
   前記路面領域の側方にある分割領域が、前記道路面に形成された溝を含む溝領域であると仮定して、前記第１基準時刻における前記画像中の前記分割領域が、前記第１基準時刻から任意の時間後の前記車両の移動によって変形移動した溝モデル領域を、前記移動量に基づいて生成する路肩モデル生成ステップと、
   （１）前記路面領域の側方にある前記分割領域に関して、第２基準時刻の画像中の前記分割領域を前記路肩モデル領域に基づいて変形移動させて路肩変形分割領域を求め、（２）前記路肩変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第１類似度を求める第１照合ステップと、
   （１）前記路面領域の側方にある前記分割領域に関して、前記第２基準時刻の画像中の前記分割領域を前記溝モデル領域に基づいて変形移動させて溝変形分割領域を求め、（２）前記溝変形分割領域と、前記第２基準時刻から任意の時間後における画像中の分割領域とを照合して第２類似度を求める第２照合ステップと、
   前記第１類似度と前記第２類似度とを比較して類似度が大きい方のモデル領域に基づいて、前記第２基準時刻における前記分割領域が立ち上がり部分、または、溝を含むと判定する判定ステップと、
   を具備する画像処理方法。

Images