JP2016146118A - 走行路面検出装置及び走行路面検出方法 - Google Patents

Abstract

【課題】走行路面の検出範囲を向上させる走行路面検出装置及び走行路面検出方法を提供する。
【解決手段】車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて走行路面を検出する走行路面検出装置であって、撮像画像の視差情報に基づいて、撮像画像を分割して形成された画像領域毎に走行路面であるか否かを判定する走行路面判定部と、撮像画像の輝度情報に基づいて、走行路面判定部により走行路面であると判定されなかった画像領域を補間候補として走行路面の補間を行う走行路面補間部と、を備え、画像領域は複数の画素範囲から構成され、走行路面補間部は、補間候補の画像領域のうち、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上である画像領域、又は、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上である画像領域を走行路面として補間する。
【選択図】図４

Description

本発明は、撮像画像から走行路面を検出する走行路面検出装置及び走行路面検出方法に関する。

従来、ステレオカメラで撮像した車両の周囲の撮像画像の視差情報から車両の走行路面を検出する装置に関する技術文献として、下記の特許文献１が知られている。特許文献１には、撮像画像における視差情報（距離情報）を利用して走行路面を検出する装置が記載されている。

ＵＳ２０１４／００７１２４０号公報

しかしながら、撮像画像からの視差情報の抽出（三次元位置の復元）は、走行路面（例えばアスファルト面）のような輝度差の少ない領域において精度が低下する。このため、必要十分な範囲の走行路面を検出できないという問題があった。従って、本技術分野では、走行路面の検出範囲を向上することができる走行路面検出装置及び走行路面検出方法が望まれている。

上記課題を解決するため、本発明の一態様は、車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて走行路面を検出する走行路面検出装置であって、撮像画像の視差情報に基づいて、撮像画像を分割して形成された画像領域毎に走行路面であるか否かを判定する走行路面判定部と、撮像画像の輝度情報に基づいて、走行路面判定部により走行路面であると判定されなかった画像領域を補間候補として走行路面の補間を行う走行路面補間部と、を備え、画像領域は複数の画素範囲から構成され、走行路面補間部は、補間候補の画像領域のうち、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上である画像領域、又は、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上である画像領域を走行路面として補間する。

この走行路面検出装置によれば、撮像画像上で輝度変化の大きい画像領域については視差情報が精度良く得られることにより視差情報による走行路面の判定ができる。一方、撮像画像上で輝度変化の小さい画像領域については、輝度情報に基づく走行路面の補間の候補とすることができる。従って、この走行路面検出装置によれば、視差情報のみから走行路面を検出する場合と比べて、走行路面の検出範囲を向上させることができる。

上記走行路面検出装置において、走行路面補間部は、走行路面判定部により走行路面であると判定されなかった画像領域のうち、車載カメラからの距離が第４の閾値以下の画像領域を補間候補としてもよい。
この走行路面検出装置によれば、視差情報の精度は車載カメラから遠くなるほど低くなることから、車載カメラからの距離が第４の閾値以下の画像領域を補間候補とすることにより、補間候補が無制限に遠方の画像領域まで広がり、誤った走行路面の補間を行うことを避けることができる。

上記走行路面検出装置において、撮像画像に基づいて、車両の走行する走行車線の車線境界を検出する車線境界検出部を更に備え、走行路面補間部は、走行路面判定部により走行路面であると判定されなかった画像領域のうち、車線境界検出部により検出された車線境界より走行車線側の画像領域を補間候補としてもよい。
この走行路面検出装置によれば、車両が走行する走行車線の外側までは走行路面の検出が不要な場合があることから、白線等の車線境界より走行車線側の画像領域を補間候補とすることにより、走行車線の外側の路肩の段差部分等を誤って走行路面として補間することを避けることができる。

上記走行路面検出装置において、走行路面補間部は、走行路面判定部により走行路面であると判定されなかった画像領域のうち、走行路面判定部により走行路面であると判定された画像領域又は走行路面補間部により走行路面として補間された画像領域に隣り合う画像領域を補間候補としてもよい。
この走行路面検出装置によれば、走行路面は連続していることから、走行路面と判定された画像領域又は走行路面として補間された画像領域に隣り合う画像領域を補間候補とすることで、走行路面と分離した壁面などを誤って走行路面として補間することを避けることができる。

本発明の他の態様は、車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて走行路面を検出する走行路面検出装置の走行路面検出方法であって、走行路面検出装置の走行路面判定部により、撮像画像の視差情報に基づいて、撮像画像を分割して形成された画像領域毎に走行路面であるか否かを判定する走行路面判定工程と、走行路面検出装置の走行路面補間部により、撮像画像の輝度情報に基づいて、走行路面判定工程で走行路面であると判定されなかった画像領域を補間候補として撮像画像における走行路面の補間を行う走行路面補間工程と、を備え、画像領域は複数の画素範囲から構成され、走行路面補間工程において、補間候補の画像領域のうち、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上である画像領域、又は、隣り合う画素範囲との輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上である画像領域を走行路面として補間する。

この走行路面検出方法によれば、画像上で輝度変化の大きい画像領域については視差情報が精度良く得られることにより視差情報による走行路面の判定ができる。一方、画像上で輝度変化の小さい画像領域については、輝度情報に基づく走行路面の補間の候補とすることができる。従って、この走行路面検出方法によれば、視差情報のみから走行路面を検出する場合と比べて、走行路面の検出範囲を向上させることができる。

以上説明したように、本発明の種々の態様によれば、走行路面の検出範囲を向上させることができる。

本実施形態に係る走行路面検出装置を示すブロック図である。 ステレオカメラにより撮像された撮像画像を示す図である。 （ａ）は、複数の画像領域に分割された撮像画像を示す図である。（ｂ）は、複数の画像領域に対応するグリッドマップである。 （ａ）は、グリッドマップにおける走行路面の補間候補を示す図である。（ｂ）は、撮像画像における走行路面の補間候補を示す図である。（ｃ）は、補間候補の画像領域を構成する複数の画素範囲を示す図である。 （ａ）は、グリッドマップにおける補間走行路面を示す図である。（ｂ）は、走行路面の補間が完了した状態の一例を示すグリッドマップである。 （ａ）ステレオカメラからの距離による補間候補の制限を示すグリッドマップである。（ｂ）ステレオカメラからの距離による補間候補の制限を示す撮像画像を示す図である。 走行車線の車線境界による補間候補の制限を示すグリッドマップである。 （ａ）走行路面の画像領域との隣接による補間候補の制限を示すグリッドマップである。（ｂ）新たな走行路面の補間により補間候補が拡大された状況を示すグリッドマップである。 本実施形態に係る走行路面検出装置による走行路面検出方法を示すフローチャートである。 走行路面検出装置による走行路面の補間方法を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１に示す本実施形態に係る走行路面検出装置１は、例えば、乗用車等の車両に搭載され、車両の周囲を撮像した撮像画像から得られた視差情報（車載カメラからの距離情報）に基づいて走行路面を検出する。走行路面とは、例えば、車両の走行可能な路面である。なお、走行路面には、車両の走行する道路の路面の他、駐車場の通路及び駐車スペースの路面が含まれてもよい。

走行路面検出装置１は、車両の周囲を撮像する車載カメラにより撮像画像を取得し、撮像画像から生成した視差画像の視差情報に基づいて走行路面を検出する。視差画像とは、視差情報を含む画像である。例えば、視差画像を構成する各画素に視差情報が含まれている。

［走行路面検出装置の構成］
図１に示すように、走行路面検出装置１は、走行路面を検出するためのＥＣＵ［Electronic Control Unit］２、及びステレオカメラ（車載カメラ）３を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。

ステレオカメラ３は、車両の周囲を撮像して撮像画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ４及び第２カメラ５を有している。第１カメラ４及び第２カメラ５は、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。なお、第１カメラ４及び第２カメラ５は、車両の側部又は車両の後部（例えばリアガラスの裏側）に設けられ、車両の側方又は後方を撮像してもよい。ステレオカメラ３は、撮像した撮像画像をＥＣＵ２へ送信する。

なお、走行路面検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば撮像の時間差を利用した手法）を用いることにより、撮像画像から視差画像を得ることができる。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部１０、三次元位置復元部１１、走行路面判定部１２、補間候補認識部１３、走行路面補間部１４、及び走行路面情報出力部１５を有している。

画像取得部１０は、ステレオカメラ３の撮像した撮像画像を取得する。ここで、図２は、ステレオカメラ３により撮像された撮像画像を示す図である。図２は、車両の前方を撮像した撮像画像である。図２には、車両の走行車線を形成する白線（車線境界線）Ｌ１，Ｌ２、白線Ｌ１と共に隣接車線を形成する白線Ｌ３、及び横断歩道Ｃが示されている。画像取得部１０は、例えば、ステレオカメラ３における第１カメラ４の撮像画像及び第２カメラ５の撮像画像に基づいて、周知の手法により視差情報を含む視差画像を生成する。

なお、画像取得部１０は、取得した撮像画像に基づいて、車両の走行する走行車線の車線境界を検出してもよい。画像取得部１０は、例えば、撮像画像に対して、周知の画像処理（例えばエッジ検出処理）を行うことにより白線認識（白線Ｌ１，Ｌ２の認識）を行ってもよい。この場合、画像取得部１０は、車線境界検出部として機能する。

三次元位置復元部１１は、視差情報に基づいて、撮像画像を構成する各画素に対応する三次元位置情報（三次元位置座標）を復元する。三次元位置復元部１１は、周知の手法により、撮像画像の各画素に対応する三次元位置情報を復元する。

また、三次元位置復元部１１は、撮像画像をグリッドＧにより分割して画像領域を形成する。画像領域とは、撮像画像を分割してなる領域である。図３（ａ）は、複数の画像領域に分割された撮像画像を示す図である。グリッドＧの横線は、例えば、撮像画像の横方向（車両の車幅方向）と平行な複数の線である。グリッドＧの縦線は、例えば、撮像画像における消失点に向かって収束する複数の線である。図３（ａ）に示すように、三次元位置復元部１１は、例えば、撮像画像の下側（すなわち車両の手前側）から上側に向かうほど画像領域の横幅が小さくなる台形状に、撮像画像を複数の画像領域に分割する。なお、図３（ａ）に示すグリッドＧ及び画像領域は一例であり、グリッドＧ及び画像領域の分割の方法は特に限定されず、周知の手法を採用することができる。

走行路面判定部１２は、視差情報に基づいて復元された三次元位置情報を用いて、画像領域毎に走行路面であるか否かを判定する。走行路面判定部１２は、例えば、撮像画像を短冊状のエリアに区切り、各エリアにおいて撮像画像の下端から上側に向かって視差変化（距離変化、高さ変化）が連続する画素をグループ化することで走行路面として判定する。短冊状のエリアは、例えば、複数の画像領域を撮像画像の縦方向に繋げてなるエリアとしてもよい。また、走行路面判定部１２は、短冊状の各エリアにおいて、いわゆる撮像画像縦座標系の視差分布特性（視差変化）から撮像画像の下端から上側に向かって連続する路面視差を抽出し、予め記憶された走行路面の距離−高さ座標系のデータに当てはめることで走行路面の判定を行ってもよい。なお、走行路面判定部１２は、撮像画像に含まれる視差情報に基づいて、周知の手法により、画像領域毎に走行路面であるか否かを判定してもよい。

図３（ｂ）は、複数の画像領域に対応するグリッドマップである。図３（ｂ）に示すグリッドマップは、縦軸を距離（車両の進行方向の距離）、横軸を横位置（車両の車幅方向の位置）として画像領域を示したマップである。グリッドマップの下側に車両Ｍを示す。走行路面判定部１２は、例えば、撮像画像からグリッドマップを生成し、グリッドマップ上で走行路面の判定を行う。走行路面判定部１２は、例えば、各画像領域が正方形をなすようにグリッドマップを生成する。なお、走行路面判定部１２は、必ずしも走行路面の判定にグリッドマップを用いる必要はなく、グリッドマップを生成しなくてもよい。

図３（ｂ）おいて、走行路面判定部１２により走行路面と判定された画像領域である路面判定領域Ｒを示す。図３（ｂ）に、車両Ｍに最も近い第１の路面判定領域Ｒ１、第１の路面判定領域Ｒ１より奥側（車両Ｍから見て奥側）に位置する第２の路面判定領域Ｒ２、最も奥側に位置する第３の路面判定領域Ｒ３を示す。図３（ｂ）に示すように、視差情報に基づく走行路面の判定は、視差情報の精度のため必要十分な領域を検出することが難しく、飛び飛びの領域（散在した領域）として走行路面が判定される状況が生じ得る。

補間候補認識部１３は、走行路面の補間候補を認識する。補間候補認識部１３は、例えば、撮像画像の画像領域のうち走行路面判定部１２によって走行路面と判定されなかった全ての画像領域を補間候補として認識する。補間候補認識部１３は、走行路面判定部１２によって走行路面と判定されなかった画像領域のうち、一部の画像領域のみを補間候補として認識してもよい。補間候補の変形例について詳しくは後述する。

走行路面補間部１４は、撮像画像の輝度情報に基づいて、補間候補認識部１３が認識した補間候補を走行路面として補間するか否かを判定する。輝度情報とは、例えば、撮像画像の各画素の輝度の情報である。

ここで、図４（ａ）は、グリッドマップにおける走行路面の補間候補Ｐａを示す図である。補間候補Ｐａは、走行路面判定部１２によって走行路面と判定されなかった画像領域であり、補間候補認識部１３に補間候補として認識された画像領域である。以下、走行路面の補間について一つの補間候補Ｐａを用いて説明する。

図４（ｂ）は、撮像画像における走行路面の補間候補Ｐａを示す図である。図４（ｂ）に示す補間候補Ｐａは、図４（ａ）に示す補間候補Ｐａと対応している。また、図４（ｃ）は、補間候補Ｐａを構成する複数の画素範囲Ｑ１〜Ｑ８を示す図である。画素範囲とは、撮像画像上において一つの画素からなる範囲又は複数の画素からなる範囲である。画素範囲は、画像領域より小さい範囲であり、画像領域は単数又は複数の画素範囲から構成される。なお、画素範囲は、全ての画像領域において同数の画素を含む同形状の範囲となる。画像領域に含まれる画素範囲の数は、例えば、ステレオカメラ３からの距離が離れるほど少なくなる。

走行路面補間部１４は、補間候補Ｐａが低テクスチャ領域であるか否かを判定する。低テクスチャ領域とは、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上の画像領域、又は、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上の画像領域である。隣り合う画素範囲とは、互いに隣り合っている画素範囲を意味する。例えば、図４（ｃ）に示す画素範囲Ｑ１と画素範囲Ｑ２は互いに隣り合う。画素範囲Ｑ２と画素範囲Ｑ３は互いに隣り合う。画素範囲Ｑ３は、画素範囲Ｑ２、Ｑ４、Ｑ６と互いに隣り合う。なお、画素範囲Ｑ３は、斜めに位置する画素範囲Ｑ１、Ｑ７、Ｑ５と隣り合うとしてもよく、画素範囲Ｑ１、Ｑ７、Ｑ５とは隣り合わないとしてもよい。

輝度差とは、隣り合う画素範囲の輝度の差である。画素範囲の輝度は、画素範囲が単一の画素からなる場合、当該画素の輝度である。画素範囲の輝度は、画素範囲が複数の画素からなる場合、例えば、各画素の輝度の平均値としてもよく、各画素の輝度の最大値としてもよい。第１の閾値とは、隣り合う画素範囲の輝度差を判定するための閾値である。第１の閾値は、固定値であってもよく、昼夜の区別又は天候に応じて変化する値であってもよい。走行路面補間部１４は、例えば、補間候補の画像領域内のみで隣り合う画素範囲の輝度差を比較する。走行路面補間部１４は、画像領域の枠を超えて隣り合う画素範囲の輝度差を比較してもよい。すなわち、走行路面補間部１４は、補間候補である一つの画像領域内の画素範囲と隣り合う他の画像領域内の画素範囲との輝度差を比較して、補間候補が低テクスチャ領域であるか否かの判定に用いてもよい。

第２の閾値及び第３の閾値とは、補間候補を走行路面として補間するか否かを判定するための閾値である。第２の閾値及び第３の閾値は、固定値であってもよく、昼夜の区別又は天候に応じて変化する値であってもよい。

走行路面補間部１４は、補間候補Ｐａが、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上の画像領域、又は、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の割合（補間候補Ｐａを構成する全ての画素範囲に対する割合）が第３の閾値以上の画像領域であると判定した場合、補間候補Ｐａは低テクスチャ領域であると判定する。走行路面補間部１４は、補間候補Ｐａは低テクスチャ領域であると判定した場合、補間候補Ｐａを走行路面として補間する。走行路面補間部１４は、補間候補Ｐａは低テクスチャ領域ではないと判定した場合、補間候補Ｐａを走行路面として補間しない。図５（ａ）は、グリッドマップにおける補間領域ＰＭを示す図である。図５（ａ）に示す補間領域ＰＭとは、走行路面補間部１４によって走行路面として補間された領域である。

走行路面補間部１４は、補間候補と認識された画像領域毎に走行路面として補間するか否かの判定を繰り返すことで、グリッドマップにおける走行路面を補間する。図５（ｂ）は、走行路面の補間が完了した状態の一例を示すグリッドマップである。図５（ｂ）に示すように、走行路面補間部１４は、第１の路面判定領域Ｒ１、第２の路面判定領域Ｒ２、及び第３の路面判定領域Ｒ３の間を埋めるように、走行路面の補間を行う。図５（ｂ）に示す路面判定領域Ｒ（第１の路面判定領域Ｒ１、第２の路面判定領域Ｒ２、第３の路面判定領域Ｒ３）及び補間領域ＰＭが、撮像画像上で走行路面として検出される。

一方で、走行路面補間部１４は、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値未満である場合、補間候補Ｐａを走行路面として補間しない。走行路面判定部１２によって走行路面と判定されなかった全ての画像領域を補間候補とする場合、図５（ｂ）における路面判定領域Ｒ及び補間領域ＰＭ以外の画像領域は、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値未満の画像領域となる。なお、走行路面補間部１４は、グリッドマップを用いる必要はなく、撮像画像上で走行路面の補間を行ってもよい。

走行路面情報出力部１５は、路面判定領域Ｒ及び補間領域ＰＭを検出された走行路面として外部に情報を出力する。走行路面情報出力部１５は、例えば、車両Ｍの自動運転を行うＥＣＵ又は車両Ｍの運転支援を行うＥＣＵに検出した走行路面情報を出力する。

次に、補間候補のバリエーションについて説明を行う。図６（ａ）は、ステレオカメラ３からの距離による補間候補の制限を示すグリッドマップである。図６（ａ）に、第４の閾値Ｄ及び第４の閾値Ｄに対応するグリッドＧの横線ＧＤを示す。図６（ａ）に示すように、補間候補認識部１３は、例えば、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、ステレオカメラ３（車両Ｍ）からの距離が第４の閾値Ｄ以下の画像領域を補間候補として認識する。すなわち、補間候補認識部１３は、ステレオカメラ３からの距離が第４の閾値Ｄを超える画像領域を補間候補として認識しない。これにより、輝度情報の精度が低い遠方の画像領域において誤って走行路面の補間を行うことを避けることができる。第４の閾値Ｄは、補間候補を制限するための閾値である。第４の閾値Ｄは、固定値であってもよく、変化する値であってもよい。第４の閾値Ｄは、例えば、ステレオカメラ３の性能に応じて走行路面の判定精度を確保可能な距離（視差情報の精度を確保可能な距離）とすることができる。第４の閾値Ｄは、走行路面の検出結果を利用する外部の制御内容に応じて設定されてもよい。

なお、補間候補認識部１３は、補間候補の認識において必ずしもグリッドマップを用いる必要はない。図６（ｂ）は、ステレオカメラ３からの距離による補間候補の制限を示す撮像画像を示す図である。図６（ｂ）に示すように、補間候補認識部１３は、撮像画像上でステレオカメラ３（車両Ｍ）からの距離が第４の閾値Ｄ以下の画像領域（横線ＧＤより下側の画像領域）を補間候補として認識してもよい。このように、補間候補認識部１３は、ステレオカメラ３（車両Ｍ）からの距離が第４の閾値Ｄ以下の画像領域に補間候補を制限することで、ステレオカメラ３の撮像の精度が低い遠方の画像領域について誤った走行路面の補間を避けることができる。

図７は、走行車線の車線境界による補間候補の制限を示すグリッドマップである。図７に示す一点鎖線Ｌ１，Ｌ２は、車両Ｍの走行車線の車線境界である白線Ｌ１，Ｌ２を示している。なお、図７に示す白線Ｌ１，Ｌ２は例示であり、図３（ａ）に示す白線Ｌ１，Ｌ２と一致しているわけではない。

図７に示すように、補間候補認識部１３は、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、車両Ｍの走行する走行車線の車線境界である白線Ｌ１，Ｌ２より走行車線側（車両Ｍ側）の画像領域を補間候補として認識してもよい。すなわち、補間候補認識部１３は、白線Ｌ１，Ｌ２より外側の画像領域を補間候補として認識しない。なお、車線境界は、例えば、画像取得部１０により撮像画像から検出される。画像取得部１０は、例えば、撮像画像の輝度情報に基づいて、周知の手法により白線Ｌ１，Ｌ２を検出（認識）する。

補間候補認識部１３は、画像取得部１０によって白線Ｌ１，Ｌ２のうち一方しか検出されない場合には、走行路面と判定されなかった画像領域のうち、認識できた白線より走行車線側（車両Ｍ側）の画像領域を補間候補として認識する。また、車線境界は、白線に限られず、ガードレール又は路肩の段差部であってもよい。なお、補間候補認識部１３は、必ずしもグリッドマップを用いる必要はなく、撮像画像上において車線境界（例えばＬ１，Ｌ２）より走行車線側の画像領域を補間候補として認識してもよい。このように、補間候補認識部１３は、車線境界より走行車線側の画像領域に補間候補を制限することで、制御内容によっては必要とされない走行車線の外側の画像領域について誤った走行路面の補間を避けることができる。

図８（ａ）は、走行路面の画像領域との隣接による補間候補の制限を示すグリッドマップである。図８（ａ）に第１の路面判定領域Ｒ１と隣り合う画像領域Ｐｂと、第１の路面判定領域Ｒ１及び第２の路面判定領域Ｒ２の何れにも隣り合わない画像領域Ｐｃを示す。

図８（ａ）に示すように、補間候補認識部１３は、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、走行路面判定部１２により走行路面と判定された画像領域と隣り合う画像領域Ｐｂを補間候補として認識してもよい。すなわち、補間候補認識部１３は、走行路面判定部１２により走行路面と判定された画像領域と隣り合う画像領域以外は補間候補として認識しなくてもよい。隣り合う画像領域とは、グリッドＧを挟んで互いに隣り合う画像領域を意味する。隣り合う画像領域には、例えば、グリッドマップ上において、斜め方向で互いに隣り合う画像領域を含んでもよく、含まなくてもよい。なお、画像領域Ｐｂは補間候補の一例であり、補間候補認識部１３は、例えば、図８（ａ）に示すグリッドマップ上において第１の路面判定領域Ｒ１及び第２の路面判定領域Ｒ２の周囲を囲むように、第１の路面判定領域Ｒ１及び第２の路面判定領域Ｒ２の何れかと隣り合う全ての画像領域を補間候補として認識する。この場合においても、図８（ａ）に示す画像領域Ｐｃは、第１の路面判定領域Ｒ１及び第２の路面判定領域Ｒ２の何れにも隣り合わないため、補間候補として認識されない。

更に、補間候補認識部１３は、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、走行路面補間部１４により走行路面として補間された画像領域と隣り合う画像領域も補間候補として認識してもよい。すなわち、補間候補認識部１３は、走行路面判定部１２により走行路面と判定された画像領域又は走行路面補間部１４により走行路面として補間された画像領域と、隣り合う画像領域以外は補間候補として認識しなくてもよい。

図８（ｂ）は、新たな走行路面の補間により補間候補が拡大された状況を示すグリッドマップである。図８（ｂ）においては補間候補Ｐｂが走行路面として補間されている。また、走行路面として補間された画像領域Ｐｂと隣り合う画像領域Ｐｃが新たな補間候補として認識されている。補間候補認識部１３は、第１の路面判定領域Ｒ１と隣り合う補間候補の画像領域Ｐｂが走行路面として補間されたことにより、第１の路面判定領域Ｒ１及び第２の路面判定領域Ｒ２の何れにも隣り合わず画像領域Ｐｂと隣り合う画像領域Ｐｃを新たな補間候補として認識してもよい。なお、補間候補認識部１３は、必ずしもグリッドマップを用いる必要はなく、撮像画像上において隣り合う画像領域を補間候補として認識してもよい。このように、補間候補認識部１３は、走行路面として判定又は補間された画像領域と隣り合う画像領域に補間候補を制限することで、壁面などの走行路面と連続しない平面について誤った走行路面の補間を避けることができる。

以上、補間候補の変形例について説明したが、補間候補は上述したものに限られない。補間候補認識部１３は、図６（ａ）及び図６（ｂ）に示すステレオカメラ３からの距離による制限、図７に示す車線境界による制限、及び、図８（ａ）及び図８（ｂ）に示す走行路面と隣り合う画像領域の制限のうち、何れか２つを組み合わせて補間候補の認識を行ってもよく、全ての制限を組み合わせて補間候補の認識を行ってもよい。

その他、補間候補認識部１３は、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、最もステレオカメラ３から遠い路面判定領域Ｒ（例えば、図５（ａ）における第３の路面判定領域Ｒ３）以下の距離の画像領域を補間候補として認識してもよい。すなわち、補間候補認識部１３は、最もステレオカメラ３から遠い路面判定領域Ｒ以上にステレオカメラ３より遠い画像領域を補間候補として認識しなくてもよい。

また、補間候補認識部１３は、走行路面判定部１２により走行路面と判定されなかった画像領域のうち、図５（ａ）グリッドマップにおける距離の方向又は横位置の方向で路面判定領域Ｒによって挟まれた画像領域を補間候補として認識してもよい。すなわち、補間候補認識部１３は、距離の方向又は横位置の方向で路面判定領域Ｒによって挟まれていない画像領域を補間候補として認識しなくてもよい。なお、補間候補認識部１３は、撮像画像上で補間候補の認識を行う場合、撮像画像の縦方向又は横方向で路面判定領域Ｒによって挟まれていない画像領域を補間候補として認識しなくてもよい。補間候補認識部１３は、上述したその他の場合についても、図６（ａ）及び図６（ｂ）に示すステレオカメラ３からの距離による制限、図７に示す車線境界による制限、及び、図８（ａ）及び図８（ｂ）に示す走行路面と隣り合う画像領域の制限と組み合わせて補間候補の認識を行ってもよい。

［走行路面検出装置の走行路面検出方法］
次に、走行路面検出装置１の走行路面検出方法について図面を参照して説明する。図９は、走行路面検出装置１の走行路面検出方法を示すフローチャートである。図９に示すフローチャートは、例えば、車両Ｍがエンジン駆動中である間、予め設定された時間毎に実行される。

図９に示すように、走行路面検出装置１のＥＣＵ２は、ステップＳ１０１として、画像取得部１０による画像取得を行う。画像取得部１０は、ステレオカメラ３により撮像された車両の周囲の画像情報を取得する。なお、画像取得部１０は、取得した画像情報に基づいて、周知の画像処理により車両Ｍの走行車線の車線境界を認識する車線境界認識工程を行ってもよい。

次に、ステップＳ１０２として、ＥＣＵ２は、三次元位置復元部１１による三次元位置情報の復元を行う。撮像画像から得られた視差情報（視差画像の視差情報）に基づいて、撮像画像を構成する各画素に対応する三次元位置情報を復元（演算）する。また、ステップＳ１０２において、三次元位置復元部１１は、例えば、撮像画像をグリッドＧにより分割して複数の画像領域を形成（認識）する。

続いて、ステップＳ１０３として、ＥＣＵ２は、走行路面判定部１２による画像領域毎の走行路面の判定を行う（走行路面判定工程）。走行路面判定部１２は、撮像画像の視差情報に基づいて、画像領域毎に走行路面であるか否かの判定を行う。走行路面判定部１２は、例えば、周知の手法により、視差情報から走行路面の判定を行う。

ステップＳ１０４として、ＥＣＵ２は、補間候補認識部１３による補間候補の認識を行う（補間候補認識工程）。補間候補認識部１３は、例えば、走行路面判定部１２により走行路面と判定されなかった画像領域を補間候補として認識する。補間候補認識部１３は、前述した種々の制限を加えて、補間候補の認識を行ってもよい。

ステップＳ１０５として、ＥＣＵ２は、走行路面補間部１４による走行路面の補間の判定を行う（走行路面補間工程）。走行路面補間部１４は、撮像画像の輝度情報に基づいて、補間候補を走行路面として補間するか否かを判定する。走行路面補間部１４による走行路面の補間の判定について詳しくは後述する。

ステップＳ１０６として、ＥＣＵ２は、走行路面情報出力部１５による走行路面情報の出力を行う。走行路面情報出力部１５は、例えば、路面判定領域Ｒ及び補間領域ＰＭを検出された走行路面として外部に情報を出力する。走行路面情報出力部１５は、例えば、車両Ｍの自動運転を行うＥＣＵ又は車両Ｍの運転支援を行うＥＣＵに走行路面情報を出力する。

図１０は、走行路面検出装置１による走行路面の補間方法を示すフローチャートである。図１０に示すフローチャートは、図９に示すフローチャートのＳ１０５の処理に対応する。図１０に示すフローチャートは、例えば、補間候補毎に実行される。

図１０に示すように、走行路面検出装置１のＥＣＵ２は、ステップＳ２０１として、走行路面補間部１４により、補間候補が低テクスチャ領域であるか否かの判定を行う。走行路面補間部１４は、撮像画像の輝度情報に基づいて、補間候補が低テクスチャ領域であるか否かを判定する。走行路面補間部１４は、補間候補が、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上の画像領域、又は、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上の画像領域であると判定した場合、補間候補が低テクスチャ領域であると判定する。走行路面補間部１４は、補間候補が、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上の画像領域、及び、隣り合う画素範囲の輝度差が第１の閾値以下である画素範囲の割合が第３の閾値以上の画像領域の何れでもないと判定した場合、補間候補が低テクスチャ領域ではないと判定する。

ＥＣＵ２は、走行路面補間部１４により補間候補が低テクスチャ領域ではないと判定された場合（Ｓ２０１：ＮＯ）、当該補間候補を走行路面として補間することなく、処理を終了する。ＥＣＵ２は、走行路面補間部１４により補間候補が低テクスチャ領域であると判定された場合（Ｓ２０１：ＹＥＳ）、ステップＳ２０２に移行する。ステップＳ２０２において、ＥＣＵ２は、走行路面補間部１４により、低テクスチャ領域であると判定された補間候補を走行路面として補間する。

［走行路面検出装置の作用効果］
以上説明した走行路面検出装置１によれば、撮像画像上で輝度変化の大きい画像領域については視差情報が精度良く得られることにより視差情報による走行路面の検出ができる。一方、撮像画像上で輝度変化の小さい画像領域（低テクスチャ領域）については、輝度情報に基づく走行路面の補間の候補とすることができる。従って、この走行路面検出装置１によれば、輝度情報に基づく走行路面の補間を行うことにより、視差情報のみから走行路面を検出する場合と比べて、走行路面の検出範囲を向上させることができる。

また、走行路面検出装置１において、走行路面補間部１４は、走行路面判定部により走行路面であると判定されなかった画像領域のうち、ステレオカメラ３からの距離が第４の閾値以下の画像領域を補間候補としてもよい。この走行路面検出装置１によれば、視差情報の精度は車載カメラから遠くなるほど低くなることから、ステレオカメラ３からの距離が第４の閾値以下の画像領域を補間候補とすることにより、補間候補が無制限に遠方の画像領域まで広がり、誤った走行路面の補間を行うことを避けることができる。

また、走行路面検出装置１において、画像取得部１０は、撮像画像に基づいて、車両Ｍの走行する走行車線の車線境界を検出してもよい。更に、走行路面補間部１４は、走行路面判定部１２により走行路面であると判定されなかった画像領域のうち、画像取得部１０により検出された車線境界（例えば白線Ｌ１，Ｌ２）よりも走行車線側の画像領域を補間候補としてもよい。この走行路面検出装置１によれば、車両が走行する走行車線の外側までは走行路面の検出が不要な場合があることから、白線等の車線境界より走行車線側の画像領域を補間候補とすることにより、走行車線の外側の路肩の段差部分等を誤って走行路面として補間することを避けることができる。

また、走行路面検出装置１において、走行路面補間部１４は、走行路面判定部１２により走行路面であると判定されなかった画像領域のうち、走行路面判定部１２により走行路面であると判定された画像領域又は走行路面補間部１４により走行路面として補間された画像領域に隣り合う画像領域を補間候補としてもよい。この走行路面検出装置１によれば、走行路面は連続していることから、路面判定領域Ｒ又は補間領域ＰＭと隣り合う画像領域を補間候補とすることで、走行路面と分離した壁面などを誤って飛び地のように走行路面として補間することを避けることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

１…走行路面検出装置、２…ＥＣＵ、３…ステレオカメラ、４…第１カメラ、５…第２カメラ、１０…画像取得部（車線境界検出部）、１１…三次元位置復元部、１２…走行路面判定部、１３…補間候補認識部、１４…走行路面補間部、１５…走行路面情報出力部、Ｃ…横断歩道、Ｄ…第４の閾値、Ｇ…グリッド、ＧＤ…グリッドＧの横線、Ｌ１，Ｌ２，Ｌ３…白線（車線境界）、Ｍ…車両、Ｐａ、Ｐｂ…補間候補（画像領域）、ＰＭ…補間領域、Ｑ１−Ｑ８…画素範囲、Ｒ…路面判定領域、Ｒ１…第１の路面判定領域、Ｒ２…第２の路面判定領域、Ｒ３…第３の路面判定領域。

Claims (5)

1. 車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて走行路面を検出する走行路面検出装置であって、
   前記撮像画像の前記視差情報に基づいて、前記撮像画像を分割して形成された画像領域毎に前記走行路面であるか否かを判定する走行路面判定部と、
   前記撮像画像の輝度情報に基づいて、前記走行路面判定部により前記走行路面であると判定されなかった前記画像領域を補間候補として前記走行路面の補間を行う走行路面補間部と、
   を備え、
   前記画像領域は複数の画素範囲から構成され、
   前記走行路面補間部は、前記補間候補の前記画像領域のうち、隣り合う前記画素範囲との輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上である前記画像領域、又は、隣り合う前記画素範囲との輝度差が前記第１の閾値以下である前記画素範囲の割合が第３の閾値以上である前記画像領域を前記走行路面として補間する、走行路面検出装置。
2. 前記走行路面補間部は、前記走行路面判定部により前記走行路面であると判定されなかった前記画像領域のうち、前記車載カメラからの距離が第４の閾値以下の前記画像領域を前記補間候補とする、請求項１に記載の走行路面検出装置。
3. 前記撮像画像に基づいて、前記車両の走行する走行車線の車線境界を検出する車線境界検出部を更に備え、
   前記走行路面補間部は、前記走行路面判定部により前記走行路面であると判定されなかった前記画像領域のうち、前記車線境界検出部により検出された前記車線境界より前記走行車線側の前記画像領域を前記補間候補とする、請求項１又は２に記載の走行路面検出装置。
4. 前記走行路面補間部は、前記走行路面判定部により前記走行路面であると判定されなかった前記画像領域のうち、前記走行路面判定部により前記走行路面であると判定された前記画像領域又は前記走行路面補間部により前記走行路面として補間された前記画像領域と隣り合う前記画像領域を前記補間候補とする、請求項１〜３の何れか一項に記載の走行路面検出装置。
5. 車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて走行路面を検出する走行路面検出装置の走行路面検出方法であって、
   前記走行路面検出装置の走行路面判定部により、前記撮像画像の前記視差情報に基づいて、前記撮像画像を分割して形成された画像領域毎に前記走行路面であるか否かを判定する走行路面判定工程と、
   前記走行路面検出装置の走行路面補間部により、前記撮像画像の輝度情報に基づいて、前記走行路面判定工程で前記走行路面であると判定されなかった前記画像領域を補間候補として前記撮像画像における前記走行路面の補間を行う走行路面補間工程と、
   を備え、
   前記画像領域は複数の画素範囲から構成され、
   前記走行路面補間工程において、前記補間候補の前記画像領域のうち、隣り合う前記画素範囲との輝度差が第１の閾値以下である画素範囲の数が第２の閾値以上である前記画像領域、又は、隣り合う前記画素範囲との輝度差が前記第１の閾値以下である前記画素範囲の割合が第３の閾値以上である前記画像領域を前記走行路面として補間する、走行路面検出方法。

Images