JP2012212282A - 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム - Google Patents

Abstract

【課題】正しく路面の勾配を検出することができる路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムを提供する。
【解決手段】画像取得部は画像を取得し、区分線認識部は前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出し、路面状態判定部は前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する。
【選択図】図２

Description

本発明は、路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムに関する。

近年、勾配がある道路上を車両が安全に走行するために、走行している道路の状況を検出する技術が提案されてきた。この技術では、道路の状況として、道路が上り坂であるか下り坂であるかを表す勾配情報を検出する。
例えば、特許文献１記載の道路情報抽出方法では、車両に装着されたカメラで取得された映像から目標物を検出し、前記検出された目標物までの水平推定距離を算出した後、円周上で目標物が位置する垂直方位角及び前記円周の曲率半径を演算して、前記演算された曲率半径及び垂直方位角に基づいて目標物までの実際の距離を計算する。

また、特許文献２記載の道路形状検出装置では、カメラにより撮像された自車両前方の画像から、自車両の走行車線を区分する右側道路区分線の画像部分及び左側道路区分線の画像部分を抽出する道路区分線抽出手段と、道路区分線の画像部分に対して、対応する実空間上の位置が最も自車両に近くなる箇所から所定範囲内にある箇所における接線を求め、自車両の進行方向に相当するＹ軸方向における道路区分線の画像部分とその接線との偏差に基づいて、自車両の走行車線の勾配を検出する道路形状検出手段とを備える。

特開２００２−３６６９３６号公報 特開２０１０−４００１５号公報

しかしながら、特許文献１記載の道路情報抽出方法、特許文献２記載の道路形状検出装置ともに撮影された画像に基づく曲線を用いて勾配を検出している。そのため、その曲線と車両の進行方向が予め定められた位置関係（例えば、進行方向が直進方向）になければ正しく路面の勾配を検出することができないという問題点があった。

本発明は上記の点に鑑みてなされたものであり、正しく路面の勾配情報を検出することができる路面状態検出装置、路面状態検出方法、及び路面状態検出プログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像を取得する画像取得部と、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部とを備えることを特徴とする路面状態検出装置である。

（２）本発明のその他の態様は、前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、前記勾配情報を判定することを特徴とする（１）の路面状態検出装置である。

（３）本発明のその他の態様は、画像を取得する画像取得部を備える路面状態検出装置における路面状態検出方法において、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する過程と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する過程と、を有することを特徴とする路面状態検出方法である。

（４）本発明のその他の態様は、画像を取得する画像取得部を備える路面状態検出装置におけるコンピュータに、前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する手順、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する手順、を実行させるための路面状態検出プログラムである。

本発明によれば、正しく路面の勾配情報を検出することができる。

本発明の第１の実施形態に係る運転支援システム１を示す概念図である。 本実施形態に係る路面状態検出装置１０の構成を示す概略図である。 本実施形態に係る区分線認識部１０２が区分線を認識する処理を示すフローチャートである。 本実施形態に係る区分線認識部１０２が行うピーク検出処理を示すフローチャートである。 本実施形態に係る区分線認識部１０２がエッジピークペアを定める処理を示すフローチャートである。 路面状態の一例を示す概念図である。 撮影された画像の一例を示す概念図である。 ピッチング発生時に認識された区分線の一例を示す概念図である。 分岐路及び合流路の一例を示す概念図を示す。 分岐路及び合流路のその他の例を示す概念図を示す。 本実施形態に係る路面状態検出装置１０が行う路面状態検出処理を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る運転支援システム１を示す概念図である。
図１において、運転支援システム１は、前方監視カメラ３、路面状態検出装置１０、車両ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バス１１、及び運転支援制御部１２を含んで構成される。
運転支援システム１は、車両２に搭載され、車両２の運転、例えば坂道におけるブレーキ、アクセル操作を支援するシステムである。

前方監視カメラ３は、フロントガラス上端中央部に固定され、画像を取得できる範囲である視野を車両２の前方に向けている。図１において、前方監視カメラ３の視野を破線で示す。前方監視カメラ３は、被写体の画像を表す画像信号を取得し、取得した画像信号を路面状態検出装置１０に出力する。
路面状態検出装置１０は、前方監視カメラ３から入力された画像信号に基づき両側の路面に表され、車両２が走行する1つの車線（本実施形態では車両通行帯を含む）の両側を区分する区分線（いわゆる白線）を左右両側について検出する。本実施形態では、区分線とは、進行方向が同一で隣接する車線間を区分する車線境界線、進行方向が互いに逆で隣接する車線間を区分する中央線、及び単一の車線の両側面を区分する車両通行帯境界線を含む。
路面状態検出装置１０は、左右各側について、前方監視カメラ３の近傍と遠方各々について検出した区分線の方向を算出する。路面状態検出装置１０は、左右各側について、算出した近傍と遠方の区分線の方向に基づき方向の変化量を算出し、算出した変化量に基づき路面の勾配の変化を表す勾配情報を判定する。路面状態検出装置１０は、判定した勾配情報を車両ＣＡＮバス１１に出力する。路面状態検出装置１０の構成については後述する。

車両ＣＡＮバス１１は、路面状態検出装置１０から勾配情報を入力され、入力された勾配情報を運転制御支援部１２に出力する。
運転制御支援部１２は、車両ＣＡＮバス１１から入力された勾配情報に基づき運転者に対する運転の支援に係る動作又は処理を行う。例えば、運転制御支援部１２は、動力制御部１２１、表示制御部１２２及び表示部１２３を含んで構成される。
動力制御部１２１は、車両ＣＡＮバス１１から入力された勾配情報が、路面の勾配変化が正であること（例えば、平地から上り坂、下り坂から平地、等）を示す場合、現在の動力よりも大きい動力を車両２の動力機構に与える。動力制御部１２１は、車両ＣＡＮバス１１から入力された勾配情報が、路面の勾配変化が負であること（例えば、平地から下り坂、上り坂から平地、等）を示す場合、現在の動力よりも小さい動力を車両２の動力機構に与える。
表示制御部１２２は、車両ＣＡＮバス１１から入力された勾配情報が、路面の勾配変化が正であることを示す場合、運転者が認識可能であって路面の勾配変化が正であることを示す信号（例えば、警告音を表す音声信号、警告表示用の画像信号）を生成し、生成した信号を表示部１２３に出力する。表示制御部１２３は、車両ＣＡＮバス１１から入力された勾配情報が、路面の勾配変化が負であることを示す場合、運転者が認識可能であって路面の勾配変化が負であることを示す信号を生成し、生成した信号を表示部１２３に出力する。
表示部１２３は、表示制御部１２２から入力された信号に基づき運転支援情報（例えば、警告音、警告表示）を運転者に提示する。

次に、本実施形態に係る路面状態検出装置１０の構成について説明する。
図２は、本実施形態に係る路面状態検出装置１０の構成を示す概略図である。
路面状態検出装置１０は、カメラインタフェース１０１、区分線認識部１０２、区分線方向算出部１０３、方向変化量算出部１０４、路面状態判定部１０５、及び通信インタフェース１０６を含んで構成される。

カメラインタフェース１０１は、前方監視カメラ３から入力された画像信号を区分線認識部１０２に出力する。
区分線認識部１０２は、カメラインタフェース１０１から入力された画像信号から車両２が走行している車線を区分する区分線を認識する。
従って、区分線認識部１０２は、車両２が１つの車線内を直進するとき、認識した区分線を構成する点列を進行方向に対して車両２の左右両側について抽出する。
画像信号から区分線を認識するために、区分線認識部１０２は、例えば特開平１１−８５９９９記載の車両用白線検出装置が白線を検出する処理を用いる。

次に、区分線認識部１０２が区分線を認識する処理について説明する。
図３は、本実施形態に係る区分線認識部１０２が区分線を認識する処理を示すフローチャートである。
（ステップＳ１０１）区分線認識部１０２は、入力された画像信号からエッジ点を検出する。入力された画像信号は、画素毎の輝度の大小を示す輝度値を含んで１フレームの画像を表すように構成されている。区分線認識部１０２は、正方向に隣接する画素の輝度値との差（輝度値差）が予め設定された正の閾値よりも大きくなる画素を正エッジ点、その輝度値差が予め設定された負の閾値よりも小さくなる画素を負エッジ点と検出する。正エッジ点と負エッジ点を区別しない場合には、以下、単にエッジ点と呼ぶ。
区分線認識部１０２は、判定された正エッジ点について、水平方向への輝度値差と垂直方向への輝度値差に基づき、エッジが空間的に傾いている方向であるエッジ方向を検出する。区分線認識部１０２は、負エッジ点についても同様にエッジ方向を検出する。その後、ステップＳ１０２に進む。

（ステップＳ１０２）区分線認識部１０２は、検出した正エッジ点、負エッジ点各々についてハフ（Ｈｏｕｇｈ）変換を行い、ハフ空間（ρ，θ）毎の個数を算出する。ここで、ρは長さを示し、θは角度を示す。区分線認識部１０２は、ハフ変換において、エッジ点毎に、各角度θについて長さρを、式（１）を用いて算出する。

式（１）において、ｘはエッジ点の水平方向の座標値を示し、ｙはエッジ点の垂直方向の座標値を示す。
ここで、区分線認識部１０２は、エッジ方向を中心に予め設定された範囲内（例えば、１５°）で、Δθ間隔で変化させた角度θ毎に長さρを算出して、角度θ及び長さρの組に対応する画素の個数（投票値）を正エッジ点、負エッジ点毎にカウントする。
その後、ステップＳ１０３に進む。
（ステップＳ１０３）区分線認識部１０２は、正エッジ点、負エッジ点毎に、画素の投票値のピークを検出する。

ここで、区分線認識部１０２がピークを検出する処理について説明する。
図４は、本実施形態に係る区分線認識部１０２が行うピーク検出処理を示すフローチャートである。
（ステップＳ２０１）区分線認識部１０２は、カウントした画素の投票値の平均値を算出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）区分線認識部１０２は、画像の左半分の領域である左領域及び右半分の領域である右領域の各領域についてピークを検出するための閾値（ピーク閾値）を定める。ここで、区分線認識部１０２は、各領域に含まれる正エッジ点又は負エッジ点に基づき画素の投票値をカウントする。区分線認識部１０２は、カウントした投票値が最大のものから降順に予め定められた個数（例えば、１０個）の画素が選択されるようにピーク閾値を定める。その後、ステップＳ２０３に進む。

（ステップＳ２０３）区分線認識部１０２は、対象画素を選択する。ここで、区分線認識部１０２は、例えば、画像上の無限遠点（ｘ_０，ｙ_０）に対応する曲線ρ＝ｘ_０ｃｏｓθ＋ｙ_０ｓｉｎθから予め定められた範囲の（ρ，θ）空間から対象画素を選択することで処理を効率化できる。その後、ステップＳ２０４に進む。
（ステップＳ２０４）区分線認識部１０２は、対象画素の投票値が定めたピーク閾値より大きい又は等しいか判断する。区分線認識部１０２は、対象画素の投票数が定めたピーク閾値より大きい又は等しいと判断したとき（ステップＳ２０４ Ｙ）、ステップＳ２０５に進む。区分線認識部１０２は、対象画素の投票値が定めたピーク閾値より小さいと判断したとき（ステップＳ２０４ Ｎ）、ステップＳ２０７に進む。

（ステップＳ２０５）区分線認識部１０２は、対象画素の投票数が、対象画素から予め定められた範囲内にある（近傍）の全ての画素の投票数よりも大きいか否か判断する。区分線認識部１０２は、対象画素の投票数が、近傍の全画素の投票数よりも大きいと判断したとき（ステップＳ２０５ Ｙ）、ステップＳ２０６に進む区分線認識部１０２は、対象画素の投票値が、近傍の全画素の投票値よりも大きいと判断しなかったとき（ステップＳ２０５ Ｎ）、ステップＳ２０７に進む。
（ステップＳ２０６）区分線認識部１０２は、対象画素をエッジ点のピークと定める。その後、ステップＳ２０７に進む。
（ステップＳ２０７）区分線認識部１０２は、画像の左右各領域について全ての画素に対し処理を行ったか否か判断する。区分線認識部１０２は全ての画素に対し処理を行ったと判断したとき（ステップＳ２０７ Ｙ）、処理を終了する。区分線認識部１０２は全ての画素に対し処理を行っていないと判断したとき（ステップＳ２０７ Ｎ）、ステップＳ２０３に進む。
図３に戻り、その後、ステップＳ１０４に進む。

（ステップＳ１０４）区分線認識部１０２は、検出した正エッジ点のピークの１つと負エッジ点のピークの１つとの組（エッジピークペア）を定める。

ここで、区分線認識部１０２がエッジピークペアを定める処理について説明する。
図５は、本実施形態に係る区分線認識部１０２がエッジピークペアを定める処理を示すフローチャートである。
（ステップＳ３０１）区分線認識部１０２は、ステップＳ１０３で定めた負エッジ点のピークの中から１つを負エッジピーク候補（ピーク１）として選択する。その後、ステップＳ３０２に進む。
（ステップＳ３０２）区分線認識部１０２は、選択した負エッジピーク候補から予め設定した領域内であって、その負エッジピーク候補から最も近い正エッジ点のピークを正エッジピーク候補（ピーク２）として選択する。その後、ステップＳ３０３に進む。

（ステップＳ３０３）区分線認識部１０２は、ピーク１とピーク２の間に他の負エッジ点のピークが存在するか否か判断する。区分線認識部１０２は、他の負エッジ点のピークが存在する判断したとき（ステップＳ３０３ Ｙ）、ステップＳ３０５へ進む。区分線認識部１０２は、他の負エッジ点のピークが存在しないと判断したとき（ステップＳ３０３ Ｎ）、ステップＳ３０４へ進む。
（ステップＳ３０４）区分線認識部１０２は、ピーク１とピーク２をエッジピークペアと定める。その後、ステップＳ３０５へ進む。
（ステップＳ３０５）区分線認識部１０２は、ステップＳ１０３で定めた負エッジ点のピーク全てについて処理を行ったか否か判断する。区分線認識部１０２は、ステップＳ１０３で定めた負エッジ点のピーク全てについて処理を行ったと判断したとき（ステップＳ３０５ Ｙ）、処理を終了する。区分線認識部１０２は、ステップＳ１０３で定めた負エッジ点のピーク全てについて処理を行っていないと判断したとき（ステップＳ３０５ Ｎ）、ステップＳ３０１へ進む。
図３に戻り、その後、ステップＳ１０５に進む。

（ステップＳ１０５）区分線認識部１０２は、ステップＳ１０４で定めたエッジピークペアに係る、正エッジ点、負エッジ点各々について、対応する画素である点列を抽出する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）区分線認識部１０２は、抽出した点列と過去に算出した点列に基づき、抽出した点列が適正であるか否か判断する。例えば、区分線認識部１０２は、抽出した点列と過去に算出した点列との相関値を算出し、抽出した点列が画面の左領域と右領域の両方に存在するか否か判断する。このとき、区分線認識部１０２は、算出した相関値が予め設定した閾値よりも大きく、抽出した点列が画面の左領域と右領域の両方に存在すると判断した場合、抽出した点列が適正と判断し、この点列を区分線として定める。その後、区分線を認識する処理を終了する。
図２に戻り、区分線認識部１０２は、認識した区分線を構成する点列を区分線方向算出部１０３に出力する。

区分線方向算出部１０３は、区分線認識部１０２から入力された区分線を構成する点列のうち、画面の左領域、右領域各々について、遠方、近傍における区分線の方向を算出する。遠方とは、画像に表された区分線の位置が前方監視カメラ３から予め設定された距離の閾値（例えば、２５ｍ）よりも遠い領域を指す。近傍とは、画像に表された区分線の位置が前方監視カメラ３から予め設定された距離の閾値（例えば、２５ｍ）よりも近い領域を指す。この距離の閾値は、前方監視カメラ３の光学系が設置されている位置と光軸の方向に基づいて、画像の座標値に対応づけられる(式（２）参照)。

区分線方向算出部１０３は、区分線の方向を算出する前に、入力された各点列の座標（ｆ，Ｐｘ_ｓ，Ｐｙ_ｓ，１）^Ｔ（カメラ座標系で表示）に、例えば式（２）に示す座標変換行列Ｔを乗じて世界座標系で表示された座標（ｘ_１，ｙ_１，０，１）^Ｔに変換する。

ここで、ｆは、前方監視カメラ３の光学系における焦点距離である。Ｐは受像素子の素子間間隔である。（ｘ_ｓ，ｙ_ｓ）は、各画素の座標である。ｘ_ｓが水平方向の座標であり、ｙ_ｓが垂直方向の座標である。（ｘ_１，ｙ_１，０）は、世界座標系で表した道路上の座標である。ｘ_１が車両２の直進方向の座標であり、ｙ_１が車両２の左右方向の座標である。なお、第３列目の０（ゼロ）は、路面の高さｚがゼロであることを示す。
また、（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、前方監視カメラ３の光学系がおかれた座標である。θは、前方監視カメラの光軸のロール角ずれ量、即ち世界座標系におけるｘ軸周りの回転角である。φは、前方監視カメラの光軸のピッチ角ずれ量、即ち世界座標系におけるｙ軸周りの回転角である。ρは、前方監視カメラの光軸のパン角ずれ量、即ち世界座標系におけるｚ軸周りの回転角である。

区分線方向算出部１０３は、画面の左領域、右領域各々について、遠方、近傍における変換した各点列の座標（ｘ_１，ｙ_１）を、２次曲線ｙ_１＝ａｘ_１ ^２＋ｂｘ_１＋ｃに当てはめて、係数ａ、ｂ及びｃを定める。区分線方向算出部１０３は、各点列の座標を２次曲線に当てはめるために、例えば、最小二乗法を用いる。
ここで、定められた係数ｂは、直進方向（ｘ軸）からの角度θを示す。但し、角度θは、左側の区分線に対して前方左側を正値とし、右側の区分線に対して前方右側を正値とする。係数ｃは、通例では、車両２の中央からのｙ軸方向へのずれ量を示す。なお、係数ａは、経験的に十分にゼロに近い値となる。

従って、区分線方向算出部１０３は、車両２の左側遠方の区分線の方向θ_Ｌ’をｔａｎ^−１（−ｂ_Ｌ’）と算出し、車両２の左側近傍の区分線の方向θ_Ｌをｔａｎ^−１（−ｂ_Ｌ）と算出する。但し、ｂ_Ｌ’は画面の左領域の遠方における各点列に当てはめて得られた係数ｂである。ｂ_Ｌは画面の左領域の近傍における各点列に当てはめて得られた係数ｂである。
区分線方向算出部１０３は、車両２の右側遠方の区分線の方向θ_Ｒ’をｔａｎ^−１（ｂ_Ｒ’）と算出し、車両２の右側近傍の区分線の方向θ_Ｒをｔａｎ^−１（ｂ_Ｒ）と算出する。但し、ｂ_Ｒ’は画面の右領域の遠方における各点列に当てはめて得られた係数ｂである。ｂ_Ｒは画面の右領域の近傍における各点列に当てはめて得られた係数ｂである。
区分線方向算出部１０３は、算出した左側遠方の区分線の方向θ_Ｌ’、左側近傍の区分線の方向θ_Ｌ、右側遠方の区分線の方向θ_Ｒ’及び右側近傍の区分線の方向θ_Ｒを方向変化量算出部１０４に出力する。

方向変化量算出部１０４は、区分線方向算出部１０３から左側遠方の区分線の方向θ_Ｌ’、左側近傍の区分線の方向θ_Ｌ、右側遠方の区分線の方向θ_Ｒ’及び右側近傍の区分線の方向θ_Ｒを入力される。方向変化量算出部１０４は、左側遠方の区分線の方向θ_Ｌ’から左側近傍の区分線の方向θ_Ｌの差分を左側方向変化量Δθ_Ｌとして算出する。方向変化量算出部１０４は、右側遠方の区分線の方向θ_Ｒ’から右側近傍の区分線の方向θ_Ｒの差分を右側方向変化量Δθ_Ｒとして算出する。
方向変化量算出部１０４は、算出した左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒを路面状態判定部１０５に出力する。

路面状態判定部１０５は、方向変化量算出部１０４から入力された左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒに基づき勾配情報を判定する。
ここで、路面状態と方向変化量との関係について説明する。
図６は、路面状態の一例を示す概念図である。
図６において、太線は路面を示し、車両２が各時刻において各々異なる状態の路面上を走行していることを示す。また、破線は前方監視カメラ２の視野を示す。
符号（ａ）は、車両２が走行する路面状態が勾配のない平地から下り坂に向かうことを示す。符号（ｂ）は、車両２が走行する路面状態が下り坂から勾配のない平地に向かうことを示す。符号（ｃ）は、車両２が走行する路面状態が勾配のない平地から上り坂に向かうことを示す。符号（ｄ）は、車両２が走行する路面状態が上り坂から勾配のない平地に向かうことを示す。

図７は、撮影された画像の一例を示す概念図である。
ｘ軸は水平方向の座標を示し、ｙ軸は垂直方向の座標を示す。また、車両２の両側の太い破線は実際の区分線を示す。
図７の左図は、図６の符号（ａ）又は（ｄ）が示す路面状態のもとで、路面に射影された画像の一例を示す。図７の左図において、車両２の両側の太い実線は、区分線認識部１０２において認識された区分線を示す。また、同図において、認識された区分線の方向は、車両２の近傍では、車両２の左右両側ともに進行方向にほぼ等しいのに対し、車両２の遠方では、車両２の左右両側ともに進行方向に向かって互いに離れる。

図７の右図は、図６の符号（ｂ）又は（ｃ）が示す路面状態のもとで、路面に射影された画像の一例を示す。図７の右図において車両２の両側の太い破線は、区分線認識部１０２において認識された区分線を示す。また、同図において、認識された区分線の方向は、車両２の近傍では、車両２の左右両側ともに進行方向にほぼ等しいのに対し、車両２の遠方では、車両２の左右両側ともに進行方向に向かって互いに接近する。

そこで、路面状態判定部１０５は、左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒがともに予め設定された正の閾値θ_ｐよりも大きい場合、勾配変化が負であることを示す勾配情報を定める。勾配変化が負とは、路面状態が平地から下り坂に変化すること（図６（ａ）参照）、及び路面状態が上り坂から平地に変化すること（図６（ｄ）参照）を含む。
路面状態判定部１０５は、左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒがともに予め設定された負の閾値−θ_ｐよりも小さい場合、勾配変化が正であることを示す勾配情報を定める。勾配変化が正とは、路面状態が下り坂から平地に変化すること（図６（ｂ）参照）、及び路面状態が平地から上り坂に変化すること（図６（ｃ）参照）を含む。
なお、路面状態判定部１０５は、左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒがともに閾値θ_ｐよりも大きくなく、閾値−θ_ｐよりも小さくない場合、路面状態がその他の状態であることを示す勾配情報を定める。その他の状態とは、例えば、路面が平地であり勾配変化がない場合、車線が車両２の両側に認識されなかった場合、等がある。

路面状態判定部１０５は、閾値θ_ｐとして予め設定された正の実数値を、閾値−θ_ｐとして予め設定された負の実数値を用いる。これは、路面状態判定部１０５が、車両２が上下方向に振動する現象であるピッチングによって、認識された区分線の方向が変化したことを勾配情報の変化として誤検出することを避けるためである。
ここで、ピッチング発生時に認識された区分線の方向の変化について説明する。
図８は、ピッチング発生時に認識された区分線の一例を示す概念図である。
図８の左図は、平地を走行する車両２がピッチングにより水平面から角度ρ（ρは、ゼロより大きい正の値）だけ持ち上がったときに認識された区分線を示す。車両２からは、路面が下り坂に見えるため、車両２の左右両側の区分線が進行方向に向かって互いに接近する。
図８の右図は、平地を走行する車両２がピッチングにより水平面から角度ρ（ρは、負の値）だけ見下ろしたときに認識された区分線を示す。車両２からは、路面が上り坂に見えるため、車両２の左右両側の区分線が進行方向に向かって互いに離れる。
しかし、ピッチングが発生したときに認識される区分線は経験的にほぼ直線となり、左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒは、上述の路面状態の変化時よりも小さくなる。

従って、路面状態判定部１０５は、閾値θ_ｐとしてピッチングによって生じる左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒの最大値よりも大きい値を用いればよい。また、路面状態判定部１０５は、閾値−θ_ｐとしてピッチングによって生じる左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒの最小値よりも小さい値を用いればよい。以下、閾値θ_ｐをピッチング判定閾値と呼ぶ。

なお、路面状態判定部１０５は、分岐路のように一部の車線が２つの車線に分岐する場合や、合流路のように２つの車線が１つの車線に合流する路面状態の場合には、本実施形態では正しく路面状態を判定できないおそれがある。その場合には、区分線認識部１０２は、車両２の前方両側に区分線を認識しないことがあるからである。
図９は、分岐路及び合流路の一例を示す概念図を示す。
図９の左図は、車両２の前方に右側に車線が分岐する分岐路を示し、車両２が走行している車線の前方右側であって車線が分岐する部分には区分線が表されている。
図９の右図は、車両２の前方に右側から車線が合流する合流路を示し、車両２が走行している車線の前方右側の路面であって車線が分岐する部分には区分線が表されている。
このような分岐路又は合流路でも、車両２が直進する場合には、区分線認識部１０２が車両２の前方両側に区分線を認識するので、本実施形態によって正しく勾配情報を判定できる。

図１０は、分岐路及び合流路のその他の例を示す概念図を示す。
図１０の左図は、車両２の前方に右側に車線が分岐する分岐路を示し、車両２が走行している車線の前方右側であって車線が分岐する部分には区分線が表されていない。
このような分岐路を、車両２が直進する場合には、区分線認識部１０２が車両２の前方右側に区分線を認識する。このとき、車線の幅が見かけ上、進行方向に向かって次第に広がるため、方向変化量算出部１０４が算出する右側方向変化量Δθ_Ｒがピッチング判定閾値θ_ｐよりも増加することがある。そのため、路面状態判定部１０５は、路面が平地であっても勾配変化が負であることを示す勾配情報を定めるおそれがある。
他方、図１０の右図は、車両２の前方に右側から車線が合流する合流路を示し、車両２が走行している車線の前方右側の路面であって車線が分岐する部分には区分線が描かれていない。
このような分岐路を、車両２が直進する場合には、区分線認識部１０２が車両２の前方右側に区分線を認識する。このとき、車線の幅が見かけ上、進行方向に向かって次第に狭まるため、方向変化量算出部１０４が算出する右側方向変化量Δθ_Ｒが負反転したピッチング判定閾値−θ_ｐよりも減少することがある。そのため、路面状態判定部１０５は路面が平地であっても、勾配変化が正であることを示す勾配情報を定めるおそれがある。

このとき、車線が分岐しない進行方向に向かって左側の区分線の方向は時間経過に関わらず、ほぼ一定であるが、右側の区分線の方向は変動する。このような変動は、区分線認識部１０２がステップＳ１０６において算出する相関値を低下させ、区分線を構成する点列が適正でないと判断する。
従って、区分線認識部１０２が、ステップＳ１０６を実行し、その点列が適正でないことを示す確認信号を生成し、生成した確認信号を路面状態判定部１０５に出力する。そして、路面状態判定部１０５は、区分線認識部１０２から確認信号を入力された場合には、路面状態がその他の状態であることを示す勾配情報を定めるようにしてもよい。これにより、路面状態判定部１０５は、正しく勾配情報を定めることができる。

路面状態判定部１０５は、定めた勾配情報を通信インタフェース１０６に出力する。
通信インタフェース１０６は、路面状態判定部１０５から入力された勾配情報を車両ＣＡＮバス１１へ出力する。

次に、本実施形態に係る路面状態検出装置１０が行う路面状態検出処理について説明する。
図１１は、本実施形態に係る路面状態検出装置１０が行う路面状態検出処理を示すフローチャートである。
（ステップＳ４０１）カメラインタフェース１０１は、前方監視カメラ３から入力された画像信号を取得し、取得した画像信号を区分線認識部１０２に出力する。その後、ステップＳ４０２に進む。
（ステップＳ４０２）区分線認識部１０２は、カメラインタフェース１０１から入力された画像信号から車両２が走行している車線を区分する区分線を認識する。区分線認識部１０２は、例えば図３のステップＳ１０１−Ｓ１０５に示す区分線認識処理を行って区分線を認識し、認識した区分線を構成する点列を車両２の左右両側について抽出する。図３に示す区分線認識処理のハフ空間ピーク検出処理（ステップＳ１０３参照）において、区分線認識部１０２は図４に示す処理を行う。図３に示す区分線認識処理のエッジペア決定処理（ステップＳ１０４参照）において、区分線認識部１０２は図５に示す処理を行う。その後、ステップＳ４０３に進む。

（ステップＳ４０３）区分線認識部１０２は、抽出した点列と過去に算出した点列に基づき、抽出した点列が適正であるか否か判断する。例えば、区分線認識部１０２は、抽出した点列が画面の左領域と右領域の両方に存在するか否か判断する。区分線認識部１０２は、抽出した点列が適正であると判断したとき（ステップＳ４０３ Ｙ）、区分線認識部１０２は、その点列を認識した区分線を構成する点列として区分線方向算出部１０３に出力する。その後、ステップＳ４０４に進む。区分線認識部１０２は、抽出した点列が適正でないと判断したとき（ステップＳ４０３ Ｎ）、点列が適正でないことを示す確認信号を生成し、生成した確認信号を路面状態判定部１０５に出力する。その後、ステップＳ４０９に進む。

（ステップＳ４０４）区分線方向算出部１０３は、区分線認識部１０２から入力された区分線を構成する点列に基づき、左側遠方の区分線の方向θ_Ｌ’、左側近傍の区分線の方向θ_Ｌ、右側遠方の区分線の方向θ_Ｒ’及び右側近傍の区分線の方向θ_Ｒを算出する。区分線方向算出部１０３は、算出した左側遠方の区分線の方向θ_Ｌ’、左側近傍の区分線の方向θ_Ｌ、右側遠方の区分線の方向θ_Ｒ’及び右側近傍の区分線の方向θ_Ｒを方向変化量算出部１０４に出力する。
方向変化量算出部１０４は、区分線方向算出部１０３から入力された左側遠方の区分線の方向θ_Ｌ’から左側近傍の区分線の方向θ_Ｌの差分を左側方向変化量Δθ_Ｌとして算出する。方向変化量算出部１０４は、区分線方向算出部１０３から入力された右側遠方の区分線の方向θ_Ｒ’から右側近傍の区分線の方向θ_Ｒの差分を右側方向変化量Δθ_Ｒとして算出する。
方向変化量算出部１０４は、算出した左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒを路面状態判定部１０５に出力する。その後、ステップＳ４０５に進む。

（ステップＳ４０５）路面状態判定部１０５は、方向変化量算出部１０４から入力された左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒがともに予め設定された閾値−θ_ｐよりも小さいか否か判断する。路面状態判定部１０５は、Δθ_Ｌ及びΔθ_Ｒがともに閾値−θ_ｐよりも小さいと判断したとき（ステップＳ４０５ Ｙ）、ステップＳ４０６に進む。路面状態判定部１０５は、Δθ_Ｌ及びΔθ_Ｒがともに閾値−θ_ｐよりも小さくないと判断したとき（ステップＳ４０５ Ｎ）、ステップＳ４０７に進む。
（ステップＳ４０６）路面状態判定部１０５は、勾配変化が正であることを示す勾配情報を定める。その後、ステップＳ４１０に進む。

（ステップＳ４０７）路面状態判定部１０５は、方向変化量算出部１０４から入力された左側方向変化量Δθ_Ｌ及び右側方向変化量Δθ_Ｒがともに予め設定された閾値θ_ｐよりも大きいか否か判断する。路面状態判定部１０５は、Δθ_Ｌ及びΔθ_Ｒがともに閾値θ_ｐよりも大きいと判断したとき（ステップＳ４０７ Ｙ）、ステップＳ４０８に進む。路面状態判定部１０５は、Δθ_Ｌ及びΔθ_Ｒがともに閾値θ_ｐよりも大きくないと判断したとき（ステップＳ４０７ Ｎ）、ステップＳ４０９に進む。
（ステップＳ４０８）路面状態判定部１０５は、勾配変化が負であることを示す勾配情報を定める。その後、ステップＳ４１０に進む。

（ステップＳ４０９）路面状態判定部１０５は、路面状態がその他の状態であることを示す勾配情報を定める。その後、ステップＳ４１０に進む。
（ステップＳ４０９）路面状態判定部１０５は、定めた勾配情報を通信インタフェース１０６に出力する。通信インタフェース１０６は、路面状態判定部１０５から入力された勾配情報を車両ＣＡＮバス１１へ出力する。その後、処理を終了する。

このように、本実施形態の一態様によれば、画像を取得する画像取得部と、前記取得した画像から路面に表された車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部とを備える。
そのため、本実施形態は、路面の勾配によって異なる左側を区分する区分線と右側を区分する区分線の方向を検出して、各々検出した区分線の方向に基づき、正しく勾配情報を検出することができる。

また、本実施形態のその他の態様によれば、前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、勾配情報を判定する。
そのため、本実施形態は、勾配によって生じる左側を区分する区分線の方向の変化量と右側を区分する区分線の方向の変化量を検出して、各々検出した区分線の方向の変化量に基づき、正しく勾配情報を検出することができる。

なお、上述した実施形態における路面状態検出装置１０の一部、例えば、区分線認識部１０２、区分線方向算出部１０３、及び方向変化量算出部１０４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、路面状態検出装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における路面状態検出装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。路面状態検出装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…運転支援システム、２…車両、３…前方監視カメラ、
１０…路面状態検出装置、１１…車両ＣＡＮバス、
１２…運転支援制御部、１２１…動力制御部、１２２…表示制御部、１２３…表示部、
１０１…カメラインタフェース、１０２…区分線認識部、１０３…区分線方向算出部、
１０４…方向変化量算出部、１０５…路面状態判定部、１０６…通信インタフェース

Claims (4)

1. 画像を取得する画像取得部と、
   前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する区分線認識部と、
   前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する路面状態判定部と
   を備えることを特徴とする路面状態検出装置。
2. 前記路面状態判定部は、車両からの距離による前記左側を区分する区分線の方向の変化量と前記右側を区分する区分線の方向の変化量に基づき、前記勾配情報を判定することを特徴とする請求項１に記載の路面状態検出装置。
3. 画像を取得する画像取得部を備える路面状態検出装置における路面状態検出方法において、
   前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する過程と、
   前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する過程と、
   を有することを特徴とする路面状態検出方法。
4. 画像を取得する画像取得部を備える路面状態検出装置におけるコンピュータに、
   前記取得した画像から路面に表された1つの車線の左側を区分する区分線と当該車線の右側を区分する区分線を抽出する手順、
   前記左側を区分する区分線の方向と前記右側を区分する区分線の方向に基づき、前記路面の勾配の変化を表す勾配情報を判定する手順、
   を実行させるための路面状態検出プログラム。

Images