JP2013092944A

JP2013092944A - 車線判別装置

Info

Publication number: JP2013092944A
Application number: JP2011235349A
Authority: JP
Inventors: Yuka Kusakari; 由歌草刈
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2011-10-26
Filing date: 2011-10-26
Publication date: 2013-05-16
Anticipated expiration: 2031-10-26
Also published as: JP5920647B2

Abstract

【課題】登坂車線を簡易に且つ確実に判別することができる車線判別装置を提供する。
【解決手段】車両２に搭載される車線判別装置であって、車両２の走行中に走行する道路上の車線境界線を含む車両２の前方の画像を所定期間連続して取得する画像取得手部３０と、連続する画像の各画像内に同一の車線境界線が存在するか否かを判定する境界線判定部４３と、同一の車線境界線が存在すると境界線判定部４３が判定した場合、画像の車線境界線上において画像濃度が所定値以上変化する点を車線境界線のエッジ点として画像毎に抽出するエッジ点抽出部４４と、抽出された車線境界線のエッジ点の数を画像毎に集計する集計部４５と、連続する画像において、集計したエッジ点の数の所定期間における周期的な変化に基づいて、車線境界線が登坂車線と走行車線との車線境界線であるか否かを判別する境界線判別部４６と、を備える。
【選択図】図２

Description

本発明は、車両に搭載され、車両前方の道路の画像に基づいて、道路上の車線の種別を判別する車線判別装置に関する。

特許文献１に記載された車両用走行車線認識装置は、車両直前部の左右の画像情報から、直線成分を表すエッジ成分のエッジ点計数の最大値を計測し、この最大値に基づいて、最大値が周期的に変化している場合に破線レーンマーカと認識し、定常的な一定値の場合に実線レーンマーカと認識し、この左右のレーンマーカに関する認識結果から、自車両の走行車線を認識する。

特許文献２に記載された退出路検出装置は、ナビゲーションＥＣＵを中心に構成され、このナビゲーションＥＣＵには、自車位置検出手段や、レーン情報（走行車線数や、例えば登坂車線の有無のような走行車線の種別）を含む地図データを保有する地図データベースや、画像処理装置が接続されている。この画像処理装置のバックカメラは、車両後方の風景を下向きに撮像する。画像処理装置は、撮像画像を処理することにより、車両の走行道路における車両両側の道路区画線を検出・認識する。ナビゲーションＥＣＵは、まず地図データベース内の地図データと自車位置検出手段により得られる自車位置情報とに基づいて、前方に検出された退出路の退出パターンが、登坂車線から退出路があるタイプの退出パターンであるか否かを判定し、次に画像処理装置から得られる道路区画線認識結果に基づいて、現在走行中の車線が、登坂車線であるか若しくは通常走行車線（追い越し車線等を含む）であるかを判定する。例えば、車両の左側の道路区画線が実線であり、且つ、右側の道路区画線が破線である場合、あるいは、車両の両側の道路区画線が破線である場合に、登坂車線を走行中であると判定する。また、車両の左側の道路区画線が破線であり、且つ、右側の道路区画線が実線である場合には、１つ左側の車線が登坂車線であると判定する。

特開平０８−３２０９９７号公報特開２００８−１３９１０４号公報

しかし、特許文献１に記載された車両用走行車線認識装置では、道路上に設けられた登坂車線を判別することはできない。

また、特許文献２に記載された退出路検出装置では、登坂車線の判別のために、登坂車線の有無を示す地図データを予め地図データベースに記憶させておく必要がある。このため、地図データを記憶した後に、新たに設けられた登坂車線を判別することができない。

そこで、本発明は、上記実情に鑑みてなされたものであって、登坂車線を簡易に且つ確実に判別することができる車線判別装置を提供することを目的とする。

上記目的を達成するため、本発明の車線判別装置は、車両に搭載される車線判別装置であって、画像取得手段と、境界線判定手段と、エッジ点抽出手段と、集計手段と、境界線判別手段と、を備える。

画像取得手段は、車両に設けられ、車両の走行中に走行する道路上の車線境界線を含む車両の前方の画像を所定期間連続して取得する。境界線判定手段は、画像取得手段が取得した連続する画像の各画像内に同一の車線境界線が存在するか否かを判定する。エッジ点抽出手段は、同一の車線境界線が存在すると境界線判定手段が判定した場合、各画像の車線境界線上において画像濃度が所定値以上変化する点を車線境界線のエッジ点として画像毎に抽出する。集計手段は、エッジ点抽出手段によって抽出された車線境界線のエッジ点の数を画像毎に集計する。車線境界線判別手段は、連続する画像において、集計手段が集計したエッジ点の数の所定期間における周期的な変化に基づいて、車線境界線が登坂車線と走行車線との車線境界線であるか否かを判別する。

登坂車線とは、上り勾配の道路において速度が著しく低下する車両（例えば重量の大きな車両や特殊車両など）を他の車両から分離して通行させることを目的とする車線及び同様の目的で登り坂以外に設けられるいわゆるゆずり車線をいう。

上記構成では、画像取得手段が取得した連続する画像の各画像内に同一の車線境界線が存在するとき、エッジ点抽出手段は、車線境界線のエッジ点を画像毎に抽出し、集計手段は、車線境界線のエッジ点の数を画像毎に集計し、車線境界線判別手段は、連続する画像において、集計手段が集計したエッジ点の数の所定期間における周期的な変化に基づいて、車線境界線が登坂車線と走行車線との車線境界線であるか否かを判別するので、登坂車線の有無を示す地図データを要することなく、登坂車線を簡易に且つ確実に判別することができる。

また、上記境界線判定手段は、連続する画像の各画像における左右一対に設定された所定の左側検出領域内と右側検出領域内とで画像の濃度が所定値以上変化する点をエッジ点として抽出し、抽出したエッジ点に基づいて、各画像の各検出領域内において前記車両の走行方向に沿って延びる２本の並列した直線を抽出したとき、各画像内に同一の車線境界線が存在すると判定し、上記エッジ点抽出手段は、前記同一の車線境界線が存在すると境界線判定手段が判定した場合、各所定領域内における前記２本の直線の予め決められた一方の又は双方の直線上のエッジ点を境界線判定手段によって抽出されたエッジ点の中から車線境界線のエッジ点として抽出してもよい。

上記構成では、エッジ点抽出手段は、車線境界線のエッジ点を抽出する際、境界線判定手段が車線境界線の存在を判定するときに画像から抽出したエッジ点の中から車線境界線のエッジ点を抽出することができるので、車線境界線のエッジ点の抽出のためにエッジ点抽出手段が行う処理の負担を軽減することができる。

本発明によれば、登坂車線を簡易に且つ確実に判別することができる。

本発明の一実施形態にかかる車両の側面図である。図１の車両に搭載される車線判別装置及び警報装置を示すブロック構成図である。追い越し車線、走行車線、登坂車線からなる道路のＡ地点からＢ地点まで走行する図１の車両の平面図である。画像取得部が撮像した（ａ）は車両が図３のＡ地点を通過した時の画像、（ｂ）は図３のＢ地点を通過した時の画像を示す図である。登坂車線と走行車線との車線境界線の周波数パターンテーブルの一例を示す図である。図４（ａ）の画像上の左側検出領域と右側検出領域の一例を示す図である。図４（ａ）の画像上の上がりエッジ点からなる直線及び下がりエッジ点からなる直線の一例を示す図である。車線境界線の種別に応じたエッジ点の増減を模式的に示す図である。第１の実施形態の車線判別処理を示すフローチャートである。第２の実施形態の車線判別処理を示すフローチャートである。

以下、本発明の第１の実施形態について図面を参照して詳細に説明する。なお、図３，図４及び図６においてＴは登坂車線と走行車線との車線境界線（以下、登坂車線境界線という）を示し、Ｏは走行車線と追い越し車線との車線境界線（以下、追い越し車線境界線という）を示す。また、以下の説明において、前後とは車両の前後を意味し、左右とは車両前方を向いた状態での左右を意味する。

本実施形態にかかる車線判別装置１を搭載した車両２はフルトラクタであり、前後方向に延びる車体フレーム１１を有する。車体フレーム１１の前部及び後部には、車幅方向に沿って延びる複数の車軸（図示省略）が設けられている。各車軸の車幅方向両端には、走行車輪１２が回転自在に支持されている。車体フレーム１１の前上部には、略箱状体のキャブ１３が、車体フレーム１１に取り付けられているキャブマウント（図示省略）によって前方へ傾斜可能に支持されている。また、車体フレーム１１は、キャブ１３の後方で、荷台１４を下方から支持する。

本実施形態にかかる車線判別装置１は、車両２に搭載され、図２に示すように、画像取得部（画像取得手段）３０と、車速センサ３１と、計時部３２と、処理ユニット４０と、を備える。また、車線判別装置１は、車両２に搭載され、衝突事故が発生するおそれがあることの報知を行う警報装置６０に接続されている。

画像取得部３０は、例えば、ＣＣＤカメラであり、キャブ１３の前端上部に取り外し可能に取り付けられる。また、画像取得部３０は、所望の画角と仰角とに設定可能なように、キャブ１３に対して回転及び移動可能に取り付けられる。画像取得部３０は、車両前方の道路の少なくとも車両２が走行する車線の両側の車線境界線（車両２の走行方向に沿って前後方向に延び、車両２が走行する車線と隣接する車線との間に引かれる境界線）を含む領域を、所定時間毎に、例えば１００ミリ秒毎に撮像し、撮像した画像を処理ユニット４０及び処理ユニット４０を介して警報装置６０に送信する。例えば、図３に示すように、車両２が３本の車線、すなわち右から追い越し車線、走行車線、登坂車線が並列する道路の走行車線を走行するとき、車両２の画像取得部３０は、図４（ａ），（ｂ）に示すような、画像の左下端部から右に傾斜して画像の上端部付近まで延びる登坂車線境界線（図中Ｔで示す）及び画像の右下端部から左に傾斜して画像の上端部付近まで延びる追い越し車線境界線（図中Ｏで示す）とを含む画像を処理ユニット４０に送信する。なお、所定時間は、後述する車線判別処理を十分に実行できる範囲であれば任意に設定可能である。また、図３中二点鎖線で示したＣＡは画像取得部３０の撮像範囲を示す。

車速センサ３１は、所定時間（例えば、１００ミリ秒）毎に車両２の車軸の回転数を電気的に検出して車両２の走行速度を検出し、検出した走行速度Ｖを処理ユニット４０及び処理ユニット４０を介して警報装置６０に送信する。

計時部３２は、日時を計時する集積回路であるリアルタイムクロック（ＲＴＣ）からなる。計時部３２は、処理ユニット４０の要求に応じて現在時刻を示す時間情報Ｔを出力する。

処理ユニット４０は、ＣＰＵ（Central Processing Unit）からなる処理部４１と、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）などからなる記憶部４２と、を備える。

処理部４１は、記憶部４２に記憶された車線判別プログラムに従って車線判別処理を実行する。処理部４１は、車線判別処理において、境界線判定部（境界線判定手段）４３、エッジ点抽出部（エッジ点抽出手段）４４、集計部（集計手段）４５、境界線判別部（境界線判別手段）４６、出力部４７及び記憶制御部４８として機能する。

記憶部４２には、処理部４１によって読み出される種々のプログラム（車線判別プログラムを含む）が記憶されているプログラム記憶領域４２ａや処理部４１が実行する車線判別処理において参照される登坂車線境界線の周波数パターンテーブルが予め記憶されている周波数記憶領域４２ｂが設定されている。この周波数パターンテーブルには、周波数パターンと車両２の走行速度との対応関係が設定されている。周波数パターンは、実験やシミュレーションなどによって得られた測定値や理論値に基づいて推定した後述する登坂車線境界線上のエッジ点の数の増減の周波数である。図５に示すように、登坂車線境界線の周波数パターンテーブルは、周波数パターン列と走行速度列とからなり、走行速度が増加すると対応する周波数パターンの周波数が高くなるように設定されている。例えば走行速度５１〜６０ｋｍには３Ｈｚが対応し、走行速度７１〜８０ｋｍには５Ｈｚが対応している。

また、記憶部４２には、画像取得部３０が撮像した画像が記憶される画像記憶領域４２ｃが予め設定されている。画像憶領域４２ｃは、記憶可能なデータ数の上限（上限データ数）が予め設定された領域であり、記憶されているデータ数が上限データに達すると、記憶制御部４８は、新規の画像を記憶する際に、既に記憶されている画像のうち最初に記憶された最も古いものを削除し、新規の画像を記憶させる（上書きする）。上限データ数は、処理部４１が実行する車線判別処理が確実に実行可能な数に設定されている。

記憶制御部４８は、処理ユニット４０が画像取得部３０から出力された画像を受信すると、受信した画像と車速センサ３１から受信した走行速度Ｖとを関連付けて、記憶部４２の画像記憶領域４２ｃに記憶する。例えば、車両２の前端が図３のＡ地点を通過するときの走行速度が時速８０ｋｍの場合、記憶制御部４８は画像取得部３０から出力された図４（ａ）に示すような画像に時速８０ｋｍを示す走行速度Ｖ１を関連付けて前側記憶領域に記憶し、また、車両２の前端が地点Ｂを通過するときの走行速度が時速７５ｋｍの場合、記憶制御部４８は画像取得部３０から出力された図４（ｂ）に示すような画像に時速７５ｋｍを示す走行速度Ｖ２を関連付けて記憶する。また、記憶制御部４８は、後述する集計部４５が画像記憶領域４２ｃに記憶された画像毎に集計した左側車線境界線のエッジ点の数及び右側車線境界線のエッジ点の数を集計の対象となるエッジ点を抽出した画像に関連付けて画像記憶領域４２ｃに記憶する。

境界線判定部４３は、記憶制御部４８が新たな画像を画像記憶領域４２ｃに記憶すると、図６に示すように、記憶された新たな画像における所定幅を隔てて左右一対に設定された所定の左側検出領域Ｌ内と右側検出領域Ｒ内とで画像の濃度が所定値以上変化する点をエッジ点として抽出する。左側検出領域Ｌ及び右側検出領域Ｒは、実験やシミュレーションなどによって得られた測定値や理論値に基づいて、車両２が走行する車線の両側の車線境界線が存在すると推定される位置にプログラム上で予め設定されている。左側検出領域Ｌは、画像の左下端部付近から右に傾斜して画像の上端部付近まで延びる。また、右側検出領域Ｒは、画像の右下端部付近から左に傾斜して画像の上端部付近まで延びる。境界線判定部４３は、左側検出領域Ｌ及び右側検出領域Ｒに対して、車両２の進行方向に対して直交する方向（図のＸ方向）において、前の画素と比較して濃度が所定の閾値以上上昇する画素を上がりエッジ点として抽出し、前の画素と比較して濃度が所定の閾値以上低下する画素を下がりエッジ点として抽出する。境界線判定部４３は、画像の各検出領域Ｌ，Ｒにおいて抽出した上がりエッジ点及び下がりエッジ点について、ハフ変換処理を実行し、各検出領域Ｌ，Ｒ内の上がりエッジ点からなる直線及び下がりエッジ点からなる直線を抽出する。各検出領域Ｌ，Ｒにおいて、ハフ変換によって抽出される上がりエッジ点からなる直線及び下がりエッジ点からなる直線が複数本抽出された場合、抽出された各直線上のエッジ点の数が最も多い直線を抽出する。各検出領域Ｌ，Ｒにおける上がりエッジ点からなる直線及び下がりエッジ点からなる直線は並列して車両２の走行方向に沿って延びる。例えば、図４に示すような画像においては、図７に示すような対となる上がりエッジ点からなる直線（図７中一点鎖線で示す）と下がりエッジ点からなる直線（図７中二点鎖線で示す）とが抽出される。左側検出領域Ｌにおける上がりエッジ点からなる直線は車両２の左方に位置する車線境界線の左側の輪郭線に相当し、また、下がりエッジ点からなる直線は、右側の輪郭線に相当する。同様に、右側検出領域Ｒにおける上がりエッジ点からなる直線は車両２の右方に位置する車線境界線の左側の輪郭線に相当し、また、下がりエッジ点からなる直線は、右側の輪郭線に相当する。境界線判定部４３は、左側検出領域Ｌに上記対となる２本の直線が抽出された場合、連続する各画像内に同一の左側車線境界線が存在すると判定する。また、右側検出領域Ｒに上記対となる２本の直線が抽出された場合、連続する各画像内に同一の右側車線境界線が存在すると判定する。なお、各検出領域Ｌ，Ｒにおいて、ハフ変換によって抽出される上がりエッジ点からなる直線及び下がりエッジ点からなる直線が複数抽出された場合、連続する画像の先頭画像以外の画像については、直線を抽出する対象画像の一つ前に記憶された画像において抽出された各直線と最も近似する位置にある直線を、この対象画像における上がりエッジ点からなる直線及び下がりエッジ点からなる直線として抽出してもよい。

集計部４５は、左側車線境界線が存在すると境界線判定部４３が判定した場合、境界線判定部４３によって上記画像から抽出されたエッジ点の内、左側車線境界線の左側及び右側の輪郭線上のエッジ点を左側車線境界線のエッジ点としてエッジ点の数を集計する。また、右側車線境界線が存在すると境界線判定部４３が判定した場合、境界線判定部４３によって上記画像から抽出されたエッジ点の内、右側車線境界線の左側及び右側の輪郭線上のエッジ点を右側車線境界線のエッジ点としてエッジ点の数を集計する。なお、集計部４５は、左側車線境界線の右側の輪郭線上のエッジ点のみを左側車線境界線のエッジ点としてエッジ点の数を集計し、また、右側車線境界線の左側の輪郭線上のエッジ点のみを右側車線境界線のエッジ点としてエッジ点の数を集計してもよい。なお、上述のように記憶制御部４８は、集計部４５が画像毎に集計した左側車線境界線のエッジ点の数及び右側車線境界線のエッジ点の数を集計の対象となるエッジ点を抽出した画像に関連付けて画像記憶領域４２ｃに記憶する。

境界線判別部４６は、車線判別処理を開始してから所定時間（例えば１分）内に画像記憶部４２ｃに記憶された各画像に関連付けられて記憶されている左側車線境界線のエッジ点の数及び右側車線境界線のエッジ点の数に基づいて、例えばＦＦＴ（高速フーリエ変化）を用いて周波数解析を行って、各エッジ点の数の増減の周波数を特定する。所定時間における各車線境界線のエッジ点の数を、図８に示すように縦軸をエッジ点の数、横軸を時間として、模式的に表すと、車線境界線が実線の場合、例えば走行車線と対向車線との車線境界線の場合や走行車線と路肩との車線境界線の場合は、各画像におけるエッジ点の数は定常的な一定値として検出されるので直線（外乱等を考慮した場合であっても略直線）で表される。一方、破線の場合、例えば登坂車線境界線の場合や追い越し車線境界線の場合は、各画像における破線の車線境界線の有線部分及び空白部分（有線部分でない部分）の割合は、画像取得部３０が画像を撮像するタイミングによって変化する。例えば図４（ａ）に示すような図３のＡ地点を車両２の前端が通過するときに撮像した画像と図４（ｂ）に示すようなＢ地点を車両２の前端が通過するときに撮像した画像とを比較すると、登坂車線境界線及び追い越し車線境界線いずれにおいても、図４（ｂ）における各車線境界線の方が画像内における破線の空白部分が占める割合が大きい。この有線部分及び空白部分は破線内において一定の間隔で配置されているので、比較的短い時間間隔（例えば本実施形態のように１００ミリ秒）で画像を連続して取得すると、取得した連続する画像において、この割合は周期的に変化する。したがって、破線の車線境界線のエッジ点の数（すなわち、破線の有線部分のエッジ点の数）が連続する画像において周期的に増減する。このため、エッジ点の数の増減は周期性のある波形として表される。登坂車線境界線と、追い越し車線境界線と、を比較すると、登坂車線境界線の方が、画像内における破線の空白部分の割合が小さく、空白部分が設けられる頻度が高い。したがって、登坂車線境界線と、追い越し車線境界線とは、連続する画像における車線境界線のエッジ点の数の増減の周期及び周波数は異なる。すなわち、登坂車線境界線の方が、追い越し車線境界線に比べて、エッジ点の数の増減の周期が短く、また、周波数は高くなる。

境界線判別部４６は、車線判別処理を開始してから所定時間内に画像記憶部４２ｃに記憶された各画像に関連付けられて記憶されている走行速度Ｖを参照して平均走行速度Ｖａを算出する。算出した平均走行速度Ｖａに基づいて、周波数記憶領域４２ｂの周波数パターンテーブルを参照し、平均走行速度Ｖａに対応する周波数パターンと周波数解析を行って特定した周波数とを比較し、一致する場合は、登坂車線境界線と判別する。また、一致しない場合は、登坂車線境界線でないと判別する。

境界線判別部４６は、車線境界線の判別結果に基づいて、車両２が走行している車線を判別する。具体的には、判別した登坂車線境界線が右側車線境界線であるか否かを判定し、右側車線境界線である場合は、走行中の車線を登坂車線と判別する。判別した登坂車線境界線が左側車線境界線である場合は、走行中の車線の左側に隣接する車線を登坂車線と判別する。また、左側車線境界線及び右側車線境界線のいずれも登坂車線境界線でない場合は、走行中の車線及び走行中の車線に隣接する車線のいずれもが登坂車線ではないと判別する。

出力部４７は、境界線判別部４６が判別した車線の種別示す車線情報を警報装置６０に出力する。

警報装置６０は、ＣＰＵからなる処理部６１と、ＲＯＭとＲＡＭなどからなる記憶部６２と、表示部６３と、スピーカ６４と、電波送受信部６５と、を備える。表示部６３は液晶表示装置からなる。記憶部６２には、処理部６１によって実行されるプログラム、例えば警報処理を規定する警報プログラムが記憶されているプログラム記憶領域６２ａと、出力部４７から出力された車線情報を記憶する種別記憶領域６２ｂと、が設定されている。電波送受信部６５は、対象物に対して、パルス状の電波を発信し、その反射波を受信する。電波送受信部６５は、電波の発信時に発信信号を処理部６１に出力し、また、反射波の受信時に受信信号を処理部６１に出力する。

車線判別装置１の出力部４７から車線情報を受信すると、処理部６１は、記憶部６２の種別記憶領域領域６２ｂに記憶する。なお、既に車線情報が記憶されている場合は、新たに受信した車線の種別を上書きする。

処理部６１は、警報プログラムに従って、警報処理を実行する。処理部６１は、警報処理において、画像取得部３０から連続して受信する画像に基づいて、車両２が走行している車線又は隣接する車線の前方を走行する他車両と、車両２が走行する車線の両側の車線境界線（左側車線境界線及び右側車線境界線）を検出する。他車両の検出は、例えば警報プログラム上で予め規定されている他車両の形状特徴パターンとのパターンマッチングによって行われる。また、処理部６１における各車線境界線の検出のための処理は、上記車線判別装置１が各車線境界線を検出する際の処理と同様のため、説明を省略する。他車両が検出された場合、処理部６１は画像に基づいて他車両と車両２との相対的な位置を特定し、電波送受信部６５に他車両を対象物として電波を発信するよう指示する。処理部６１は、電波送受信部６５から受信する発信信号及び受信信号に基づいて反射波が到達する時間を算出し、算出した時間や車速センサ３１から出力される車両２の走行速度Ｖなどに基づいて、他車両までの距離と相対速度とを逐次算出する。処理部６１は、他車両が所定距離以内に近づき、且つ、相対速度が負となった場合、衝突事故が発生するおそれがあることの報知の要否を判定し、報知が必要と判定したとき、報知を行う。処理部６１は、各車線境界線に対する他車両の位置関係と記憶部６２に記憶された車線判別装置１から受信した車線情報に基づいて、報知の要否を判定する。例えば、車線判別装置１において車両２が走行する車線の左側に隣接する車線が登坂車線と判別され、且つ警報装置６０において左側車線境界線の左側で他車両が検出された場合は、他車両が登坂車線を走行しており、他車両の故障や他車両の運転者の居眠り運転など他車両における異常な状態が原因で他車両が所定距離以内に近づき、且つ、相対速度が負となったのではないと判断し、報知不要と判定する。また、車線判別装置１において車両２が走行する車線が登坂車線と判別され、且つ警報装置６０において右側車線境界線の左側で他車両が検出された場合、車両２及び他車両ともに登坂車線を走行しており、他車両における異常な状態が原因で他車両が所定距離以内に近づき、且つ、相対速度が負となったのではないと判断し、報知不要と判定する。一方、車線判別装置１において車両２が走行する車線の左側に隣接する車線が登坂車線と判別され、警報装置６０において左側車線境界線の右側で他車両が検出された場合、他車両は登坂車線以外を走行しており、他車両における異常な状態が原因で他車両が所定距離以内に近づき、且つ、相対速度が負となった可能性が高いと判断し、報知が必要と判定する。また、車線判別装置１において車両２が走行する車線及びこの車線に隣接する車線のいずれもが登坂車線ではないと判別された場合は、報知が必要と判定する。

次に、処理部４１が実行する車線判別処理について、図９のフローチャートを参照して説明する。本処理は、停車していた車両２が走行を開始した後、例えば走行開始から３０秒経過後に、画像取得部３０から出力された画像を処理ユニット４０が受信する毎に実行される。処理部４１は、本処理を開始するとき、計時部３２に処理開始時刻を示す時間情報Ｔ１を出力させる。

本処理が開始されると、記憶制御部４８は、受信した画像と時間情報Ｔ及び走行速度Ｖとを関連付けて、記憶部４２の画像記憶領域４２ｃに記憶し、ステップＳ２に移行する（ステップＳ１）。

ステップＳ２において、境界線判定部４３は、記憶制御部４８が記憶した画像の左側検出領域Ｌ内と右側検出領域Ｒ内とで画像の濃度が所定値以上変化する点をエッジ点として抽出し、ステップＳ３に移行する。

ステップＳ３において、境界線判定部４３は、左側検出領域Ｌ及び右側検出領域Ｒについて、上がりエッジ点及び下がりエッジ点を抽出し、各所定領域Ｌ，Ｒにおいて抽出した上がりエッジ点及び下がりエッジ点について、ハフ変換処理を実行して各検出領域Ｌ，Ｒの直線を抽出し、ステップＳ４に移行する。

ステップＳ４において、境界線判定部４３は、左側検出領域Ｌ及び右側検出領域Ｒの両方又はいずれか一方に上記対となる２本の直線が抽出されたか否かに基づいて、連続する画像内に同一の左側車線境界線又は右側車線境界線が存在するか否かを判定し、存在すると判定した場合（ステップＳ４：ＹＥＳ）は、ステップＳ５に移行する。一方、左側検出領域Ｌ及び右側検出領域Ｒのいずれからも上記対となる２本の直線が抽出されず、連続する画像内に同一の左側車線境界線Ｌ及び右側車線境界線Ｒが存在しないと判定した場合（ステップＳ４：ＮＯ）は、本処理を終了する。なお、車線境界線のかすれ等の外乱が原因で、連続する画像内に同一の左側車線境界線及び右側車線境界線が存在しないと誤って判定されてしまうことを防止するために、記憶部４２に存在しないと判定した回数を記憶する判定回数記憶領域（図示省略）を設け、存在しないと判定した場合は判定回数記憶領域のカウント値をカウントアップし、ステップＳ１に移行し、処理部４１は画像取得部３０から新たに受信する画像についてステップＳ１からステップＳ４の処理を実行してもよい。この場合、判定回数記憶領域のカウント値が所定回数、例えば１０回を超えたときに本処理を終了する。

ステップＳ５において、集計部４５は、左側車線境界線及び右側車線境界線の両方が存在する場合は両方、いずれか一方のみ存在する場合はその一方のエッジ点の数を集計し、記憶制御部４８は画像記憶領域４２ｃに集計したエッジ点の数を、エッジ点を抽出した画像に関連付けて記憶し、ステップＳ６に移行する。

ステップＳ６において、境界線判別部４６は、計時部３２に現在時刻を示す時間情報Ｔ２を出力させ、受信した時間情報Ｔ２と処理開始時に受信した処理開始時刻を示す時間情報Ｔ１とに基づいて、本処理を開始してから所定時間（例えば１分）を経過したか否かを判定する。所定時間を経過した場合（ステップＳ６：ＹＥＳ）は、ステップＳ７に移行する。経過していない場合（ステップＳ６：ＮＯ）は、ステップＳ１に移行し、処理ユニット４０は、画像取得部３０から新たに受信する画像についてステップＳ１からステップＳ６の処理を実行する。

ステップＳ７において、境界線判別部４６は、左側車線境界線及び右側車線境界線の両方が存在する場合は両方、いずれか一方のみ存在する場合はその一方の本処理を開始してから所定時間内に画像記憶部４２ｃに記憶された各画像に関連付けられたエッジ点の数に基づいて、周波数解析を行って、エッジ点の数の増減の周波数を特定し、ステップＳ８に移行する。

ステップＳ８において、境界線判別部４６は、本処理を開始してから所定時間内に画像記憶部４２ｃに記憶された各画像に関連付けられた走行速度Ｖから算出した平均走行速度Ｖａに基づいて、周波数記憶領域４２ｂの周波数パターンテーブルを参照し、平均走行速度Ｖａに対応する周波数パターンと、周波数解析を行って特定した左側車線境界線及び右側車線境界線の両方が存在する場合は両方、いずれか一方のみ存在する場合はその一方の周波数と、を比較し、一致する場合は登坂車線境界線があると判定し（ステップＳ８：ＹＥＳ）、一致する車線境界線を登坂車線境界線であると判別して、ステップＳ９に移行する。一方、一致しない場合は、登坂車線境界線がないと判定し（ステップＳ８：ＮＯ）、ステップＳ１０に移行する。

ステップＳ９において、境界線判別部４６は、判別した登坂車線境界線が、右側車線境界線であるか否かを判定する。判別した車線境界線が右側車線境界線である場合は（ステップＳ９：ＹＥＳ）、車両２が走行中の車線を登坂車線と判別し（ステップＳ１１）、ステップＳ１３に移行する。一方、判別した車線境界線が左側車線境界線である場合は（ステップＳ９：ＮＯ）、車両２が走行中の車線の左側に隣接する車線を登坂車線と判別し（ステップＳ１２）、ステップＳ１３に移行する。

ステップＳ１０において、車両２が走行中の車線及び走行中の車線に隣接する車線のいずれもが登坂車線でないと判別し（ステップＳ１０）、ステップＳ１３に移行する。

ステップＳ１３において、出力部４７は、警報装置６０に判別結果を出力して本処理を終了する。

本実施形態では、車線判別装置１は、連続する画像における左側車線境界線又は右側車線境界線のエッジ点の増減の周波数が周波数パターンテーブルの周波数パターンと一致するか否かに基づいて、車線境界線が登坂車線境界線であるか否かを判別することができるので、登坂車線を簡易に且つ確実に判別することができる。

また、エッジ点抽出部４４は、車線境界線のエッジ点を抽出する際、境界線判定部４３が車線境界線の存在を判定するときに画像から抽出したエッジ点の中から車線境界線のエッジ点を抽出することができるので、車線境界線のエッジ点の抽出のためにエッジ点抽出部４４が行う処理の負担を軽減することができる。

次に、第２の実施形態について説明する。第２の実施形態では、境界線判別部４６が左側車線境界線及び右側車線境界線が破線であるか否かを判定し、いずれも破線である場合、各車線境界線の周波数を特定し、特定した周波数を比較し、比較結果に基づいて登坂車線境界線を判別する点が第１の実施形態とは異なる。以下の第２の実施形態において、第１の実施形態と共通する部分については、その説明を省略する。

第２の実施形態における境界線判別部４６は、画像記憶部４２ｃに記憶された各画像に関連付けられて記憶されている左側車線境界線のエッジ点の数及び右側車線境界線のエッジ点の数に基づいて、各車線境界線が実線であるか、破線であるかを判別する。具体的には、連続する画像において各車線境界線のエッジ点の数が周期的に増減している場合は破線と判別し、周期的に増減していない場合は実線と判別する。例えば、境界線判別部４６は、連続する画像の各画像における判別対象の車線境界線のエッジ点の数と、画像記憶領域４２ｃに記憶された順番が一つ前の画像における判別対象の車線境界線のエッジ点の数と、の差を算出し、同一又は略同一の周期でこの差の値がプラスの値からマイナスの値へ変化し、またマイナスの値からプラスの値へ変化する場合はその車線境界線を破線と判別し、変化しない場合は実線と判別する。なお、画像毎にエッジ点の数の分散値を算出し、この分散値が所定の閾値を超えるとき、その車線境界線を破線として判別し、所定の閾値以下のとき、その車線境界線を実線と判別してもよい。左側車線境界線及び右側車線境界線のいずれもが実線の場合、境界線判別部４６は、車両２が走行中の車線及び隣接する車線が登坂車線境界線ではないと判定する。また、境界線判別部４６は、左側車線境界線及び右側車線境界線のいずれもが破線の場合、ＦＦＴ（高速フーリエ変化）を用いて周波数解析を行って、各境界線上のエッジ点の数の増減の周波数を特定する。境界線判別部４６は、特定した左側車線境界線の周波数及び右側車線境界線の周波数とを比較し、周波数が互いに異なる場合、登坂車線境界線があると判定し、比較的高い周波数の車線境界線を登坂車線境界線と判別する。一方、周波数が同一又は略同一の場合、車両２が走行中の車線及び隣接する車線が登坂車線境界線はでないと判定する。なお、左側車線境界線及び右側車線境界線のいずれもが実線の場合、車線の判別が不能のため、処理部４１は車線判別処理を終了する。

次に第２の実施形態における車線判別処理について、図１０のフローチャートを参照して説明する。本処理も、第１の実施形態における車線判別処理と同様に、停車していた車両２が走行を開始した後、例えば走行開始から３０秒経過後に、画像取得部３０から出力された画像を処理ユニット４０が受信する毎に実行される。なお、ステップＳ１１〜ステップＳ１３，ステップＳ１５，ステップＳ１６，ステップＳ１９〜ステップＳ２５は、第１実施形態の車線判別処理におけるステップＳ１〜ステップＳ３，ステップＳ５，ステップＳ６，ステップＳ８〜Ｓ１３（図９参照）と、同様のため説明を省略する。

ステップＳ１４において、境界線判定部４３は、左側検出領域Ｌ及び右側検出領域Ｒの両方に上記対となる２本の直線が抽出されたか否かに基づいて、連続する画像内に同一の左側車線境界線及び右側車線境界線が存在するか否かを判定し、存在すると判定した場合（ステップＳ１４：ＹＥＳ）は、ステップＳ１５に移行する。一方、左側検出領域及び右側検出領域のいずれからも、又はいずれか一方から上記対となる２本の直線が抽出されず、連続する画像内に同一の左側車線境界線及び右側車線境界線の両方又はどちらか一方が存在しないと判定した場合（ステップＳ４：ＮＯ）は、車線の判別が不能のため処理部４１は本処理を終了する。なお、第１の実施形態における車線判別処理と同様に車線境界線のかすれ等の外乱が原因で、連続する画像内に同一の左側車線境界線及び右側車線境界線が存在しないと誤って判定されてしまうことを防止するために、判定回数記憶領域のカウント値が所定回数を超えたときに本処理を終了してもよい。

ステップＳ１７において、境界線判別部４６は、左側車線境界線及び右側車線境界線が実線であるか、破線であるかを判別し、両方の車線境界線が破線の場合（ステップＳ１７：ＹＥＳ）は、ステップＳ１９に移行して各車線境界線の周波数を特定し、ステップＳ２０に移行する。一方、両方の車線境界線が実線又はいずれか一方の車線境界線が実線の場合は、ステップＳ１８に移行する。

ステップＳ１８において、境界線判別部４６は、左側車線境界線及び右側車線境界線のいずれもが実線か否かを判定する。いずれも実線の場合（ステップＳ１８：ＹＥＳ）はステップＳ２２に移行する。一方、一方が実線、他方が破線の場合（ステップＳ１８：ＮＯ）は、車線の判別が不能のため処理部４１は本処理を終了する。

ステップＳ２０において、境界線判別部４６は、特定した左側車線境界線の周波数及び右側車線境界線の周波数とを比較し、周波数が異なる場合は登坂車線境界線があると判定し（ステップＳ２０：ＹＥＳ）、比較的高い周波数の車線境界線を登坂車線境界線であると判別して、ステップＳ２１に移行する。一方、周波数が同一又は略同一の場合は、登坂車線境界線がないと判定し（ステップＳ２０：ＮＯ）、ステップＳ２２に移行する
このように、第２の実施形態では、車線判別装置１は、左側車線境界線及び右側車線境界線の周波数を比較し、高い周波数の車線境界線を登坂車線境界線と判別するので、周波数記憶領域４２ｂに周波数パターンテーブルを予め記憶させておく必要がなくなるので、より簡易に登坂車線を判別することができる。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、上記実施形態による発明の開示の一部をなす論述及び図面により本発明は限定されることはない。

例えば、第１及び第２の実施形態では、車線判別装置１をフルトラクタに搭載する態様を説明したが、フルトラクタ以外の車両に車線判別装置１を搭載してもよい。

また、車線判別装置１は、車線判別処理の判別結果が、車両２が走行する車線又はこの車線に隣接する車線が登坂車線であるという判別結果だった場合、同一の判別結果が所定時間、例えば３０秒連続したとき、（車線判別処理は画像取得部３０から出力された画像を処理ユニット４０が受信する毎、すなわち１００ミリ秒毎、に並列して実行されるので同一の車線の判別結果が３００回連続したとき）、出力部４７が、警報装置６０に判別結果を出力してもよい。この場合、高速道路に設けられている合流車線やパーキングエリアへの分岐路を登坂車線と誤って判別することを防止することができる。

また、車線境界線のエッジ点の増減の周波数に基づいて登坂車線を判別したが、エッジ点の増減の周期的な変化を示す図８に示すような波形を検出又は推定し、この波形の振幅、周期、又は、波長に基づいて、登坂車線を判別してもよい。この場合、第１の実施形態の記憶部４２に登坂車線境界線の振幅パターンを予め設定し、又は、車両２の走行速度に応じて変化する周期パターン又は波長パターンを設定する周期パターンテーブル又は波長パターンテーブルを予め設定しておく。

また、登坂車線境界線を誤って判別することを防止するため、登坂車線境界線と判別された車線境界線の横幅（走行方向に直交する方向の幅）と画像取得部３０が取得した画像における実線の車線の横幅とを所定のアルゴリズムで算出し、登坂車線境界線と判別された車線境界線の横幅が実線の車線の横幅の１．８倍（約２２ｃｍ）以上のときは判別結果が正しいと判定し、一方、１．８倍未満のときは判定結果が誤りであると判定してもよい。実線の車線の横幅は、所定数の連続する画像の各画像における実線の車線の横幅を算出し、最大値と最小値の差の８０％の値を最小値に加算して算出される。また、画像取得部３０が取得した画像におけるの登坂車線境界線と判別されなかった破線の車線境界線（追い越し車線境界線や車道中央線）の有線部分の長さ（走行方向の長さ）と登坂車線境界線と判別された車線境界線の有線部分の長さを所定のアルゴリズムで算出し、走行車線との車線境界線と判別された車線境界線の有線部分の長さが登坂車線境界線と判別されなかった破線の有線部分の長さの２／３以下のとき判別結果が正しいと判定し、２／３を超えたとき判別結果が誤りであると判定してもよい。

すなわち、上記実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明は、本発明は、車両に搭載され、車両前方の道路の画像に基づいて、道路上の車線の種別を判別する車線判別装置に関する。

１：車線判別装置
２：車両
３０：画像取得部（画像取得手段）
３１：車速センサ
４０：処理ユニット
４１：処理部
４２：記憶部
４２ｂ：周波数記憶領域
４２ｃ：画像記憶領域
４３：境界線判定部（境界線判定手段）
４４：エッジ点抽出部（エッジ点抽出手段）
４５：集計部（集計手段）
４６：境界線判別部（境界線判別手段）
４７：出力部（出力手段）
４８：記憶制御部
６０：情報提供装置

Claims

車両に搭載される車線判別装置であって、
前記車両に設けられ、該車両の走行中に走行する道路上の車線境界線を含む該車両の前方の画像を所定期間連続して取得する画像取得手段と、
前記画像取得手段が取得した連続する画像の各画像内に同一の車線境界線が存在するか否かを判定する境界線判定手段と、
前記同一の車線境界線が存在すると前記境界線判定手段が判定した場合、各画像の前記車線境界線上において画像濃度が所定値以上変化する点を該車線境界線のエッジ点として画像毎に抽出するエッジ点抽出手段と、
前記エッジ点抽出手段によって抽出された前記車線境界線のエッジ点の数を前記画像毎に集計する集計手段と、
前記連続する画像において、前記集計手段が集計したエッジ点の数の前記所定期間における周期的な変化に基づいて、前記車線境界線が登坂車線と走行車線との車線境界線であるか否かを判別する境界線判別手段と、を備える
ことを特徴とする車線判別装置。
請求項１に記載の車両判別装置であって、
前記境界線判定手段は、連続する画像の各画像における左右一対に設定された所定の左側検出領域内と右側検出領域内とで画像の濃度が所定値以上変化する点をエッジ点として抽出し、抽出したエッジ点に基づいて、前記各画像の各検出領域内において前記車両の走行方向に沿って延びる２本の並列した直線を抽出したとき、各画像内に同一の車線境界線が存在すると判定し、
前記エッジ点抽出手段は、前記同一の車線境界線が存在すると前記境界線判定手段が判定した場合、各所定領域内における前記２本の直線のうち予め決められた一方の又は双方の直線上のエッジ点を、該境界線判定手段によって抽出されたエッジ点の中から前記車線境界線のエッジ点として抽出する、
ことを特徴とする車線判別装置。