JP2013234902A - 走行レーン認識装置および走行レーン認識方法 - Google Patents

Abstract

【課題】撮影画像内に複数レーンの全体が写らない状況でも走行レーンを正しく認識できる「走行レーン認識装置および走行レーン認識方法」を提供する。
【解決手段】撮影画像の中から検出した車両の左右にあるレーンマークと、地図データに記憶されている道路の中心線の座標および道路のレーン数と、システムメモリ９に記憶されている衛星測位受信機２ｂの取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位の可能性がある座標の範囲をレーン毎に推定して、衛星測位受信機２ｂの衛星測位により得られた座標が、レーン毎に推定された衛星測位範囲のどこに入っているかに基づいて車両の走行レーンを判定することにより、撮影画像内に複数レーンの全体が写らないことがあっても、撮影画像内から少なくとも車両の左右にあるレーンマークを検出すれば、走行レーンを特定することができるようにする。
【選択図】図１

Description

本発明は、走行レーン認識装置および走行レーン認識方法に関し、特に、カメラにより撮影された画像の処理によって路上のレーンマークを検出し、当該検出したレーンマークを利用して走行レーンを認識する装置および方法に用いて好適なものである。

従来、カメラにより撮影された画像の処理によって路上のレーンマーク（車線境界線）を検出し、当該検出したレーンマークを利用して車両の走行位置を認識する技術が提供されている（例えば、特許文献１，２を参照）。

特許文献１に記載の車両位置推定装置では、車載カメラで撮影した画像から車線情報とランドマーク情報とを抽出し、地図情報に含まれるランドマーク情報あるいは車線情報と整合して撮像領域を求めて車両位置を推定する。そして、推定した車両位置を用いて、運転者への警報や車両制御を実施する。地図情報と撮像情報から求めたランドマーク情報・車線情報の整合性判定の際は、ＧＰＳによって測定した概略位置情報を用いて、処理対象とする地図情報の検索範囲を絞り込むようにしている。

特許文献２に記載のナビゲーション装置では、地図データベースに格納された道路データと、目的地情報および道路データから求めた走行経路と、ＧＰＳを用いて推定した車両現在位置と、カメラにより撮影した道路画像データから検出した道路の車線数および自車両の走行している車線情報とを使用して、走行すべき車線を決定して車両の移動方向と車線位置を決定し、決定した移動方向情報と車線位置情報を運転者に知らせるようにしている。

特開２００５−２６５４９４号公報 特開２００４−２０５５２７号公報

しかしながら、上記従来の技術では、以下のような状況下においては走行レーンを正しく認識できない恐れがあるという問題があった。
（１）レーン数の多い道路で端のレーンを走行している場合
反対側の端のレーンまでカメラで撮影できないことがあるからである。
（２）交通量が多い道路を走行している場合
他の車両が邪魔になって、カメラで撮影した画像内に複数レーンの全体が写らないことがあるからである。

本発明は、このような問題を解決するために成されたものであり、カメラで撮影した画像内に複数レーンの全体が写らない状況であっても、走行レーンを正しく認識できるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮像装置より入力される撮影画像の中から車両の左右にあるレーンマークを検出し、レーン幅と左または右のレーンマークから車両までの距離とを求める。また、当該求めたレーン幅およびレーンマークから車両までの距離と、現在走行中の道路に関して地図データに含まれている道路の中心線の座標および道路のレーン数と、衛星測位受信機の取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位の可能性がある座標の範囲（衛星測位範囲）をレーン毎に推定する。そして、衛星測位受信機による衛星測位により得られた座標が、レーン毎に推定された衛星測位範囲のどこに入っているかに基づいて、車両の走行レーンを判定するようにしている。

上記のように構成した本発明によれば、レーン数の多い道路や交通量の多い道路を走行している場合で、カメラで撮影した画像内に複数レーンの全体が写らないことがあっても、撮影画像内から少なくとも車両の左右にあるレーンマークを検出すれば、地図データや、衛星測位受信機の取付位置および衛星測位誤差範囲の情報を追加で用いることにより、車両がどのレーンを走行しているのかを特定することができる。これにより、本発明によれば、カメラで撮影した画像内に複数レーンの全体が写らない状況であっても、走行レーンを正しく認識することができる。

本実施形態による走行レーン認識装置の構成例を示す機能ブロック図である。 本実施形態によるレーン情報算出部の処理を説明するための図である。 本実施形態によるレーンマーク座標算出部の処理を説明するための図である。 本実施形態による測位範囲推定部の処理を説明するための図である。 本実施形態による走行レーン判定部の処理を説明するための図である。 本実施形態による走行レーン認識装置の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による走行レーン認識装置１００の構成例を示す機能ブロック図である。図１に示すように、本実施形態の走行レーン認識装置１００は、カメラ等の撮像装置２００に接続されている。撮像装置２００は、例えば、車両の後方に設置されたリアカメラである。

また、本実施形態の走行レーン認識装置１００は、その機能構成として、地図データ記憶部１、現在位置検出部２、道路検出部３、レーンマーク検出部４、レーン情報算出部５、レーンマーク座標算出部６、測位範囲推定部７、走行レーン判定部８およびシステムメモリ９を備えて構成されている。なお、各機能ブロック２〜８は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック２〜８は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

地図データ記憶部１は、道路を表す道路データおよび道路に面する各種施設を表す施設情報を含む地図データを記憶するものであり、例えばハードディスク等の記録媒体により構成される。道路データは、マップマッチングや経路探索等の各種の処理に必要なデータである。この道路データは、道路の中心線の座標および道路のレーン数を情報として含んでいる。なお、ここでは地図データを記憶する記録媒体としてハードディスクを用いているが、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、半導体メモリ等の他の記録媒体を用いても良い。

現在位置検出部２は、車両の現在位置を衛星測位または自立航法により所定間隔毎に検出するものであり、自立航法センサ２ａ、衛星測位受信機２ｂ、位置計算用ＣＰＵ２ｃにより構成されている。自立航法センサ２ａは、所定走行距離毎に１個のパルスを出力して車両の移動距離を検出する車速センサ（距離センサ）と、車両の回転角度を検出する振動ジャイロ等の角速度センサ（相対方位センサ）とを含む。自立航法センサ２ａは、これらの車速センサおよび角速度センサによって車両の相対位置および方位を検出する。

位置計算用ＣＰＵ２ｃは、自立航法センサ２ａから出力される自車両の相対的な位置および方位のデータに基づいて、絶対的な自車装置（推定車両位置）および車両方位を計算する。また、衛星測位受信機２ｂは、複数の衛星（例えば、ＧＰＳ（Global Positioning System）衛星またはＱＺＳＳ（Quasi-Zenith Satellite System）衛星）から送られてくる電波を受信して、多次元測位処理を行って車両の絶対位置および方位を計算する。ＱＺＳＳはＧＰＳに比べて測位誤差が小さく、その誤差は１ｍ以内となっている。

道路検出部３は、地図データ記憶部１に記憶されている地図データおよび現在位置検出部２（例えば、自立航法センサ２ａおよび位置計算用ＣＰＵ２ｃ）により検出された現在位置に基づいて、車両が走行中の道路を地図データの中から検出する。

レーンマーク検出部４は、撮像装置２００より入力される撮影画像の中から少なくとも車両の左右にあるレーンマークを検出する。具体的には、レーンマーク検出部４は、撮像装置２００により撮影された画像からグレースケールの輝度画像を生成し、当該輝度画像を水平方向に順次スキャンすることによって、閾値以上の輝度が一定間隔続く水平部分をスライスとして取り出す。これを撮影画像の全体に対して行う。

次に、レーンマーク検出部４は、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。さらに、レーンマーク検出部４は、各グループのスライスを３次元座標（ＸＹＺ座標）の路面（Ｚ＝０）に投影した後、各スライスの中点から、最小２乗法でレーンマーク候補となる線分の直線式を抽出する。なお、３次元座標の路面への投影とは、撮像装置２００より入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。３次元座標の原点は、車両中心の位置である。また、Ｘ軸において車両の前方がプラス、Ｙ軸において車両の左側がプラスで右側がマイナスである。

次に、レーンマーク検出部４は、以上のようにして抽出した各線分（レーンマーク候補）について、レーンマークとしての確からしさを示す信頼度を算出する。そして、レーンマーク検出部４は、この信頼度が大きい線分を最終的にレーンマークとして検出する。

レーン情報算出部５は、レーンマーク検出部４により検出された左右のレーンマークを用いて、レーン幅Ｗおよび左または右のレーンマークから車両までの距離ｄを求める。図２は、このレーン情報算出部５の処理を説明するための図である。図２の例では、レーン情報算出部５は、車両５０の左右に検出されたレーンマーク５１，５２間の幅をレーン幅Ｗとして算出している。また、レーン情報算出部５は、車両５０の左側に検出された左レーンマーク５１と車両５０の左サイドエッジと間の距離ｄを算出している。

なお、車両５０に関する車幅や車両中心に関する情報は、例えば、システムメモリ９にあらかじめ記憶されている。レーン情報算出部５は、このシステムメモリ９に記憶された車幅や車両中心の情報から車両５０の左サイドエッジの座標を算出し、更に左レーンマーク５１の座標との差分から、左レーンマーク５１から車両５０までの距離ｄを算出する。

レーンマーク座標算出部６は、レーン情報算出部５により求められたレーン幅Ｗと、道路検出部３により検出された走行中の道路に関して地図データに含まれている道路の中心線Ｃの座標および道路のレーン数Ｎとに基づいて、走行中の道路における各レーンマークの座標を求める。

図３は、このレーンマーク座標算出部６の処理を説明するための図である。図３に示すように、レーンマーク座標算出部６は、道路の中心線Ｃの座標を中心として、幅ＷのレーンをＮ個設定する。そして、それらＮ個のレーンを規定する位置に複数のレーンマーク６１〜６４を設定し、それらの座標を求める。ただし、右レーンマーク５２ではなく左レーンマーク５１から車両５０までの距離ｄを求めた場合、右端のレーンマーク６４の座標は不要である。

測位範囲推定部７は、レーン情報算出部５により求められた左レーンマーク５１から車両５０までの距離ｄと、レーンマーク座標算出部６により求められた各レーンマーク６１〜６３の座標と、衛星測位受信機２ｂの車両に対する取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位の可能性がある座標の範囲（以下、衛星測位範囲という）をレーン毎に推定する。なお、衛星測位受信機２ｂの車両に対する取付位置および衛星測位誤差範囲の情報は、例えば、システムメモリ９にあらかじめ記憶されている。

図４は、この測位範囲推定部７の処理を説明するための図である。図４に示すように、測位範囲推定部７は、レーンマーク座標算出部６により求められた各レーンマーク６１〜６３の座標を基準として、レーンマークから車両までの距離ｄの位置にそれぞれ車両の左サイドエッジがあると仮定する。そして、そのように位置を仮定した車両に対する衛星測位受信機２ｂの取付位置を中心として衛星測位誤差範囲（ＱＺＳＳの場合は１ｍ）の幅を有し、各レーンに沿って設定した矩形の領域を衛星測位範囲７１〜７３として推定する。

走行レーン判定部８は、衛星測位受信機２ｂの衛星測位により実際に得られた座標が、測位範囲推定部７によりレーン毎に推定された衛星測位範囲７１〜７３のどこに入っているかに基づいて、車両の走行レーンを判定する。図５は、この走行レーン判定部８の処理を説明するための図である。図５の例では、衛星測位受信機２ｂによる衛星測位により実際に得られた座標Ｐが、測位範囲推定部７により推定された２番目の衛星測位範囲７２の中に入っている。そこで、走行レーン判定部８は、車両は２番目のレーンを走行していると判定する。

図６は、上記のように構成した本実施形態による走行レーン認識装置１００の動作例を示すフローチャートである。なお、図６に示すフローチャートは、走行レーン認識装置１００の電源がオンとされたときに開始する。

まず、現在位置検出部２は、車両の現在位置を検出する（ステップＳ１）。また、道路検出部３は、地図データ記憶部１に記憶されている地図データおよび現在位置検出部２により検出された現在位置に基づいて、車両が走行中の道路を検出する（ステップＳ２）。

次に、レーンマーク検出部４は、撮像装置２００より入力される撮影画像の中から車両の左右にあるレーンマークを検出する（ステップＳ３）。そして、レーン情報算出部５は、レーンマーク検出部４により検出された左右のレーンマークを用いて、レーン幅Ｗおよび左レーンマーク５１から車両５０の左サイドエッジまでの距離ｄを求める（ステップＳ４）。

次に、レーンマーク座標算出部６は、レーン情報算出部６により求められたレーン幅Ｗと、道路検出部３により検出された走行中の道路に関して地図データに含まれている道路の中心線Ｃの座標および道路のレーン数Ｎとに基づいて、走行中の道路における各レーンマーク６１〜６３の座標を求める（ステップＳ５）。

さらに、測位範囲推定部７は、レーン情報算出部５により求められた左レーンマーク５１から車両５０までの距離ｄと、レーンマーク座標算出部７により求められた各レーンマーク６１〜６３の座標と、衛星測位受信機２ｂの車両に対する取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位範囲７１〜７３をレーン毎に推定する（ステップＳ６）。

最後に、走行レーン判定部８は、衛星測位受信機２ｂの衛星測位により実際に得られた座標Ｐが、測位範囲推定部７によりレーン毎に推定された衛星測位範囲７１〜７３のどこに入っているかに基づいて、車両の走行レーンを判定する（ステップＳ７）。

以上詳しく説明したように、本実施形態によれば、レーン数の多い道路や交通量の多い道路を走行している場合で、撮像装置２００で撮影した画像内に複数レーンの全体が写らないことがあっても、撮影画像内から少なくとも車両５０の左右にあるレーンマーク５１，５２を検出すれば、地図データや、衛星測位受信機２ｂの取付位置および衛星測位誤差範囲の情報を追加で用いることにより、車両がどのレーンを走行しているのかを特定することができる。これにより、撮像装置２００で撮影した画像内に複数レーンの全体が写らない状況であっても、走行レーンを正しく認識することができる。

また、レーンマーク座標算出部６が各レーンマーク６１〜６３の座標を求める際に用いる道路の中心線Ｃの座標および道路のレーン数Ｎは、地図データに一般的に含まれている情報である。したがって、本実施形態によれば、従来一般的に使われている地図データを用いて、走行レーンを正しく認識することができるというメリットも有する。

なお、上記実施形態では、レーン情報算出部５は、左レーンマーク５１から車両５０の左サイドエッジまでの距離ｄを求める例について説明したが、右レーンマーク５２から車両５０の右サイドエッジまでの距離を求めるようにしてもよい。また、レーンマークから車両のサイドエッジまでの距離ではなく、レーンマークから車両中心までの距離を求めるようにしてもよい。

また、上記実施形態では、道路検出部３は、自立航法センサ２ａおよび位置計算用ＣＰＵ２ｃにより検出された現在位置に基づいて走行中の道路を検出する例について説明したが、衛星測位受信機２ｂにより検出された現在位置に基づいて走行中の道路を検出するようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 地図データ記憶部
２ 現在位置検出部
３ 道路検出部
４ レーンマーク検出部
５ レーン情報算出部
６ レーンマーク座標算出部
７ 測位範囲推定部
８ 走行レーン判定部
９ システムメモリ
１００ 走行レーン認識装置
２００ 撮像装置

Claims (2)

1. 道路の中心線の座標および道路のレーン数を情報として含む地図データを記憶する地図データ記憶部と、
   車両の現在位置を衛星測位または自立航法により検出する現在位置検出部と、
   上記地図データ記憶部に記憶されている上記地図データおよび上記現在位置検出部により検出された現在位置に基づいて、上記車両が走行中の道路を検出する道路検出部と、
   撮像装置より入力される撮影画像の中から上記車両の左右にあるレーンマークを検出するレーンマーク検出部と、
   上記レーンマーク検出部により検出された左右のレーンマークを用いて、レーン幅および左または右のレーンマークから車両までの距離を求めるレーン情報算出部と、
   上記レーン情報算出部により求められた上記レーン幅と、上記道路検出部により検出された走行中の道路に関して上記地図データに含まれている道路の中心線の座標および道路のレーン数とに基づいて、上記走行中の道路における各レーンマークの座標を求めるレーンマーク座標算出部と、
   上記レーン情報算出部により求められたレーンマークから車両までの距離と、上記レーンマーク座標算出部により求められた各レーンマークの座標と、上記現在位置検出部が備える衛星測位受信機の車両に対する取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位の可能性がある座標の範囲をレーン毎に推定する測位範囲推定部と、
   上記衛星測位受信機の衛星測位により得られた座標が、上記測位範囲推定部によりレーン毎に推定された座標の範囲のどこに入っているかに基づいて、上記車両の走行レーンを判定する走行レーン判定部とを備えたことを特徴とする走行レーン認識装置。
2. 走行レーン認識装置の現在位置検出部が、車両の現在位置を検出する第１のステップと、
   上記走行レーン認識装置の道路検出部が、地図データ記憶部に記憶されている地図データおよび上記現在位置検出部により検出された現在位置に基づいて、上記車両が走行中の道路を検出する第２のステップと、
   上記走行レーン認識装置のレーンマーク検出部が、撮像装置より入力される撮影画像の中から上記車両の左右にあるレーンマークを検出する第３のステップと、
   上記走行レーン認識装置のレーン情報算出部が、上記レーンマーク検出部により検出された左右のレーンマークを用いて、レーン幅および左または右のレーンマークから車両までの距離を求める第４のステップと、
   上記走行レーン認識装置のレーンマーク座標算出部が、上記レーン情報算出部により求められた上記レーン幅と、上記道路検出部により検出された走行中の道路に関して上記地図データに含まれている道路の中心線の座標および道路のレーン数とに基づいて、上記走行中の道路における各レーンマークの座標を求める第５のステップと、
   上記走行レーン認識装置の測位範囲推定部が、上記レーン情報算出部により求められたレーンマークから車両までの距離と、上記レーンマーク座標算出部により求められた各レーンマークの座標と、上記現在位置検出部が備える衛星測位受信機の車両に対する取付位置および衛星測位誤差範囲の情報とに基づいて、衛星測位の可能性がある座標の範囲をレーン毎に推定する第６のステップと、
   上記走行レーン認識装置の走行レーン判定部が、上記衛星測位受信機の衛星測位により得られた座標が、上記測位範囲推定部によりレーン毎に推定された座標の範囲のどこに入っているかに基づいて、上記車両の走行レーンを判定する第７のステップとを有することを特徴とする走行レーン認識方法。

Images