JP2006309499A - 車両及びレーンマーク認識装置 - Google Patents

Abstract

【課題】鋲型のレーンマークの検出が不能となることを抑制した車両及びレーンマーク認識装置を備えた車両を提供する。
【解決手段】Botts Dotsの設置間隔Ｌを認識する設置間隔認識手段２１と、車両の移動速度ｖを認識する車速認識手段２２と、画像入力回路１０により画像メモリ１１に記憶された画像データＭ1と画像メモリ１２に記憶された画像データＭ2とを合成して、合成画像データＭ3を生成する画像合成手段１３と、画像データＭ1，Ｍ2を取得するときに、カメラ２よる画像の撮像タイミングを、設置間隔Ｌと移動速度ｖとに基づいて、画像データＭ1，Ｍ2におけるBotts Dotsの位置が異なるように決定する撮像タイミング決定手段２０と、合成画像データＭ3からBotts Dotsを検出するBotts Dots検出手段１４とを備える。
【選択図】 図１

Description

本発明は、道路に設けられた鋲型のレーンマークを認識する機能を有する車両及びレーンマーク認識装置に関する。

従来より、車両前方の道路を撮影する車載カメラにより得られる画像データから、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている。そして、道路上に設けられるレーンマークとして、走行区分線（白線）のような線型のレーンマークと、Ｂｏｔｔｓ Ｄｏｔｓやキャッツアイのように離散的に設けられる鋲型のレーンマークとが使用されている。

ここで、線型のレーンマークは、ハフ変換等の直線抽出の手法により検出することができるが、鋲型のレーンマークは直線抽出の手法では検出することができない。そこで、パターンマッチングの手法を用いて、鋲型のレーンマークを検出するようにしたレーンマーク認識装置が提案されている（例えば、特許文献１参照）。

しかし、鋲型のレーンマークの一部が破損している場合や、鋲型のレーンマークに対する光の当たり具合によっては、道路の画像データを取り込んだときに、画像データ上での鋲型のレーンマークの形状とパターンマッチング用の基準形状との違いが大きくなり、鋲型のレーンマークの検出が不能になる場合があるという不都合があった。
特開２００３−３１７１０６号公報

本発明は上記不都合を解消し、鋲型のレーンマークの検出が不能となることを抑制した車両及びレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像手段と、前記撮像手段により撮像された道路の画像データを取得する画像データ取得手段と、道路に設けられた鋲型のレーンマークの設置間隔を認識する設置間隔認識手段と、車両の移動速度を認識する車速認識手段と、前記画像データ取得手段により取得された複数の画像データを合成した合成画像データを生成する画像合成手段と、該画像合成手段により合成される複数の画像データを前記画像データ取得手段によって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔と前記移動速度とに基づいて、該複数の画像データにおける鋲型のレーンマークの位置が異なるように決定する撮像タイミング決定手段と、前記画像合成手段により生成された合成画像データから鋲型のレーンマークを検出するレーンマーク検出手段とを有する。

また、本発明のレーンマーク認識装置は、撮像手段により撮像された道路の画像データを取得する画像データ取得手段と、道路に設けられた鋲型のレーンマークの設置間隔を認識する設置間隔認識手段と、車両の移動速度を認識する車速認識手段と、前記画像データ取得手段により取得された複数の画像データを合成した合成画像データを生成する画像合成手段と、該画像合成手段により合成される複数の画像データを前記画像データ取得手段によって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔と前記移動速度とに基づいて、該複数の画像データにおける鋲型のレーンマークの位置が異なるように決定する撮像タイミング決定手段と、前記画像合成手段により生成された合成画像データから鋲型のレーンマークを検出する前記レーンマーク検出手段とを有する。

前記本発明の車両及び前記本発明のレーンマーク認識装置によれば、前記撮像タイミング決定手段により、前記撮像手段による画像の撮像タイミングを鋲型のレーンマークの設置間隔と車両の移動速度とに基づいて決定することによって、取得される道路の画像データにおける鋲型のレーンマークの位置を変更することができる。そして、鋲型のレーンマークの位置が異なるように決定したタイミングで前記撮像手段により撮像され、画像データ取得手段により取得された複数の画像データを、前記画像合成手段により合成することによって、含まれる鋲型のレーンマークの個数を合成前の各画像データよりも増加させた合成画像データを得ることができる。

この場合、前記レーンマーク検出手段により該合成画像データから鋲型のレーンマークを検出することによって、検出可能なレーンマークの個数が増加することが期待できる。そのため、検出不能なレーンマークがいくつか生じても、他のレーンマークが検出できる可能性が高くなり、レーンマークの認識が不能となることを抑制することができる。

また、前記本発明の車両及び前記本発明のレーンマーク認識装置において、前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、車両が前記レーンマークの設置間隔の１／２を走行した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする。

かかる本発明によれば、前記撮像タイミング決定手段により、次回の画像データの取得タイミングを、前回の画像データの取得時点である前記第１の時点から車両が前記設置間隔Ｌの１／２を走行した時点である前記第２の時点とすることで、次回取得する画像データにおけるレーンマークの位置を、前回取得した画像データにおいて隣接するレーンマーク間のほぼ中央にすることができる。これにより、合成画像データにおいて隣接する鋲型のデータマークの間隔を最も広くすることができるため、鋲型のレーンマークが接触してその形状が変化し、鋲型のレーンマークの認識が不能となることを防止することができる。

また、前記本発明の車両及び前記本発明のレーンマーク認識装置において、前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、以下の式（３）により算出される時間Ｔvが経過した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする。

Ｔv ＝ Ｌ／ｖ ×（ｎ＋0.5） ・・・・・（３）
但し、Ｌ：鋲型のレーンマークの設置間隔、ｖ：車両の速度、ｎ：Ｔv≧Ｔmin（所定の下限時間）となる最小の整数。

かかる本発明によれば、例えば、前記撮像手段の感度により要求される露光時間や、前記撮像手段の最小撮像間隔等により決定される下限時間Ｔminよりも、前記撮像手段の撮像間隔を長く確保した上で、前記第１の時点で撮像された画像の画像データにおいて隣接する鋲型のレーンマークの中間位置付近に、前記第２の時点で撮像された画像の画像データにおける鋲型のレーンマークが位置するように、前記撮像手段の撮像タイミングを決定することができる。

本発明の実施の形態の一例について、図１〜図２を参照して説明する。図１は本発明のレーンマーク認識装置の全体構成図、図２は画像合成の説明図、図３はカメラ２による道路の撮像タイミングを決定する一例を時系列的に示した説明図である。

図１を参照して、レーンマーク認識装置１は車両に搭載して使用され、走行車線を区分するために道路に設置されたBotts Dots（本発明の鋲型のレーンマークに相当する）を検出して、走行車線を認識するものである。

レーンマーク認識装置１は、車両に搭載されて車両前方の道路の画像を撮像するカメラ２（本発明の撮像手段に相当する）から出力される映像信号Ｉm_sigを入力して、画像メモリ１０，１１に記憶する画像入力回路１０、画像メモリ１１に記憶された画像データＭ1と画像メモリ１２に記憶された画像データＭ2とを合成して、合成画像データＭ3を生成する画像合成手段１３、合成画像データＭ3からBotts Dotsを検出するBotts Dots検出手段１４（本発明のレーンマーク検出手段に相当する）、及びBotts Dots検出手段１４によるBotts Dotsの検出結果を示すBotts Dots検出データBD_sに基づいて、走行車線を認識する車線認識手段１５を備え、車線認識手段１５は認識した車線の情報を示す車線認識データDL_sを出力する。

なお、画像入力回路１０と画像メモリ１１，１２とにより、本発明の画像データ取得手段が構成される。

さらに、レーンマーク認識装置１は、予めメモリ２３に記憶されたBotts Dotsの規格データBD_datから、Botts Dotsの設置間隔Ｌを認識する設置間隔認識手段２１、車両に設けられて車輪の回転速度を検出する車速センサ３の検出信号Ｖsから、車両の移動速度ｖを認識する車速認識手段２２、及びBotts Dotsの設置間隔Ｌと車両の移動速度ｖとに基づいてカメラ２による道路の撮像タイミングを決定する撮像タイミング決定手段２０を備えている。

次に、図１及び図２を参照して、レーンマーク認識装置１による一連のBotts Dots検出処理について説明する。先ず、撮像タイミング決定手段２０は、Botts Dotsの設置間隔Ｌと車両の移動速度ｖとを用いた以下の式（４）による演算処理を行って、カメラ２による道路の撮像タイミングを決定する。

Ｔv ＝ Ｌ／ｖ × （ｎ＋0.5） ・・・・・（４）
但し、Ｌ：Botts Dotsの設置間隔、ｖ：車両の移動速度、ｎ：Ｔv≧Ｔmin（下限時間）。

ここで、下限時間Ｔminは、カメラ２の感度により要求される露光時間、及びカメラ２の最小撮像間隔よりも長く設定された時間である。そして、撮像タイミング決定手段２０は、任意の第１の時点Ｔ_１でカメラ２に対して撮像の開始を指示する撮像指示信号Ｔm_cntを出力し、次に、該第１の時点ＴからＴvが経過した第２の時点Ｔ_２（＝Ｔ_１＋Ｔv）でカメラ２に対して撮像指令信号Ｔm_cntを出力する。

このとき、画像入力回路１０は、第１の時点Ｔ_１で出力された撮像指令信号Ｔm_cntに応じてカメラ２により撮像された画像の映像信号Ｉm_sigを取り込み、画像データＭ1として画像メモリ１１に記憶する。同様に、画像入力回路１０は、第２の時点Ｔ_２で出力された撮像指令信号Ｔm_cntに応じてカメラ２により撮像された画像の映像信号Ｉm_sigを取り込み、画像データＭ2として画像メモリ１２に記憶する。

ここで、上記式（４）においてｎ＝０であれば、第２の時点Ｔ_２は第１の時点Ｔ_１から、車両がBotts Dotsの設置間隔Ｌの１／２だけ移動した時点となる。この場合、図２に示したように、第１の時点Ｔ_１において撮像された映像の画像データＭ1におけるBotts Dots５ａ〜５ｅの位置に対して、第２の時点Ｔ_２において撮像された映像の画像データＭ2におけるBotts Dots６ａ〜６ｅの位置は、ほぼＬ／２だけずれた状態となる。

例えば、画像データＭ2におけるBotts Dots６ｄの位置は、画像データＭ1におけるBotts Dots５ｃとBotts Dots５ｄのほぼ中間の位置となる。同様にして、画像データＭ2における他のBotts Dotsの位置も、画像データＭ1における隣接したBotts Dotsのほぼ中間の位置となる。

そのため、画像合成手段１３により、画像データＭ1と画像データＭ2とを合成して生成される合成画像Ｍ3を、画像データＭ1におけるBotts Dots５ａ〜５ｅと、画像データＭ2におけるBotts Dots６ａ〜６ｅが重ならないようにして生成することができる。そして、Botts Dots検出手段１４は、合成画像Ｍ3からBotts Dotsを検出するため、合成画像Ｍ3中で検出されるBotts Dotsの個数が増加する。

そのため、車線認識手段１５は、合成画像データＭ3中のBotts Dotsのうち、検出不能なものがいくつか生じても、検出された他のBotts Dotsの位置の情報データから、走行車線を認識することができる。

また、上記式（４）において、ｎ＝１，２，３…、のときも、第２の時点は、Ｌ／ｖ（車両がBotts Dotsの設置間隔Ｌを移動する時間）×ｎ＋Ｌ／２ｖ（車両がBotts Dotsの設置間隔Ｌの１／２を移動する時間）となるので、ｎ＝０のときと同様に、画像データＭ1におけるBotts Dotsと、画像データＭ2におけるBotts Dotsが重ならないように、合成画像データＭ3を生成することができる。

また、撮像タイミング決定手段２０は、車両の移動速度が遅く、上記式（４）により算出されるＴvが車両の制御系からの応答性の要求等により決定される上限時間Ｔmaxを越えるときには、以下の式（５），式（６）によりＴvを算出する。

ｍ ＝ int（Ｌ／ｖ × 0.5／Ｔmax）＋１ ・・・・・（５）
Ｔv ＝ Ｌ／ｖ × 0.5／ｍ ・・・・・（６）
但し、int（Ｌ／ｖ × 0.5／Ｔmax）：（Ｌ／ｖ × 0.5／Ｔmax）を超えない最大の整数。

ここで、上記式（５）により算出されるｍは、車両がBotts Dotsの設置間隔Ｌの１／２を移動する時間（Ｌ／２ｖ）に含まれる上限時間Ｔmaxのサイクル数となる。そのため、上記式（６）により、上限時間Ｔmaxを越えない範囲で、画像データＭ1におけるBotts Dotsの位置と画像データＭ2におけるBotts Dotsの位置が重ならないように、Ｔvを決定することができる。

図３は、上記式（５），式（６）によりＴvを算出して、カメラ２による道路の撮像タイミングを決定する一例を時系列的に示した説明図である。図３においては、上記式（５）により算出されたｍが３であり、図中ｔ₁〜ｔ₄及びｔ₄〜ｔ₇が車両がBotts Dotsの設置間隔Ｌの１／２を走行する時間を示している。そして、上記式（６）で算出されるＴvのｍサイクル分の間隔（図中、ａ，ｂ，ｃ）を空けた２つの時点（図中、ｔ₁とｔ₄，ｔ₂とｔ₅，ｔ₃とｔ₆）で撮像した画像データを合成することにより、車両がＬ／２を移動する時間間隔を空けた２つの画像データの合成画像データを生成することができる。

なお、本実施の形態では、上記式（４）により、第１の時点Ｔ1からBotts Dotsの設置間隔Ｌの１／２を移動する時間が経過した第２の時点を、次の撮像タイミングとしたが、他の方法による場合であっても、画像データＭ1におけるBotts Dotsの位置と画像データＭ2におけるBotts Dotsの位置が異なるように、第２の時点を決定することで本発明の効果を得ることができる。

また、本実施の形態では、画像合成手段１３により２つの画像データＭ1、Ｍ2を合成して、合成画像データＭ3を生成したが、３つ以上の画像データを合成して合成画像データを生成するようにしてもよい。

本発明のレーンマーク認識装置の全体構成図。 画像合成の説明図。 カメラ２による道路の撮像タイミングを決定する一例を時系列的に示した説明図。

符号の説明

１…レーンマーク認識装置、２…カメラ、３…車速センサ、５，６…Botts Dots、１０…画像入力回路、１１，１２…画像メモリ、１３…画像合成手段、１４…Botts Dots検出手段、１５…車線認識手段、２０…撮像タイミング決定手段、２１…設置間隔認識手段、２２…車速認識手段

Claims (6)

1. 撮像手段と、
   前記撮像手段により撮像された道路の画像データを取得する画像データ取得手段と、
   道路に設けられた鋲型のレーンマークの設置間隔を認識する設置間隔認識手段と、
   車両の移動速度を認識する車速認識手段と、
   前記画像データ取得手段により取得された複数の画像データを合成した合成画像データを生成する画像合成手段と、
   該画像合成手段により合成される複数の画像データを前記画像データ取得手段によって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔と前記移動速度とに基づいて、該複数の画像データにおける鋲型のレーンマークの位置が異なるように決定する撮像タイミング決定手段と、
   前記画像合成手段により生成された合成画像データから鋲型のレーンマークを検出するレーンマーク検出手段とを有する車両。
2. 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、車両が前記レーンマークの設置間隔の１／２を走行した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、
   前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする請求項１記載の車両。
3. 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、以下の式（１）により算出される時間Ｔvが経過した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、
   前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする請求項１記載の車両。
   Ｔv ＝ Ｌ／ｖ ×（ｎ＋0.5） ・・・・・（１）
   但し、Ｌ：鋲型のレーンマークの設置間隔、ｖ：車両の速度、ｎ：Ｔv≧Ｔmin（所定の下限時間）となる最小の整数。
4. 撮像手段により撮像された道路の画像データを取得する画像データ取得手段と、
   道路に設けられた鋲型のレーンマークの設置間隔を認識する設置間隔認識手段と、車両の移動速度を認識する車速認識手段と、
   前記画像データ取得手段により取得された複数の画像データを合成した合成画像データを生成する画像合成手段と、
   該画像合成手段により合成される複数の画像データを前記画像データ取得手段によって取得するときに、前記撮像手段による画像の撮像タイミングを、前記設置間隔と前記移動速度とに基づいて、該複数の画像データにおける鋲型のレーンマークの位置が異なるように決定する撮像タイミング決定手段と、
   前記画像合成手段により生成された合成画像データから鋲型のレーンマークを検出する前記レーンマーク検出手段とを有するレーンマーク認識装置。
5. 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、車両が前記レーンマークの設置間隔の１／２を走行した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、
   前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする請求項４記載のレーンマーク認識装置。
6. 前記撮像タイミング決定手段は、前記撮像手段により画像が撮像された第１の時点から、以下の式（２）により算出される時間Ｔvが経過した第２の時点を、次回の前記撮像手段による画像の撮像タイミングとして決定し、
   前記画像合成手段は、前記画像データ取得手段により取得された、前記第１の時点で撮像された画像の画像データと前記第２の時点で撮像された画像の画像データとを合成して、前記合成画像データを生成することを特徴とする請求項４記載のレーンマーク認識装置。
   Ｔv ＝ Ｌ／ｖ ×（ｎ＋0.5） ・・・・・（２）
   但し、Ｌ：鋲型のレーンマークの設置間隔、ｖ：車両の速度、ｎ：Ｔv≧Ｔmin（所定の下限時間）となる最小の整数。

Images