JP2007004669A

JP2007004669A - 車両及び車線認識装置

Info

Publication number: JP2007004669A
Application number: JP2005186383A
Authority: JP
Inventors: Naoki Mori; 直樹森; Yukio Kobayashi; 幸男小林
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-06-27
Filing date: 2005-06-27
Publication date: 2007-01-11
Anticipated expiration: 2025-06-27
Also published as: EP1901259A4; US20090118994A1; US7970529B2; WO2007000912A1; JP4392389B2; EP1901259A1

Abstract

【課題】路面に予期できないブレーキ痕や道路補修跡が存在する場合にも、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、ＧＰＳ等と地図データとから道路の情報を取得して、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる車両及び車線認識装置を提供する。
【解決手段】撮像手段８を介して取得した道路の画像を処理して道路の車線を推定する処理を実行し、処理の結果を第１車線情報として出力する画像処理手段２と、道路の地図データを保持する保持手段３と、車両の現在の位置情報を取得する位置情報取得手段４と、地図データと現在の位置情報とを用いて道路の車線を推定する処理を実行し、処理の結果を第２車線情報として出力する車線推定手段５と、第１車線情報と第２車線情報とに基づいて、道路の実際の車線を認識する実車線認識手段６とを有する。
【選択図】図１

Description

本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、ＧＰＳ等と地図データにより道路の情報を取得して、道路の車線を認識する車両及び車線認識装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出し、検出した結果から認識される車両の走行する車線（走行レーン）の情報に基づいて、車両の制御や運転者への情報の提示を行う技術が知られている。このような技術において、道路の画像から画像処理によって車線を認識する際に、ＧＰＳや地図データ等から取得される道路情報に基づいた前方の道路状況に応じて画像処理を行い、車線を精度良く認識する技術が提案されている（例えば特許文献１，２参照）。また、画像処理によって認識した車線の情報に基づいて車両の制御や運転者への情報の提示を行う際に、画像処理結果をＧＰＳや地図データ等から取得される道路情報で補足して制御や情報の提示を行う技術が提案されている（例えば特許文献３，４参照）。

特許文献１の走行レーン認識装置は、カメラからの画像情報を処理して前方道路上の左右の白線位置を認識する画像情報処理手段と、この画像情報処理手段による白線位置画像情報から走行レーンの位置や特徴及び自車両との位置関係を推定する走行レーン推定手段とを備える。さらに、前方道路上に通常の白線とは異なる特殊な特定道路領域（例えば、縞模様又はゼブラ模様の白線のある特殊な白線領域）が存在するか否かを判別する道路状況判別手段を備える。道路状況判別手段は、ＧＰＳから取得される車両の位置情報に、ＲＯＭに記憶された特定道路領域に関するデータを対応させながら、前方道路上に特定道路領域が存在するか否かを判別する。画像情報処理手段は、通常の白線の場合、白線の両エッジ部分の中点を白線の道路幅方向位置と認識するが、道路状況判別手段により車両の前方の道路に特定道路領域が存在すると判別された場合には、白線領域の特定部分（認識可能な白線領域の本線側エッジ部分）を白線の道路幅方向位置として白線位置の認識を行なう。そして、走行レーン推定手段は、抽出された左右の道路白線で規定される領域、又は抽出された左右の道路白線の一方と予め認識されているレーン幅とから規定される領域を、走行レーンと推定する。

特許文献２の走行レーン認識装置は、カメラで撮像した道路画像を画像処理して走行レーンを検出する画像処理手段を備える。画像処理手段は、白線、道路鋲、ポストコーン等の複数種類のレーンマークに応じた異なる複数の画像処理アルゴリズムを有する。このとき、ＧＰＳ受信手段により衛星から車両が現在走行している道路の位置情報を受信し、道路毎のレーンマーク種類が格納されている道路地図データファイルから、現在走行している道路前方のレーンマークの種類を判定する。そして、前方のレーンマークに適した画像処理アルゴリズムを複数の画像処理アルゴリズムの中から選択して、走行レーンを検出する。

特許文献３の車両用警報装置は、カメラから取得した画像から車両が走行している道路の車線の左右の区画線（白線）を画像処理により認識する白線認識系統と、車両挙動を得るためのセンサ群（車速センサ等）とを備える。さらに、ＧＰＳから取得する自車位置に基づいて、ＣＤ−ＲＯＭから読み出した地図データと比較することで、車両が走行している道路の位置情報、道路情報を取得するナビゲーション系統を備える。車両用警報装置は、認識した車線の左右の区画線とセンサ群により得られた車両挙動とから、車両のレーン逸脱を予測した場合に、運転者に対して警報を発する。このとき、取得した道路情報から、車両が所定の道路区間（過去に誤警報が発生したと判定された道路区間）を走行している場合には、警報を発する条件を他の場合に比べて警報が発生し難い条件に変更する。

特許文献４の車両用運転支援装置は、カメラで撮影した車両前方の画像を処理して車線を示す白線等を認識する周辺監視手段と、周辺監視手段からの情報に基づいて、レーン逸脱警告制御等により運転者の運転操作を支援する運転支援手段とを備える。さらに、複数の人工衛星からの電波情報に基づき求められる車両の現在位置と、ＤＶＤ−ＲＯＭ等の記憶媒体に格納された地図情報と、道路インフラから路車間通信により取得される前方道路情報とから、車両の前方道路状況（分岐路等）を認識すると共に、前方道路状況によって運転支援制御に支障が生じるか否かを判定する道路状況認識手段を備える。そして、道路状況認識手段からの情報に基づいて、運転支援手段の作動信頼性の低下が予測される場合には、運転者に事前に情報を提供する。

しかしながら、道路上には、予期できないブレーキ痕や道路補修跡が存在する場合がある。このような場合に、ブレーキ痕や道路補修跡が存在することは、予め記憶された道路情報からは取得することができない。また、ブレーキ痕や道路補修跡があるため、道路の画像から画像処理によって車線を精度良く認識することが困難となる。よって、このような場合には、特許文献１，２のもののように、ＧＰＳや地図データ等から取得される道路情報に基づいて前方の道路状況を考慮して画像処理を行っても、車線を精度良く認識することが困難であるという不都合がある。また、特許文献３，４のものでも、このような場合には、画像処理による車線の検出自体が困難であり、さらにＧＰＳや地図データ等から取得される道路情報で補足することもできないため、車両の制御や運転者への情報の提示を適切に行うことができないという不都合がある。
特開平１１−７２３３７号公報特開２００３−１２３０５８号公報特開２００２−９２７９４号公報特開２００３−２０５８０５号公報

本発明は、かかる不都合を解消して、路面に予期できないブレーキ痕や道路補修跡が存在する場合にも、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、ＧＰＳ等と地図データとから道路の情報を取得して、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる車両及び車線認識装置を提供することを目的とする。

かかる目的を達成するために、本発明の第１態様の車両は、撮像手段と、前記撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、前記道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、前記第１車線情報と、前記第２車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する。

また、本発明の第１態様の車線認識装置は、車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、前記道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、前記第１車線情報と、前記第２車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する。

前記本発明の第１態様の車両及び車線認識装置によれば、前記画像処理手段は、前記撮像手段を介して取得する前記道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する。これにより、車両の走行する車線の情報が取得される。しかし、画像処理により車線を推定する際に、例えば、道路上に予期できないブレーキ痕や道路補修跡等がある場合には、車線を適切に推定することが困難となる。そして、このような場合でも、実際の車線が可能な限り適切に認識されることが望ましい。このとき、前記車線推定手段は、前記地図データと前記車両の現在の位置情報とを用いて前記車両の走行する車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する。これにより、画像処理による車線の推定とは異なる方法で、車線の情報を取得することができる。そして、前記実車線認識手段は、前記第１車線情報と、前記第２車線情報との両方に基づいて、実際の車線を認識するので、画像処理により車線が適切に推定されない場合でも、実際の車線を示す情報として、地図データ及び位置情報により推定された車線の情報を用いることができる。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。

次に、本発明の第２態様の車両は、撮像手段と、前記撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、前記道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、前記第１車線情報が示す前記車線の形状と、前記第２車線情報が示す前記車線の形状とが類似する度合である車線類似度を算出する手段と、前記第１車線情報と、前記第２車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する。

また、本発明の第２態様の車線認識装置は、車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、前記道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、前記第１車線情報が示す前記車線の形状と、前記第２車線情報が示す前記車線の形状とが類似する度合である車線類似度を算出する手段と、前記第１車線情報と、前記第２車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する。

前記本発明の第２態様の車両及び車線認識装置によれば、前記第１態様のものと同様に、前記画像処理手段は、前記撮像手段を介して取得する前記道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する。これにより、車両の走行する車線の情報が取得される。しかし、画像処理により車線を推定する際に、例えば、道路上に予期できないブレーキ痕や道路補修跡等がある場合には、車線を適切に推定することが困難となる。そして、このような場合でも、実際の車線が可能な限り適切に認識されることが望ましい。このとき、前記車線推定手段は、前記地図データと前記車両の現在の位置情報とを用いて前記車両の走行する車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する。これにより、画像処理による車線の推定とは異なる方法で、車線の情報を取得することができる。

そして、前記実車線認識手段は、前記第１車線情報と、前記第２車線情報との両方に基づいて、実際の車線を認識するので、画像処理により車線が適切に推定されない場合でも、実際の車線を示す情報として、地図データ及び位置情報により推定された車線の情報を用いることができる。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。このとき、前記実車線認識手段は、前記第１車線情報と、前記第２車線情報とに加えて、前記第１車線情報が示す前記車線の形状と、前記第２車線情報が示す前記車線の形状とが類似する度合である車線類似度を所定の閾値と比較した結果に基づいて、前記実際の車線を認識する。これにより、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって車線の推定がなされた場合に、両者が推定した車線の形状の類似の度合により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報との、それぞれの信頼性を把握することができるので、実際の車線をより適切に認識することができる。

このとき、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、それぞれ実際の車線の形状を精度良く推定している場合には、両者の推定した車線の形状は類似の度合が高いものとなると考えられる。さらに、画像処理による車線の推定が精度良く行われている場合には、ＧＰＳ等の測位精度や地図データのデータ密度を考慮すると、実際の車両前方の道路の画像を処理する方が、より局所的な処理を行っているので、画像処理によって推定した車線の形状の方が、地図データ及び位置情報によって推定した車線の形状より位置の精度が高いと考えられる。よって、前記本発明の第２態様の車両及び車線認識装置において、前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第１車線情報に基づいて、前記実際の車線を認識することが好ましい。

これによれば、前記車線類似度が前記所定の閾値より大きいときには、前記第１車線情報に基づいて、前記実際の車線が認識されるので、地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、地図データ及び位置情報により推定した車線の形状より精度が高いと考えられる画像処理によって推定した車線の形状の情報が、実際の車線を示す情報として用いられ、実際の車線が適切に認識される。

また、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しているときには、画像処理による車線の推定と、地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性がある。例えば、前方の道路に分岐等がある場合には、車線の形状がいずれの方法からも適切に推定できないことが考えられる。よって、前記本発明の第２態様の車両及び車線認識装置において、前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかった旨を示す情報を出力することが好ましい。

これによれば、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかった旨を示す情報が出力されるので、画像処理による車線の推定と、地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、実際の車線が認識されなかった旨が適切に把握される。

さらに、画像処理により車線を推定する処理を実行した際に、例えば、道路上に予期できないブレーキ痕や道路補修跡等が存在する場合には、車線が精度良く推定されないことや、さらには車線の推定がなされないことが考えられる。また、地図データ及び位置情報により車線を推定する処理を実行した際にも、例えば、前記位置情報取得手段が、ＧＰＳ等の走行情報提供設備から信号や通信によって車両の位置情報を取得するものであるとき、信号や通信の不良等により、現在の車両の位置情報を取得することができず、車線の推定がなされないことが考えられる。

よって、前記本発明の第２態様の車両及び車線認識装置において、前記第１車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第１推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第１車線形状情報とを有し、前記第２車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第２推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第２車線形状情報とを有し、前記車線類似度を算出する手段は、前記車線類似度を算出する際に、前記第１車線形状情報と前記第２車線形状情報とを用い、前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第１推定有無情報と、前記第２推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第１車線形状情報と、前記第２車線形状情報とから決定して出力する手段とを備えることが好ましい。

これによれば、前記実際の車線が認識されたか否かを示す実車線認識有無情報が、前記第１推定有無情報と、前記第２推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定されると共に、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報が、前記第１車線形状情報と、前記第２車線形状情報とから決定される。このとき、前記車線類似度は、前記第１車線形状情報と前記第２車線形状情報とを用いて算出される。これにより、画像処理によって車線の推定がなされなかった場合や、地図データ及び位置情報によって車線の推定がなされなかった場合でも、実際の車線を示す情報が適切に決定される。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。さらに、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって車線の推定がなされた場合に、両者が推定した車線の形状の類似の度合により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報との、それぞれの信頼性を把握することができるので、実際の車線をより適切に認識することができる。

また、前記本発明の第２態様の車両及び車線認識装置において、前記実車線認識手段は、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第２車線形状情報を設定することが好ましい。

これによれば、前記実車線認識手段は、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線形状情報に前記第２車線形状情報を設定する。よって、画像処理により車線が推定できなかった場合にも、地図データ及び位置情報により推定した車線の情報で補完するので、実際の車線を検出し得る機会を可能な限り高めることができる。

また、前記本発明の第２態様の車両及び車線認識装置において、前記実車線認識手段は、前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合において、前記第１推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第１車線形状情報を設定し、前記第１推定有無情報が前記車線の推定がなされなかったことを示すときには、前記実車線認識有無情報に前記車線が認識されなかった旨を設定することが好ましい。

これによれば、前記実車線認識手段は、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果を、そのまま実際の車線を示す情報として用いることができる。さらに、地図データ及び位置情報と、画像処理とのいずれによっても車線が推定されなかったときには、前記実車線認識有無情報に前記車線が認識されなかった旨が設定されるので、実際の車線が認識されなかった旨が明確に把握される。

さらに、前記本発明の第２態様の車両及び車線認識装置において、前記実車線認識手段は、前記第１推定有無情報が前記車線の推定がなされたことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合において、前記車線類似度が前記所定の閾値より大きいときには、前記実車線認識有無情報に、前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第１車線形状情報を設定し、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第２車線形状情報を設定し、前記第１推定有無情報が前記車線の推定がなされたことを示し、且つ前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第１車線形状情報を設定するものであり、前記実車線認識手段は、前記実際の車線が認識されたときには、該認識の信頼度を設定して出力する手段を備え、前記第１推定有無情報が前記車線の推定がなされたことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合において、前記車線類似度が前記所定の閾値より大きいときには、前記信頼度を最も高いレベルである第１レベルに設定し、前記第１推定有無情報が前記車線の推定がなされたことを示し、且つ前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合には、前記信頼度を前記第１レベルより低いレベルである第２レベルに設定し、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記信頼度を前記第２レベルより低いレベルである第３レベルに設定することが好ましい。

これによれば、前記実際の車線が認識されたときには、該認識の信頼度が出力される。このとき、前記車線類似度が前記所定の閾値より大きい場合には、前記信頼度が最も高いレベルである第１レベルに設定されるので、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高く、実際の車線が精度良く推定されているとみなせるときには、前記信頼度は最も高く設定される。また、前記第１推定有無情報が前記車線の推定がなされたことを示し、且つ前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合は、画像処理によってのみ車線の推定がなされた場合であり、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証することができないので、前記信頼度は前記第１レベルより低い第２レベルに設定される。また、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合は、地図データ及び位置情報によってのみ車線の推定がなされた場合であり、ＧＰＳ等の測位精度や地図データのデータ密度を考慮すると、地図データ及び位置情報による車線の推定は、より局所的な処理を行う画像処理による車線の推定より精度が低いとみなせるので、前記信頼度は前記第２レベルより低い第３レベルに設定される。このように前記信頼度を設定して出力することにより、認識された実際の車線を示す情報の信頼性を明確に把握することができる。そして、このように設定された信頼度を、実際の車線を示す情報と共に、車両の制御や運転者への報知に使用することができる。

ここで、車両の走行する車線は、一般的に、該車線の左側を規定する左側線と右側を規定する右側線とによって構成されるものである。よって、前記本発明の第１態様の車両及び車線認識装置において、前記画像処理手段によって出力される第１車線情報は、該画像処理手段の処理によって前記車線の左側を規定する左側線が推定されたか否かを示す第１左推定有無情報と、該左側線が推定された場合における該推定された左側線の形状を示す第１左側線形状情報と、該画像処理手段の処理によって前記車線の右側を規定する右側線が推定されたか否かを示す第１右推定有無情報と、該右側線が推定された場合における該推定された右側線の形状を示す第１右側線形状情報とを有し、前記車線推定手段によって出力される第２車線情報は、該車線推定手段の処理によって前記左側線及び右側線の両方が推定されたか否かを示す第２推定有無情報と、該左側線が推定された場合における該推定された左側線の形状を示す第２左側線形状情報と、該右側線が推定された場合における該推定された右側線の形状を示す第２右側線形状情報とを有し、前記実車線認識手段は、前記第１左推定有無情報が前記左側線の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合に、前記第１左側線形状情報と前記第２左側線形状情報とが類似する度合である左側線類似度を算出する手段と、前記第１推定有無情報が前記右側線の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合に、前記第１右側線形状情報と前記第２右側線形状情報とが類似する度合である右側線類似度を算出する手段と、前記実際の車線の左側を規定する実左側線が認識されたか否かを示す実左認識有無情報と、該実左側線が認識された場合における該認識された実左側線の形状を示す実左側線形状情報と、前記実際の車線の右側を規定する実右側線が認識されたか否かを示す実右認識有無情報と、該実右側線が認識された場合における該認識された実右側線の形状を示す実右側線形状情報とを、該算出された左側線類似度及び右側線類似度を所定の閾値と比較した結果に応じて決定して出力する手段とを備えることが好ましい。

これによれば、前記実左認識有無情報と、前記実左側線形状情報と、前記実右認識有無情報と、前記実右側線形状情報とが、前記算出された左側線類似度及び右側線類似度を所定の閾値と比較した結果に応じて決定される。これにより、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって左側線及び右側線の推定がなされた場合には、両者が推定した左側線及び右側線のそれぞれの形状の類似の度合により、画像処理により推定した左側線及び右側線の情報と、地図データ及び位置情報により推定した左側線及び右側線の情報との、それぞれの信頼性を把握することができるので、実際の左側線及び右側線をより適切に認識することができる。

このとき、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが、それぞれ実際の左側線及び右側線の形状を精度良く推定している場合には、両者の推定した左側線及び右側線の形状は、それぞれ類似の度合が高いものとなると考えられる。さらに、画像処理による左側線及び右側線の推定が精度良く行われている場合には、ＧＰＳ等の測位精度や地図データのデータ密度を考慮すると、実際の車両前方の道路の画像を処理する方が、より局所的な処理を行っているので、画像処理によって推定した左側線及び右側線の形状の方が、地図データ及び位置情報によって推定した左側線及び右側線の形状より位置の精度が高いと考えられる。よって、前記本発明の第１態様の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定すると共に、前記第1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左側線形状情報に前記第１左側線形状情報を設定し、該第１左推定有無情報が該左側線の推定がなされなかったことを示すときには、該実左側線形状情報に前記第２左側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第１右側線形状情報を設定し、該第１右推定有無情報が該右側線の推定がなされなかったことを示すときには、該実右側線形状情報に前記第２左側線形状情報を設定することが好ましい。

これによれば、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定するので、地図データ及び位置情報により推定した左側線及び右側線の情報によって、画像処理による左側線及び右側線の推定の信頼性が検証され、画像処理により左側線及び右側線が精度良く推定されているとみなせるときには、車線が認識された旨が実際の左側線及び右側線の情報に適切に設定される。これと共に、前記実車線認識手段は、前記第1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左側線形状情報に前記第１左側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第１右側線形状情報を設定するので、地図データ及び位置情報により推定した左側線及び右側線の形状より精度が高いと考えられる画像処理によって推定した左側線及び右側線の形状の情報が、実際の左側線及び右側線の形状の情報として適切に設定される。また、前記実車線認識手段は、前記第１左推定有無情報が前記左側線の推定がなされなかったことを示すときには、前記実左側線形状情報に前記第２左側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされなかったことを示すときには、前記実右側線形状情報に前記第２左側線形状情報を設定する。よって、画像処理により左側線及び右側線が推定できなかった場合にも、地図データ及び位置情報により推定した左側線及び右側線の情報で補完するので、実際の左側線及び右側線を検出し得る機会を可能な限り高めることができる。

また、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが相違しているときには、画像処理による左側線及び右側線の推定と、地図データ及び位置情報による左側線及び右側線の推定とのいずれか、もしくは両方において、実際の左側線及び右側線が適切に推定されていない可能性がある。よって、前記本発明の第１態様の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との少なくともいずれかが前記所定の閾値以下である場合と、前記左側線類似度と前記右側線類似度との一方が算出され、且つ該算出された左側線類似度と右側線類似度との一方が前記所定の閾値以下である場合とには、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識されなかった旨を設定することが好ましい。

これによれば、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との少なくともいずれかが前記所定の閾値以下である場合と、前記左側線類似度と前記右側線類似度との一方が算出され、且つ該算出された左側線類似度と右側線類似度との一方が前記所定の閾値以下である場合とには、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識されなかった旨を設定するので、画像処理による左側線及び右側線の推定と、地図データ及び位置情報による左側線及び右側線の推定とのいずれか、もしくは両方において、実際の左側線及び右側線が適切に推定されていない可能性があるときには、左側線及び右側線が認識されなかった旨が実際の左側線及び右側線の情報に適切に設定される。

また、前記本発明の第１態様の車両及び車線認識装置において、前記実車線認識手段は、前記第１左推定有無情報及び第1右推定有無情報が、それぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合には、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第２左側線形状情報を設定し、前記実右側線形状情報に前記第２右側線形状情報を設定することが好ましい。

これによれば、前記実車線認識手段は、前記第１左推定有無情報及び第1右推定有無情報が、それぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合には、前記実左側線形状情報に前記第２左側線形状情報を設定し、前記実右側線形状情報に前記第２右側線形状情報を設定する。よって、画像処理により左側線及び右側線が推定できなかった場合にも、地図データ及び位置情報により推定した左側線及び右側線の情報で補完するので、実際の左側線及び右側線を検出し得る機会を可能な限り高めることができる。

また、前記本発明の第１態様の車両及び車線認識装置において、前記実車線認識手段は、前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合において、前記第１左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左認識有無情報に前記実左側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第１左側線形状情報を設定し、前記第１左推定有無情報が前記左側線の推定がなされなかったことを示すときには、前記実左認識有無情報に前記実左側線が認識されなかった旨を設定し、前記第１右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右認識有無情報に前記実右側線が認識された旨を設定すると共に、前記実右側線形状情報に前記第１右側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされなかったことを示すときには、前記実右認識有無情報に前記実右側線が認識されなかった旨を設定することが好ましい。

これによれば、前記実車線認識手段は、地図データ及び位置情報により左側線及び右側線が推定されなかった場合において、画像処理により左側線又は右側線が推定されているときには、画像処理による左側線又は右側線の推定の結果を、そのまま実際の左側線又は右側線を示す情報として用いることができる。さらに、地図データ及び位置情報と、画像処理とのいずれによっても左側線又は右側線が推定されなかったときには、前記実左認識有無情報又は実右認識有無情報にそれぞれ前記左側線又は右側線が認識されなかった旨が設定されるので、実際の左側線又は右側線が認識されなかった旨が明確に把握される。

さらに、前記本発明の第１態様の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定すると共に、前記左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左側線形状情報に前記第１左側線形状情報を設定し、該第１左推定有無情報が該左側線の推定がなされなかったことを示すときには、該実左側線形状情報に前記第２左側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第１右側線形状情報を設定し、該第１右推定有無情報が該右側線の推定がなされなかったことを示すときには、該実右側線形状情報に前記第２左側線形状情報を設定し、前記第１左推定有無情報及び第１右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第２左側線形状情報を設定し、前記実右側線形状情報に前記第２右側線形状情報を設定し、前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合において、前記第１左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左認識有無情報に前記実左側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第１左側線形状情報を設定し、前記第１左推定有無情報が前記左側線の推定がなされなかったことを示すときには、前記実左認識有無情報に前記実左側線が認識されなかった旨を設定し、前記第１右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右認識有無情報に前記実右側線が認識された旨を設定すると共に、前記実右側線形状情報に前記第１右側線形状情報を設定し、前記第１右推定有無情報が前記右側線の推定がなされなかったことを示すときには、前記実右認識有無情報に前記実右側線が認識されなかった旨を設定するものであり、前記実車線認識手段は、前記実左側線及び実右側線の少なくともいずれか一方が認識されたときには、該認識の信頼度を設定して出力する手段を備え、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との両者が前記所定の閾値より大きい場合には、前記信頼度を最も高いレベルである第１レベルに設定し、前記左側線類似度と前記右側線類似度のいずれか一方が算出され、且つ該算出された左側線類似度と前記右側線類似度とのいずれか一方が前記所定の閾値より大きい場合と、前記第１左推定有無情報及び第1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合とには、前記信頼度を前記第１レベルより低いレベルである第２レベルに設定し、前記第１左推定有無情報及び第1右推定有無情報のいずれか一方が、それぞれ前記左側線及び右側線のいずれか一方の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合と、前記第１左推定有無情報及び第1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合とには、前記信頼度を前記第２レベルより低いレベルである第３レベルに設定することが好ましい。

これによれば、前記実左側線及び実右側線の少なくともいずれか一方が認識されたときには、該認識の信頼度が出力される。このとき、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との両者が前記所定の閾値より大きい場合には、前記信頼度が最も高いレベルである第１レベルに設定されるので、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが、左右とも類似の度合が高く、実際の左側線及び右側線が精度良く推定されているとみなせるときには、前記信頼度は最も高く設定される。また、前記左側線類似度と前記右側線類似度のいずれか一方が算出され、且つ該算出された左側線類似度と前記右側線類似度とのいずれか一方が前記所定の閾値より大きい場合は、左側線及び右側線の一方のみについて、精度良く推定されているとみなせる場合であるので、前記信頼度は前記第１レベルより低い第２レベルに設定される。また、前記第１左推定有無情報及び第1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合は、画像処理によってのみ左側線及び右側線の推定がなされた場合であり、地図データ及び位置情報により推定した左側線及び右側線の情報を用いて、画像処理による左側線及び右側線の推定の信頼性を検証できないので、前記信頼度は前記第１レベルより低い第２レベルに設定される。さらに、前記第１左推定有無情報及び第1右推定有無情報のいずれか一方が、それぞれ前記左側線及び右側線のいずれか一方の推定がなされたことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされなかったことを示す場合は、画像処理によってのみ左側線及び右側線について推定がなされた場合であり、地図データ及び位置情報により推定した左側線及び右側線の情報を用いて、画像処理による左側線及び右側線の推定の信頼性を検証できず、さらに左側線及び右側線の一方のみしか推定がなされていないので、前記信頼度は前記第２レベルよりも低い第３レベルに設定される。また、前記第１左推定有無情報及び第1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合は、地図データ及び位置情報によってのみ左側線及び右側線の推定がなされた場合であり、ＧＰＳの測位精度等を考慮して、画像処理によってのみ推定がなされた場合よりも精度が低いとみなせるので、前記信頼度は前記第２レベルより低い第３レベルに設定される。このように前記信頼度を設定して出力することにより、認識された実際の車線を示す情報の信頼性を明確に把握することができる。そして、このように設定された信頼度を、実際の車線を示す情報と共に、車両の制御や運転者への報知に使用することができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本発明の第１実施形態による車線認識装置の機能ブロック図であり、図２〜図４は、図1の車線認識装置における車線認識処理のフローチャートである。また、図５は、図１の車線認識装置における車線認識処理の認識対象である車線の例示図であり、図６〜図８は、図1の車線認識装置における車線認識処理の説明図である。なお、本第１実施形態は、本発明の第１態様に対応する実施形態である。

図１を参照して、車線認識装置１は、マイクロコンピュータ等により構成された電子ユニットであり、その処理機能として、道路の画像を取得して車線を推定する処理を実行する画像処理手段２と、地図データを保持する地図データ記憶媒体３と、ＧＰＳにより車両の現在の位置情報を取得するＧＰＳユニット４と、地図データと車両の現在の位置情報とから車線を推定する処理を実行する車線推定手段５と、画像処理手段２による処理の結果と車線推定手段５による処理の結果とに基づいて実際の車線を認識する処理を実行する実車線認識手段６とを備え、車両７に搭載されている。

画像処理手段２は、車両７のフロント部分に取り付けられて車両７の前方の画像を撮像するビデオカメラ８（ＣＣＤカメラ等、本発明の撮像手段）を介して道路の画像を取得する。そして、画像処理手段２は、取得した道路の画像を処理して、車両７が走行する車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する。なお、ビデオカメラ８と車線認識装置1とを備えることにより、本発明の車両が構成される。

地図データ記憶媒体３（本発明の保持手段）は、地図データが記録されているＣＤ−ＲＯＭ、ＤＶＤ、ＨＤＤ等の記憶媒体である。地図データ記憶媒体３には、地図データとして、道路の位置、道路の車線幅等が記録されている。

ＧＰＳユニット４（本発明の位置情報取得手段）は、複数のＧＰＳ（Global Positioning System）衛星から送信される情報を受信し、該受信した情報に基づいて車両７の現在の位置情報（緯度、経度、進行方向）を取得する。

車線推定手段５は、地図データ記憶媒体３から読み出される地図データと、ＧＰＳユニット４によって取得される現在の車両７の位置情報とを用いて、車両７が現在走行する道路の情報を特定する。そして、車線推定手段５は、特定した道路の情報から車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する。

実車線認識手段６は、画像処理手段２から出力される第１車線情報と、車線推定手段５から出力される第２車線情報とに基づいて、実際の車線の情報を認識する処理を実行し、該処理の結果を実際の車線を示す情報（以下、実車線情報という）として出力する。さらに、実車線認識手段６は、実際の車線が認識された場合には、該認識の信頼度を設定し、実車線情報と共に出力する。信頼度は、認識の精度を示す指標であり、該認識の結果に応じて、レベル１〜レベル３の３段階に設定される。レベル１は、認識の信頼度が最も高いことを示し（高精度）、レベル２は、信頼度がレベル１より低いことを示し（中精度），レベル３は、さらに信頼度がレベル２より低いことを示す（低精度）。

次に、本実施形態の車線認識装置１の作動を、図２〜図４に示したフローチャートに従って説明する。図２は車線認識処理の全体的な作動（車線認識装置１のメインルーチン処理）を示すフローチャート、図３は画像処理により車線を推定する処理（サブルーチン処理）を示すフローチャート、図４は地図データ及び位置情報から車線を推定する処理（サブルーチン処理）を示すフローチャートである。なお、以下では、図５に示したように、車両７の進行方向が矢示方向であり、車両７の走行している道路の車線の左側がレーンマークＡ０で規定され、車線の右側がレーンマークＡ１で規定される場合を例にして説明する。レーンマークＡ０，Ａ１は、一例として、例えば白線とする。

図２を参照して、まず、画像処理手段２は、ビデオカメラ８から出力される映像信号が入力され、道路の画像を取得する（ＳＴＥＰ００１）。

次に、画像処理手段２は、取得した道路の画像から車線を推定する処理（以下、第１車線推定処理という）を実行し、第１車線情報を出力する（ＳＴＥＰ００２）。出力される第１車線情報は、第１車線推定処理によってレーンマークＡ０が推定されたか否かを示す第１左推定有無情報と、レーンマークＡ０が推定された場合における該推定されたレーンマークＡ０の形状を示す第１左側線形状情報と、第１車線推定処理によってレーンマークＡ１が推定されたか否かを示す第１右推定有無情報と、レーンマークＡ１が推定された場合における該推定されたレーンマークＡ１の形状を示す第１右側線形状情報とを有する。第１左推定有無情報には、レーンマークＡ０が推定された場合には「有」が設定され、推定されなかった場合には「無」が設定される。第１右推定有無情報にも、同様に、レーンマークＡ１が推定された場合には「有」が設定され、推定されなかった場合には「無」が設定される。

第１車線推定処理は、図３に示す如く実行される。まず、画像処理手段２は、取得された画像から白線を検出するためのエッジ検出の処理を行う（ＳＴＥＰ１０１）。次に、エッジ検出の出力データをハフ変換する（ＳＴＥＰ１０２）。次に、ハフ空間で直線成分を探索して抜き出す（ＳＴＥＰ１０３）。次に、抜き出された直線成分のデータを、ハフ空間から画像空間へ射影変換し、さらに画像空間から実空間（車両に固定された座標空間）へ射影変換する（ＳＴＥＰ１０４）。

次に、ＳＴＥＰ１０５に進み、実空間へ変換された直線成分のデータのうちから、レーンマークＡ０であると推定される直線成分のデータを選抜し、選抜した直線成分のデータに含まれる複数の点の座標を点列データＡ２とする。同様に、レーンマークＡ１であると推定される直線成分のデータを選抜し、その選抜した直線成分のデータに含まれる複数の点の座標を点列データＡ３とする。選抜された点列データＡ２，Ａ３は、図６に例示されるようなものである。図６において、座標系は、ｘ軸，ｙ軸を座標軸とする平面直角座標系であり、車両７の中心位置を原点とし、車両７の進行方向をｘ軸方向とするように設定されている。次に、図６に示すように、点列データＡ２を近似する２次式Ｆ２（ｙ=ａｘ*ｘ+ｂｘ+ｃ）と、点列データＡ３を近似する２次式Ｆ３（ｙ=ｄｘ*ｘ+ｅｘ+ｆ）とを求める（ａ,ｂ,ｃ,ｄ,ｅ,ｆは所定の係数）。このとき、近似方法としては最小二乗法を用いる。

そして、ＳＴＥＰ１０６に進み、第１車線情報を設定する。このとき、２次式Ｆ２が適切に求められている場合には、第１推定有無情報に「有」を設定すると共に、第１左側線形状情報にｙ=ａｘ*ｘ+ｂｘ+ｃを設定する。点列データＡ２が得られなかった場合や、点列データＡ２に十分なデータ数がなく２次式Ｆ２が求められなかった場合や、求めた２次式Ｆ２が点列データＡ２を近似する度合が低い（２次式Ｆ２に対する点列データＡ２のばらつきが大きい）場合等、２次式Ｆ２が適切に求められなかった場合には、第１左推定有無情報に「無」を設定する。また、２次式Ｆ３が適切に求められている場合には、第１右推定有無情報に「有」を設定すると共に、第１右側線形状情報にｙ=ｄｘ*ｘ+ｅｘ+ｆを設定する。点列データＡ３が得られなかった場合や、点列データＡ３に十分なデータ数がなく２次式Ｆ３が求められなかった場合や、求めた２次式Ｆ３が点列データＡ３を近似する度合が低い（２次式Ｆ３に対する点列データＡ３のばらつきが大きい）場合等、２次式Ｆ３が適切に求められなかった場合には、第１右推定有無情報に「無」を設定する。

次に、図２に戻り、ＧＰＳユニット４は、車両７の現在の位置情報を取得する処理を実行する（ＳＴＥＰ００３）。取得される車両７の現在の位置情報は、位置（緯度ｘ０，経度ｙ０）と進行方位θである。これらの情報は、球面座標系で示されており、進行方位θは、北方向を０度とし、時計回りを正とするように設定されている。次に、車線推定手段５は、地図データ記憶媒体３から地図データを読み込む（ＳＴＥＰ００４）。読み込まれる地図データは、道路における車線（車両の走行レーン）の中心線上の点列の座標（Ｘ，Ｙ）と、各点（Ｘ，Ｙ）での車線幅ｗであり、これらのデータは、南北方向にｘ軸に設定し、東西方向にｙ軸を設定した平面直角座標系で示されている。

次に、車線推定手段５は、地図データ及び位置情報により車線を推定する処理（以下、第２車線推定処理という）を実行し、第２車線情報を出力する（ＳＴＥＰ００５）。出力される第２車線情報は、第２車線推定処理によってレーンマークＡ０及びレーンマークＡ１が推定されたか否かを示す第２推定有無情報と、レーンマークＡ０が推定された場合における該推定されたレーンマークＡ０の形状を示す第２左側線形状情報と、レーンマークＡ１が推定された場合における該推定されたレーンマークＡ１の形状を示す第２右側線形状情報とを有する。第２推定有無情報には、レーンマークＡ０及びレーンマークＡ１が推定された場合には「有」が設定され、推定されなかった場合には「無」が設定される。

第２車線推定処理は、図４に示す如く実行される。まず、車線推定手段５は、ＧＰＳユニット４により現在の車両７の位置情報が取得されているか否かを確認する（ＳＴＥＰ２０１）。ＧＰＳ衛星からの受信不良等により、現在の車両７の位置情報が取得されていなかった場合は、ＳＴＥＰ２０２に進み、第２推定有無情報に「無」を設定する。

ＳＴＥＰ２０１において、現在の車両７の位置情報が取得されていた場合には、ＳＴＥＰ２０３に進み、車線推定手段５は、取得した車両７の位置（緯度ｘ０，経度ｙ０）を、球面座標系から地図データにおける平面直角座標系に座標変換する。座標変換して得られた車両７の位置Ｐ０は、図７（ａ），（ｂ）に例示するようなものとなる。図７（ａ），（ｂ）において、ｘ軸，ｙ軸，原点Ｏは、読み込まれた地図データの座標系ｘｙを示している。次に、ＳＴＥＰ２０４で、図７（ａ）に示すように、地図データの座標系ｘｙを、車両７の位置Ｐ０を原点としｘ'軸，ｙ'軸を座標軸とする座標系ｘ'ｙ'へ座標変換（平行移動）する。このとき、車両７の進行方向は矢示方向であり、ｘ'軸から進行方位θ度だけ回転した方向として示される。次に、ＳＴＥＰ２０５で、図７（ｂ）に示すように、座標系ｘ'ｙ'を、車両７の進行方向をｘ"軸方向としｘ"軸，ｙ"軸を座標軸とする座標系ｘ"ｙ"へ回転変換する（θ度回転させる）。これにより、地図データが座標系x"y"に座標変換される。以後のＳＴＥＰ２０６〜２０８の処理は、この座標系x"y"で行われる。

次に、ＳＴＥＰ２０６で、原点に最も近い地図データ上の点（基準点Ｐ１）を探索し、基準点Ｐ１の座標（ｘ１,ｙ１）と、基準点Ｐ１における車線幅ｗとを取得する。次に、ＳＴＥＰ２０７で、基準点Ｐ１から車両の進行方向に所定の距離Ｘ先までの複数の点（Ｐ２，．．．，Ｐｎ）を抽出する（ｎは３以上の整数）。所定の距離Ｘは、例えば１００ｍ程度とする。そして、基準点Ｐ１及び抽出した点（Ｐ２，．．．，Ｐｎ）の座標データ｛（ｘ１,ｙ１），（ｘ２,ｙ２），．．．，（ｘｎ,ｙｎ）｝を点列データＡ４とする。点列データＡ４は、図８に例示されるようなものである。次に、ＳＴＥＰ２０７で、図８に示すように、点列データＡ４を近似する２次式Ｆ４（ｙ=ｇｘ*ｘ+ｈｘ+ｉ）を求める（ｇ，ｈ，ｉは所定の係数）。このとき、近似方法としては最小二乗法を用いる。

次に、ＳＴＥＰ２０８で、図８に示すように、求めた２次式Ｆ４と車線幅ｗとから、レーンマークＡ０，Ａ１を推定する。このとき、レーンマークＡ０は２次式Ｆ５（ｙ=ｇｘ*ｘ+ｈｘ+ｉ-ｗ/２）により推定し、レーンマークＡ１は２次式Ｆ６（ｙ=ｇｘ*ｘ+ｈｘ+ｉ+ｗ/２）により推定する。そして、ＳＴＥＰ２０９で、第２推定有無情報に「有」を設定すると共に、第２左側線形状情報にｙ=ｇｘ*ｘ+ｈｘ+ｉ-ｗ/２、第２右側線形状情報にｙ=ｇｘ*ｘ+ｈｘ+ｉ+ｗ/２を設定する。

次に、図２に戻り、実車線認識手段６は、第１車線情報と第２車線情報とから、実際の車線を認識する処理（以下、実車線認識処理という）を実行し、実車線情報と信頼度とを出力する（ＳＴＥＰ００６）。出力される実車線情報は、実車線認識処理によってレーンマークＡ０が認識されたか否かを示す実左認識有無情報と、レーンマークＡ０が認識された場合における該認識されたレーンマークＡ０の形状を示す実左側線形状情報と、実車線認識処理によってレーンマークＡ１が認識されたか否かを示す実右認識有無情報と、レーンマークＡ１が認識された場合における該認識されたレーンマークＡ１の形状を示す実右側線形状情報とを有する。実左認識有無情報には、レーンマークＡ０が認識された場合には「有」が設定され、認識されなかった場合には「無」が設定される。実右認識有無情報にも、同様に、レーンマークＡ１が認識された場合には「有」が設定され、認識されなかった場合には「無」が設定される。

まず、実車線認識手段６は、第１左推定有無情報、第１右推定有無情報、第２推定有無情報の設定値を確認する。そして、前記３つの設定値の組み合わせに応じて、以下の（ａ）〜（ｈ）に示す８通りの場合に分けて実車線認識処理を実行する。

（ａ）第１左推定有無情報＝「有」，かつ第１右推定有無情報＝「有」，かつ第２推定有無情報＝「有」の場合
この場合は、まず、実車線認識手段６は、第１左側線形状情報と第２左側線形状情報との類似する度合を示す左側線類似度指標値Ｌ１を算出する。左側線類似度指標値Ｌ１としては、次式（１）で示される比較関数Ｆ１の値が用いられる。

実車線認識手段６は、式（１）の右辺のｆ１（ｘ）にａｘ*ｘ+ｂｘ+ｃ（第１左側線形状情報）を用い、ｆ２（ｘ）にｇｘ*ｘ+ｈｘ+ｉ-ｗ/２（第２左側線形状情報）を用いて算出される左辺の値を左側線類似度指標値Ｌ１とする。なお、算出される左側線類似度指標値Ｌ１は、ｆ１（ｘ）とｆ２（ｘ）との類似の度合（類似度）が高いほど小さくなるものである。また、式（１）の右辺のＮは、予め定めたｆ１（ｘ），ｆ２（ｘ）の値のサンプリング数であり、例えばＮ＝５０である。

次に、左側線類似度指標値Ｌ１と同様に、式（１）を用いて、第１右側線形状情報と第２右側線形状情報との類似する度合を示す右側線類似度指標値Ｒ１を算出する。実車線認識手段６は、式（１）の右辺のｆ１（ｘ）にｄｘ*ｘ+ｅｘ+ｆ（第１右側線形状情報）を用い、ｆ２（ｘ）にｇｘ*ｘ+ｈｘ+ｉ+ｗ/２（第２右側線形状情報）を用いて算出される左辺の値を右側線類似度指標値Ｒ１とする。算出される右側線類似度指標値Ｒ１は、左側線類似度指標値Ｌ１と同様、ｆ１（ｘ）とｆ２（ｘ）との類似の度合（類似度）が高いほど小さくなるものである。

次に、左側線類似度指標値Ｌ１と右側線類似度指標値Ｒ１とをそれぞれ所定の閾値Ｓ１と比較する。そして、比較の結果に応じて、以下の（ａ１），（ａ２）の２通りの場合に分けて実車線情報と信頼度とを設定する。

（ａ１）Ｌ１＜Ｓ１かつＲ１＜Ｓ１の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第１左側線形状情報を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第１右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高く、地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマークＡ０，Ａ１について、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。

また、この場合は、信頼度をレベル１に設定する。これにより、レーンマークＡ０，Ａ１の両方について、精度良く推定されているとみなせるときには、信頼度は最も高いレベルに設定される。

（ａ２）Ｌ１≧Ｓ１またはＲ１≧Ｓ１の場合
この場合は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しており、画像処理による車線の推定と地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、車線が認識されなかった旨が実車線情報に適切に設定される。

（ｂ）第１左推定有無情報＝「有」，かつ第１右推定有無情報＝「有」，かつ第２推定有無情報＝「無」の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第１左側線形状情報を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第１右側線形状情報を設定する。これにより、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果が、そのまま実車線情報として用いられる。

また、この場合は、信頼度をレベル２に設定する。これにより、画像処理によってのみ車線の推定がなされ、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証できなかった場合には、信頼度はレベル１より低く設定される。

（ｃ）第１左推定有無情報＝「有」，かつ第１右推定有無情報＝「無」，かつ第２推定有無情報＝「有」の場合
この場合は、まず、実車線認識手段６は、第１左側線形状情報と、第２左側線形状情報とから、式（１）を用いて左側線類似度指標値Ｌ１を算出する。次に、左側線類似度指標値Ｌ１を所定の閾値Ｓ１と比較する。そして、比較の結果に応じて、以下の（ｃ１），（ｃ２）の２通りの場合に分けて実車線情報と信頼度とを設定する。

（ｃ１）Ｌ１＜Ｓ１の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第１左側線形状情報を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第２右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高く、地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマークＡ０については、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。また、画像処理によって車線が推定できなかったレーンマークＡ１については、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることができる。

また、この場合は、信頼度をレベル２に設定する。これにより、レーンマークＡ０，Ａ１の一方のみについて、精度良く推定されているとみなせるときには、信頼度はレベル１より低く設定される。

（ｃ２）Ｌ１≧Ｓ１の場合
この場合は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しており、画像処理による車線の推定と地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、車線が認識されなかった旨が実車線情報に適切に設定される。

（ｄ）第１左推定有無情報＝「有」，かつ第１右推定有無情報＝「無」，かつ第２推定有無情報＝「無」の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第１左側線形状情報を設定する。また、実右認識有無情報に「無」を設定する。これにより、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果が、そのまま実車線情報として用いられる。

また、この場合は、信頼度をレベル３に設定する。これにより、画像処理によってのみ車線の推定がなされ、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証できなかった場合には、信頼度はレベル１より低く設定される。さらに、このとき、画像処理によってレーンマークＡ０，Ａ１の一方のみについて推定がなされているので、信頼度はレベル２よりも低く設定される。

（ｅ）第１左推定有無情報＝「無」，かつ第１右推定有無情報＝「有」，かつ第２推定有無情報＝「有」の場合
この場合は、まず、実車線認識手段６は、第１右側線形状情報と、第２右側線形状情報とから、式（１）を用いて右側線類似度指標値Ｒ１を算出する。次に、右側線類似度指標値Ｒ１を所定の閾値Ｓ１と比較する。そして、比較の結果に応じて、以下の（ｅ１），（ｅ２）の２通りの場合に分けて実車線情報と信頼度とを設定する。

（ｅ１）Ｒ１＜Ｓ１の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第２左側線形状情報を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第１右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高く、地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマークＡ１については、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。また、画像処理によって車線が推定できなかったレーンマークＡ０については、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることができる。

（ｅ２）Ｒ１≧Ｓ１の場合
この場合は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しており、画像処理による車線の推定と地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、車線が認識されなかった旨が実車線情報に適切に設定される。

（ｆ）第１左推定有無情報＝「無」，かつ第１右推定有無情報＝「有」，かつ第２推定有無情報＝「無」の場合
この場合は、実左認識有無情報に「無」を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第１右側線形状情報を設定する。これにより、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果が、そのまま実車線情報として用いられる。

（ｇ）第１左推定有無情報＝「無」，かつ第１右推定有無情報＝「無」，かつ第２推定有無情報＝「有」の場合
この場合は、実左認識有無情報に「有」を設定し、実左側線形状情報に第２左側線形状情報を設定する。また、実右認識有無情報に「有」を設定し、実右側線形状情報に第２右側線形状情報を設定する。これにより、画像処理によって車線が推定できなかった場合にも、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることができる。

また、この場合は、信頼度をレベル３に設定する。これにより、地図データ及び位置情報によってのみ車線の推定がなされた場合には、ＧＰＳの測位精度等を考慮して、画像処理によってのみ推定がなされた場合よりも精度が低いとみなして、信頼度はレベル２より低く設定される。

（ｈ）第１左推定有無情報＝「無」，かつ第１右推定有無情報＝「無」，かつ第２推定有無情報＝「無」の場合
この場合は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。このとき、実左側線形状情報および実右側線形状情報には何も設定されない。これにより、実際の車線が認識されなかった旨が明確に把握される。

以上の処理により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報とを用いて、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる。そして、本実施形態においては、出力された実車線情報と信頼度とに基づいて、車両の制御や、運転者への報知を行う。このとき、例えば、信頼度がレベル１の場合には、実車線形状情報に基づいて車両のステアリング制御を行い、また、信頼度がレベル２とレベル３との場合には、車両のステアリング制御は行わず、車両が車線を逸脱する恐れがある際に運転者に報知を行うようにする。

なお、前記第１実施形態においては、車線は左側線及び右側線によって規定されるものとしたが、第２実施形態として、例えば、車線は左側線又は右側線のいずれか一方のみによって規定されるものとすることも可能である（これは本発明の第２態様に対応する）。このようにした場合でも、前述のように車線が左側線及び右側線で規定される場合と同様の作用効果を奏する。

また、前記第１実施形態及び第２実施形態においては、位置情報取得手段として、ＧＰＳユニット４を用いたが、車両の位置情報をＧＰＳから取得する代わりに、自律航法にて得られる位置情報を用いてもよい。

本発明の第１実施形態による車線認識装置の機能ブロック図。図１の車線認識装置の車線認識処理を示すフローチャート。図１の車線認識装置の車線認識処理における画像処理による車線推定処理を示すフローチャート。図１の車線認識装置の車線認識処理におけるＧＰＳ情報及び地図データによる車線推定処理を示すフローチャート。図１の車線認識装置の認識対象である道路の車線の例示図。図1の車線認識装置の画像処理による車線推定処理の説明図。図１の車線認識装置のＧＰＳ情報及び地図データによる車線推定処理の説明図。図１の車線認識装置のＧＰＳ情報及び地図データによる車線推定処理の説明図。

符号の説明

１…車線認識装置、２…画像処理手段、３…地図データ記憶媒体（保持手段）、４…ＧＰＳユニット（位置情報取得手段）、５…車線推定手段、６…実車線認識手段、７…車両、８…ビデオカメラ（撮像手段）。

Claims

撮像手段と、
前記撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、
前記道路の地図データを保持する保持手段と、
車両の現在の位置情報を取得する位置情報取得手段と、
前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、
前記第１車線情報と、前記第２車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車両。
撮像手段と、
前記撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、
前記道路の地図データを保持する保持手段と、
車両の現在の位置情報を取得する位置情報取得手段と、
前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、
前記第１車線情報が示す前記車線の形状と、前記第２車線情報が示す前記車線の形状とが類似する度合である車線類似度を算出する手段と、
前記第１車線情報と、前記第２車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車両。
前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第１車線情報に基づいて、前記実際の車線を認識することを特徴とする請求項２記載の車両。
前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかった旨を示す情報を出力することを特徴とする請求項２記載の車両。
前記第１車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第１推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第１車線形状情報とを有し、
前記第２車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第２推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第２車線形状情報とを有し、
前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第１推定有無情報と、前記第２推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第１車線形状情報と、前記第２車線形状情報とから決定して出力する手段とを備えることを特徴とする請求項２記載の車両。
前記実車線認識手段は、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第２車線形状情報を設定することを特徴とする請求項５記載の車両。
前記実車線認識手段は、前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合において、
前記第１推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第１車線形状情報を設定し、前記第１推定有無情報が前記車線の推定がなされなかったことを示すときには、前記実車線認識有無情報に前記車線が認識されなかった旨を設定することを特徴とする請求項５記載の車両。
車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、
前記道路の地図データを保持する保持手段と、
車両の現在の位置情報を取得する位置情報取得手段と、
前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、
前記第１車線情報と、前記第２車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車線認識装置。
車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第１車線情報として出力する画像処理手段と、
前記道路の地図データを保持する保持手段と、
車両の現在の位置情報を取得する位置情報取得手段と、
前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第２車線情報として出力する車線推定手段と、
前記第１車線情報が示す前記車線の形状と、前記第２車線情報が示す前記車線の形状とが類似する度合である車線類似度を算出する手段と、
前記第１車線情報と、前記第２車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車線認識装置。
前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第１車線情報に基づいて、前記実際の車線を認識することを特徴とする請求項９記載の車線認識装置。
前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかった旨を示す情報を出力することを特徴とする請求項９記載の車線認識装置。
前記第１車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第１推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第１車線形状情報とを有し、
前記第２車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第２推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第２車線形状情報とを有し、
前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第１推定有無情報と、前記第２推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第１車線形状情報と、前記第２車線形状情報とから決定して出力する手段とを備えることを特徴とする請求項９記載の車線認識装置。
前記実車線認識手段は、前記第１推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第２推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第２車線形状情報を設定することを特徴とする請求項１２記載の車線認識装置。
前記実車線認識手段は、前記第２推定有無情報が前記車線の推定がなされなかったことを示す場合において、
前記第１推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第１車線形状情報を設定し、前記第１推定有無情報が前記車線の推定がなされなかったことを示すときには、前記実車線認識有無情報に前記車線が認識されなかった旨を設定することを特徴とする請求項１２記載の車線認識装置。