JP2017016226A - 周辺環境認識システムおよびそれを搭載した車両制御システム - Google Patents

Abstract

【課題】検出した自車両の前方のレーンマーカ形状と自車両の走行軌跡から推定した自車両の後方レーンマーカの推定誤差を検出した自車両近傍のレーンマーカに基づいて補正することで、推定誤差を低減した自車両の後方レーンマーカ位置データを提供し、安全な自動運転システムあるいは運転支援システムを実現する。【解決手段】レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行車線の情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知する、あるいは、車線変更の実行を判断することを特徴とする。【選択図】 図１

Description

本発明は、自車両の周辺における複数の移動体・障害物との衝突を回避しながら、予め設定された走行ルートを走行する自動運転システムやドライバの操作を支援する運転支援システムにおいて重要となる自車両の周辺の移動体や走行環境の状態の認識に関するものであり、特に、自車両に搭載された外界認識センサを用いて自車両の周辺の移動体や障害物を認識し、認識した移動体や障害物が存在する自車両周辺の道路の車線・レーンを判断する周辺環境認識システムであり、この周辺環境認識システムによって判定された自車両周辺の環境情報に基づいて、自動的に車線変更を行う自動車線変更や自車両を先行する先導車両に追従する自動先導車両追従などの機能を有する自動運転システムが走行する車線・レーンを変更する際に、ドライバや運転支援・自動運転システムへ周辺移動体の存在情報を通知するシステムに関するものである。

従来、車両の自動運転システムやドライバの運転操作を支援する運転支援システムでは、自車両周辺の環境情報として、自車両周辺に存在する車両などの移動体や障害物を認識するとともに、自車両が走行する道路の車線・レーンや路面ペイントを認識し、これらの周辺環境情報に基づいて自車両の自動運転や運転支援を行う。自動運転や運転支援の例として、自車両が走行している走行車線・レーンから左右のいずれかの隣の車線へ変更する車線変更機能がある。例えば、自動運転における車線変更機能では、ドライバからの車線変更要求やシステムで判断した車線変更要求に基づいて、自動的に走行車線・レーンを変更する。また、運転支援における車線変更機能では、ドライバが車線変更動作を行う際に車線変更によって自車両が周辺移動体などとの衝突の可能性がないかなど安全が確保できていることを判定し、ドライバにその情報を提供するなどの機能がある。このような車線変更機能では、自車両が車線変更するための安全性が確保できているかを判定することが重要である。自車両が車線変更するために安全性が確保できているかを判定する一つの判定条件としては、自車両がこれから車線変更する走行車線・レーンに車両などの移動体や障害物がいないことがある。具体的には、自車両がこれから車線変更する走行車線・レーンに他移動体である車両が存在し、その他移動体である車両が後方から近づいている場合では、他移動体である車両と自車両の相対速度と相対距離および自車両の速度などから、自車両が車線変更を行うと後方から近づいてくる他移動体である車両と衝突する可能性を判定し、衝突の可能性がある場合は、自車両の車線変更を行わないように制御を行う、あるいは、衝突の可能性があるという警報を行う。この場合、後方から近づいてくる他移動体である車両と自車両が衝突する可能性を判定するためには、相対速度や相対距離だけでなく、他移動体である車両が走行している車線・レーンがどこであるかを正確に認識することが重要である。例えば、他移動体である車両が、自車両と同じ走行車線・レーンを走行している場合は、自車両が車線変更することは、後方から近づいてくる同一車線・レーンの他移動体である車両と衝突する可能性は低い。一方、他移動体である車両が、自車両が車線変更しようとする走行車線・レーンを走行している場合は、自車両が車線変更することは、後方から近づいてくる他移動体である車両と衝突する可能性が高い。つまり、後方から他移動体である車両が近づいている場合、後方から近づいている他移動体である車両が、自車両が車線変更する走行車線・レーンにいないことを判定することが重要である。特に、高速道路での走行状態を考えた場合、走行シーンによっては、自車両と後方から接近する移動体である車両との相対速度は、大きい場合もあり、条件によっては、70m以上後方の移動体である車両とその車両が走行する車線・レーンを判定することが必要となる。
ここで、移動体である車両に関しては、従来から、ミリ波レーダなどのレーダによって立体物の位置と相対速度を検出することができている。従って、車両後方の車線・レーンの位置を認識することが課題である。このような走行車線・レーンに関しては、カメラを用いて走行車線の左右のレーンマーカを認識する技術があり、前方に関しては、遠方のレーンマーカなどの路面ペイントを認識するカメラを搭載しており、後方の道路環境に関しても同様に後方遠方のレーンマーカを認識することが可能なカメラを搭載する方法がある。しかし、このような遠方の路面ペイントであるレーンマーカの位置を正確に認識するためのカメラを追加で搭載することになるため、システムを構成する部品の増加やシステムが高価になるという課題があった。

このような課題に対し、車両後方近傍のレーンマーカを認識するカメラを搭載し、自車両が走行した軌道と車両後方近傍のレーンマーカの位置から自車両後方のレーンマーカの位置点列データを推定する方法の例が特許文献１に記載されている。

特許文献１では、自車両の車両挙動である車両速度と操舵角に基づいて自車両が走行してきた軌跡を推定し、後方カメラで検出した極近傍のレーンマーカの位置と自車両が走行してきた推定軌跡から走行車線を推定しており、自車両が走行してきた軌跡を正確に推定することで後方のレーンマーカの推定を実現している。

特開２００２−１０４１１３号公報

上記の特許文献１に記載されている内容は、自車両の車両挙動である車両速度や操舵角を積算することで自車両の走行軌跡を推定し、この推定軌跡に基づいて自車両の後方レーンマーカ位置を推定している。しかし、車両挙動である車両速度や操舵角には検出誤差があり、所定の周期でしか検出されない。つまり、後方レーンマーカの位置を推定するために必要な走行軌跡の演算では、車両速度や操舵角の誤差も一緒に積算されていく。その結果、車両速度や操舵角を積算して推定する走行軌跡の演算結果は、長い走行軌跡を推定するほど、誤差が蓄積されることになり、自車両から離れた遠方の走行軌跡の位置の誤差は増大し、遠方のレーンマーカの推定位置が正確に取得できない場合がある。

このような課題に対して、本発明は、自車両の前遠方のレーンマーカの複数点の位置データと自車両の車両挙動に基づいて演算された自車両の移動軌跡から推定した後方レーンマーカの複数点の推定位置データを、自車両に搭載された画像認識装置によって検出した自車両近傍のレーンマーカの複数点の位置データに基づいて補正することで、推定誤差を抑制した自車両の後方遠方までのレーンマーカの複数点の位置データ提供することで、安全な自動運転システムあるいは運転支援システムを提供することである。

本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行車線の情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知する、あるいは、車線変更の実行を判断することを特徴とする。
または、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺画像認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行車線の情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知する、あるいは、車線変更の実行を判断することを特徴とする。

または、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段と自車両の挙動を推定する車両挙動手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、周辺画像認識手段によって検出した車両前遠方のレーンマーカを車両挙動手段で推定した自車両の移動量に基づいて自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行レーンの情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知する、あるいは、車線変更の実行を判断することを特徴とする。

本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺画像認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段を有しており、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段による自車両後方のレーンマーカの位置が誤差を有している場合でも、後方のレーンマーカの誤差を低減できるという効果がある。
また、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺画像認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定するため、自車両周辺の移動体・障害物の位置と走行している車線の情報の信頼性が高くなるという効果がある。
また、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺画像認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行車線の情報を提供するため、周辺環境認識システムが判定した情報をドライバへ表示したり通知することができ、ドライバに安心感を与えるという効果がある。
また、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、車両周辺画像認識手段などによって取得した道路情報に基づいて、自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行車線の情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知する、あるいは、車線変更の実行を判断するため、車線変更時における周辺移動体との衝突可能性の判定の信頼性が高くなるという効果がある。

または、本発明の周辺環境認識システムは、自車両周辺の道路情報を検知する車両周辺画像認識手段と自車両周辺の移動体・障害物を検知する車両周辺移動体認識手段と自車両の挙動を推定する車両挙動手段を有する周辺環境認識システムであって、車両周辺画像認識手段によって自車両近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、周辺画像認識手段によって検出した車両前遠方のレーンマーカを車両挙動手段で推定した自車両の移動量に基づいて自車両の遠方後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、第２のレーンマーカ検出手段によって取得した自車両近傍のレーンマーカの位置情報に基づいて第１のレーンマーカ推定手段によって取得した自車両後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、レーンマーカ推定値補正手段によって取得した自車両後方のレーンマーカの位置と車両周辺移動体認識手段によって取得した自車両周辺の移動体・障害物の位置から自車両周辺の移動体・障害物が走行する車線を判定し、自車両周辺の移動体・障害物の位置と走行レーンの情報を提供するとともに、自車両が車線変更する場合で、自車両周辺の移動体・障害物が自車両が車線変更する車線に存在する場合は、移動体・障害物との衝突可能性を判定して、車線変更によって衝突可能性の有無を通知することにより、車線変更時に周辺移動体との衝突可能性の有無を通知する情報の信頼性を高める効果がある。

本発明の周辺環境認識システムを搭載した車両の一実施例の全体構成を示した説明図である。 本発明の自車両周辺の環境を認識する手段に関する一実施例の構成を示した説明図である。 本発明の自車両周辺の環境を認識する手段に関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムを搭載した車両が走行しているシーンの一実施例に関する説明図である。 本発明の周辺環境認識システムを搭載した車両が認識する道路環境の一つであるレーンマーカの一実施例に関する説明図である。 本発明の周辺環境認識システムに関する一実施例の構成を示した説明図である。 本発明の周辺環境認識システムにおける第１のレーンマーカ推定手段に関する一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムに関する別の一実施例の構成を示した説明図である。 本発明の周辺環境認識システムにおける周辺移動体が走行する車線判定に基づいて自車両周辺の状態を通知する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおける周辺移動体が走行する車線判定に基づいて自車両を制御する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおいて、車両挙動と検出したレーンマーカ一データから車両後方のレーンマーカを推定する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおいて、車両挙動と検出したレーンマーカ一データの位置情報に関する一実施例の説明図である。 本発明の周辺環境認識システムの第１のレーンマーカ推定手段における車両挙動推定手段に関する一実施例の構成を示した説明図である。 本発明の周辺環境認識システムにおいて、自車両の位置と道路情報に基づいて車両後方のレーンマーカを推定する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおけるレーンマーカ推定値補正手段の後方レーンマーカ推定値を補正する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおけるレーンマーカ推定値補正手段の後方レーンマーカ推定値を補正する一実施例の詳細なフローチャートを示した図である。 本発明の周辺環境認識システムを搭載した自車両とその周辺環境を模式的に示した図である。 本発明の周辺環境認識システムにおけるレーンマーカ推定値補正手段によって補正される前のレーンマーカ推定値と補正して得られたレーンマーカ推定値の一実施例を示した図である。 本発明の周辺環境認識システムにおいて、周辺移動体が走行する走行車線を判定する一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおいて、周辺移動体が走行する走行車線の判定に関する説明図である。 本発明の周辺環境認識システムにおいて、周辺移動体が走行する走行車線を判定する詳細な一実施例のフローチャートを示した図である。 本発明の周辺環境認識システムにおいて、自車両の後方のレーンマーカを推定した結果に関する説明図である。 本発明の周辺環境認識システムにおいて、自車両の周辺移動体と前方・後方レーンマーカの検出結果と推定結果の表示に関する一実施例を示した説明図である。 本発明の周辺環境認識システムにおいて、自車両の周辺移動体と前方・後方レーンマーカの検出結果と推定結果の表示に関する別の一実施例を示した説明図である。 本発明の周辺環境認識装置を用いて車線変更制御を行う車両制御装置に関する一実施例の構成を示した説明図である。 本発明の周辺環境認識装置を用いて車線変更制御の判定を行う際の自車両と周辺環境の情報に関する説明図である。

図１は、自車両１００の周辺環境を認識して、自車両の運転支援を行う、あるいは、自車両の運転制御を行う車両システムに、本発明の周辺移動体や道路環境を認識する周辺環境認識装置６０を搭載した車両の一実施例であり、車両全体システムの概要を示している。

図１は、周辺環境認識装置６０を搭載した車両１００は、上側をフロント側、下側をリア側とした図であり、車両１００を駆動するための原動機１０、原動機１０の動力を伝達する変速機２０、原動機１０を制御する原動機制御装置３０によって、車両１００は駆動される。なお、図１の例では、フロント側に原動機１０、変速機２０を搭載して、フロント側のタイヤを駆動する例であるが、リア側のタイヤを駆動、あるいは四輪全部を駆動する場合でも、以下同様である。

車両１００は、原動機１０と変速機２０を制御する原動機制御装置３０以外にも、車両全体の制御を行う車両制御装置４０、外部との通信を行う通信装置５０、車両１００の四輪のタイヤに設けられている制動装置（９０−１、９０−２、９０−３、９０−４）など複数の制御装置が搭載されており、それらは、制御用ネットワーク７０に接続され、互いに情報を通信している。図１の実施例では、周辺環境認識装置６０は、車両１００に搭載されており、車両１００の周辺の外界情報を取得する画像認識装置（８０−１、８０−２、８０−３、８０−４）および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４で取得した外界情報と車両１００の状態を示す車両状態量（速度、ヨーレート、ヨー角、前後加速度、横加速度、操舵角度など）の情報を受け取り、自車両１００の周辺の外界情報を認識し、その情報に応じて、車両制御装置４０が車両全体の制御を行う。車両１００の状態を示す車両状態量は、図１には図示されていないヨーレートセンサ、加速度センサ、速度センサ、操舵角センサなどによって検出される。

通信装置５０は、外部からの通信を授受する装置であり、例えば、走行中近傍の道路情報として路面情報（レーンマーカ位置、停止線位置、横断歩道、などの路面ペイント種別と位置など）と立体物情報（標識、信号機、地物、など道路周辺に存在する立体物）を取得する。これらの情報は、道路インフラなどに設置されたセンサによって検知した情報、データセンタに記憶された道路周辺情報（路面情報と立体物情報など）、他車両が検知した道路周辺情報（路面情報と立体物情報など）を通信装置５０を用いて取得することも可能である。

画像認識装置８０（８０−１、８０−２、８０−３、８０−４）は、車両１００周辺の外界に情報を取得する装置であり、具体的な例としては、カメラによる画像認識がある。カメラとしては、一つのカメラで外界を認識する単眼カメラと２つのカメラで外界を認識するステレオカメラなどがある。カメラによる画像認識では、車両１００の外部情報として、車両、歩行者、軽車両（自転車など）など車両１００周辺に移動する複数の移動体を同時に認識でき、更に、移動体の特性を分類することが可能である。また、ステレオカメラを用いることで、車両１００周辺に存在する移動体や障害物の相対距離を検出することが可能である。更に、カメラによる画像認識では、道路上にペイントされた路面情報として、レーンマーカ（白線）の位置と大きさ、停止線の位置、横断歩道の位置などの情報を取得することが可能である。更に、立体物としては、道路脇に存在する標識の種別、大きさ、位置の情報、信号機の大きさ、位置の情報、その他特定の立体地物の位置の情報を取得することが可能である。

右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４は、それぞれ車両１００の右後方、左後方、右前方、左先方に存在する立体物や障害物を検出する。特に、画像認識装置８０のみでは検知できない領域の移動体や障害物といった立体物の相対位置と相対速度を検出することで、自車両１００の全周囲の立体物を検出する。

警報装置１１０及び表示装置１２０は、周辺環境認識装置６０にて認識した自車両１００の周辺環境情報を表示することでドライバに知らせる。あるいは、自車両周辺移動体や走行車線の情報に基づいて周辺環境認識装置６０にて判定した判定内容の通知・警報・表示を行う。

図２（Ａ）、（Ｂ）は、自車両１００に搭載される画像認識装置８０による外界認識領域について示した例である。図２（Ａ）、（Ｂ）の自車両１００は、図１の実施例のように、画像認識装置８０として、自車両１００の前方の外界認識を行う画像認識装置８０−１、自車両１００の右側方の外界認識を行う画像認識装置８０−２、自車両１００の左側方の外界認識を行う画像認識装置８０−３、そして、自車両１００の後方の外界認識を行う画像認識装置８０−４にカメラを用いた場合である。特に、図２（Ａ）では、前方の外界認識を行う画像認識装置８０−１は、一つの画像認識装置にて、広角近傍の外界情報と遠方の外界情報の両方を認識可能であり、領域Ａの範囲に存在する路面情報や立体物情報を検知することが可能である。つまり、自車両１００の前方に存在する道路の複数車線のレーンマーカ（白線）などの路面情報を検知することが可能である。一方、図２（Ｂ）では、画像認識装置８０−１は、２つの画像認識装置を用いた場合であり、近傍の広角の領域である領域Ａ２と遠方の領域Ａ１を個々に検知する場合である。この場合も、図２（Ａ）と同様に、自車両１００の前方に存在する道路の複数車線のレーンマーカ（白線）などの路面情報を検知することが可能である。更に、図２（Ａ）、（Ｂ）では、自車両１００の前方のみならず、右左側方及び後方の外界情報を検知することが可能であり、領域Ｂに存在する道路のレーンマーカ（白線）などの情報を検知することが可能である。

図３は、自車両１００に搭載される画像認識装置（８０−１、８０−２、８０−３、８０−４）および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４による外界認識領域について別の実施例について示している。図３では、図２の実施例で説明した領域Ａ１、領域Ａ２、領域Ｂをカメラによる画像認識装置８０を用いており、更に、自車両１００の周辺をカメラとは異なるレーダセンサを右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４として車両周辺に搭載し、右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって自車両１００の全周囲の移動体や障害物などの立体物を検出する。右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４として利用されるレーダは、移動体、障害物の識別を行うことは困難であるが、移動体や障害物の距離、速度をカメラと比較すると比較的精度良く検出することが可能である。図３の実施例では、自車両１００に搭載された右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４は、領域D_RR、領域D_RL、領域D_FR、領域D_FLの移動体・障害物の距離、速度を検出する。このような構成にすることで、車両１００周辺の路面情報や立体物の識別をカメラで行い、立体物の距離をレーダ検知することで、より精度の良い立体物の検知が可能となる。

図４は、自車両１００が片側３車線の道路を図４の上側へ走行している走行シーンを示している図である。自車両１００は、３車線の中央車線であるＬ２を走行しており、自車両１００の前方には３台の車両が走行しており、車両３０１は自車両の左車線である車線Ｌ１、車両４０１は自車両と同じ車線であるＬ２、車両２０１は自車両の右車線である車線Ｌ３を走行している。また、自車両１００の後方には、３台の車両が走行しており、車両２０２は自車両の右車線である車線Ｌ３、車両３０２は自車両の左車線であるＬ１、車両４０２は自車両と同じ車線であるＬ２を走行している。車線Ｌ１の左側レーンマーカはＬＭ１、右側レーンマーカはＬＭ２であり、車線Ｌ２の左側レーンマーカはＬＭ２、右側レーンマーカはＬＭ３であり、車線Ｌ３の左側レーンマーカはＬＭ３、右側レーンマーカはＬＭ４である。自車両１００は、車線Ｌ２を走行中から右側の車線Ｌ３へ車線変更する場合、右側の車線であるＬ３走行している自車両１００の前方車両２０１および後方車両２０２との相対距離、相対速度、自車の速度などから車両２０１や車両２０２と衝突しないことを判断して実際の車線変更動作を行う。このように、自車両１００が車線変更を行う場合は、車線変更する車線を走行している車両に注目して車線変更を行う。このため、車線変更が可能であるか、車線変更を行うと周辺車両と衝突するかなどを判断する際には、周辺移動体の相対位置、相対速度だけではなく、周辺移動体が走行している車線がどの車線であるかを判定することが必要となる。

自動運転システムや運転支援システムでは、自車両１００が走行する前方の状況を正確に把握することは必須であるため、車両前方に関しては、図２にて述べたように車両の遠方前方まで道路状況や移動体を検出することができる画像認識装置８０−１が設置される。この画像認識装置８０−１に関しては、２つのカメラを用いて視差から立体物や路面ペイントの相対位置を検出するステレオカメラを用いることがより好ましい。このようなステレオカメラを画像認識装置８０−１に適用することで、車両の遠方前方の移動体やレーンマーカを検出することができる。従って、図４の場合では、前方の移動体である車両２０１、４０１、３０１を画像認識装置８０−１や右前方認識装置１３０−１や左前方認識装置１３０−４によって検出することができるとともに、画像認識装置８０−１によってレーンマーカＬＭ２とレーンマーカＬＭ３の位置を検出することができる。よって、画像認識装置８０−１や右前方認識装置１３０−３や左前方認識装置１３０−４によって検出した車両２０１、４０１、３０１の自車両１００に対する相対位置と両画像認識装置８０−１によって検出したレーンマーカＬＭ２とレーンマーカＬＭ３の自車両１００に対する相対位置の関係から車両２０１、４０１、３０１が車線Ｌ１、Ｌ２、Ｌ３の中でどの車線を走行しているかを判定することが可能である。一方、図２にて述べたように車両の後方の道路状況に関しては、移動体に関しては、右後方認識装置１３０−１や左後方認識装置１３０−２によって１００ｍ程度の遠方の移動体を検出することが可能であるが、車両後方のレーンマーカに関しては、自車両１００後方の１０〜２０ｍ程度の路面を検知する画像認識装置８０−３が一般的には設置される。前方遠方の道路状態を認識する画像認識装置８０−１にて述べたようなステレオカメラを設置することも可能であるが、遠方までの道路状態を認識する装置を搭載することはシステムが高価になるという課題があり、搭載されないことが多い。従って、図４の場合では、自車両１００の後方の３台の車両（２０２、４０２、３０２）を右後方認識装置１３０−１や左後方認識装置１３０−２によって検知することは可能であるが、図４の領域Ｒのような自車両１００の後方遠方のレーンマーカＬＭ２、ＬＭ３を認識することができない。従って、右後方認識装置１３０−１や左後方認識装置１３０−２によって検出した車両２０２、４０２、３０２の自車両１００に対する相対位置を取得することはできるが、
領域ＲのレーンマーカＬＭ２とレーンマーカＬＭ３の自車両１００に対する相対位置を取得することができないため、車両２０２、４０２、３０２が車線Ｌ１、Ｌ２、Ｌ３の中でどの車線を走行しているかを判定することができない。図４の例では、車両１００は直線道路を走行している場合であるが、道路は直線のみではなく、ある曲率を持った道路も存在するため、周辺移動体である車両の位置のみでは、車両の走行車線を判断することはできない。

図５は、自車両１００が片側３車線の道路を図５の上側へ走行している別の走行シーンを示している図である。自車両１００は、３車線の中央車線であるＬ２を走行しており、自車両１００の後方には、２台の車両が走行しており、車両２００は自車両の右車線である車線Ｌ３、車両３００は自車両の左車線であるＬ１を走行している。車線Ｌ１の左側レーンマーカはＬＭ１、右側レーンマーカはＬＭ２であり、車線Ｌ２の左側レーンマーカはＬＭ２、右側レーンマーカはＬＭ３であり、車線Ｌ３の左側レーンマーカはＬＭ３、右側レーンマーカはＬＭ４である。自車両１００が走行する前方の状況を正確に把握するために搭載された画像認識装置８０−１は、自車両１００が走行している車線Ｌ２の前方の左レーンマーカＬＭ２、右レーンマーカＬＭ３を検出し、自車両１００の走行する車線Ｌ２の左レーンマーカＬＭ２上の点ＬＭＰ２−１、ＬＭＰ２−２、ＬＭＰ２−３、ＬＭＰ２−４、ＬＭＰ２−５、ＬＭＰ２−６、ＬＭＰ２−７の位置と、右レーンマーカＬＭ３上の点ＬＭＰ３−１、ＬＭＰ３−２、ＬＭＰ３−３、ＬＭＰ３−４、ＬＭＰ３−５、ＬＭＰ３−６、ＬＭＰ３−７の位置を自車両座標系で出力する。つまり、左レーンマーカＬＭ２上の点ＬＭＰ２−１、ＬＭＰ２−２、ＬＭＰ２−３、ＬＭＰ２−４、ＬＭＰ２−５、ＬＭＰ２−６、ＬＭＰ２−７の位置座標の点列データと、右レーンマーカＬＭ３上の点ＬＭＰ３−１、ＬＭＰ３−２、ＬＭＰ３−３、ＬＭＰ３−４、ＬＭＰ３−５、ＬＭＰ３−６、ＬＭＰ３−７の位置座標点列データは，自車両１００が走行する車線Ｌ２の前方レーンマーカ点列データとなる。

図６は、図１に示した周辺環境認識装置４０の具体的な構成の一実施例を示している。周辺環境認識装置４０では、画像認識装置８０−１〜８０−４によって検知した自車両１００の周辺環境の情報や右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の情報に基づいて自車両１００の周辺環境の状況を出力する。図６の実施例では、周辺環境認識装置４０は、第１のレーンマーカ推定手段６１０、第２のレーンマーカ検出手段６２０、周辺移動体検出手段６３０、レーンマーカ推定値補正手段６４０、周辺移動体判定手段６５０、表示手段６６０、通知手段６７０から構成される。

第１のレーンマーカ推定手段６１０は、画像認識装置８０−１〜８０−４にて取得した自車両１００の前方のレーンマーカの位置点列データ、自車両１００の側方のレーンマーカの位置点列データ、自車両１００の後方近傍のレーンマーカの位置点列データ、あるいは、他の手段で取得した自車両１００の周辺のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データを推定する。第２のレーンマーカ検出手段６２０は、画像認識装置８０−１〜８０−４にて取得した検知した自車両１００の近傍のレーンマーカの位置点列データ（自車両１００の前方近傍、側方、後方近傍のレーンマーカの位置点列データ）の検出値を自車両１００近傍のレーンマーカの位置点列データとして出力する。レーンマーカ推定値補正手段６４０は、第２のレーンマーカ検出手段６２０から出力された自車両１００の近傍のレーンマーカの位置点列データに基づいて、第１のレーンマーカ推定手段６１０から出力された自車両１００の後方レーンマーカの位置点列データの推定値を補正し、補正した後方レーンマーカの位置点列データを出力する。周辺移動体検出手段６３０は、画像認識装置８０−１〜８０−４、および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の自車両１００に対する相対位置を出力する。周辺移動体判定手段６５０は、レーンマーカ推定値補正手段６４０から出力される補正後の後方レーンマーカの位置点列データと周辺移動体検出手段６３０から出力される自車両１００の周辺に存在する移動体・障害物の相対位置データから自車両１００の周辺に存在する移動体・障害物の相対位置データと走行する車線の情報を出力する。表示手段６６０および通知手段６７０は、周辺移動体判定手段６５０の判定結果に基づき、表示装置１２０および警報装置１１０へ出力する情報を出力する。

図７は、第１のレーンマーカ推定手段６１０の具体的な構成の一実施例を示している。図７の実施例では、第１のレーンマーカ推定手段６１０は、車両挙動推定手段６１１、レーンマーカ記憶手段６１２、後方レーンマーカ推定手段６１３から構成される。車両挙動推定手段６１１は、自車両１００に搭載されている自車両１００のヨーレートを検出するヨーレートセンサ１０１、自車両１００の操舵角を検出する操舵角センサ１０２、自車両１００の速度を検出する車両速度センサ１０３が出力する各センサ検出信号を取得・記憶する。そして、記憶したヨーレート、操舵角、車両速度のデータを用いて自車両１００の車両の走行軌跡を演算することで、自車両１００の移動した位置、車両１００が旋回した角度を出力する。レーンマーカ記憶手段６１２は、自車両１００の前方、側方、後方のレーンマーカを出力するレーンマーカ検出手段８００から取得した自車両１００の前方、側方、後方のレーンマーカを記憶する。ここで、レーンマーカ検出手段８００は、画像認識装置８０−１〜８０−４にて取得した自車両１００の前方のレーンマーカの位置点列データ、自車両１００の側方のレーンマーカの位置点列データ、自車両１００の後方近傍のレーンマーカの位置点列データ、あるいは、他の手段で取得した自車両１００の周辺のレーンマーカの位置点列データを出力するものである。後方レーンマーカ推定手段６１３は、車両挙動推定手段６１１から出力される自車両１００の移動した距離と車両１００が旋回した角度、レーンマーカ記憶手段６１２に記憶された過去の自車両１００の周辺のレーンマーカの位置点列データを取得し、現在の自車両１００の後方レーンマーカの位置点列データを推定し、出力する。

図８から図１４は、図６に示した周辺環境認識装置４０の具体的な構成の別の一実施例について示している。具体的には、第１のレーンマーカ推定手段６１０に用いる自車両１００周辺のレーンマーカの位置点列データを取得する対象と第２のレーンマーカ検出手段６２０の組合せが異なる実施例について示している。

図８では、図６に示す第１のレーンマーカ推定手段６１０として、車両前方検出カメラデータ出力手段８０１が出力する自車両１００の前方レーンマーカの位置点列データを用いて、図６に示す第２のレーンマーカ検出手段６２０として、車両全周囲検出カメラデータ出力手段６２１の出力する自車両１００の近傍の前後と側方のレーンマーカの位置点列データを用いた場合の実施例である。図８に示す車両前方検出カメラデータ出力手段８０１は、図１に示す画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−１として、既に述べたように２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラを用いることが好ましい。但し、一つのカメラで遠方のレーンマーカの位置を検出する単眼カメラを用いても良い。自車両１００の前方レーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。また、図８に示す車両全周囲検出カメラデータ出力手段６２１は、図１に示す画像認識装置８０−１、８０−２、８０−３、８０−４によって検出した自車両１００の周辺（前後、左右側方）のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−１として、既に述べたように２つのカメラを用いたステレオカメラを用いても良いし、レーンマーカの位置を検出する単眼カメラを用いても良い。また、画像認識装置８０−２、８０−３、８０−４は、比較的安価な単眼カメラを用いることが好ましい。自車両１００の周辺のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図８の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の前方のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の周辺（前後、左右側方）のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、車両前方検出カメラデータ出力手段８０１が、２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラである画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図９では、図６に示す第１のレーンマーカ推定手段６１０として、車両前方検出カメラデータ出力手段８０１が出力する自車両１００の前方レーンマーカの位置点列データを用いて、図６に示す第２のレーンマーカ検出手段６２０として、車両側方検出カメラデータ出力手段６２２の出力する自車両１００の左右側方のレーンマーカの位置点列データを用いた場合の実施例である。図９に示す車両前方検出カメラデータ出力手段８０１は、図１に示す画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−１として、既に述べたように２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラを用いることが好ましい。但し、一つのカメラで遠方のレーンマーカの位置を検出する単眼カメラを用いても良い。自車両１００の前方レーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。また、図９に示す車両側方検出カメラデータ出力手段６２２は、図１に示す画像認識装置８０−２、８０−４によって検出した自車両１００の左右側方のレーンマーカの位置点列データを出力する場合となる。画像認識装置８０−２、８０−４は、比較的安価な単眼カメラを用いることが好ましい。自車両１００の周辺のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図９の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の前方のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の左右側方のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、車両前方検出カメラデータ出力手段８０１が、２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラである画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図１０では、図６に示す第１のレーンマーカ推定手段６１０への入力データとして、自車両１００が走行している道路の詳細データを記憶しておき、その記憶した詳細データから取得した自車両１００の前方レーンマーカの位置点列データを用い、図６に示す第２のレーンマーカ検出手段６２０として、車両全周囲検出カメラデータ出力手段６２１の出力する自車両１００の近傍の前後と側方のレーンマーカの位置点列データを用いた場合の実施例である。図１０に示す詳細道路地図データ出力手段８０２は、図１に通信装置５０によって取得した自車両１００が走行している周辺の道路形状データやレーンマーカ形状データを図示していない記憶装置に記憶しておき、記憶したレーンマーカ形状データを出力する場合となる。ここで、レーンマーカ形状データは、自車両１００の走行車線の左右のレーンマーカの位置点列データのみを取得しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に取得しても良い。また、図１０に示す車両全周囲検出カメラデータ出力手段６２１は、図１に示す画像認識装置８０−１、８０−２、８０−３、８０−４によって検出した自車両１００の周辺（前後、左右側方）のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−１として、既に述べたように２つのカメラを用いたステレオカメラを用いても良いし、レーンマーカの位置を検出する単眼カメラを用いても良い。また、画像認識装置８０−２、８０−３、８０−４は、比較的安価な単眼カメラを用いることが好ましい。自車両１００の周辺のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図１０の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の周辺の道路地図データから取得した自車両周辺のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の周辺（前後、左右側方）のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、詳細道路地図データ出力手段８０２が、自車両１００が走行している周辺の道路形状データやレーンマーカ形状データを図示していない記憶装置に記憶しておき、記憶したレーンマーカ形状データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図１１では、図６に示す第１のレーンマーカ推定手段６１０への入力データとして、自車両１００が走行している道路の詳細データを記憶しておき、その記憶した詳細データから取得した自車両１００の前方レーンマーカの位置点列データを用い、図６に示す第２のレーンマーカ検出手段６２０として、車両側方検出カメラデータ出力手段６２２の出力する自車両１００の側方のレーンマーカの位置点列データを用いた場合の実施例である。図１１に示す詳細道路地図データ出力手段８０２は、図１に通信装置５０によって取得した自車両１００が走行している周辺の道路形状データやレーンマーカ形状データを図示していない記憶装置に記憶しておき、記憶したレーンマーカ形状データを出力する場合となる。ここで、レーンマーカ形状データは、自車両１００の走行車線の左右のレーンマーカの位置点列データのみを取得しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に取得しても良い。また、図１１に示す車両側方検出カメラデータ出力手段６２２は、図１に示す画像認識装置８０−２、８０−４によって検出した自車両１００の左右側方のレーンマーカの位置点列データを出力する場合となる。画像認識装置８０−２、８０−４は、比較的安価な単眼カメラを用いることが好ましい。自車両１００の周辺のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図１１の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の周辺の道路地図データから取得した自車両周辺のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の左右側方のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、詳細道路地図データ出力手段８０２が、自車両１００が走行している周辺の道路形状データやレーンマーカ形状データを図示していない記憶装置に記憶しておき、記憶したレーンマーカ形状データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図１２では、図６に示す第１のレーンマーカ推定手段６１０として、車両前方検出カメラデータ出力手段８０１が出力する自車両１００の前方レーンマーカの位置点列データを用いて、図６に示す第２のレーンマーカ検出手段６２０として、車両後方検出カメラデータ出力手段６２３の出力する自車両１００の近傍後方のレーンマーカの位置点列データを用いた場合の実施例である。図１２に示す車両前方検出カメラデータ出力手段８０１は、図１に示す画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−１として、既に述べたように２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラを用いることが好ましい。但し、一つのカメラで遠方のレーンマーカの位置を検出する単眼カメラを用いても良い。自車両１００の前方レーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。また、図１２に示す車両後方検出カメラデータ出力手段６２３は、図１に示す画像認識装置８０−３によって検出した自車両１００の後方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−３として、既に述べたように２つのカメラを用いたステレオカメラを用いても良いし、レーンマーカの位置を検出する単眼カメラを用いても良い。但し、比較的安価な単眼カメラを用いることが好ましい。自車両１００の周辺のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図１２の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の前方のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の後方のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、車両前方検出カメラデータ出力手段８０１が、２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラである画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図１３では、図６に示す第１のレーンマーカ推定手段６１０として、車両側方検出カメラデータ出力手段８０３が出力する自車両１００の側方レーンマーカの位置点列データを用いて、図６に示す第２のレーンマーカ検出手段６２０として、車両後方検出カメラデータ出力手段６２３の出力する自車両１００の近傍後方のレーンマーカの位置点列データを用いた場合の実施例である。図１３に示す車両側方検出カメラデータ出力手段８０３は、図１に示す画像認識装置８０−２、８０−４によって検出した自車両１００の左右側方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−２、８０−４としては、ステレオカメラ、単眼カメラの何れを用いても良いが、比較的安価な単眼カメラを用いることが好ましい。自車両１００の側方レーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。また、図１３に示す車両後方検出カメラデータ出力手段６２３は、図１に示す画像認識装置８０−３によって検出した自車両１００の後方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−３として、既に述べたように２つのカメラを用いたステレオカメラを用いても良いし、レーンマーカの位置を検出する単眼カメラを用いても良い。但し、比較的安価な単眼カメラを用いることが好ましい。自車両１００の近傍の後方のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図１３の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の側方のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の後方のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、車両前方検出カメラデータ出力手段８０１が、２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラである画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図１４では、図６に示す第１のレーンマーカ推定手段６１０への入力データとして、自車両１００が走行している道路の詳細データを記憶しておき、その記憶した詳細データから取得した自車両１００の前方レーンマーカの位置点列データを用い、図６に示す第２のレーンマーカ検出手段６２０として、車両後方検出カメラデータ出力手段６２３の出力する自車両１００の近傍後方のレーンマーカの位置点列データを用いた場合の実施例である。図１４に示す詳細道路地図データ出力手段８０２は、図１に通信装置５０によって取得した自車両１００が走行している周辺の道路形状データやレーンマーカ形状データを図示していない記憶装置に記憶しておき、記憶したレーンマーカ形状データを出力する場合となる。ここで、レーンマーカ形状データは、自車両１００の走行車線の左右のレーンマーカの位置点列データのみを取得しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に取得しても良い。また、図１４に示す車両後方検出カメラデータ出力手段６２３は、図１に示す画像認識装置８０−３によって検出した自車両１００の後方のレーンマーカの位置点列データを出力する場合となる。ここで、画像認識装置８０−３として、既に述べたように２つのカメラを用いたステレオカメラを用いても良いし、レーンマーカの位置を検出する単眼カメラを用いても良い。但し、比較的安価な単眼カメラを用いることが好ましい。自車両１００の近傍の後方のレーンマーカの検出は、自車両１００が走行する走行車線の左右のレーンマーカの位置点列データのみを検出しても良いが、走行する車線の左右の車線のレーンマーカの位置点列データも一緒に検出しても良い。図１４の実施例では、第１のレーンマーカ推定手段６１０は、自車両１００の周辺の道路地図データから取得した自車両周辺のレーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定し、レーンマーカ推定値補正手段６４０は、自車両１００の後方のレーンマーカの位置点列データを用いて、自車両１００の後方レーンマーカの位置点列データの推定値を補正する。本実施例によれば、車両前方検出カメラデータ出力手段８０１が、２つのカメラを用いて遠方のレーンマーカの位置まで検出することが可能なステレオカメラである画像認識装置８０−１によって検出した自車両１００の前方のレーンマーカの位置点列データを出力することで、自車両１００の前方レーンマーカを広範囲で正確な形状を検出することができるため、第１のレーンマーカ推定手段６１０が推定する自車両１００の後方のレーンマーカの形状は正確な形状を出力することができるという効果がある。

図８から図１４にて、第１のレーンマーカ推定手段６１０にレーンマーカの位置および形状のデータを出力する複数の実施形態とレーンマーカ推定値補正手段６４０に自車両１００の周辺のレーンマーカの位置の検出データを出力する第２のレーンマーカ検出手段６２０の複数の実施形態について述べたが、何れかの手段を組み合わせて第１のレーンマーカ推定手段６１０にレーンマーカの位置および形状のデータを出力し、いずれかの手段を組み合わせてレーンマーカ推定値補正手段６４０に自車両１００の周辺のレーンマーカの位置の検出データを出力しても良い。また、第１のレーンマーカ推定手段６１０にレーンマーカの位置および形状のデータを出力する手段の何れかが利用できない場合は、他の手段へ切り換えて利用し、レーンマーカ推定値補正手段６４０に自車両１００の周辺のレーンマーカの位置の検出データを出力する手段の何れかが利用できない場合は、他の手段へ切り換えて利用することができるため、第１のレーンマーカ推定手段６１０にレーンマーカの位置および形状のデータを出力する手段およびレーンマーカ推定値補正手段６４０に自車両１００の周辺のレーンマーカの位置の検出データを出力する手段の何れかが異常となった場合でも後方レーンマーカを推定することが可能であるという効果がある。

図１５は、本発明における自車両１００の後方のレーンマーカの位置点列データを推定し、周辺の移動体の位置データから周辺移動体が走行する車線を判定し、周辺移動体の状態を表示・通知する全体フローチャートの一実施例を示している。図１５のフローチャートに示すように周辺環境認識システムは、自車両１００の後方のレーンマーカの位置点列データを推定する(Ｓ１）。後方レーンマーカの位置点列データの推定は、図８〜図１４に示した第１のレーンマーカ推定手段６１０に関して説明したデータを用いる。次に、Ｓ１の後方のレーンマーカの位置点列データの推定が実施できたか、否かを判定する（Ｓ２）。ここで、画像認識装置８０などが異常となる場合や自車両１００の挙動を推定できないと、後方のレーンマーカの位置点列データの推定ができない場合があるため、推定の可否を判定する。推定ができないと判定されるとＳ９へ進み、推定可能であると判定されるとＳ３へ進む。Ｓ３では、自車両１００の周辺近傍のレーンマーカの位置点列データを取得する（Ｓ３）。自車両１００の周辺近傍のレーンマーカの位置点列データは、図８〜図１４に示した第２のレーンマーカ検出手段６２０に関して述べたデータを用いる。次に、Ｓ３にて行う自車両１００の周辺近傍のレーンマーカの位置点列データが取得できたか、否かを判定する（Ｓ４）。ここで、画像認識装置８０などが異常となる場合、自車両１００の周辺近傍のレーンマーカの位置点列データが取得できず、後方のレーンマーカの位置点列データの推定値を補正することができない場合があるため、自車両１００の周辺近傍のレーンマーカの位置点列データ取得の可否を判定する。データ取得ができないと判定されるとＳ１３へ進み、取得可能であると判定されると、Ｓ５へ進む。Ｓ５では、Ｓ３で取得した自車両１００の周辺近傍のレーンマーカの位置点列データに基づいて、Ｓ１で取得した自車両１００の後方のレーンマーカの位置点列データの推定値を補正する。Ｓ５で補正した自車両１００の後方のレーンマーカの位置点列データの推定値の補正結果が自車両１００の後方のレーンマーカの位置点列データとなり、この自車両１００の後方のレーンマーカの位置点列データを出力する（Ｓ６）。次に、Ｓ７では、Ｓ６で出力された自車両１００の後方のレーンマーカの位置点列データと画像認識装置８０−１〜８０−４および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の位置データから自車両１００の周辺の移動体が走行している車線を判定する。自車両１００の周辺の移動体が走行している車線が判定されると、周辺移動体の位置データとＳ６で出力された自車両１００の後方のレーンマーカの位置点列データをモニタに表示する。一方、Ｓ２において後方のレーンマーカの位置点列データが推定不可と判定されると、Ｓ９にて自車両１００の周辺近傍のレーンマーカの位置点列データを取得する。自車両１００の周辺近傍のレーンマーカの位置点列データは、図８〜図１４に示した第２のレーンマーカ検出手段６２０に関して述べたデータを用いる。次に、Ｓ９にて自車両１００の周辺近傍のレーンマーカを検出し、Ｓ１０にて、周辺近傍のレーンマーカの位置点列データが取得できたか、否かを判定する。ここで、自車両１００の周辺近傍のレーンマーカの位置点列データが取得できない場合は、レーンマーカの位置点列データを出力できないとして(Ｓ１１）、画像認識装置８０−１〜８０−４および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の位置データのみをモニタに表示する（Ｓ１４）。また、Ｓ１０で自車両１００の周辺近傍のレーンマーカの位置点列データが取得できると判定されると、検出した自車両１００の周辺近傍のレーンマーカの位置点列データのみを出力するとして（Ｓ１２）、画像認識装置８０−１〜８０−４および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の位置データと自車両１００の周辺近傍のレーンマーカの位置点列データをモニタに表示する（Ｓ１５）。また、Ｓ４にて自車両１００の周辺近傍のレーンマーカの位置点列データが取得できない場合は、Ｓ１で推定した後方レーンマーカの位置点列データの補正はできないとして (Ｓ１３）、画像認識装置８０−１〜８０−４および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の位置データとＳ１で推定した補正していない後方レーンマーカの位置点列データをモニタに表示する（Ｓ１６）。

図１６は、本発明における自車両１００の後方のレーンマーカの位置点列データを推定し、周辺の移動体の位置データから周辺移動体が走行する車線を判定し、自車両１００の車線変更を行う車両に適用した場合の全体フローチャートの一実施例を示している。図１６のフローチャートのＳ１〜Ｓ１３までは、図１５のフローチャートのＳ１〜Ｓ１３までと同じ処理である。図１５と図１６の差異は、Ｓ１７〜Ｓ２１までの自動車線変更の制御に関連する処理の部分である。図１５と同じように図１６のＳ７では、Ｓ６で出力された自車両１００の後方のレーンマーカの位置点列データと画像認識装置８０−１〜８０−４および右後方認識装置１３０−１、左後方認識装置１３０−２、右前方認識装置１３０−３、左前方認識装置１３０−４によって検知した自車両１００の周辺の移動体の位置データから自車両１００の周辺の移動体が走行している車線を判定する。自車両１００の周辺の移動体が走行している車線が判定されると、周辺移動体の位置データと走行車線の情報および、Ｓ６で出力された自車両１００の後方のレーンマーカの位置点列データが出力される。次に、Ｓ１７にて、自車両１００において車線変更要求の有無を判定する。ここで、自車両１００の車線変更要求有りと判定されると、Ｓ１８へ進み、自車両１００が車線変更する車線に存在すると判定された自車両１００の周辺移動体の相対位置、相対速度などの情報から自車両１００が車線変更した際の衝突可能性を推定し、車線変更可否の判断を行う。一方、自車両１００の車線変更要求無と判定されると、車線変更に伴う衝突可能性の推定は行わず、処理に戻る。
また、図１５の場合と同様に、Ｓ１０にてレーンマーカの位置点列データが検出できないとされた場合は、レーンマーカの位置点列データを出力できないとして（Ｓ１１）、車線変更可否の判定ができないことを車両制御装置４０および表示装置１２０、警報装置１１０へ通知する（Ｓ２１）。Ｓ１０にてレーンマーカの位置点列データが検出できる場合は、Ｓ１２にて検出した自車両１００の周辺近傍のレーンマーカの位置点列データのみを出力するとし、車線変更可否の判定ができないことを車両制御装置４０および表示装置１２０、警報装置１１０へ通知する（Ｓ２０）。更に、Ｓ４でレーンマーカ検出不可とされた場合は、Ｓ１で推定した後方レーンマーカの位置点列データの補正できないので、Ｓ１３にてＳ１で推定した補正していない後方レーンマーカの位置点列データを出力するとして、Ｓ１で推定した補正していない後方レーンマーカの位置点列データを車両制御装置４０へ出力するとともに、車線変更可否の判定ができないことを車両制御装置４０および表示装置１２０、警報装置１１０へ通知する（Ｓ１９）。

図１７は、図１５および図１６のレーンマーカ推定（Ｓ１）に関する詳細なフローチャートを示している。図１７では、先ず、自車両１００の車両挙動を示す自車両のヨーレートと車両速度を取得する（Ｓ１−１）。車両挙動を示す自車両１００のヨーレートや車両速度は、ある所定の周期で出力され、ヨーレートと車両速度が取得できた場合は、取得した時刻とヨーレート、車両速度の値をメモリに格納し（Ｓ１−２）、Ｓ１−３へ進む。また、ヨーレートと車両速度が取得で着ない場合もＳ１−３へ進む。Ｓ１−３では、第１のレーンマーカ推定手段６１０に入力される自車両１００の前方や周辺のレーンマーカの位置点列データを取得する。レーンマーカの位置点列データは、車両挙動を示す自車両１００のヨーレートや車両速度が出力される所定の周期とは異なる所定の周期で出力される。具体的な例としては、画像認識装置８０−１で検出して車両前方検出カメラデータ出力手段８０１が出力する自車両１００の前方レーンマーカの位置点列データ、あるいは、画像認識装置８０−２、８０−４で検出して車両側方検出カメラデータ出力手段８０３が出力する自車両１００の側方レーンマーカの位置点列データを取得する。Ｓ１−３で新しいレーンマーカの位置点列データが取得できない場合は、処理の開始へ戻る。また、新しいレーンマーカの位置点列データが取得できた場合は、次のＳ１−４へ進む。Ｓ１−４は、レーンマーカの位置点列データが出力される周期毎に実行される。Ｓ１−４では、図１６のＳ５にて行われる後方レーンマーカの位置点列データの推定値を補正した後方レーンマーカの位置点列データ推定値の補正後データの最新値の有無を確認する。ここで、最新の後方レーンマーカの位置点列データ推定値を補正した後方レーンマーカの位置点列データ推定値の補正後データが有る場合はＳ１−５へ進み、後方レーンマーカの位置点列データ推定値の補正後データがない場合はＳ１−６へ進む。Ｓ１−５では、Ｓ１−３で取得した最新のレーンマーカの位置点列データ検出値と最新の後方レーンマーカの位置点列データ推定値の補正後データを合わせて、自車両１００の周辺のレーンマーカの位置点列データを作成、作成時刻とデータをメモリに格納する。次に、Ｓ１−６では、自車両１００が予め設定した所定の距離を移動したか否かを判定する。この移動する距離の設定に関しては、Ｓ１−３で取得した最新のレーンマーカの位置点列データ検出値の中で、自車両１００の前方で、自車両１００から一番遠いレーンマーカ位置までの距離を設定するなどがある。つまり、自車両１００が検出した前方で一番遠い位置にあるレーンマーカの位置まで自車両１００が移動することで、検出した前方のレーンマーカの位置点列データが自車両の後方に移動している状態にあることを判定し、これらのレーンマーカの位置点列データを現在の自車両１００の後方のレーンマーカの位置点列データとして利用することが可能となる。Ｓ１−６で自車両１００が所定の距離を移動していない場合は、自車両１００の後方レーンマーカのデータとして利用できないことから開始に戻る。一方、Ｓ１−６で自車両１００が所定の距離を移動したと判定した場合は、自車両１００の後方レーンマーカのデータとして利用できることから、Ｓ１−７へ進む。Ｓ１−７では、自車両１００が所定の距離を移動する間に、Ｓ１−２でメモリに記憶した車両状態量（ヨーレートと車両速度）の配列データを取得し、自車両１００が所定の距離を移動した際の正確な自車両１００の移動量と自車両１００の旋回角を演算する。次に、Ｓ１−８では、自車両１００が所定の距離を移動する前の自車両１００の周辺のレーンマーカの位置点列データをメモリから取得する。自車両１００の周辺のレーンマーカの位置点列データは、Ｓ１−５において、所定の時間周期毎に作成され、作成された時刻とともにメモリに格納されており、自車両１００が所定の距離を移動する前の時刻の自車両１００の周辺のレーンマーカの位置点列データを選択することでデータを取得することができる。ここで、Ｓ１−８において、自車両１００が所定の距離を移動する前の自車両１００の周辺のレーンマーカの位置点列データがメモリに格納されていない場合もあり、その場合は、開始へ戻る。Ｓ１−８において、自車両１００が所定の距離を移動する前の自車両１００の周辺のレーンマーカの位置点列データをメモリから取得するとＳ１−９へ進む。Ｓ１−９では、Ｓ１−７で演算した自車両１００が所定の距離を移動した際の正確な自車両１００の移動量と自車両１００の旋回角を用いて、自車両１００が所定の距離を移動する前の自車両１００の周辺のレーンマーカの位置点列データを並行移動、回転移動させることで、現在の自車両１００の後方のレーンマーカの位置点列データを演算する。

ここで、Ｓ１−９にて自車両１００の移動量と自車両１００の旋回角を用いて、自車両１００が所定の距離を移動する前の自車両１００の周辺のレーンマーカの位置点列データを並行移動、回転移動させて自車両１００の後方のレーンマーカの位置点列データを演算する具体的な方法の一実施例について述べる。

Ｓ１−７において、自車両１００の移動量（Δｘ、Δｙ）と自車両１００の旋回角（Δθ）が取得されているとする。なお、移動する前の自車両１００の位置１００−１における自車両１００の進行方向をｘ軸座標の正の値とし、自車両１００の進行方向に直角となる自車両の横方向の左側をｙ軸座標の正方向とした場合、自車両１００がｘ軸座標方向に移動した量をΔｘ、自車両１００がｙ軸座標方向に移動した量をΔｙとする。また、移動した後の自車両１００の位置１００−ｎにおける自車両１００の進行方向をｘ'軸座標の正とした場合、ｘ軸座標とｘ'軸座標のなす角を自車両１００の旋回角（Δθ）とする。これらの関係は、図１８に示すような関係となる。図１８は、図１７のＳ１−７にて述べた自車両１００の移動量と旋回角の演算に関する説明図である。図１８において、ある時刻ｔ１における自車両１００の位置を自車両１００−１で示し、時刻ｔ２における自車両１００の位置を自車両１００−２で示し、時刻ｔｎにおけるにおける自車両１００の位置を自車両１００−ｎで示している。特に、時刻ｔ１の位置は、自車両１００が移動する前の位置であり、時刻ｔｎの位置は、自車両１００が移動した後の位置であるとする。自車両１００は道路形状に沿って走行するため、直線走行のみではなく、旋回している状態の場合もある。時刻ｔ１における自車両１００の車両座標系とし、自車両１００の進行方向をｘ軸座標、自車両の横方向で左側をｙ軸座標系の正として表現している。時刻ｔ１と時刻ｔ２は車両挙動を出力するヨーレートや車両速度の出力周期毎の位置を示しており、時刻ｔ１でのヨーレートをγ１、車両速度をＶown_1、時刻ｔ２でのヨーレートをγ２、車両速度をＶown_２、時刻ｔｎでのヨーレートをγｎ、車両速度をＶown_ｎとする。時刻ｔ１では、図１８の白丸で表現された前方のレーンマーカの位置データを検出し、時刻ｔ２では、図１８の黒丸で表現された前方のレーンマーカの位置データを検出する。図１８に示すように自車両１００が所定の距離を移動する前の位置を時刻ｔ１の自車両１００−１とし、自車両１００が所定の距離ｗｐ移動した後の位置を時刻ｔｎの自車両１００−ｎとすると移動量Δｘ、移動量Δｙ、旋回角Δθは、図１８に示す通りになる。この移動量Δｘ、Δｙと旋回角Δθの具体的な演算方法については、図１９を用いて説明する。

時刻ｔ１にて取得した自車両１００の前方の左レーンマーカの位置点列データは、図１８の白丸で示した位置の点列データとなる。これらの点列のデータを下記のように表現する。

ここで、Rx_LLiは、自車両１００の左レーンマーカで自車両１００に近い位置からｉ番目のｘ軸座標系での距離、Ry_LLiは、自車両１００の左レーンマーカで自車両１００に近い位置からｉ番目のｙ軸座標系での距離を示している。数１の場合は、自車両１００の前方の左レーンマーカの位置点列データは、ｍ点の点列データを有している。自車両１００が時刻ｔｎにて、自車両１００−ｎの位置に移動したとすると、時刻ｔ１にて取得した図１８の白丸で示した位置の点列データは、時刻ｔｎにおける自車両１００−ｎの後方レーンマーカの位置点列データとなる。但し、数１で表現した位置点列データは、時刻ｔ１における自車両１００−１の車両座標系であるｘ軸座標とｙ軸座標で表現した位置点列データであるため、自車両１００−ｎの位置における車両座標系による位置点列データへ変換することが必要である。時刻ｔ１における自車両１００−１の車両座標系であるｘ軸座標とｙ軸座標で表現した位置点列データを自車両１００−ｎの位置における車両座標系（ｘ'軸座標とｙ'軸座標）で表現した位置点列データへ変換は、次の式によって表現することができる。

但し、自車両１００−ｎの位置における車両座標系（ｘ'軸座標とｙ'軸座標）で表現した位置点列データを下記のように表現する。

図１９は、図７に示す車両挙動推定手段６１０の具体的な構成について示した説明図であり、図１７に示したフローチャートのＳ１−７にて述べた自車両１００の移動量と旋回角を演算する。ヨーレートセンサ１０１や車両速度センサ１０３から所定の周期で取得したデータは、メモリ６１０１に、取得した時刻とともに格納される。例えば、図１８に示した時刻ｔ１に取得したヨーレートと車両速度データ、時刻ｔ２に取得したヨーレートと車両速度データが逐次メモリに格納される。データを格納するメモリは、所定の時間だけ蓄えることができれば良いので、リングバッファのように古いデータを廃棄しながら最新のデータを格納するなどの方法が利用できる。車両挙動推定手段６１０は、自車両１００が所定の距離を移動した場合、その移動している間のヨーレートと車両速度をメモリ６１０１から取得し、自車両１００の移動量と旋回角を６１０２にて演算する。具体的には、図１８に示すように自車両１００が、時刻ｔ１の自車両１００−１から時刻ｔｎの自車両１００−ｎに移動し、この移動量が所定の移動距離であった場合について説明する。

時刻ｔ１から時刻ｔｎまでのヨーレートと車両速度を検出した各周期におけるヨーレートと車両速度をそれぞれ、γi、Ｖown_i、検出周期をΔtとすると、時刻ｔ１から時刻ｔｎまでの自車両１００の旋回角度Δθ、移動量Δｘ（図１８におけるｘ軸方向の移動量）、移動量Δｙ（図１８におけるｙ軸方向の移動量）は、下記のようになる。

図２０は、図１５および図１６のレーンマーカ推定（Ｓ１）に関する別の詳細なフローチャートを示している。図２０では、図６に示す第１のレーンマーカ推定手段として、図１０、１１、１４の実施例で述べたように、自車両１００が走行している道路の詳細データを記憶しておき、その記憶した詳細データから取得した自車両１００の前方レーンマーカの位置点列データとして出力する場合の実施例である。Ｓ１−１０にて、自車両１００の自己位置データを取得する。自己位置は、ＧＰＳを用いて自己位置推定する方法に加え、自車両１００が走行する走行環境に予め目印となるランドマークを設定し、ランドマークと自車両１００の相対距離から自車両１００の位置を補正する方法などがある。Ｓ１−１０にて、自車両１００の自己位置が取得できないと、開始へ戻り、自己位置が取得できると、Ｓ１−１１へ進む。Ｓ１−１１では、Ｓ１−１０で取得した自車両１００の自己位置データに対応した道路地図データを取得する。道路地図データは、詳細な道路データが格納されており、その一つとして、道路にペイントされているレーンマーカの位置データが格納されている。次に、Ｓ１−１２へ進み、自車両１００の自己位置データに対応した道路地図データにレーンマーカ位置情報が格納されているかを判定する。ここで、レーンマーカ位置データが格納されていないとすると、道路地図データからレーンマーカの位置点列データを取得することができないと判断され、開始へ戻る。一方、Ｓ１−１２において、レーンマーカ位置データが格納されているとすると、道路地図データからレーンマーカの位置点列データを取得し、自車両１００の後方のレーンマーカの位置点列データとして出力する。

図２１は、図１５、図１６に示すフローチャートにおけるレーンマーカ推定値補正（Ｓ５）に関する詳細なフローチャートを示している。また、図２３は、自車両１００とその周辺環境の状況を模式的に示した関係図である。先ず、図２３を用いて、自車両１００と自車両１００が検出する前方レーンマーカの位置点列データ、自車両１００が推定する後方レーンマーカの位置点列データ、自車両１００が検出する自車両周辺のレーンマーカの位置点列データについて説明する。図２３の（Ａ）は、ある時刻における自車両１００の位置を示している。図２３（Ａ）では、自車両１００は、第１のレーンマーカ推定手段６１０によって自車両１００の後方レーンマーカの位置点列データを推定するために、自車両１００の前方の領域ＦＦ１における前方レーンマーカの位置点列データを検出する。そして、自車両１００が図２３（Ｂ）のように移動した際、図２３（Ａ）にて取得した前方レーンマーカの位置点列データは、自車両１００の後方領域ＦＦ２の位置になる。一方、図２３の自車両１００は、第２のレーンマーカ検出手段６２０によって図２３（Ｂ）に示す自車両１００の領域ＲＲ２における周辺レーンマーカの位置点列データを検出する。この際、第１のレーンマーカ推定手段６１０にて取得した後方レーンマーカの位置点列データは、領域ＦＦ２にあり、第２のレーンマーカ検出手段６２０にて取得した周辺レーンマーカの位置点列データは、領域ＲＲ２にあり、２つのレーンマーカの位置点列データは、重なる領域ＭＭ２を有している。以上のことを踏まえ、図２１のフローチャートを説明する。先ず、Ｓ５−１では、第１のレーンマーカ推定手段６１０によって現在の自車両１００の後方レーンマーカの位置点列データを取得する。次に、Ｓ５−２において、第２のレーンマーカ検出手段６２０によって周辺レーンマーカの位置点列データを取得する。Ｓ５−３では、Ｓ５−１において第１のレーンマーカ推定手段６１０によって取得した現在の自車両１００の後方レーンマーカの位置点列データとＳ５−２において第２のレーンマーカ検出手段６２０によって取得した周辺レーンマーカの位置点列データの重なる領域（図２３の領域ＭＭ２）の１つ以上の位置点列データを取得する。そして、Ｓ５−４にて、重なる領域（図２３の領域ＭＭ２）に存在する第２のレーンマーカ検出データである自車両１００の周辺のレーンマークの位置点列データと第１のレーンマーカ推定データである自車両１００の後方のレーンマーカの位置点列データの距離が最小になるように第１のレーンマーカ推定データである自車両１００の後方のレーンマーカの位置点列データ全体を平行・回転移動する。Ｓ５−４にて、平行・回転移動された第１のレーンマーカ推定データである自車両１００の後方のレーンマーカの位置点列データを自車両１００の後方レーンマーカの位置点列データとして出力する（Ｓ５−５）。

図２２は、図２１のフローチャートにおける第１のレーンマーカ推定データである自車両１００の後方のレーンマーカの位置点列データ全体を平行・回転移動する処理（Ｓ５−４）に関する具体的な処理の一実施例について示した図である。

Ｓ５−４−１では、重なる領域ＭＭ２の第１のレーンマーカ推定データである自車両１００の後方のレーンマーカの位置点列データ{(Rxc_LL1i,Ryc_LL1i)、(Rxc_LR1i,Ryc_LR1i)}を取得する。ここで、Rxc_LL1iは、領域ＭＭ２における後方の左レーンマーカのｉ番目の位置点列データのｘ軸座標の相対距離、Ryc_LL1iは、領域ＭＭ２における後方の左レーンマーカのｉ番目の位置点列データのｙ軸座標の相対距離、Rxc_LR1iは、領域ＭＭ２における後方の右レーンマーカのｉ番目の位置点列データのｘ軸座標の相対距離、Ryc_LR1iは、領域ＭＭ２における後方の右レーンマーカのｉ番目の位置点列データのｙ軸座標の相対距離を示している。Ｓ５−４−２では、重なる領域ＭＭ２の第２のレーンマーカ検出データである自車両１００の周辺のレーンマーカの位置点列データ{(Rxc_LL2i,Ryc_LL2i)、(Rxc_LR2i,Ryc_LR2i)}を取得する。ここで、Rxc_LL2iは、領域ＭＭ２における周辺の左レーンマーカのｉ番目の位置点列データのｘ軸座標の相対距離、Ryc_LL2iは、領域ＭＭ２における周辺の左レーンマーカのｉ番目の位置点列データのｙ軸座標の相対距離、Rxc_LR2iは、領域ＭＭ２における周辺の右レーンマーカのｉ番目の位置点列データのｘ軸座標の相対距離、Ryc_LR2iは、領域ＭＭ２における周辺の右レーンマーカのｉ番目の位置点列データのｙ軸座標の相対距離を示している。次に、車両座標系におけるｘ軸座標の値が原点に近い第２のレーンマーカ検出データである周辺レーンマーカの位置点列データの車両座標系におけるｙ軸座標の値と車両座標系におけるｘ軸座標の値が原点に近い第１のレーンマーカ推定データである後方レーンマーカの位置点列データの車両座標系におけるｙ軸座標の値が同じになるように第１のレーンマーカ推定データである領域ＦＦ２の全ての後方レーンマーカの位置点列データの車両座標系におけるｙ軸座標の値を補正する。次に、Ｓ５−４−４にて、領域ＭＭ２における第１のレーンマーカ推定データである後方レーンマーカの位置点列データ{(Rxc_LL1i,Ryc_LL1i)、(Rxc_LR1i,Ryc_LR1i)}と領域ＭＭ２における第２のレーンマーカ検出データである車両周辺レーンマーカ位置点列データ{(Rxc_LL2i,Ryc_LL2i),(Rxc_LR2i,Ryc_LR2i)}の近い点の間の距離を演算して記憶する。そして、Ｓ５−４−５にて、領域ＦＦ２の第１のレーンマーカ推定データである後方レーンマーカの位置点列データを車両座標系におけるｘ軸座標が原点に近い点を中心に所定角度だけ回転変換する。そして、Ｓ５−４−６にて、回転変換した領域ＭＭ２の第１のレーンマーカ推定データである後方レーンマーカの位置点列データと領域ＭＭ２における第２のレーンマーカ検出データである車両周辺レーンマーカ位置点列データの近い点の間の距離を演算する。ここで、前回までに演算した近い点間の距離よりも今回演算した近い点の間の距離の方が小さいか否かを判定する（Ｓ５−４−７）。今回演算した距離の方が大きい場合は、Ｓ５−４−５へ戻り、今回演算した距離の方が小さい場合は、Ｓ５−４−８へ進む。Ｓ５−４−８では、回転変換した領域ＦＦ２の第１のレーンマーカ推定データである後方レーンマーカの位置点列データを車両周辺のレーンマーカ位置の補正データとして記憶する。そして、Ｓ５−４−５で行う回転変換が所定の範囲を超えたか否かを判定する（Ｓ５−４−９）。所定の範囲を超えていない場合は、Ｓ５−４−５へ戻り、所定の範囲を超えた場合は、終了となる。

図２４は、図２２にて示したフローチャートによって補正される前の第１のレーンマーカ推定データである後方レーンマーカの位置点列データ（図２４（Ａ）)と補正された後の第１のレーンマーカ推定データである後方レーンマーカの位置点列データ（図２４（Ｂ））を示している。図２４（Ａ）は、第１のレーンマーカ推定データである後方レーンマーカの位置点列データが補正される前であり、第２のレーンマーカ検出データである車両周辺レーンマーカ位置点列データと第１のレーンマーカ推定データである後方レーンマーカの位置点列データが重なる領域ＭＭ２においてずれが生じている。これに対して、図２４（Ｂ）は、第１のレーンマーカ推定データである後方レーンマーカの位置点列データが補正された後であり、第２のレーンマーカ検出データである車両周辺レーンマーカ位置点列データと第１のレーンマーカ推定データである後方レーンマーカの位置点列データが重なる領域ＭＭ２において、ずれが解消されている。補正前の第２のレーンマーカ検出データである車両周辺レーンマーカ位置点列データと第１のレーンマーカ推定データである後方レーンマーカの位置点列データの重なる領域ＭＭ２におけるずれは、第１のレーンマーカ推定データである後方レーンマーカの位置点列データを演算する際に、自車両１００の車両挙動を用いて変換しているが、変換するために演算した自車両１００の移動量や旋回角には誤差が存在するために生じる。図２２にて示したフローチャートによる補正を用いることで、変換するために演算した自車両１００の移動量や旋回角に誤差が有った場合でも、その誤差を抑制することが可能である。

図２５は、自車両１００の周辺の移動体が走行する車線を判定するフローチャートを示している。Ｓ７−１では、先ず、自車両１００が走行する車周辺レーンマーカの情報を取得する。具体的には、自車両１００が走行する車線の左右の車線が存在するか否か、存在する場合の左右車線の車線幅の値を取得する。この車線情報は、例えば、画像認識装置８０によって自車両１００が走行する車線の左右の車線のレーンマーカ位置を検出しても良いし、道路地図データと自車両１００の自己位置推定データから現在自車両１００が走行している道路の車線数と現在自車両１００が走行している車線位置から取得しても良い。次に、Ｓ７−１で取得したデータから自車両１００が走行している車線の左車線の有無を判定する（Ｓ７−２）。ここで、左車線が無いと判定されるとＳ７−９へ進み、左車線データ無いと設定され、Ｓ７−４へ進む。一方、左車線があると判定されるとＳ７−３へ進み、図６のレーンマーカ推定値補正手段６４０によって補正された自車両１００の後方レーンマーカの位置点列データから現在の自車両１００が走行する車線の周辺レーンマーカの位置点列データを取得し、自車両１００が走行する左レーンマーカの位置点列データに左車線の車線幅を加えることで、左車線の左側レーンマーカの位置点列データを設定する。次に、Ｓ７−４へ進み、Ｓ７−１で取得したデータから自車両１００が走行している車線の右車線の有無を判定する。ここで、右車線が無いと判定されるとＳ７−１０へ進み、右車線データ無いと設定され、Ｓ７−６へ進む。一方、右車線があると判定されるとＳ７−５へ進み、図６のレーンマーカ推定値補正手段６４０によって補正された自車両１００の後方レーンマーカの位置点列データから現在の自車両１００が走行する車線の周辺レーンマーカの位置点列データを取得し、自車両１００が走行する右レーンマーカの位置点列データに右車線の車線幅を加えることで、右車線の右側レーンマーカの位置点列データを設定する。次に、Ｓ７−６進み、周辺移動体検出手段６３０によって自車両１００の周辺移動体の位置を取得する。Ｓ７−７にて、自車両１００の周辺移動体の存在の有無を判定し、周辺移動体が存在しない場合は終了し、周辺移動体が存在する場合は、Ｓ７−８へ進む。Ｓ７−８では、自車両１００が走行する自車線の左右レーンマーカの位置点列データであるレーンマーカ推定値補正手段６４０によって補正された自車両１００の後方レーンマーカの位置点列データとＳ７−３、Ｓ７−５で設定した左車線の左レーンマーカの点列位置データおよび右車線の右レーンマーカの点列位置データと移動体の位置データから移動体が走行する車線を判定し、各移動体が走行する車線の情報を出力する。

図２６は、図２５に示したフローチャートのＳ７−８にて行う自車両１００の周辺移動体の走行車線の判定について説明する一実施例の図である。図２６において、（Ａ）は、曲線を描く道路の中央車線を走行する自車両１００とその後方で自車両１００の右車線を走行する車両２００と自車両１００と同じ車線を走行する車両４００が存在している走行シーンを示している。図２６（Ｂ）は、図２６（Ａ）の走行シーンに関して、自車両１００の車両座標系によって後方レーンマーカの位置点列データと移動体の位置を表現した図である。図２６（Ｂ）の車両４００近傍を拡大した図が図２６（Ｃ）である。自車両１００の後方レーンマーカの位置点列データの中で車両４００の近傍に位置する左レーンマーカの位置点列データをＬＭＰ−Ｌ１、ＬＭＰ−Ｌ２とし、車両４００の近傍に位置する右レーンマーカの位置点列データをＬＭＰ−Ｒ１、ＬＭＰ−Ｒ２とする。また、左レーンマーカの位置点列データをＬＭＰ−Ｌ１、ＬＭＰ−Ｌ２を直線近似した際に車両４００のｘ軸座標の値と同じ点を４００−Ｌ、右レーンマーカの位置点列データをＬＭＰ−Ｒ１、ＬＭＰ−Ｒ２を直線近似した際に車両４００のｘ軸座標の値と同じ点を４００−Ｒとする。

図２７は、図２５に示したフローチャートのＳ７−８にて行う自車両１００の周辺移動体の走行車線の判定に関する詳細なフローチャートを示した図である。図２７のフローチャートを図２６に示した関係を用いて説明する。先ず、Ｓ７−９−１にて、周辺移動体４００のｘ軸座標(車両座標系)の前後の最も近い左右レーンマーカ推定データの位置点列データを２点取得する。この位置点列データは、図２６に示すＬＭＰ−Ｌ１とＬＭＰ−Ｌ２およびＬＭＰ−Ｒ１とＬＭＰ−Ｒ２を示している。次に、Ｓ７−９−２にて、取得した左右のレーンマーカの２点の位置データ（ＬＭＰ−Ｌ１とＬＭＰ−Ｌ２およびＬＭＰ−Ｒ１とＬＭＰ−Ｒ２）から周辺移動体４００のｘ軸座標(車両座標系)と同じ左右のレーンマーカ位置のｙ軸座標の値を推定する。これは、図２６に示す４００−Ｌと４００−Ｒの位置の値である。周辺移動体４００のｘ軸座標(車両座標系)と同じ左右のレーンマーカ位置のｙ軸座標の値を求める具体的な方法には、次のような方法がある。

ＬＭＰ−Ｌ１の座標を（Rxa_LL1、Rya_LL1）、ＬＭＰ−Ｌ２の座標を（Rxa_LL2、Rya_LL2）、ＬＭＰ−Ｒ１の座標を（Rxa_LR1、Rya_LR1）、ＬＭＰ−Ｒ２の座標を（Rxa_LR2、Rya_LR2）、周辺移動体４００のｘ軸座標をRxaとすると、同じｘ軸座標の値をもつ左右のレーンマーカ位置のｙ軸座標（Ry_LJdge、 Ry_RJdge）は、次の式で求めることができる。

同様に、自車両１００の走行する車線の左車線の左側レーンマーカに関して、周辺移動体４００のｘ軸座標同じｘ軸座標の値をもつ左車線の左側レーンマーカ位置のｙ軸座標（Ry_nLJdge）は、次の式で求めることができる。

また、自車両１００の走行する車線の右車線の右側レーンマーカに関して、周辺移動体４００のｘ軸座標同じｘ軸座標の値をもつ右車線の右側レーンマーカ位置のｙ軸座標（Ry_nRJdge）は、次の式で求めることができる。

なお、周辺移動体４００のｘ軸座標(車両座標系)の前後の最も近い左車線の左側レーンマーカの位置点列データの座標を（Rxa_nLL1、Rya_nLL1）、（Rxa_nLL2、Rya_nLL2）とし、周辺移動体４００のｘ軸座標(車両座標系)の前後の最も近い右車線の右側レーンマーカの位置点列データの座標を（Rxa_nLR1、Rya_nLR1）、（Rxa_nLR2、Rya_nLR2）とする。

次に、Ｓ７−９−３では、周辺移動体４００のｙ軸座標(車両座標系)の値（Rya）とＳ７−９−２で推定した左右のレーンマーカの位置のｙ軸座標の値（Ry_LJdge、Ry_RJdge）、左車線の左側レーンマーカの位置のｙ軸座標の値（Ry_nLJdge）および、右車線の右側レーンマーカの位置のｙ軸座標の値（Ry_nRJdge）の大小関係から移動体４００が走行する車線を判定する。具体的には、次のような判定が可能となる。

１．（Rya ＜ Ry_Ljdge）かつ（Rya ＞ Ry_Rjdge）の場合は、
移動体４００は、自車両１００と同じ車線を走行している。

２．（Rya ＜ Ry_nLjdge）かつ（Rya ≧ Ry_Ljdge）の場合は、
移動体４００は、自車両１００の左隣接車線を走行している。

３．（Ry_nRjdge ＜ Rya）かつ（Ry_Rjdge ≧ Rya）の場合は、
移動体４００は、自車両１００の右隣接車線を走行している。

図２８は、本発明によって、自車両１００の前方レーンマーカの位置点列データを用いて自車両１００の後方レーンマーカの位置点列データを推定した結果の一例を示している。図２８に示すグラフの原点は、自車両１００の位置を示している。横軸方向は、自車両１００の進行方向を示しており、縦軸方向は、自車両１００の進行方向に対して直角となる横方向を示している。図２８において、白丸は、自車両１００の前方レーンマーカの検出値の位置点列データであり、黒丸が自車両１００周辺のレーンマーカの検出値の位置点列データであり、四角が前方レーンマーカの検出値の位置点列データから後方レーンマーカの位置点列データを推定した第１のレーンマーカ推定値の位置点列データであり、△が第１のレーンマーカ推定値の位置点列データを自車両１００周辺のレーンマーカの検出値の位置点列データで補正した補正後の後方レーンマーカ推定値の位置点列データである。また、点線が実際のレーンマーカ位置を示している。この結果から分かるように、本発明によって、自車両１００の後方レーンマーカの位置をより正確に推定することが可能となる。

図２９と図３０に、本発明にて推定した自車両１００の周辺環境認識結果をモニタに表示した実施例について説明する。図２９は、表示装置６６０のモニタ上に自車両１００の位置を原点として、自車両１００の進行方向をｘ軸座標の正とし、ｘ軸座標に垂直で自車両の左側を正とした横方向をｙ軸座標で表現している。表示装置６６０のモニタ上には、自車両１００と自車両１００の周辺のレーンマーカ（ＬＭ１、ＬＭ２、ＬＭ３、ＬＭ４）の位置点列データを白丸と線によって表示しており、自車両１００の周辺に存在する移動体２００、４００の位置も表示している。この表示によって、自車両１００の周辺に存在する移動体が自車両１００の走行している車線に対して、どの車線にいるかを確認することができる。このような周辺環境認識装置６０が判定した結果を表示することでドライバへ通知することによって、周辺環境認識装置６０による判定結果をドライバが理解することができ、ドライバに安心感を与えるという効果を得ることが可能となる。また、図３０では、例えば、画像認識装置８０−１が自車両１００の右側のレーンマーカを認識できなかった場合の表示の一例を示している。この場合、右側のレーンマーカを検出できず、後方のレーンマーカの位置点列データを推定することができなくなる。このように後方のレーンマーカが推定できない場合は、例えば、左側レーンマーカの位置点列データと車線幅の値から右側のレーンマーカを推定することも可能である。しかし、右側のレーンマーカの位置点列データの信頼性は低くなるため、右側のレーンマーカの位置点列データを左側のレーンマーカの位置点列データの表示とは異なるように、白丸と点線で表現する。また、右側のレーンマーカの位置点列データの信頼性が低いことを表示すると良い。

図３１は、本発明の周辺環境認識装置６０と車両制御装置４０内に構成される車線変更制御手段４１によって行われる車線変更制御に関する一つの実施例を示している。図３１に示すように、車両制御装置４０は、車線変更要求に応じて自車両１００が現在走行している車線から異なる車線へ車線変更を行う制御指令を出力する車線変更制御手段４１を有している。車線変更制御手段４１は、車線変更要求判定手段４１１、自車両目標軌道設定手段４１２、移動体軌道推定手段４１３、衝突可能性判定手段４１４、制御指令演算手段４１５から構成される。車線変更要求判定手段４１１は、ドライバによる車線変更操作（例えば、ウインカ操作など）あるいは車両制御装置４０の別の構成要素で決定した自車両１００の走行計画から、自車両１００が現在走行している車線から別の車線へ変更する要求があるかを判定する。車線変更要求手段４１１で車線変更要求があると判定されると、車線変更要求出力は、自車両目標軌道設定手段４１２、移動体軌道推定手段４１３へ出力される。自車両目標軌道設定手段４１２では、自車両１００が車線変更時に走行する目標軌道を設定する。目標軌道設定は、前記の車両１００の走行計画から目標軌道を設定しても良い。具体的には、図３２に示すように、車線変更時に自車両１００が走行する目標軌道を自車両１００の前方の道路および車線上の位置を点列（１００-１、１００-２、１００-３、１００-４、１００-５）で表現するなどがある。移動体軌道推定手段４１３では、周辺環境認識装置６０から出力される自車両１００の周辺の移動体２００の相対位置と相対速度、移動体が走行する車線Ｌ３の情報を取得し、移動体の走行軌道を推定する。具体的には、図３２に示すように移動体２００が現在走行している車線Ｌ３に沿って移動体２００は継続的に走行し、移動体２００が現在の相対速度で走行する場合における所定時間後に到達する移動体２００の複数の相対位置（２００−１、２００−２、２００−３、２００−４、２００−５）の点列を出力する。衝突可能性判定手段４１４は、車線変更時の自車両１００が走行する目標軌道の位置点列（１００-１、１００-２、１００-３、１００-４、１００-５）を自車両目標軌道設定手段４１２から取得し、移動体２００の所定時間後に到達する複数の位置点列（２００−１、２００−２、２００−３、２００−４、２００−５）を移動体軌道推定手段４１３から取得し、自車両１００と移動体２００の所定時間後の位置から衝突可能性を判定する。具体的には、所定時間後の同一時刻における自車両１００と移動体２００の位置が所定の距離以内に有る場合は、自車両１００と移動体２００は衝突する可能性があると判定し、所定の距離よりも大きく離れている場合は、衝突する可能性が低いと判定する。制御指令演算手段４１５は、衝突可能性判定手段４１４にて衝突可能性があると判定すると、衝突を回避するための制御指令を演算する。制御指令演算手段４１５で演算された制御指令は、車両制御装置４０の車両挙動制御装置４２へ出力され、車両挙動制御装置４２は最終的な車両制御装置の指令を演算する。本実施例では、１つの移動体２００の場合について説明しているが、複数の移動体が存在する場合でも同様に処理することができる。

図３１、３２に示した実施例によれば、自車両１００の周辺の移動体２００とレーンマーカの位置を認識することで、自車両１００の周辺移動体２００が走行する車線も同時に判定することができるため、所定時間後の周辺移動体２００の位置をより正しく推定することができる。この結果、周辺環境認識装置６０を搭載した自車両１００は、信頼性の高い自車両１００と周辺移動体２００が衝突可能性を判定することが可能となる効果がある。

１０ 原動機
２０ 変速機
３０ 原動機制御装置
４０ 車両制御装置
５０ 通信装置
６０ 周辺環境認識装置
８０−１ 画像認識装置
８０−２ 画像認識装置
８０−３ 画像認識装置
８０−４ 画像認識装置
９０ 制動装置
１００ 車両、自車両
１１０ 警報装置
１２０ 表示装置
１３０−１ 右後方認識装置
１３０−２ 左後方認識装置
１３０−３ 右前方認識装置
１３０−４ 左前方認識装置
２００ 自車両周辺の移動体
３００ 自車両周辺の移動体
４００ 自車両周辺の移動体
６１０ 第１のレーンマーカ推定手段
６２０ 第２のレーンマーカ検出手段
６３０ 周辺移動体検出手段
６４０ レーンマーカ推定値補正手段
６５０ 周辺移動体判定手段
６６０ 表示装置
６７０ 通知手段
８００ レーンマーカ検出手段

Claims (25)

1. 少なくとも自車両の周辺の道路情報を検知する車両周辺認識手段を有する車両の周辺環境認識システムにおいて、
   前記自車両の後方レーンマーカ位置を推定する第１のレーンマーカ推定手段と、
   前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
   前記第２のレーンマーカ検出手段が出力するレーンマーカ位置に基づいて、前記第１のレーンマーカ推定手段が出力する前記自車両の後方レーンマーカ位置を補正するレーンマーカ推定値補正手段を有することを特徴とする周辺環境認識システム
2. 少なくとも自車両の近傍の道路情報を検知する車両周辺認識手段と、前記自車両の前方の道路状態を検知する車両前方認識手段と、自車両の挙動を検知する車両挙動検出手段を有する車両の周辺環境認識システムにおいて、
   前記車両前方認識手段で検知した前記自車両の前方レーンマーカ位置と前記車両挙動検出手段で求めた前記自車両の移動変化量から前記自車両の後方レーンマーカ位置を推定し、該推定した後方レーンマーカ位置を出力する第１のレーンマーカ推定手段と、
   前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
   前記第２のレーンマーカ検出手段が出力する前記自車両の周辺レーンマーカ位置に基づいて、前記第１のレーンマーカ推定位置を補正し、該補正した前記自車両の後方レーンマーカ推定位置の補正結果を出力するレーンマーカ推定値補正手段と、を有することを特徴とする周辺環境認識システム
3. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、
   前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
   前記車両周辺画像認識手段によって取得した道路情報に基づいて、前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
   前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、を有することを特徴とする周辺環境認識システム。
4. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段と、前記自車両の挙動を推定する車両挙動手段を有する周辺環境認識システムであって、
   前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
   前記周辺画像認識手段によって検出した前記自車両の前方のレーンマーカと前記車両挙動手段で推定した前記自車両の移動量と旋回角に基づいて前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
   前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、を有することを特徴とする周辺環境認識システム。
5. 少なくとも自車両周辺の道路情報を検知する車両周辺認識手段と前記自車両の周辺の移動体を検知する周辺移動体検出手段を有する車両の周辺環境認識システムにおいて、
   前記自車両の後方レーンマーカ位置を推定する第１のレーンマーカ推定手段と、
   前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
   前記第２のレーンマーカ検出手段が出力するレーンマーカ位置に基づいて、前記第１のレーンマーカ推定手段が出力する前記自車両の後方レーンマーカ位置を補正するレーンマーカ推定値補正手段と、
   前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
   該周辺移動体判定手段によって判定した前記自車両の周辺の移動体が存在する車線を通知する通知手段あるいは、表示する表示装置とを有することを特徴とする周辺環境認識システム
6. 少なくとも自車両の近傍の道路情報を検知する車両周辺認識手段と、前記自車両の前方の道路状態を検知する車両前方認識手段と、前記自車両の周辺の移動体を検知する周辺移動体検出手段と、自車両の挙動を検知する車両挙動検出手段を有する車両の周辺環境認識システムにおいて、
   前記車両前方認識手段で検知した前記自車両の前方レーンマーカ位置と前記車両挙動検出手段で求めた前記自車両の移動変化量から前記自車両の後方レーンマーカ位置を推定し、該推定した後方レーンマーカ位置を出力する第１のレーンマーカ推定手段と、
   前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
   前記第２のレーンマーカ検出手段が出力する前記自車両の周辺レーンマーカ位置に基づいて、前記第１のレーンマーカ推定位置を補正し、該補正した前記自車両の後方レーンマーカ推定位置の補正結果を出力するレーンマーカ推定値補正手段と、
   前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
   該周辺移動体判定手段によって判定した前記自車両の周辺の移動体が存在する車線を通知する通知手段あるいは、表示する表示装置とを有することを特徴とする周辺環境認識システム
7. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、
   前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
   前記車両周辺画像認識手段によって取得した道路情報に基づいて、前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
   前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、
   前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
   該周辺移動体判定手段によって判定した前記自車両の周辺の移動体が存在する車線を通知する通知手段あるいは、表示する表示装置とを有することを特徴とする周辺環境認識システム。
8. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段と、前記自車両の挙動を推定する車両挙動手段を有する周辺環境認識システムであって、
   前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
   前記周辺画像認識手段によって検出した前記自車両の前方のレーンマーカと前記車両挙動手段で推定した前記自車両の移動量と旋回角に基づいて前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
   前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、
   前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
   該周辺移動体判定手段によって判定した前記自車両の周辺の移動体が存在する車線を通知する通知手段あるいは、表示する表示装置とを有することを特徴とする周辺環境認識システム
9. 少なくとも自車両周辺の道路情報を検知する車両周辺認識手段と前記自車両の周辺の移動体を検知する周辺移動体検出手段を有する車両の周辺環境認識システムにおいて、
   前記自車両の後方レーンマーカ位置を推定する第１のレーンマーカ推定手段と、
   前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
   前記第２のレーンマーカ検出手段が出力するレーンマーカ位置に基づいて、前記第１のレーンマーカ推定手段が出力する前記自車両の後方レーンマーカ位置を補正するレーンマーカ推定値補正手段と、
   前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
   前記自車両が現在走行する車線から左右いずれかの隣の車線へ変更することを判定し、前記周辺移動体判定手段によって判定された移動体が前記自車両が変更する車線内に存在する場合に、前記自車両と前記移動体との衝突可能性を判定して、衝突可能性がある場合は、警報を出力する警報装置とを有することを特徴とする周辺環境認識システム
10. 少なくとも自車両の近傍の道路情報を検知する車両周辺認識手段と、前記自車両の前方の道路状態を検知する車両前方認識手段と、前記自車両の周辺の移動体を検知する周辺移動体検出手段と、自車両の挙動を検知する車両挙動検出手段を有する車両の周辺環境認識システムにおいて、
    前記車両前方認識手段で検知した前記自車両の前方レーンマーカ位置と前記車両挙動検出手段で求めた前記自車両の移動変化量から前記自車両の後方レーンマーカ位置を推定し、該推定した後方レーンマーカ位置を出力する第１のレーンマーカ推定手段と、
    前記車両周辺認識手段で検知した前記自車両の近傍レーンマーカ位置を出力する第２のレーンマーカ検出手段と、
    前記第２のレーンマーカ検出手段が出力する前記自車両の周辺レーンマーカ位置に基づいて、前記第１のレーンマーカ推定位置を補正し、該補正した前記自車両の後方レーンマーカ推定位置の補正結果を出力するレーンマーカ推定値補正手段と、
    前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
    前記自車両が現在走行する車線から左右いずれかの隣の車線へ変更することを判定し、前記周辺移動体判定手段によって判定された移動体が前記自車両が変更する車線内に存在する場合に、前記自車両と前記移動体との衝突可能性を判定して、衝突可能性がある場合は、警報を出力する警報装置とを有することを特徴とする周辺環境認識システム
11. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段を有する周辺環境認識システムであって、
    前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
    前記車両周辺画像認識手段によって取得した道路情報に基づいて、前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
    前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、
    前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
    前記自車両が現在走行する車線から左右いずれかの隣の車線へ変更することを判定し、前記周辺移動体判定手段によって判定された移動体が前記自車両が変更する車線内に存在する場合に、前記自車両と前記移動体との衝突可能性を判定して、衝突可能性がある場合は、警報を出力する警報装置とを有することを特徴とする周辺環境認識システム
12. 少なくとも自車両の周辺の道路情報を検知する車両周辺画像認識手段と、前記自車両の周辺の移動体・障害物を検知する車両周辺移動体認識手段と、前記自車両の挙動を推定する車両挙動手段を有する周辺環境認識システムであって、
    前記車両周辺画像認識手段によって前記自車両の近傍の道路情報であるレーンマーカの位置を検知する第２のレーンマーカ検出手段と、
    前記周辺画像認識手段によって検出した前記自車両の前方のレーンマーカと前記車両挙動手段で推定した前記自車両の移動量と旋回角に基づいて前記自車両の後方のレーンマーカの位置を推定する第１のレーンマーカ推定手段と、
    前記第２のレーンマーカ検出手段によって取得した前記自車両の近傍のレーンマーカの位置情報に基づいて前記第１のレーンマーカ推定手段によって取得した前記自車両の後方のレーンマーカの位置を補正するレーンマーカ推定値補正手段と、
    前記レーンマーカ推定値補正手段によって取得した自車両の後方のレーンマーカの位置と前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体の位置から前記周辺移動体検出手段によって取得した前記自車両の周辺の移動体が存在する車線を判定する周辺移動体判定手段と、
    前記自車両が現在走行する車線から左右いずれかの隣の車線へ変更することを判定し、前記周辺移動体判定手段によって判定された移動体が前記自車両が変更する車線内に存在する場合に、前記自車両と前記移動体との衝突可能性を判定して、衝突可能性がある場合は、警報を出力する警報装置とを有することを特徴とする周辺環境認識システム
13. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第２のレーンマーカ検出手段へ提供する前記自車両の周辺のレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の前方、右側方、左側方、後方の路面の画像を取得し、レーンマーカを認識する全周囲認識カメラであることを特徴する周辺環境認識システム。
14. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第２のレーンマーカ検出手段へ提供する前記自車両の周辺のレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の右側方、左側方の路面の画像を取得し、レーンマーカを認識する自車両の側方認識カメラであることを特徴する周辺環境認識システム。
15. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第２のレーンマーカ検出手段へ提供する前記自車両の周辺のレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の後方の路面の画像を取得し、レーンマーカを認識する自車両後方認識カメラであることを特徴する周辺環境認識システム。
16. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第２のレーンマーカ検出手段へ提供する前記自車両の周辺のレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の前方、右側方と左側方、後方の路面の画像を取得し、レーンマーカを認識する全周囲認識カメラの何れかの画像認識結果であり、前記全周囲認識カメラの中で機能している画像認識結果を優先して利用することを特徴する周辺環境認識システム
17. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第１のレーンマーカ推定手段へ提供するレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の前方の画像を取得し、レーンマーカを認識する前方認識カメラであることを特徴する周辺環境認識システム。
18. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第１のレーンマーカ推定手段へ提供するレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の前方の画像を取得し、レーンマーカを認識する前方ステレオカメラであることを特徴する周辺環境認識システム。
19. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第１のレーンマーカ推定手段へ提供するレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の右側方と左側方の画像を取得し、レーンマーカを認識する自車両側方認識カメラであることを特徴する周辺環境認識システム。
20. 請求項３、請求項４、請求項７、請求項８、請求項１１、請求項１２における第１のレーンマーカ推定手段へ提供するレーンマーカを検出する前記車両周辺画像認識手段が、前記自車両の前方の画像を取得してレーンマーカを認識する前方ステレオカメラ、あるいは前記自車両の右側方と左側方の画像を取得してレーンマーカを認識する自車両側方認識カメラの何れかのであることを特徴する周辺環境認識システム。
21. 請求項１、請求項２、請求項５、請求項６、請求項９、請求項１０における第１のレーンマーカ推定手段は、前記自車両の位置と進行方向に対応した道路地図データから取得したレーンマーカ位置を用いて、前記自車両の後方のレーンマーカ位置を推定することを特徴とする周辺環境認識システム。
22. 請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１における前記周辺移動体判定手段によって判定した前記自車両の周辺の移動体と該移動体の存在する車線を表示する表示装置は、前記車両周辺画像認識手段から前記第１のレーンマーカ推定手段へレーンマーカの検出結果が出力されない場合は、自車両位置と後方周辺車両位置のみを表示することを特徴とする周辺環境認識システム
23. 請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１における前記周辺移動体判定手段によって判定した前記自車両の周辺の移動体と該移動体の存在する車線を表示する表示装置は、前記車両周辺画像認識手段から第２のレーンマーカ検出手段へ前記自車両の近傍の道路情報であるレーンマーカ検出結果が出力されない場合の前記自車両の後方レーンマーカの表示と前記車両周辺画像認識手段から第２のレーンマーカ検出手段へ前記自車両の近傍の道路情報であるレーンマーカ検出結果が出力される場合の前記自車両の後方レーンマーカの表示を異なる表示にすることを特徴とする周辺環境認識システム
24. 少なくとも車両の車線変更要求を検出して、前記車両の車線変更を行う車線変更制御装置と、請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４の何れかに記載された周辺環境認識装置とを搭載したことを特徴とする車両制御装置。
25. 少なくとも車両の車線変更要求を検出して、前記車両の車線変更を行う車線変更制御装置を有する車両において、請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４の何れかに記載された周辺環境認識装置とを搭載したことを特徴とする車両。

Images