JP2005326168A - 運転支援システム、車両、および運転支援方法 - Google Patents

Abstract

【課題】 自車両の位置を正確に算出することができる運転支援システム、車両、および運転支援方法を提供する。
【解決手段】 車両から外部の画像を撮像するカメラと、自車両の位置を算出するカーナビゲーション装置と、カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生部と、車外画像再生部によって生成された画像と、カメラにより撮像された画像とを比較する画像比較部と、画像比較部による比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出部と、車外画像再生部４６によって生成された車外の画像を表示する表示装置を備える。そして、車外画像再生部は、詳細位置算出部によって算出された詳細な位置から見られるべき車外の画像を、３Ｄ地図を用いて生成する。
【選択図】 図３

Description

本発明は、自車両の位置を正確に算出することができる運転支援システム、車両および運転支援方法に関する。特に本発明は、車両から撮像した画像を用いて自車両の詳細な位置を算出する、運転支援システム、車両、および運転支援方法に関する。

従来、３Ｄ画像を運転手へ表示するカーナビゲーション装置が知られている（例えば、非特許文献１参照）。カーナビゲーション装置は、ＧＰＳ衛星から受信したＧＰＳ情報を用いて車両の現在位置を特定し、運転手は、カーナビゲーション装置によって表示された３Ｄ画像を参考にしながら目的地までの運転を行う。

"三菱カーナビゲーション装置 リアルマップ"、［online］、［平成１６年４月１日検索］、インターネット＜ＵＲＬ：http://www.mitsubishielectric.co.jp/carele/carnavi/h8000/realmap_b.html＞

しかしながら、カーナビゲーション装置が受信するＧＰＳ情報には誤差が含まれる。このため、カーナビゲーション装置は、ＧＰＳ情報を用いて算出した位置を、近くの道路上へと強制的に修正するいわゆるマップマッチングを行っている。従って、カーナビゲーション装置が算出する位置は、車両が現在走行している位置とは必ずしも一致しない。このためカーナビゲーション装置が表示する３Ｄ画像は、実際に走行した場合に見える風景とは異なる場合があり、このような画像が表示されると運転手は混乱するという課題がある。

このような課題を解決するために、本発明の第１の形態における運転支援システムは、車両から外部の画像を撮像するカメラと、自車両の位置を算出するカーナビゲーション装置と、カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生部と、車外画像再生部によって生成された画像と、カメラにより撮像された画像とを比較する画像比較部と、画像比較部による比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出部とを備えた。これにより、自車両の位置を正確に算出することができる。

また本形態における運転支援システムは、車外画像再生部によって生成された車外の画像を表示する表示装置を更に備え、車外画像再生部は、詳細位置算出部によって算出された詳細な位置から見られるべき車外の画像を、３Ｄ地図を用いて生成してもよい。これにより、運転手から実際に見える風景に近い画像を表示することができので、運転を適切に支援することができる。

車外画像再生部は、詳細位置算出部によって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成してもよい。このように、運転手から実際に見える風景に近い画像に進行方向を重ねて表示するので、運転手は、進むべき進路、およびその周辺の状況を、事前に正確に知ることができる。

また本形態における運転支援システムは、車両の速度を検出する車速検出部を更に備え、車外画像再生部は、詳細位置算出部によって算出された詳細な位置から、車速検出部によって検出された移動速度で、所定の時間だけ走行した位置から見られるべき車外の画像を、３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成してもよい。このように、運転手が所定の時間経過した後に見る風景と近い画像に進行方向を重ねて表示するので、運転手は、進むべき進路、およびその周辺の状況を、事前に正確に知ることができる。

また本形態における運転支援システムは、詳細位置算出部によって算出された車両の位置が、車外画像再生部によって算出された方向へ進行するのに適していない場合に、車線の変更を運転手に指示する車線変更指示装置を更に備えてもよい。これにより、運転手が車線を誤ることを防ぐことができる。

また本形態における運転支援システムは、画像比較部の比較において画像が一致しなかった場合に、カーナビゲーション装置による自車両の算出位置を補正する現在ルート判断部を更に備えてもよい。例えば、幅の狭い道路が互いに近くを平行するような場合、カーナビゲーション装置は、現在の位置を、隣の道路上へと誤って算出してしまう場合があるが、本発明の運転支援システムは、このような誤りを早く修正することができる。

本発明の第２の形態における車両は、車両から外部の画像を撮像するカメラと、自車両の位置を算出するカーナビゲーション装置と、カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生部と、車外画像再生部によって生成された画像と、カメラにより撮像された画像とを比較する画像比較部と、画像比較部による比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出部とを備えた。

車外画像再生部は、詳細位置算出部によって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成してもよい。

本発明の第３の形態における運転支援方法は、カメラによって車両から外部の画像を撮像する撮像ステップと、カーナビゲーション装置によって自車両の位置を算出する位置算出ステップと、カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生ステップと、車外画像再生ステップによって生成された画像と、撮像ステップによって撮像された画像とを比較する画像比較ステップと、画像比較ステップによる比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出ステップとを備えた。

車外画像再生ステップは、詳細位置算出ステップによって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成してもよい。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の開発手段に必須であるとは限らない。

図１は、本発明の運転支援システム１００を搭載した車両１０を示す。本発明の運転支援システム１００は、カーナビゲーション装置４４およびカメラ４２を備える。本実施形態のカーナビゲーション装置４４は内部に３Ｄ地図を格納しており、車両１０の現在の位置から撮像されるべき画像を生成する。カメラ４２は、車外を撮像する。本発明では、カメラ４２によって撮像された被写体６００を含む画像と一致する画像を、予め格納された３Ｄ地図から生成することにより、車両１０の位置を詳細に算出することのできる運転支援システム１００を提供することを目的とする。

図２は、運転支援システム１００が表示する３Ｄ画像を説明する図である。図２（ａ）は、運転支援システム１００に予め格納された３Ｄ地図から生成される３Ｄ画像を示す。本図の例では、車両１０が道路６０６を交差点６２０に向かって走行中に、運転支援システム１００のカーナビゲーション装置４４は、走行中の道路６０６、前方の交差点６２０、および、道路６０６および交差点６２０の周囲に存在する複数の建物６０８〜６１６を運転手へ表示する。

図２（ｂ）は、カメラ４２が撮像した画像を示す。カーナビゲーション装置４４は、ＧＰＳ衛星から受信したＧＰＳ情報や、車速パルスおよびジャイロセンサの出力結果を用いて、車両１０の現在位置を特定するが、受信するＧＰＳ情報や、センサの出力には誤差が含まれる。このような場合、カーナビゲーション装置４４は、ＧＰＳ情報やセンサを用いて算出した位置を、近くの道路上へと強制的に修正するいわゆるマップマッチングを行う。このため、カーナビゲーション装置４４が算出する位置は、車両が現在走行している位置とは必ずしも一致しないので、カーナビゲーション装置４４が表示する３Ｄ画像は、実際に走行した場合に見える風景とは異なる場合がある。

例えば、図２（ｂ）に示す画像は、図２（ａ）に示す生成された３Ｄ画像とは見え方が異なる。本図の例において、図２（ｂ）の画像は、画像に含まれる建物の位置などから、図２（ａ）の画像よりも後方から撮像されていることがわかる。そこで、本発明の運転支援システム１００は、生成した３Ｄ画像と、カメラ４２によって実際に撮像された画像とが一致した場合における、車両１０の計算上の位置を求めることより、車両１０のより詳細な位置を求めることを目的とする。尚、運転支援システム１００は、道路６０６上における車両１０の左右の位置についても、画像の見え方から詳細な位置を算出することが可能である。そこで本発明の運転支援システム１００は、車両１０の詳細な位置を用いて、更に、車両１０が走行する車線の方向を指示することを目的とする。

尚、図２（ｂ）に示すように、カメラ４２が撮像する画像には、道路６０６の上を走行する車両６０２および６０４、歩道を歩く歩行者６０１等が含まれる。そこで本例の運転支援システム１００は、道路上の車両６０２および６０４や、移動中の歩行者６０１を除去した画像を生成する。更に、カメラ４２によって撮像された画像には、各建物の窓７００〜７０４、汚れ７０６、および玄関７０８等の、運転手に進路を表示する上で必ずしも必要ではない情報が含まれる。そこで本例の運転支援システム１００は、更に、これらの不要な情報を除去した画像を生成する。本例の運転支援システム１００は、カメラ４２により撮像された画像から不要なオブジェクトを除いた画像と、カーナビゲーション装置４４が格納する画像とを比較することにより、車両１０の現在の位置を正確に算出することを目的とする。図２（ｃ）は、画像処理が施された後の画像の一例を示す。

図３は、運転支援システム１００の詳細な構成の一例を示す。運転支援システム１００は、カメラ４２およびカーナビゲーション装置４４に加えて、車外画像再生部４６、画像処理部４７、画像比較部４８、詳細位置算出部５０、車線変更指示部５２、現在ルート判断部５４、表示装置５６、車速検出部６０、舵角検出部６２、および旋回速度算出部６４を備える。本例のカーナビゲーション装置４４は、３Ｄ地図５８を有する。

カーナビゲーション装置４４は、ＧＰＳ衛星２００から、ＧＰＳ情報を受け取る。これによりカーナビゲーション装置４４は、車両１０の現在の位置を取得する。また、カーナビゲーション装置４４は、ＧＰＳ衛星２００から受け取ったＧＰＳ情報の履歴を格納する。これにより、カーナビゲーション装置４４は、車両１０の進行方向を特定する。ＧＰＳ情報に誤差がある場合、カーナビゲーション装置４４は、現在の位置および履歴から、地図上における最適な道路を選択し、その道路上における位置を、現在位置として算出する。

車外画像再生部４６は、カーナビゲーション装置４４によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図５８を用いて生成する。ここで３Ｄ地図５８は、３次元の画像情報を予め有する。車外画像再生部４６は、カーナビゲーション装置４４によって算出された位置を中心とする所定の範囲に含まれるそれぞれの位置から撮像されるべき車外の画像を、３Ｄ地図５８を用いて生成する。尚、算出された位置を中心とする所定の範囲とは、算出された位置を中心とする長方形の領域や、円形の領域であってよい。

カメラ４２は、車両１０の外部を撮像する。この場合、カメラ４２は、車両１０の進行方向に光軸が一致するように車両１０に予め配置され、車両１０の前方を連続して撮像する。

車速検出部６０は車両１０の移動速度を検出し、舵角検出部６２は、車両１０の舵角を検出する。旋回速度算出部６４は、車速検出部６０が検出した移動速度および、舵角検出部６２が検出した舵角に基づいて、車両１０の旋回速度を算出する。本例の旋回速度算出部６４は、車速検出部６０が検出した移動速度に、舵角検出部６２が検出した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。

画像処理部４７は、カメラ４２によって撮像された画像に画像処理を施す。詳細は後述するが、本例の画像処理部４７は、車速検出部６０が検出した移動速度と、旋回速度算出部６４によって算出された旋回速度を用いて、撮像された画像における移動体を除去する。また画像処理部４７は、道路の周囲に存在する被写体を検出する。更に、画像処理部４７は、画像に含まれる基準値以上の高周波成分を除去する。

画像比較部４８は、車外画像再生部４６によって生成された画像と、カメラ４２により撮像され、更に画像処理部４７によって画像処理が施された画像と、車外画像再生部４６によって生成された画像とを比較する。この場合、画像比較部４８は、画像処理が施された画像と、車外画像再生部４６によって生成された複数の画像との差分を求め、この差分が最小となる画像を、複数の生成された画像から選択する。この場合、算出された差分が、予め定められた値よりも小さい場合に、車外画像再生部４６は、画像が一致したと判断する。

詳細位置算出部５０は、画像比較部４８による比較結果を用いて、車両１０の詳細な位置を算出する。本例の詳細位置算出部５０は、画像が一致した場合に、車外画像再生部４６が画像を生成するのに用いた車両１０の位置を、車両１０の詳細な位置として算出する。すると車外画像再生部４６は、詳細位置算出部５０によって算出された詳細な位置から見られるべき車外の画像を、３Ｄ地図５８を用いて生成する。尚、算出された位置からみられるべき画像を生成する動作は後述する。表示装置５６は、車外画像再生部４６によって生成された車外の画像を表示する。

画像比較部４８の比較において画像が一致しなかった場合に、現在ルート判断部５４は、カーナビゲーション装置４４による自車両１０の算出位置を補正する。この場合、本例のカーナビゲーション装置４４は、ＧＰＳ衛星２００と再び通信を行い、ＧＰＳ情報を取得する。そしてカーナビゲーション装置４４は、取得したＧＰＳ情報を用いて、現在の位置を再度、算出する。これにより、カーナビゲーション装置４４が車両１０の位置を誤って算出した場合であっても、位置を早く修正することができる。

また、車線変更指示部５２は、詳細位置算出部５０によって算出された車両１０の位置が、車外画像再生部４６によって算出された方向へ進行するのに適していない場合に、車線の変更を運転手に指示する。本例の車線変更指示部５２は、詳細な位置から撮像されるべき画像と、走行すべき車線の位置から撮像されるべき画像とを生成し、両者の画像が一致しない場合に、詳細位置算出部５０によって算出された車両１０の位置が、車外画像再生部４６によって算出された方向へ進行するのに適していないと判断する。これにより運転手が車線を誤ることを、防ぐことができる。

更に、本発明の車外画像再生部４６は、詳細位置算出部５０によって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、３Ｄ地図５８を用いて生成し、車両１０が進行すべき方向を示す画像に合成する。また車外画像再生部４６は、詳細位置算出部５０によって算出された詳細な位置から、車速検出部６０によって検出された速度で、所定の時間だけ走行した位置から見られるべき車外の画像を、３Ｄ地図５８を用いて生成し、車両１０が進行すべき方向を示す画像に合成する。これにより運転手は進むべき進路と、その道路の周囲の状況を事前に知ることが出来る。尚、車両１０が進行すべき方向を示す画像とは、矢印などのマークであってよい。

以上の説明から明らかなように本実施形態によれば、詳細位置算出部５０は画像比較部４８による比較結果を用いて、車両１０の詳細な位置を算出するので、本発明の運転支援システム１００は、車両１０の位置を正確に算出することができる。また車外画像再生部４６は詳細位置算出部５０によって算出された詳細な位置から見られるべき車外の画像を、３Ｄ地図５８を用いて生成するので、運転手から実際に見える画像と近似した画像を表示することができる。そして、車外画像再生部４６は、３Ｄ地図５８を用いて、所定の距離だけ進んだ位置からみられるべき車外の画像を生成し、或いは、車速検出部６０によって検出された速度で、所定の時間だけ走行した位置から見られるべき車外の画像を生成し、車両１０が進行すべき方向を示す画像に合成するので、運転手は進むべき進路と、その道路の周囲の状況を事前に知ることが出来る。

図４は、運転支援システム１００の動作の一例を示すフローチャートである。カーナビゲーション装置４４は、ＧＰＳ衛星２００から、ＧＰＳ情報を受け取り、自車両１０の現在の位置を算出する（Ｓ１００）。すると車外画像再生部４６は、カーナビゲーション装置４４によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図５８を用いて生成する（Ｓ１０５）。この場合、車外画像再生部４６は、カーナビゲーション装置４４によって算出された位置を中心とする所定の範囲に含まれるそれぞれの位置から撮像されるべき車外の画像を、３Ｄ地図５８を用いて生成する。

ここでカメラ４２は、車両１０の進行方向に光軸が一致するように車両１０に予め配置され、車両１０の前方を連続して撮像する（Ｓ１１０）。すると画像処理部４７は、カメラ４２によって撮像された画像に画像処理を施す（Ｓ１１５）。尚、画像処理部４７の動作の詳細は図７で述べる。この画像処理により、次に行う画像の比較の精度を向上させる。

画像比較部４８は、画像処理部４７によって画像処理を施された画像と、車外画像再生部４６によって生成された画像とを比較する。そして、両者の画像が一致しなかった場合（Ｓ１２０：ＮＯ）、現在ルート判断部５４は、カーナビゲーション装置４４にＧＰＳ衛星２００と再び通信を行わせ、取得したＧＰＳ情報を用いて、再度、車両１０の現在の位置を算出する（Ｓ１２５）。これにより現在ルート判断部５４は、現在のルートの判断を行う。そして詳細位置算出部５０は、画像比較部４８による比較結果を用いて、車両１０の詳細な位置を算出する（Ｓ１３０）。

画像処理部４７によって画像処理を施された画像と、車外画像再生部４６によって生成された画像とが一致した場合（Ｓ１２０：ＹＥＳ）、本フローチャートはステップＳ１３５へ進む。すると車外画像再生部４６は、詳細位置算出部５０によって算出された詳細な位置から見られるべき車外の画像を、３Ｄ地図５８を用いて生成し、表示装置５６は、車外画像再生部４６によって生成された車外の画像を表示する（Ｓ１３５）。そして、交差点に近づくと、車外画像再生部４６は、交差点における進路を表示する（Ｓ１４０）。

ここで、車両１０が目的地に到着していない場合（Ｓ１４５：ＮＯ）、本フローチャートは、ステップＳ１００へ進み、ステップＳ１００からステップＳ１４０までの動作を繰り返す。目的地に到着すると（Ｓ１４５：ＹＥＳ）、本フローチャートは、終了する。

図５は、３Ｄ画像の生成について説明する図である。カーナビゲーション装置４４は、３Ｄ地図５８に、交差点および道路が曲がる箇所をノードとして格納すると共に、それぞれの道路を、ノードをつなぐリンクとして格納する。ここでカーナビゲーション装置４４は、ノードに対応づけて位置情報を格納し、リンクに対応づけて道路情報を格納する。例えばカーナビゲーション装置４４は、ノードに対応づけて緯度および経度で示された位置情報を格納し、リンクに対応づけて、リンクに対応する道路の法定速度等の情報を道路情報として格納する。これらの情報を運転手へ提供することにより、カーナビゲーション装置４４は運転手の運転を支援する。

本図は、道路６０６（図２参照）を走行する車両１０を真上から見た様子を示す。説明の便宜上、交差点および道路に対応するノードおよびリンクを重ねて示す。３Ｄ地図５８は、３Ｄ画像を生成するための３次元の画像情報を各リンクに対応づけて格納しており、カーナビゲーション装置４４は、各リンクにおける車両１０の現在位置に基づいて、格納された画像情報を用いて３Ｄ画像を生成する。本例の３Ｄ地図５８は、３次元の画像情報として、ノードを座標の原点とする３次元座標と、各３次元座標に対応する画素値とを格納する。そしてカーナビゲーション装置４４は、リンク上における車両１０の位置に基づいて、運転手へ表示するべき３Ｄ画像を、随時、生成しながら表示する。本例のカーナビゲーション装置４４は、運転手の視点から見た場合における、道路および建物の表面を表す画像を、運転手へ表示するべき３Ｄ地図として表示する。

例えば、本図の例では、建物６１６の表面上における位置８２０は、ノード８００を原点とする３次元座標（Ｘ、Ｙ、Ｚ）で定義され、３Ｄ地図５８は、位置８２０における画素値Ａを格納する。同様にして３Ｄ地図５８は、道路および道路周辺の全ての位置に対応づけて、３次元座標および画像値を格納している。また、３Ｄ地図５８は、交差点としてノード８００および８０２を格納し、これらのノードをつなぐリンクとして、リンク８０６、８０８〜８１５を格納している。車両１０が矢印８０４に示されるリンク８０８上に位置し、矢印８１６が示す方向、即ちノード８００からノード８０２へ向かって移動している場合、カーナビゲーション装置４４は、車両１０の運転手から見える道路および各建物の３Ｄ画像を生成して表示する。本図の例において、運転手へ表示するべき領域が、点線で示された領域８５０である場合、カーナビゲーション装置４４は、建物６０８〜６１６を含む３Ｄ画像を表示する。尚、進行方向が矢印８１６と逆方向である場合、カーナビゲーション装置４４は、ノード８０２を原点とした３次元座標に変換して３Ｄ画像を表示する。

図６は、ステップＳ１０５の詳細な動作の一例を示すフローチャートである。現在位置を示すＧＰＳ情報をＧＰＳ衛星２００から取得すると、カーナビゲーション装置４４は、ＧＰＳ衛星２００から受け取った車両１０の位置情報を、リンク上における座標に変換する。本例のカーナビゲーション装置４４は、車両１０の現在位置を、車両１０の進行方向とは逆の方向に接続されたノードを原点とする座標に変換する。図５の例では、カーナビゲーション装置４４は、ノード８００を原点とする、リンク８０８上における位置を特定する（Ｓ２００）。

次に車外画像再生部４６は、予め格納された３次元の画像情報において、車両１０の現在の位置として運転手へ表示すべき３Ｄ画像を生成するために必要な各点の座標と画素値を算出する（Ｓ２０５）。ここで車外画像再生部４６は、算出された位置を中心とする所定の範囲８０７（図５参照）内で、各座標に位置をかえた場合の画像を生成する（Ｓ２１０）。この場合、車外画像再生部４６は、算出された位置を中心として、前後左右に位置を変えた場合の画像を生成する。このようにして、車外画像再生部４６は、カメラ４２によって撮像された画像と比較を行うための画像を生成する。例えば、矢印８０５（図５参照）における位置から見られるべき画像と、カメラ４２によって撮像された画像が一致した場合には、矢印８０５における位置を、車両１０の詳細な位置として算出する。

図７は、ステップＳ１１５の詳細な動作の一例を示すフローチャートである。画像処理部４７は、まず、カメラ４２により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分の領域がある場合（Ｓ３００：ＹＥＳ）、この領域における高周波成分を除去する（Ｓ３０５）。

この場合、画像処理部４７は、得られた画像をＤＣＴ変換（離散コサイン変換）し、変換によって得られたスペクトルにおいて、基準値以上に大きな周波数成分を持つスペクトルの係数をゼロにして、更に逆ＤＣＴ変換（逆離散コサイン変換）を施すことにより、高周波成分を除去する。尚、高周波成分を除去した画像には、画像が有する直流成分は残るので、画像処理部４７は、高周波成分を除去した後の画像として、直流成分の濃度を画素値として有する画像を得る。

ここで車両１０が走行することにより、撮像された画像に含まれる各被写体には動き生じる。この被写体の動きは、画像の中央付近では小さく生じ、周囲においては大きい。また車両１０から被写体までの距離が近いほど大きくなる。本明細書では、このような車両１０の走行状態によって定まる画像内における各被写体の動きをオプティカルフローと呼び、画像内の被写体の実際の動きを移動ベクトルと呼ぶ。そして被写体が静止している場合に、各被写体のオプティカルフローは、車両１０の移動速度、車両１０からオブジェクトまでの距離、および車両１０に対する被写体の方向から定まる。また車両１０が微小時間内に旋回を行った場合、画像内の被写体は、左右方向へのオプティカルフローが生じる。このオプティカルフローの方向は、旋回を行った方向と逆方向であり、大きさは旋回速度に比例する。

そこで車速検出部６０は車両１０の移動速度を検出し、舵角検出部６２は車両１０の舵角を検出する（Ｓ３１０）。更に、旋回速度算出部６４は、車速検出部６０が検出した移動速度に、舵角検出部６２が検出した舵角の変化の大きさを乗じることで、車両１０の旋回速度を算出する（Ｓ３１５）。

ここで、カメラ４２は内部に２つのカメラを含む３Ｄカメラであってもよく、内部に含まれる２つのカメラによって撮像されたオブジェクトの特徴点の位置ずれを用いて、車両１０から各オブジェクトまでの距離と車両１０に対する方向を求める。ここで、画像処理部４７は、各オブジェクトまでの距離および方向と、車速検出部６０が検出した移動速度を用いて、車両１０が直進した場合に各オブジェクトに生じるオプティカルフローを算出する（Ｓ３２０）。更に、画像処理部４７は、算出したオプティカルフローに、旋回した場合に生じた各オブジェクトのオプティカルフローを加算することにより、車両１０が旋回しながら進んだ場合におけるオプティカルフローを算出する。これにより、画像処理部４７は、被写体が静止していると仮定した場合に、車両１０の移動速度および旋回速度によって被写体に生じるオプティカルフローを算出する。

そして画像処理部４７は、連続して撮像された画像に含まれる各オブジェクトの特徴点を抽出することにより、移動ベクトルを算出する。そして、先に算出したオプティカルフローとは異なる移動ベクトルを有する場合（Ｓ３２５：ＹＥＳ）、画像処理部４７は、このオブジェクトを移動体として検出することにより、移動体を除去する（Ｓ３３０）。この場合、画像処理部４７は、オプティカルフローと、移動ベクトルとの差分を算出し、この差分が予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体と判断する。これにより、画像処理部４７は移動体を確実に除去することができる。また、オブジェクトが、算出したオプティカルフローとは異なる移動ベクトルを持たない場合（Ｓ３２５：ＮＯ）、本フローチャートは、ステップＳ３３５へ進む。

次に画像処理部４７は、カメラ４２によって撮像される画像中の、道路の周囲の被写体である周囲被写体を検出する。より具体的には、画像処理部４７は、画像内において車両１０よりも下方に撮像される領域において、オプティカルフローの消失点に向かって伸びる、予め定められた長さ以上の直線成分を検出する。そして、検出された直線を路肩と判断し、検出された路肩の間の領域を、道路上の領域として定める（Ｓ３３５）。尚、画像処理部４７は、画像内における車両１０よりも下方に撮像される領域を、カメラ４２の取り付け角度から予め定める。そして、画像処理部４７は、撮像された画像における道路を示す領域以外の領域の被写体を、周囲被写体として選択する（Ｓ３４０）。これにより、画像処理部４７は、道路の周辺の被写体を適切に選択することができる。

尚、より簡易には、画像処理部４７は、移動体を除去する動作を、次のように行ってもよい。即ち、画像処理部４７は、カメラ４２によって連続して撮像された画像から、各被写体の移動ベクトルを算出することにより画像全体に生じるオプティカルフローを算出し、算出されたオプティカルフローと異なる向きをもつ移動ベクトルを持つ被写体を、移動体として検出しても良い。

図８は、ステップＳ１４０の詳細な動作の一例を示すフローチャートである。車速検出部６０は、車両１０の移動速度を検出する。そして現在の移動速度で走行した場合、予め定められた時間に、車両１０が交差点に得着すると想定される場合、例えば交差点にあと３０秒で到着する場合（Ｓ４００：ＹＥＳ）、或いは、交差点に車両１０が予め定められた所定の距離だけ近づいた場合、例えば、交差点にあと２００メートルで到着する場合（Ｓ４０５：ＹＥＳ）、本フローチャートは、ステップＳ４１０へ進む。尚、所定の距離および所定の時間は、運転手によって予め設定されてよい。

すると車線変更指示部５２は、詳細な位置から撮像されるべき画像と、走行すべき車線の位置から撮像されるべき画像とを生成し、両者の画像が異なる場合に、正しい車線を走行していないと判断し（Ｓ４１０：ＮＯ）、運転手へ車線の変更を指示する（Ｓ４１５）。この場合、車線変更指示部５２は、表示装置５６に車線の変更を指示する旨を表示させると共に、カーナビゲーション装置４４に車線の変更を指示する旨の音声ガイダンスを行わせる。これにより、本発明の運転支援システム１００は、車線の誤りを防ぐことができる。特に交差点での車線の誤りを事前に防ぐことができる。

また、車外画像再生部４６は、交差点の画像に、進行すべき方向を示す矢印を合成し（Ｓ４２０）、表示装置５６は、合成された画像を表示する。これにより、運転手は進むべき進路と、その道路の周囲の状況を事前に知ることが出来る。正しい車線を走行している場合（Ｓ４１０：ＹＥＳ）には、本フローチャートは、ステップＳ４１５の処理を行わずに、ステップＳ４２０へ進む。尚、車両１０が交差点に近づかない場合（Ｓ４００：ＮＯ、およびＳ４０５：ＮＯ）、ステップＳ４１０からステップＳ４２０までの処理は行われない。

尚、本実施形態において、カメラ４２は、車両１０の前方を撮像したが、撮像する方向は前方には限られない。例えばカメラ４２は、車両１０から見て横方向や、後ろ方向の画像を撮像してもよく、この場合、異なる方向の画像を組合せて用いることで、位置を算出する精度を向上させてもよい。また、より簡易には、画像処理部４７が行った画像処理を省略することもできる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。

本発明の運転支援システム１００を搭載した車両１０を示す図である。 運転支援システム１００が表示する３Ｄ画像を説明する図である。（ａ）は、運転支援システム１００に予め格納された３Ｄ地図から生成される３Ｄ画像を示す。（ｂ）は、カメラ４２が撮像した画像を示す。（ｃ）は、画像処理が施された後の画像の一例を示す。 運転支援システム１００の詳細な構成の一例を示す図である。 運転支援システム１００の動作の一例を示すフローチャートである。 ３Ｄ画像の生成について説明する図である。 ステップＳ１０５の詳細な動作の一例を示すフローチャートである。 ステップＳ１１５の詳細な動作の一例を示すフローチャートである。 ステップＳ１４０の詳細な動作の一例を示すフローチャートである。

符号の説明

１０・・・車両、４２・・・カメラ、４４・・・カーナビゲーション装置、４６・・・車外画像再生部、４７・・・画像処理部、４８・・・画像比較部、５０・・・詳細位置算出部、５２・・・車線変更指示部、５４・・・現在ルート判断部、５６・・・表示装置、５８・・・３Ｄ地図、６０・・・車速検出部、６２・・・舵角検出部、６４・・・旋回速度算出部、１００・・・運転支援システム、２００・・・ＧＰＳ衛星、６００・・・被写体
６０１・・・歩行者、６０２、６０４・・・車両、６０６・・・道路、６０８、６１０、６１２、６１４、６１６・・・建物、６２０・・・交差点、７００、７０２、７０４・・・窓、７０６・・・汚れ、７０８・・・玄関、８００、８０２・・・ノード、８０４、８０５・・・矢印、８０７・・・範囲、８０６、８０８、８１０、８１２、８１４、８１５・・・リンク、８２０・・・位置、８５０・・・領域

Claims (10)

1. 車両から外部の画像を撮像するカメラと、
   自車両の位置を算出するカーナビゲーション装置と、
   前記カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生部と、
   前記車外画像再生部によって生成された画像と、前記カメラにより撮像された画像とを比較する画像比較部と、
   前記画像比較部による比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出部と
   を備える運転支援システム。
2. 前記車外画像再生部によって生成された車外の画像を表示する表示装置を更に備え、
   前記車外画像再生部は、前記詳細位置算出部によって算出された詳細な位置から見られるべき車外の画像を、前記３Ｄ地図を用いて生成する請求項１に記載の運転支援システム。
3. 前記車外画像再生部は、前記詳細位置算出部によって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、前記３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成する請求項１に記載の運転支援システム。
4. 車両の移動速度を検出する車速検出部を更に備え、
   前記車外画像再生部は、前記詳細位置算出部によって算出された詳細な位置から、前記車速検出部によって検出された速度で、所定の時間だけ走行した位置から見られるべき車外の画像を前記３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成する請求項１に記載の運転支援システム。
5. 前記詳細位置算出部によって算出された車両の位置が、前記車外画像再生部によって算出された方向へ進行するのに適していない場合に、車線の変更を運転手に指示する車線変更指示部を更に備える請求項１に記載の運転支援システム。
6. 前記画像比較部の比較において画像が一致しなかった場合に、前記カーナビゲーション装置による自車両の算出位置を補正する現在ルート判断部を更に備える請求項１に記載の運転支援システム。
7. 車両から外部の画像を撮像するカメラと、
   自車両の位置を算出するカーナビゲーション装置と、
   前記カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生部と、
   前記車外画像再生部によって生成された画像と、前記カメラにより撮像された画像とを比較する画像比較部と、
   前記画像比較部による比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出部と
   を備える車両。
8. 前記車外画像再生部は、前記詳細位置算出部によって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、前記３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成する請求項７に記載の車両。
9. カメラによって車両から外部の画像を撮像する撮像ステップと、
   カーナビゲーション装置によって自車両の位置を算出する位置算出ステップと、
   前記カーナビゲーション装置によって算出された位置から撮像されるべき車外の画像を、３Ｄ地図を用いて生成する車外画像再生ステップと、
   前記車外画像再生ステップによって生成された画像と、前記撮像ステップによって撮像された画像とを比較する画像比較ステップと、
   前記画像比較ステップによる比較結果を用いて、自車両の詳細な位置を算出する詳細位置算出ステップと
   を備える運転支援方法。
10. 前記車外画像再生ステップは、前記詳細位置算出ステップによって算出された詳細な位置から、所定の距離だけ進んだ位置から見られるべき車外の画像を、前記３Ｄ地図を用いて生成し、車両が進行すべき方向を示す画像に合成する請求項９に記載の運転支援方法。
    

Images