JP2013152546A - 運転支援装置、運転支援方法及びそのプログラム - Google Patents

Abstract

【課題】運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する運転支援装置、運転支援方法及びそのプログラムを提供する。
【解決手段】本発明の運転支援装置は、車両に搭載され、車両の後方のステレオ画像を撮影するステレオ撮影部と、ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成部と、３Ｄモデル作成部が生成した３Ｄモデルを、過去３Ｄモデルとして記憶する３Ｄモデル記憶部と、３Ｄモデル生成部が生成した３Ｄモデルに対し、３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成部と、画像合成部の生成した合成３Ｄモデルを画像表示する画像表示部とを備えている。
【選択図】図５

Description

本発明は、運転支援装置、運転支援方法及びそのプログラムに関するものである。

近年、自動車には、車両周辺の障害物を検知するため、撮像装置（例えばディジタルカメラ等）からなるパッシブセンサ、あるいはアクティブセンサ（例えば超音波ソナー、ミリ波レーダー等）を備える監視装置が取り付けられている。
そして、それらの監視装置が取得した障害物の情報を利用することで、運転者が運転時において車両の運行の安全性を向上させるための技術の開発が盛んに行われている。
ここで、運転者の視界を補助する目的で、車両に搭載されたディジタルカメラで撮影した画像を、監視装置の車載ディスプレイに表示する技術が提案されている。

例えば、車両周辺監視システムとしては、車両に搭載されており、車両後部の運転者の死角となる領域を撮影し、運転者に観察させるシステムがある（例えば、特許文献１参照）。
すなわち、特許文献１には、車両から死角となる場所を撮影する撮影手段が設けられており、この撮影手段により撮影された車両周辺の画像データを入力し、当該画像データに基づいて、撮影手段の視点で撮影された画像を車両の運転席の視点で見た画像となるように視点を変換する画像処理手段が備えられたシステムが開示されている。

そして、車両周辺監視システムは、視点変換された画像を運転席から見たときの画角に合わせて表示する手段をさらに備えている。
この特許文献１の車両周辺監視システムは、後進で車両を駐車する場合に、バックカメラにより撮影された車両後方の画像を車載ディスプレイに表示出力して、運転者の視覚補助を行うことにより、安全な駐車運転を補助する。

特開２００７−３２９６１１号公報

しかしながら、上記特許文献１の車両周辺監視システムシステムを含め、従来の後方駐車運転を支援するバックカメラ表示装置には、駐車スペースに駐車する際に、この駐車スペースに進入するために、どの位置で車両のハンドルを操作すれば良いか判りにくいといった問題がある。
特に、運転者が初めて駐車する駐車場においては、周囲の風景に慣れていないため、駐車スペースと車両の位置との対応関係が掴みづらく、駐車スペースに進入する際のハンドル操作タイミングが一層分りにくいものとなる。

本発明はこのような課題に鑑みてなされたものであり、運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する運転支援装置、運転支援方法及びそのプログラムを提供することを目的とする。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様による運転支援装置は、車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影部と、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成部と、前記３Ｄモデル生成部が生成した３Ｄモデルを、過去３Ｄモデルとして記憶する３Ｄモデル記憶部と、前記３Ｄモデル生成部が生成した３Ｄモデルに対し、前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成部と、前記画像合成部の生成した前記合成３Ｄモデルを画像表示する画像表示部とを備えることを特徴とする。

（２）本発明の一態様による運転支援装置は、前記３Ｄモデル記憶部における前記過去３Ｄモデルが、前記車両が過去に駐車した実績のある駐車スペースの３Ｄモデルであり、前記画像合成部が、現在駐車使用としている駐車スペースの３Ｄモデルに対し、過去に駐車した実績のある前記過去３Ｄモデルのデータを、駐車スペースのスペース枠の中心線を基準に重ね合わせて合成することを特徴とする。

（３）本発明の一態様による運転支援装置は、前記画像合成部が、前記過去３Ｄ画像から前記駐車スペース近傍の立体物のデータを抽出し、前記３Ｄモデルに合成し、前記合成３Ｄモデルを生成することを特徴とする。

（４）本発明の一態様による運転支援装置は、前記過去３Ｄモデルが前記３Ｄモデル記憶部に位置情報毎に記憶されており、前記３モデル生成部が生成する３Ｄモデルの位置情報に対し、当該位置情報と同様の位置情報の前記過去３Ｄモデルが前記３Ｄモデル記憶部に記憶されている場合、前記３Ｄモデル生成部が、当該３Ｄモデルと、前記過去３Ｄモデルとの比較を行い、当該過去３Ｄモデルにない新データを前記３Ｄモデルから抽出し、抽出した新データを前記過去３Ｄモデルに対して合成し、新たな過去３Ｄモデルとして前記３Ｄモデル記憶部に上書きして記憶させることを特徴とする。

（５）本発明の一態様による運転支援装置は、前記３Ｄモデル記憶部に対して前記３Ｄモデルの生成した前記３Ｄモデルを過去３Ｄモデルとして書き込んで記憶させるデータ保存部をさらに有し、当該データ保存部が前記３Ｄモデル生成部の生成した３Ｄモデルの位置情報が、すでに前記３Ｄモデル記憶部に書き込まれていることを検出すると、前記位置情報に対応させて３Ｄモデルの生成回数を駐車回数として書き込んで記憶させることを特徴とする。

（６）本発明の一態様による運転支援装置は、前記画像合成部が、前記３Ｄモデル生成部が生成する前記３Ｄモデルに対して合成させるデータを抽出する前記過去３Ｄモデルとして、前記３Ｄモデル記憶部のなかから前記駐車回数の最も多い過去３Ｄモデルを選択することを特徴とする。

（７）本発明の一態様による運転支援方法は、車両に搭載されたステレオ撮影部が、車両の後方のステレオ画像を撮像するステレオ撮影過程と、３Ｄモデル生成部が、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成過程と、画像合成部が、前記３Ｄモデル生成部が生成した３Ｄモデルに対し、前記３Ｄモデル生成部が生成した３Ｄモデルを過去３Ｄモデルとして記憶する前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成過程と、画像表示部が、前記画像合成部の生成した前記合成３Ｄモデルを画像表示する画像表示過程とを含むことを特徴とする。

（８）本発明の一態様による運転支援プログラムは、コンピュータを、車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影手段、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成手段、前記３Ｄモデル生成手段が生成した３Ｄモデルに対し、前記３Ｄモデル生成手段が生成した３Ｄモデルを過去３Ｄモデルとして記憶する前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成手段、前記画像合成手段の生成した前記合成３Ｄモデルを画像表示する画像表示部に表示させる手段として動作させることを特徴とする。

この発明によれば、運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する画像を、運転者に対して提供することができる。

本発明の第１の実施形態における運転支援装置１００の搭載位置の一例を示す図である。 本実施形態における運転支援装置１００の搭載位置の一例を示す他の図である。 本実施形態における運転支援装置１００の構成例を示す図である。 ３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ：３次元）モデル記憶部８に記憶されている各過去３Ｄモデルの情報が示されたモデルテーブルの構成を示す図である。 図３における距離画像生成部３の構成例を示す図である。 ３Ｄモデル記憶部８に記憶されている３Ｄモデルの例を示す図である。 図３における３Ｄ画像合成部４の構成例を示す図である。 画像処理部５０が合成３Ｄモデルを生成し、画像表示部７に表示する運転者支援処理の動作例を示すフローチャートである。 過去３Ｄモデルから抽出した立体物を、３Ｄモデルに合成して、画像表示部７において表示する合成３Ｄモデルの画像を生成する処理を説明するための図である。 本発明の第２の実施形態における３Ｄモデル記憶部８のモデルテーブルの構成例を示す図である。

以下、図面を参照して、本発明の一実施形態を説明する。図１は、本発明の第１の実施形態における運転支援装置１００の搭載位置の一例を示す図である。図１は、車両１を後方から見た場合において、本実施形態の運転支援装置１００が備えるステレオ撮影部１０におけるＬカメラモジュール２ＡとＲカメラモジュール２Ｂとの位置関係を示している。
この図１において、車両１の車内における運転席の後方部ガラス上方の近傍には、車両１の後方を監視するための画像を撮像するステレオ撮影部１０が適宜の固定手段により配置されている。本実施形態におけるステレオ撮影部１０は、上述したように、例えばＬカメラモジュール２ＡとＲカメラモジュール２Ｂとを備えている。

そして、ステレオ撮影部１０において、Ｌカメラモジュール２ＡとＲカメラモジュール２Ｂとは、予め決められた間隔（基線長）で、かつ車両１の前部及び後部方向の中心線と直交する平面と水平面との交差する線分上に設置されており、それぞれのカメラモジュールにおけるレンズの互いの光軸が平行となるように設置されている。
なお、ステレオ撮影部１は、少なくとも一対の撮像装置（カメラ等）が予め決められた間隔で、互いの光軸が略平行となるように、車両１に設置されていれば良い。

次に、図２は、本実施形態における運転支援装置１００の搭載位置の一例を示す他の図である。図２は、車両１を真横から見た場合において、本実施形態における運転支援装置１００の位置関係の一例を示した図である。運転支援装置１００は、車両１において、ステレオ撮影部１０、ＧＰＳ５、画像表示部７、画像処理部５０を備えている。
ステレオ撮影部１０におけるＬカメラモジュール２ＡとＲカメラモジュール２Ｂとの各々は、それぞれ車両１の後方の被写体を撮像し、撮像により得られた画像信号を画像処理部５０に対して出力する。ここで、Ｌカメラモジュール２Ａの撮像する画像を基準画像信号とし、Ｒカメラモジュール２Ｂが撮像する画像を参照画像信号と称する。また、同一タイミングで撮像された基準画像信号と参照画像信号との組をステレオ画像信号とする。

画像処理部５０は、ステレオ撮影部１０から供給されるステレオ画像信号に基づいて、車両１が駐車スペースに進入する際に運転者に対して通知する３Ｄモデルを生成する。この３Ｄモデルは、ステレオ撮影部１０が撮像する画像（車両１後方の画像）の３次元画像である。
そして、画像処理部５０は、すでに蓄積されている過去に進入したことのある駐車スペース、すなわち駐車した実績のある駐車スペース及びその近傍の過去３Ｄモデルにおける立体物を抽出し、この立体物を上記３Ｄモデルに対して合成して画像表示部７に表示する。
また、画像処理部５０は、ステレオ撮影部１０から供給されるステレオ画像信号に基づいて作成した３Ｄモデルを、その時点におけるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）５から得られる位置情報に対応させて記憶する。

画像表示部７は、例えば、液晶表示装置であり、駐車スペースに車両を進入させる際における後進におけるハンドルを切るタイミングを計る目印となる立体物等が付加された３Ｄモデルを３Ｄ画像として、車両１の運転者に対して表示して通知する。また、この画像表示部７は、運転者が運転のじゃまにならない、かつ運転者が容易に鑑賞できる位置に設けられている。
この結果、運転支援装置１００は、過去に運転者が駐車したことのある駐車スペースの周囲の立体物が、初めて駐車する駐車スペースの周囲に表示されるため、後進して駐車スペースに進入するためのハンドル操作のタイミングを、慣れた駐車スペースに進入する際と同様に得られ、初めての駐車スペースにも容易にバックで駐車させることができる。

次に、図３は、本発明の一実施形態における運転支援装置１００の構成例を示す図である。
すでに説明したように、運転支援装置１００は、ステレオ撮影部１０、画像処理部５０、ＧＰＳ５、画像表示部７とを備えている。
また、ステレオ撮影部１０は、左側画像である基準画像信号を撮像するＬカメラモジュール２Ａと、右側画像である参照画像信号を撮像するＲカメラモジュール２Ｂとを備えている。

また、上記画像処理部５０は、距離画像生成部３、３Ｄ画像合成部４、データ保存部６及び３Ｄモデル記憶部８から構成されている。
距離画像生成部３は、ステレオ撮影部１０から供給されるステレオ画像を用い、後述の三角測量を用いて各画素の奥行き（深さ）を求め、この奥行きから画像における各立体物などの距離をステレオマッチングにより求める。そして、距離画像生成部３は、この距離上方から車両１周辺の後方の距離画像を生成し、３Ｄ画像合成部４へ出力する。

データ保存部６は、３Ｄ画像合成部４から供給される３Ｄモデルを、駐車スペースに駐車した際のＧＰＳ５から得られる位置情報とともに、この３Ｄモデルを過去３Ｄモデルとして３Ｄモデル記憶部８へ書き込んで記憶させる。
３Ｄ画像合成部４は、距離画像生成部３が生成した距離画像から、車両１後方の風景情報を示す３Ｄモデルを生成する。
また、３Ｄ画像合成部４は、３Ｄモデル記憶部８から読み出した過去３Ｄモデルとを合成し、合成した合成３Ｄモデルを車両１の車内に設けられた画像表示部７に映像として表示する。

次に、図４は、３Ｄモデル記憶部８に記憶されている各過去３Ｄモデルの情報が示されたモデルテーブルの構成を示す図である。
この図４において、モデルテーブルは、３Ｄモデルを生成した際にＧＰＳ５が出力する位置情報（緯度経度情報）と、この３Ｄモデルが記憶されているアドレスを示す画像インデックスと、この３Ｄモデルの駐車スペースに駐車した回数を示す駐車回数とを組として記憶されている。

次に、図５は、図３における距離画像生成部３の構成例を示す図である。
図５に示すように、距離画像生成部３は、基線長取得部３１、焦点距離取得部３２、視差値算出部３３、距離算出部３４、距離画像作成部３５、記憶部３６及びバス（データバス）３７を備えている。
記憶部３６には、ステレオ撮影部１０におけるＬカメラモジュール２ＡとＲカメラモジュール２Ｂとの基線長を示す基線長情報、Ｌカメラモジュール２ＡとＲカメラモジュール２Ｂとの焦点距離を示す焦点距離情報、車両１の３Ｄモデルにおける位置を示す車両位置情報、及び車両１の３Ｄモデルにおける大きさを示す大きさ情報が記憶されている。ここで、Ｌカメラモジュール２ＡとＲカメラモジュール２Ｂとは、同一の焦点距離を有している。

視差値算出部３３は、ステレオ撮影部１０のＬカメラモジュール２Ａから出力される基準画像信号と、Ｒカメラモジュール２Ｂから出力される参照画像信号とを読み込む。そして、視差値算出部３３は、基準画像信号と参照画像信号とに基づいて、以下に説明するようにして、ステレオマッチングにより視差値を算出する。

視差値算出部３３は、基準画像信号が示す基準画像の各画素と対応する対応画素を、参照画像信号が示す参照画像の予め設定されている探索領域から探索する。ここで、視差値算出部３３は、探索領域における対応画素の判定処理において、基準画像の各画素を基準画素とし、この基準画素を中心とする小領域を抽出し、抽出した小領域と参照画像における探索領域内における小領域とを比較する。そして、視差値算出部３３は、各小領域の画像輝度パターン同士が類似しているか否かを、画像輝度の差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値の基準として判定する。

なお、上述した評価値の基準は、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などでも良い。
視差値算出部３３は、画像輝度の差分絶対和が最も小さくなる参照画像の探索領域の中心画素と、基準画像の基準画素とが水平方向に離れている画素数を視差値として算出する。
そして、視差値算出部３３は、この視差値の算出を基準画像における画素毎に行う。視差値算出部３３は、視差値を示す視差値情報を距離算出部３４へ出力する。

基線長取得部３１は、記憶部３６から、ステレオ撮影部１０を構成するＬカメラモジュール２Ａ及びＲカメラモジュール２Ｂの光軸間の間隔を示す基線長情報を読み出すことにより取得し、取得した基線長情報を距離算出部３４へ出力する。
焦点距離取得部３２は、記憶部３６から、ステレオ撮影部１０を構成するＬカメラモジュール２Ａ及びＲカメラモジュール２Ｂの焦点距離を示す焦点距離情報を読み出すことにより取得し、取得した焦点距離情報を距離算出部３４へ出力する。

距離算出部３４は、視差値算出部３３から入力された視差値情報が示す視差値ｄと、基線長取得部３１が取得した基線長情報が示す基線長Ｌと、焦点距離取得部３２が取得した焦点距離情報が示す焦点距離ｆとに基づいて、ステレオ撮影部１０から被写体までの距離Ｚを三角測量の原理で算出する。
具体的には、例えば、距離算出部３４は、以下の式に従って、ステレオ撮影部１０から被写体までの距離Ｚを算出する。

Ｚ＝（Ｌ×ｆ）／ｄ （１）

距離算出部３４は、視差画像全体にわたり上記式（１）に従って、ステレオ撮影部１０から被写体までの距離Ｚを算出する。
そして、距離算出部３４は、各画素において算出した距離Ｚを輝度値で表した距離画像を生成する。ここで、距離画像は、一例として距離が近いほど輝度値が大きい画像である。すなわち、距離画像において、視差値が大きく相対的に近い距離にある物体ほど明るい領域となり、逆に視差値が小さく相対的に遠くにある物体ほど暗い領域となる。

距離画像作成部３５は、車両１の移動に伴い、時系列に順次作成される距離画像を入力し、複数の距離画像の対応関係を解析することで、ステレオ撮影部１０で撮像される車両１の後方における３Ｄモデルを作成する。
ここで、距離画像作成部３５は、現時点の距離画像である基準距離画像と、距離算出部３４はから次に入力された距離画像である参照距離画像とを比較する。そして、距離画像作成部３５は、上記比較処理において、移動方向に対して新たに付加された参照距離画像における画素を抽出する。距離画像作成部３５は、抽出された画素の情報を基準距離画像に付加して、新たな基準距離画像とする。

上述したように、本実施形態において、距離画像作成部３５は、車両１の移動に伴って複数得られる、ステレオ撮影部１０が出力するステレオ画像から得られる距離画像を合成している。これにより、距離画像作成部３５は、車両１が移動する前には隠れていた画素を参照距離画像から抽出し、順次、抽出した画素を基準距離画像に付加することを繰り返すことにより、被写体に対する画素の距離のサンプル数を増加させ、車両１が移動する広い範囲の基準距離画像を作成する。
また、距離画像作成部３５は、作成した基準距離画像を距離画像として３Ｄ画像合成部４へ出力する。

次に、図６は、３Ｄモデル記憶部８に記憶されている３Ｄモデルの例を示す図である。図６において、駐車スペース２１の近傍の周辺には、車両１の駐車スペース２１への進入の障害となり、かつハンドルを切るタイミングの目印となる立体物５０１、５０２、５０３及び５０５が配置されている。この３次元モデルは、Ｘ軸、Ｙ軸及びＺ軸からなる３次元空間における駐車スペース２１、立体物５０１、５０２、５０３及び５０５の各立体物などのオブジェクトを構成する画素の座標値からなるデータ構造を有するデータ群である。なお、図６には、駐車スペース枠２１１及びその中心線２１２も示されている。この３Ｄモデルは、３Ｄモデル記憶部８（図３）において、モデルテーブル（図４）における画像インデックスの示すアドレスに記憶されている。

次に、図７は、図３における３Ｄ画像合成部４の構成例を示す図である。この図７において、３Ｄ画像合成部４は、特徴点抽出部４１、立体物抽出部４２、位置大きさ算出部４３、３Ｄモデル生成部４４、画像合成部４５及びバス４６を備えている。
特徴点抽出部４１は、ステレオ撮影部１０におけるＬカメラモジュール２Ａが撮像した基準画像と、距離画像作成部３５の出力する距離画像から、図３に示す駐車スペース２１における駐車スペースの範囲を示すスペース枠２１１を抽出する。ここで、特徴点抽出部４１は、距離画像における距離の変動が少なく平面的な領域であって、かつ基準画像において画素の階調度が周辺と異なる領域を、スペース枠２１１として抽出する。

このとき、特徴点抽出部４１は、距離画像において、ステレオ撮影部１０の路面（駐車場の走行面）からの設置されている高さが既知であるため、距離画像における駐車場の走行面を、車両１から連続的に延びる平面として識別する。具体的には、例えば、特徴点抽出部４１は、距離画像の下端（車両１の近傍）から距離画像の上方に向かって順次輝度が変化する領域（例えば、順次輝度が低くなる領域）を駐車場の平面の画像領域として識別する。そして、特徴点抽出部４１は、一例として、この駐車場の平面の画像領域と位置的に対応する、基準画像における画像領域において周囲と階調度が異なる画素から構成される矩形上の枠領域を、スペース枠２１１として抽出し、抽出したスペース枠２１１の情報を３Ｄモデル生成部４４に対して出力する。

立体物抽出部４２は、距離画像生成部３から供給される距離画像から、階調度の異なる画素の集合体である立体物の画像領域を抽出する。以下、立体物抽出部４２が、立体物の画像領域を抽出する処理の一例を説明する。
立体物抽出部４２は、特徴点抽出部４１と同様に、ステレオ撮影部１０の駐車場の平面からの設置高さは既知であるため、距離画像における駐車場の道路面を、自車近傍の既知の距離から連続的に遠方へ延びる平面として識別する。具体的には、例えば、立体物抽出部４２は、距離画像の下端（車両１の近傍）から距離画像の上方に向かって順次輝度が変化する領域（例えば、順次輝度が低くなる領域）を道路面の画像領域として識別する。

そして、立体物抽出部４２は、距離画像において、駐車場の道路面の画像領域から垂直に略同輝度の画素の集合体の領域がある場合に、その領域を立体物の画像領域（以下、立体物オブジェクトとも称する）として識別する。具体的な処理の例は、後述する。また、その際、立体物抽出部４２は、３次元的に道路面より下方の画像領域を、抽出対象の立体物オブジェクトから除外する。ここで、立体物の多くは、細かい凹凸が存在するものの、駐車場の平面から垂直に立っており、各立体物を構成する領域は、ステレオ撮影部１０からの距離がほぼ同じである。したがって、立体物抽出部４２は、距離画像の中で縦方向に輝度が同じ領域を、立体物オブジェクトとして識別する。その際、立体物抽出部４２は、駐車場の平面の画像領域と認識した画像領域から画面情報に視差値が同じ領域を立体物オブジェクトとして識別する。
また、立体物抽出部４２は、抽出した立体物オブジェクトを位置大きさ算出部４３へ出力する。

位置大きさ算出部４３は、距離画像生成部３から供給される距離画像上の輝度情報に基づいて、立体物抽出部４２から入力された立体物オブジェクトについて、３Ｄモデルにおける位置及び大きさを算出する。すなわち、位置大きさ算出部４３は、立体物抽出部４２が抽出した立体物の画像領域について、距離画像生成部３が算出した距離情報に基づいて、３Ｄモデルにおける位置及び大きさを算出する。
ここで、位置大きさ算出部４３は、３Ｄモデルにおける立体物オブジェクトの大きさの算出においては、ステレオ撮影部１０から立体物までの距離により距離画像上の物体の大きさが変わることを考慮して実際の立体物の大きさを算出する。

具体的には、位置大きさ算出部４３は、距離画像上の輝度値が示す距離すなわちステレオ撮影部１０から立体物までの距離に基づいて、相似計算により、実際の立体物の高さを算出する。例えば、位置大きさ算出部４３は、以下の式に従って、実際の立体物の高さ（立体物高）ｈを算出する。

ｈ ＝ｈ”×ｓ／ ｓ” （２）

ここで、ｈ”は画像中における立体物オブジェクトの高さ（像高）であり、ｓはステレオ撮影部１０から立体物までの距離（立体物距離）であり、ｓ”は画像中におけるステレオ撮影部１０から立体物オブジェクトまでの距離（像距離）である。ここで、位置大きさ算出部４３は、距離画像から像高ｈ”と立体物距離ｓと像距離ｓ”とを算出し、算出した像高ｈ”と像距離ｓとを乗算し、乗算した結果を像距離ｓ”で除算することで、立体物高ｈを算出する。

そして、位置大きさ算出部４３は、算出した立体物距離ｓに予め決められた変換率を乗じることにより、立体物オブジェクトの３Ｄモデルにおける位置を算出する。位置大きさ算出部４３は、算出した立体物高ｈに予め決められた変換率を乗じることにより、立体物オブジェクトの３Ｄモデルにおける大きさを算出する。ここで、変換率は、３Ｄモデルに応じて、予め決められているものとする。
そして、位置大きさ算出部４３は、算出した立体物オブジェクトの３Ｄモデルにおける位置（立体物オブジェクトを構成する各画素の図６におけるＸ軸、Ｙ軸及びＺ軸の３次元空間における座標値）及び大きさを示す情報を３Ｄモデル生成部４４へ出力する。

３Ｄモデル生成部４４は、距離画像に応じた車両１の後方の景色の３Ｄモデルを生成する。３Ｄモデル生成部４４は、位置大きさ算出部４３から供給される位置及び大きさを示す情報に基づいて、画像において立体物の存在する位置に対応して、３Ｄモデルに対して３次元の立体物オブジェクトを配置することにより、車両１の後方の３Ｄモデルを生成する。
また、３Ｄモデル生成部４４は、特徴点抽出部４１から供給されるスペース枠２１１の情報、すなわち基準画像信号における画素と距離画像との画素との対応関係から、３次元空間の座標に対して、スペース枠２１１の画像領域を配置する。

そして、３Ｄモデル生成部４４は、３Ｄモデル記憶部８に記憶されている車両１の３次元オブジェクト（以下、車両３次元オブジェクトと示す、ここでは車両１の後部ボンネット部分を示すオブジェクト）を読み出す。３Ｄモデル生成部４４は、読み出した車両３次元オブジェクトを立体物の３Ｄモデルに対して合成する。具体的には、例えば、３Ｄモデル生成部４４は、読み出した車両３次元オブジェクトに対し、予め決められた変換率を乗ずることにより、大きさを変換した車両３元オブジェクトを生成する。そして、３Ｄモデル生成部４４は、立体物がすでに配置された３Ｄモデルに対して、この３Ｄモデルにおける原点から予め設定された位置に大きさ変更後の車両３次元オブジェクトを配置する。

ここで、車両１の車両３次元オブジェクトは、Ｌカメラモジュール２Ａの光軸と、Ｌカメラモジュール２Ａが撮像した基準画像面の交点を原点として、実際の車両１の形状を所望の寸法だけオフセットさせた形状または簡略化した形状である。
そして、３Ｄモデル生成部４４は、合成後の３Ｄモデルをデータ保存部６及び画像合成部４５へ出力する。

図３に戻り、データ保存部６は、３Ｄ画像合成部４から供給される３Ｄモデルを、３Ｄモデル記憶部８に書き込んで記憶させる際、すでに同一の位置情報がモデルテーブルに書き込まれている場合、３Ｄモデルが過去３Ｄモデルとして書き込まれていることを、３Ｄ画像合成部４に対して、位置情報を付加して通知する。
これにより、３Ｄモデル生成部４４は、データ保存部６からの通知により、この通知に付加された位置情報に対応した過去３Ｄモデルを、３Ｄモデル記憶部８から読み込む。

そして、３Ｄモデル生成部４４は、３Ｄモデル記憶部８から読み込んだ過去３Ｄモデルと、自身が生成した３Ｄモデルとを比較し、過去３Ｄモデルにはなくこの３Ｄモデルから新たな立体物オブジェクトの差分情報を抽出する。
すなわち、３Ｄモデル生成部４４は、現在生成している３Ｄモデルが車両１が過去に駐車した駐車スペースである場合、これまでに過去３Ｄモデルにおいて保存されていない部分や、新しく追加された３Ｄモデルのデータも、現在の過去３Ｄモデルを補完するための反映データとなる差分情報として抽出する。

また、３Ｄモデル生成部４４は、過去３Ｄモデルに対して、抽出した差分情報を付加してデータの補完を行い、データの補完を行った過去３Ｄモデルを、３Ｄモデル記憶部８のモデルテーブルにおいて対応する位置情報の過去３Ｄモデルに上書きする。
この場合、３Ｄモデル生成部４４は、３Ｄモデル記憶部８におけるモデルテーブル及び過去３Ｄモデルのデータを書き換える毎に、３Ｄモデルを生成した生成回数として、すなわち書き換えた過去３Ｄモデルの位置情報に対応する駐車回数（３次元モデルの更新回数）をインクリメント（駐車回数に１を加算）する。

画像合成部４５は、３Ｄモデル生成部４４が生成した合成３Ｄモデルを画像表示部７に表示する際、３Ｄモデル記憶部８から最も駐車回数の多い過去３Ｄモデルを読み出す。
そして、画像合成部４５は、過去３Ｄモデルにおけるスペース枠の中心線と、生成した３Ｄモデルにおけるスペース枠の中心線とが重なる位置で、過去３Ｄモデルの立体物オブジェクトと３Ｄモデルとを合成させ、合成３Ｄモデルを生成する。上記中心線は、例えば、図６に示すように、矩形上のスペース枠２１１において、長辺に平行で、かつ短辺を２等分する直線状の中心線２１２として定義される。

次に、画像合成部４５は、過去３Ｄモデルと３Ｄモデルとが重なった状態において、過去３Ｄモデルにおける中心線からのそれぞれの立体物オブジェクトの相対位置に対応させ、生成した３Ｄモデルに対して、立体物オブジェクトを配置させる。
すなわち、画像合成部４５は、作成した３Ｄモデルに対して、何度も駐車したことのある過去３Ｄモデルにおける立体物オブジェクトを合成して、合成３Ｄモデルを生成し、この合成３Ｄモデルを、画像表示部７へ出力して、車両１の後方の景色の３Ｄ画像として画像表示部７に表示させる。

本実施形態においては、初めて駐車する駐車スペースであっても、過去に何度も駐車した経験のある駐車スペース周辺の立体物が、車両１の後方の３Ｄ画像として画像表示部７に表示される。
すなわち、本実施形態においては、車両１の操作を行う場合、運転者が何らかの立体物を目印としてハンドルの操作を行うため、駐車することが慣れた駐車スペースの立体物が表示されることになる。
このため、本実施形態によれば、運転者が初めて車両１を駐車させる駐車スペースであっても、運転者はどの地点でハンドルを切れば、スムーズに車両１を駐車スペースに進入させることができるかを、過去３Ｄモデルの立体物を目印とすることで感覚で理解できるため、安心して初めての駐車スペースに対してもスムーズに車両１を駐車させることができる。

次に、図３、図５、図７、図８及び図９により、画像処理部５０が合成３Ｄモデルを生成し、画像表示部７にこの合成３Ｄモデルを車両１の後方の画像として表示する運転者支援処理を説明する。ここで、図８は、画像処理部５０が合成３Ｄモデルを生成し、画像表示部７に表示する運転者支援処理の動作例を示すフローチャートである。
また、図９は、過去３Ｄモデルから抽出した立体物を、３Ｄモデルに合成して、画像表示部７において表示する合成３Ｄモデルの画像を生成する処理を説明するための図である。この図９において、過去３Ｄモデル３００は、３Ｄモデル記憶部８に書き込まれて、記憶されているものであり、３Ｄモデル記憶部８におけるモデルテーブルにおいて最も駐車回数の多い駐車スペースに対応する過去３Ｄモデルである。３Ｄモデル２００は、３Ｄモデル生成部４４が作成した３Ｄ画像である。
図９の過去３Ｄモデル３００は、駐車スペース２１、立体物オブジェクト５３３、駐車スペース枠２１１、中心線２１２を備える。３Ｄモデル３００は、駐車スペース５１、立体物オブジェクト５３４、５３５、駐車スペース枠５１１、中心線５１２を備える。

ステップＳ１：
運転者は、運転支援装置１００のスイッチをオンとすると、運転支援装置１００に対し、駐車スペースに駐車する際の運転支援処理の動作を開始させる。

ステップＳ２：
視差値算出部３３は、ステレオ撮影部１０におけるＬカメラモジュール２Ａ及びＲカメラモジュール２Ｂの各々から、それぞれ基準画像信号、参照画像信号をステレオ画像として読み込む。
そして、視差値算出部３３は、読み込んだステレオ画像において、基準画像信号及び参照画像信号における対応する画素毎の視差値を算出し、算出した視差値を距離算出部３４に対して出力し、処理をステップＳ３へ進める。

ステップＳ３：
次に、基線長取得部３１は、記憶部３６から基線長を示す基線長情報を読み込み、読み込んだ基線長情報を距離算出部３４に対して出力する。
そして、焦点距離取得部３２は、記憶部３６から焦点距離を示す焦点距離情報を読み込み、読み込んだ焦点距離情報を距離算出部３４に対して出力する。
これにより、距離算出部３４は、供給された視差値と、基線長情報と、焦点距離情報とから、画素毎の被写体とステレオ撮影部１０との距離を示す距離情報を算出し、算出した距離情報を距離画像作成部３５に順次出力し、処理をステップＳ４へ進める。

ステップＳ４：
次に、距離算出部３４は、時系列に供給されるステレオ画像各々から、各画素の階調度により距離を示す距離画像を順次生成し、生成した順番に距離画像作成部３５に対して出力する。
距離画像作成部３５は、順次入力される距離画像の各々を合成し、広い範囲の基準距離画像を生成し、生成した基準距離画像を距離画像として３Ｄ画像合成部４に対して出力する。

ステップＳ５：
立体物抽出部４２は、距離画像生成部３から供給される距離画像から、立体物の画像領域を立体物オブジェクトとして抽出し、位置大きさ算出部４３へ出力する。
位置大きさ算出部４３は、距離画像生成部３から供給される距離画像上の輝度情報に基づいて、立体物抽出部４２から入力された立体物オブジェクトについて、３Ｄモデルにおける位置及び大きさを算出し、合成部４６へ出力する。

ステップＳ６：
次に、特徴点抽出部４１は、ステレオ撮影部１０におけるＬカメラモジュール２Ａが撮像した基準画像と、距離画像作成部３５の出力する距離画像から、図６に示す駐車スペース２１における駐車スペースの範囲を示すスペース枠２１１を抽出する。
そして、特徴点抽出部４１は、抽出したスペース枠２１１の画像領域の情報を、３Ｄモデル生成部４４に対して出力する。

ステップＳ７：
次に、３Ｄモデル生成部４４は、位置大きさ算出部４３から供給される位置及び大きさを示す情報に基づいて、３Ｄモデルにおいて３次元の立体物オブジェクトを配置することにより、車両１の後方の３Ｄモデルを生成する。
そして、３Ｄモデル生成部４４は、特徴点抽出部４１から供給されるスペース枠２１１の情報に基づいて、３Ｄモデルにおいてスペース枠２１１の画像領域を配置し、画像合成部４５へ出力する。

ステップＳ８：
次に、画像合成部４５は、３Ｄモデル生成部４４から３Ｄモデルが供給されると、３Ｄモデル記憶部８のモデルテーブルから、最も駐車回数の多い位置情報に対応した画像インデックスを抽出する。
そして、画像合成部４５は、抽出した画像インデックスのアドレスに記憶されている過去３Ｄモデルを、３Ｄモデル記憶部８から読み出す。

ステップＳ９：
次に、画像合成部４５は、３Ｄモデル記憶部８から読み出した過去３Ｄモデルから立体物オブジェクトを抽出する。
すなわち、図９の処理を例とした場合、画像合成部４５は、過去３Ｄモデル３００から立体物オブジェクト５３４及び５３５を抽出する。例えば、予め立体物抽出部４２が立体物オブジェクトを３Ｄモデルから抽出した際、抽出した立体物オブジェクトに対し、立体物オブジェクトであることを示す立体物識別情報をそれぞれ付加しておく。そして、画像合成部４５は、３Ｄモデルのなかから立体物オブジェクトを抽出するとき、この３Ｄモデルから立体物識別情報により立体物オブジェクトを抽出するようにしても良い。
また、画像合成部４５は、スペース枠５１１から中心線５１２を、スペース枠２１１から中心線２１２をそれぞれ求める。

次に、画像合成部４５は、３Ｄモデル２００と過去３Ｄモデル３００との各々を、それぞれの中心線２１２と中心線５１２とが一致するように重ね合わせる。このとき、画像合成部４５は、スペース枠２１１及びスペース枠５１１の車両が進入す側の短辺を重ね合わせるようにすると、より良い位置に立体物オブジェクト５３４及び５３５を配置することができる。
そして、画像合成部４５は、駐車スペース２１に対して駐車スペース５１を、中心線２１２及び中心線５１２が一致するように重ね合わせ、過去３Ｄモデル３００のスペース枠５１１の近傍に存在する立体物オブジェクト５３４及び５３５を、そのままの中心線５１２に対する位置関係のまま３Ｄモデル２００に合成し、合成３Ｄモデルを生成する。

ステップＳ１０：
画像合成部４５は、生成した合成３Ｄモデルを、画像表示部７に対して出力する。
そして、画像表示部７は、供給される合成３Ｄモデルを３Ｄ画像として、この３Ｄ画像を自身の表示面に画像表示する。
これにより、画像表示部７は、後方の駐車スペース２１の駐車処理におけるハンドル操作のタイミングの目標となる立体物を含む駐車支援のための画像を、車両１の運転者に対して通知することになる。

ステップＳ１１：
次に、３Ｄモデル生成部４４は、画像合成部４５に対して３Ｄモデルを出力した後、ＧＰＳ５から供給されている現在の車両１の位置情報が、すでに３Ｄモデル記憶部８のモデルテーブルに記憶されているか否かの検出処理を行う。
このとき、３Ｄモデル生成部４４は、車両１の現在の位置情報と同一の位置情報が、すでに３Ｄモデル記憶部８のモデルテーブルに記憶されている場合、処理をステップＳ１２へ進める。
一方、３Ｄモデル生成部４４は、車両１の現在の位置情報と同一の位置情報が、すでに３Ｄモデル記憶部８のモデルテーブルに記憶されていない場合、処理をステップＳ１３へ進める。

ステップＳ１２：
次に、３Ｄモデル生成部４４は、３Ｄモデル記憶部８に対し、位置情報で作成された３Ｄモデルを過去３Ｄモデルとして書き込んで記憶させる。
また、３Ｄモデル生成部４４は、３Ｄモデル記憶部８のモデルテーブルに対し、ＧＰＳ５から供給されている現在の車両１の位置情報とともに、この位置情報で作成された過去３モデルとして書き込んだアドレスを画像インデックスとして書き込み、運転支援処理を終了する。

ステップＳ１３：
次に、３Ｄモデル生成部４４は、ＧＰＳ５から供給されている現在の車両１の位置情報に対応して記憶されている過去３Ｄモデルの画像インデックスを、３Ｄモデル記憶部８のモデルテーブルから読み出す。
画像インデックスを読み出した後、３Ｄモデル生成部４４は、この画像インデックスのアドレスに記憶されている過去３Ｄモデルを、３Ｄモデル記憶部８から読み出す。
そして、３Ｄモデル生成部４４は、車両１の現在の位置情報にて作成した３Ｄ画像と、３Ｄモデル記憶部８から読み出した過去３Ｄモデルとを比較する。
ここで、３Ｄモデル生成部４４は、過去３Ｄモデルには存在しない立体物オブジェクトが、新たに作成された３Ｄモデルに存在する場合、過去３Ｄモデルには無い立体物オブジェクトを立体物識別情報を用いてこの３Ｄモデルから抽出する。
そして、３Ｄモデル生成部４４は、３Ｄモデルから抽出された立体物オブジェクトを、過去３Ｄモデルに対して合成する。

ステップＳ１４：
次に、３Ｄモデル生成部４４は、新たに検出された立体物オブジェクトが合成された過去３Ｄモデルを、新たな過去３Ｄモデルとしてデータ保存部６に対し、位置情報を付加して出力する。
そして、データ保存部６は、供給される新たに合成された過去３Ｄモデルを、この過去３Ｄモデルに付加された位置情報に対応する３Ｄモデル記憶部８におけるアドレスに書き込む。

すなわち、データ保存部６は、３Ｄモデル生成部４４から供給される過去３Ｄモデルを、３Ｄモデル記憶部８に対して、元の過去３Ｄモデルの画像インデックスの示すアドレスに書き込んで（上書きして）記憶させる。
そして、データ保存部６は、運転者の駐車スペース２１に対する車両１の駐車動作への運転支援処理を終了する

また、第２の実施形態として、駐車スペース２１に駐車させる際における「運転者が運転支援装置に運転支援処理を要求してから駐車スペースに車両１の駐車を行い、車両１を停止（エンジンを停止）させるまでの期間」での運転者の車両１に対する運転操作のデータを３Ｄモデル記憶部８のモデルテーブルに、位置情報に対応させて書き込んで記憶させる。
そして、画像合成部４５は、３Ｄモデル記憶部８のモデルデータテーブルにおける運転操作のデータにより、運転しやすい合成３Ｄモデルを作成するために用いる、３Ｄモデルに対して合成する立体オブジェクトを抽出する過去３Ｄモデルを選択するようにしても良い。

図１０は、第２の実施形態における３Ｄモデル記憶部８のモデルテーブルの構成例を示す図である。図１０において、モデルテーブルには、図４と同様に位置情報とともに、画像インデックスと、駐車回数と、図４の構成に加え、上述した運転動作のデータとして、平均必要時間と、平均やり直し回数と、平均ハンドル操作回数とが記憶されている。ここで、画像インデックスは、位置情報における車両１の後方の駐車スペース２１の３Ｄモデルの記憶されているアドレスを示す。駐車回数は、駐車スペース２１に駐車した回数を示す。平均必要時間は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両１を停止する（エンジン停止）までに要した時間の平均値を示す。平均やり直し回数は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両１を停止するまでに、車両１が後進から前進とされた回数の平均値を示す。平均ハンドル操作回数は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両１を停止するまでに、ハンドルを左右に切り換えた回数の平均値を示す。ここで、それぞれの平均値は、現時点までの駐車スペースの駐車処理における必要時間、やり直し回数、ハンドル操作回数の各々の平均として、データ保存部６により求められる。

この第２の実施形態の場合、データ保存部６は、車両１のエンジンが回転しているか否かを、車両１のエンジンの回転数を計測するセンサから入力し、車両１が停止していしか否かの検出を行う。ここで、データ保存部６は、センサからの回転数が０である場合、車両１が停止していると判定する。
また、データ保存部６は、内部にタイマーが設けられており、運転者が運転支援処理を運転支援装置に要求し、運転支援装置１００が稼働した時点からカウントを開始し、車両１が停止した時点でカウントを停止し、この停止した時点のカウント値を必要時間とする。ここで、データ保存部６は、３Ｄモデル記憶部８に位置情報毎に記憶されている過去の必要時間を読み出し、この過去の駐車における必要時間を全て加算し、加算結果を駐車回数で除算して、平均必要時間を算出する。

また、データ保存部６は、車両１に搭載された加速度センサの出力により、運転支援装置１００が稼働した時点からカウントを開始し、車両１が停止した時点までの間、前進及び後進の変化回数をカウントし、このカウント値をやり直し回数とする。ここで、データ保存部６は、３Ｄモデル記憶部８に位置情報毎に記憶されている過去のやり直し回数を読み出し、この過去の駐車におけるやり直し回数を全て加算し、加算結果を駐車回数で除算して、平均やり直し回数を算出する。
また、データ保存部６は、車両１のハンドルに設けられた加速度センサからの出力により、左右のハンドルの切り返し回数をカウントし、このカウント値をハンドル操作回数とする。ここで、データ保存部６は、３Ｄモデル記憶部８に位置情報毎に記憶されている過去の切り返し回数を読み出し、この過去の駐車における切り返し回数を全て加算し、加算結果を駐車回数で除算して、平均切り返し回数を算出する。

そして、データ保存部６は、位置情報に対応させ、求めた平均必要時間、平均やり直し回数及び平均切り返し回数を、３Ｄモデル記憶部８のモデルテーブルに書き込む。
これにより、合成部４６は、合成３Ｄモデルを生成する際に、３Ｄモデル記憶部８から読み出す過去３Ｄモデルとして、平均必要時間、平均やり直し回数及び平均ハンドル操作回数のいずれか１つの項目を用いて、最も少ない数値を有する位置情報の過去３Ｄモデルを抽出するようにしても良い。また、過去３Ｄモデルを抽出しようとする際に用いる項目のみを、３Ｄモデル記憶部８のモデルテーブルに格納する構成としても良い。
これにより、車両１を駐車スペース１に初めて駐車する際、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない過去３Ｄモデルを用いることで、初めて駐車する駐車スペース２１に対しても、過去３Ｄモデルの駐車スペースと同様に、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない処理で車両１の駐車を行うことができる。

また、第１の実施形態においては、合成部４６が３Ｄモデルに対して、過去３Ｄモデルから抽出した立体物オブジェクトのみを合成する処理を記載している。
しかしながら、合成部４６が、図９において、作成した３Ｄモデル２００に対し、３Ｄモデル記憶部８から読み出した過去３Ｄモデル３００を、中心線２１２と中心線５１２とが重なるように重ね合わせて合成して、合成３Ｄモデルを生成するようにしても良い。
これによっても、車両１の運転者は、普段見慣れた過去３Ｄモデル３００の立体物（立体物オブジェクト５３４及び５３５等）が画像表示部７に表示されるため、これら立体物をハンドル操作のタイミングの目印とすることができる。

ここで、車両１の運転者は、例えば過去３Ｄモデル３００における立体物オブジェクト５３４及び５３５が塀である場合、今から駐車しようとしている駐車スペース２１に対し、この塀が表示されているため、どの地点でハンドルを切り、車両１を後進させると安全に駐車操作が行われるかが容易に解る。すなわち、車両１の運転者は、塀がどの位置に見えたら、ハンドルを切れば良いかを、感覚的に十分理解しているため、駐車スペース２１に容易に車両１を駐車をさせることができる。

最後に、画像処理部５０は、集積回路（ＩＣチップ）上に形成された論理回路によって信号処理装置というハードウェアとして構成されてもよいし、ラインメモリ及びフレームメモリ以外の構成を次のようにＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現されてもよい。
すなわち、図３の画像処理部５０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運転支援の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

２Ａ…Ｌカメラモジュール
２Ｂ…Ｒカメラモジュール
３…距離画像生成部
４…３Ｄ画像合成部
５…ＧＰＳ
６…データ保存部
７…画像表示部
８…３Ｄモデル記憶部
１０…ステレオ撮影部
３１…基線長取得部
３２…焦点キュウリ取得部
３３…視差値算出部
３４…距離算出部
３５…距離画像作成部
３６…記憶部
４１…特徴点抽出部
４２…立体物抽出部
４３…位置大きさ算出部
４４…３Ｄモデル生成部
４５…画像合成部
５０…画像処理部
２００…３Ｄモデル
３００…過去３Ｄモデル

Claims (8)

1. 車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影部と、
   前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成部と、
   前記３Ｄモデル生成部が生成した３Ｄモデルを、過去３Ｄモデルとして記憶する３Ｄモデル記憶部と、
   前記３Ｄモデル生成部が生成した３Ｄモデルに対し、前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成部と、
   前記画像合成部の生成した前記合成３Ｄモデルを画像表示する画像表示部と
   を備えることを特徴とする運転支援装置。
2. 前記３Ｄモデル記憶部における前記過去３Ｄモデルが、前記車両が過去に駐車した実績のある駐車スペースの３Ｄモデルであり、
   前記画像合成部が、現在駐車使用としている駐車スペースの３Ｄモデルに対し、過去に駐車した実績のある前記過去３Ｄモデルのデータを、駐車スペースのスペース枠の中心線を基準に重ね合わせて合成することを特徴とする請求項１に記載の運転支援装置。
3. 前記画像合成部が、前記過去３Ｄ画像から前記駐車スペース近傍の立体物のデータを抽出し、前記３Ｄモデルに合成し、前記合成３Ｄモデルを生成することを特徴とする請求項２に記載の運転支援装置。
4. 前記過去３Ｄモデルが前記３Ｄモデル記憶部に位置情報毎に記憶されており、
   前記３モデル生成部が生成する３Ｄモデルの位置情報に対し、当該位置情報と同様の位置情報の前記過去３Ｄモデルが前記３Ｄモデル記憶部に記憶されている場合、
   前記３Ｄモデル生成部が、当該３Ｄモデルと、前記過去３Ｄモデルとの比較を行い、当該過去３Ｄモデルにない新データを前記３Ｄモデルから抽出し、抽出した新データを前記過去３Ｄモデルに対して合成し、新たな過去３Ｄモデルとして前記３Ｄモデル記憶部に上書きして記憶させる
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の運転支援装置。
5. 前記３Ｄモデル記憶部に対して前記３Ｄモデルの生成した前記３Ｄモデルを過去３Ｄモデルとして書き込んで記憶させるデータ保存部をさらに有し、
   当該データ保存部が前記３Ｄモデル生成部の生成した３Ｄモデルの位置情報が、すでに前記３Ｄモデル記憶部に書き込まれていることを検出すると、前記位置情報に対応させて３Ｄモデルの生成回数を駐車回数として書き込んで記憶させることを特徴とする請求項１から請求項４のいずれか一項に記載の運転支援装置。
6. 前記画像合成部が、前記３Ｄモデル生成部が生成する前記３Ｄモデルに対して合成させるデータを抽出する前記過去３Ｄモデルとして、前記３Ｄモデル記憶部のなかから前記駐車回数の最も多い過去３Ｄモデルを選択することを特徴とする請求項５に記載の運転支援装置。
7. 車両に搭載されたステレオ撮影部が、車両の後方のステレオ画像を撮像するステレオ撮影過程と、
   ３Ｄモデル生成部が、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成過程と、
   画像合成部が、前記３Ｄモデル生成部が生成した３Ｄモデルに対し、前記３Ｄモデル生成部が生成した３Ｄモデルを過去３Ｄモデルとして記憶する前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成過程と、
   運転者の鑑賞できる位置に設けられた画像表示部が、前記画像合成部の生成した前記合成３Ｄモデルを画像表示する画像表示過程と
   を含むことを特徴とする運転支援方法。
8. コンピュータを、
   車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影手段、
   前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の３Ｄモデルを生成する３Ｄモデル生成手段、
   前記３Ｄモデル生成手段が生成した３Ｄモデルに対し、前記３Ｄモデル生成手段が生成した３Ｄモデルを過去３Ｄモデルとして記憶する前記３Ｄモデル記憶部から読み出した過去３Ｄモデルのデータを合成し、合成３Ｄモデルを生成する画像合成手段、
   運転者の鑑賞できる位置に設けられており、前記画像合成手段の生成した前記合成３Ｄモデルを画像表示する画像表示部に表示させる手段
   として動作させることを特徴とする運転支援プログラム。

Images