JP2006306241A - 駐車支援方法及び駐車支援装置 - Google Patents
駐車支援方法及び駐車支援装置 Download PDFInfo
- Publication number
- JP2006306241A JP2006306241A JP2005130588A JP2005130588A JP2006306241A JP 2006306241 A JP2006306241 A JP 2006306241A JP 2005130588 A JP2005130588 A JP 2005130588A JP 2005130588 A JP2005130588 A JP 2005130588A JP 2006306241 A JP2006306241 A JP 2006306241A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- vehicle
- image
- predetermined distance
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 駐車目標領域内に車両が進入した後も、車両を誘導することができる駐車支援方法及び駐車支援装置を提供する。
【解決手段】 ナビゲーション装置1の制御装置2は、制御部3及び撮像データ取得部10により車両に設けられた後方カメラ22から、車両の進行方向の周辺視界を撮像した画像データGを取得する。また、画像データGを、各撮像地点での車両の位置と関連付けてRAM4に格納する。さらに、制御部3及び画像処理部11は、RAM4に格納され、車両の現在地点よりも進行方向において後方の撮像地点で生成した画像データGを読出し、読み出した画像データGのうち、現在地点において車両の下方にあたる合成領域と、現在地点の画像データの合成領域とを合成した画像合成データを生成する。そして、制御部3は、画像合成データをディスプレイに表示する。
【選択図】 図1
【解決手段】 ナビゲーション装置1の制御装置2は、制御部3及び撮像データ取得部10により車両に設けられた後方カメラ22から、車両の進行方向の周辺視界を撮像した画像データGを取得する。また、画像データGを、各撮像地点での車両の位置と関連付けてRAM4に格納する。さらに、制御部3及び画像処理部11は、RAM4に格納され、車両の現在地点よりも進行方向において後方の撮像地点で生成した画像データGを読出し、読み出した画像データGのうち、現在地点において車両の下方にあたる合成領域と、現在地点の画像データの合成領域とを合成した画像合成データを生成する。そして、制御部3は、画像合成データをディスプレイに表示する。
【選択図】 図1
Description
本発明は、駐車支援方法及び駐車支援装置に関する。
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両の後端に取り付けられたカメラにより、周辺視界を撮像し、その撮像データを車室内に配設されたディスプレイに表示する装置が知られている(例えば、特許文献1参照)。このような後方カメラは、車両の後端の略中央において取付けられ、その光軸は、下方に所定角度傾けた状態で固定されている。そして、この後方カメラは、車両の後端から後方数メートルを撮像可能になっている。
特開2000−280823号公報
ところが、上記した駐車支援装置は、車両が、駐車枠にバックしながら進入開始した時点では、駐車枠を示す白線や輪止めがディスプレイに表示されていても、車両が駐車枠の終端や輪止めに接近するに従って、白線や輪止めがカメラの視界外に移動してしまう。このため、運転者は、車両が駐車枠に進入した際に、車両の位置と駐車枠との相対位置やずれ量を把握し難い。その結果、タイヤと輪止めとの接触による衝撃が大きくなったり、車両が駐車枠からはみ出てしまう虞があった。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、駐車目標領域内に車両が進入した後も、車両を誘導することができる駐車支援方法及び駐車支援装置を提供することにある。
上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、画像データを表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、前記制御手段が、前記車両が所定距離だけ移動するたびに、前記車両に設けられた撮像装置から前記車両の周辺を撮像した画像データを、前記画像データを撮像した位置と関連付けて、過去画像データとして画像データ記憶手段に格納する工程と、前記車両が前記所定距離だけ移動するたびに、前記車両の現在位置よりも進行方向において前記所定距離後方の位置で撮像した前記過去画像データを読出す工程と、読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データを、前記車両の現在位置で撮像した前記画像データとともに前記表示手段に表示する工程とを有することを要旨とする。
請求項2に記載の発明は、車両の位置を特定する位置特定手段と、前記車両が所定距離移動するたびに、前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを取得する画像データ取得手段と、前記画像データを撮像した位置と関連付けて過去画像データとして格納する画像データ記憶手段と、前記画像データを表示する表示手段と、前記車両が前記所定距離だけ移動するたびに、前記車両の現在位置よりも進行方向において前記所定距離後方の位置で撮像した前記過去画像データを読出す画像データ読出手段と、読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データを、前記車両の現在位置で撮像した前記画像データとともに前記表示手段に表示する表示制御手段とを備えたことを要旨とする。
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記表示制御手段は、読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の領域と、前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する領域とを合成して、画像合成データを生成する画像合成手段を有し、前記画像合成データを前記表示手段に出力することを要旨とする。
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、前記車両の現在位置を示す車両位置指標を、前記画像データに重ねて表示する車両位置表示手段をさらに備えたことを要旨とする。
請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記画像データ読出手段は、前記車両が前記所定距離だけ移動するたびに、前記現在位置から進行方向において前記所定距離後方の地点で撮像した1つの前記過去画像データを前記画像データ記憶手段から読出し、前記表示制御手段は、読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データと、前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する画像データとを、前記車両の進行方向に沿って連続するように前記表示手段に表示することを要旨とする。
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記画像データ読出手段は、前記車両が前記所定距離だけ移動するたびに、前記現在位置から反進行方向において前記所定距離毎に設定された各地点で撮像された複数の前記各過去画像データを前記画像データ記憶手段から読出し、前記表示制御手段は、読み出した前記各過去画像データのうち、前記車両の端部から反進行方向側の所定距離分の領域をそれぞれ構成する各領域と、前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する領域とを、前記車両の進行方向に沿って順番に連続するように前記表示手段に表示することを要旨とする。
請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の駐車支援装置において、前記撮像装置から取得した前記画像データの歪曲収差を補正する収差補正手段をさらに備えたことを要旨とする。
請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の駐車支援装置において、前記過去画像データを、前記車両の現在位置に応じた撮像視点に視点変換する変換手段をさらに備えたことを要旨とする。
請求項9に記載の発明は、請求項2〜8のいずれか1項に記載の駐車支援装置において、前記画像データ取得手段は、前記車両の後端部に設けられた前記撮像装置から、前記車両の後方を撮像した画像データを取得することを要旨とする。
請求項1に記載の発明によれば、制御手段は、車両に設けられた撮像装置から、車両の周辺を撮像した画像データを、車両が所定距離だけ移動するたびに撮像位置と関連付けて過去画像データとして画像データ記憶手段に格納する。また、車両が所定距離だけ移動するたびに、現在位置よりも進行方向において所定距離後方の位置で撮像した過去画像データを読出し、読出した過去画像データのうち、進行方向後方であって車両端部から所定距離分の画像データを、車両の現在位置で撮像した画像データとともに表示手段に表示する。このため、車両の移動により、撮像装置の視界に駐車目標領域の殆どが含まれなくなっても、蓄積した過去画像データを現在位置の画像データとともに表示することにより、車体の下方にあたる駐車目標領域を表示できる。従って、運転者は、駐車目標領域からずれ
ないように、車両を駐車させることができる。また、車両が所定距離だけ移動するたびに表示手段に出力する画像データを更新するので、現在状況に即した、比較的正確な情報を提供できる。
ないように、車両を駐車させることができる。また、車両が所定距離だけ移動するたびに表示手段に出力する画像データを更新するので、現在状況に即した、比較的正確な情報を提供できる。
請求項2に記載の発明によれば、駐車支援装置は、位置特定手段と、車両が所定距離移動するたびに、車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、その画像データを、撮像した位置と関連付けて過去画像データとして格納する画像データ記憶手段とを備える。さらに、表示手段と、車両が所定距離だけ移動するたびに、現在位置よりも進行方向において所定距離後方の地点で撮像した過去画像データを読出す画像データ読出し手段とを備える。また、車両の端部から反進行方向側の所定距離分の画像データを、現在位置で撮像した画像データとともに表示手段に表示する表示制御手段を備える。このため、車両の移動により、撮像装置の視界に駐車目標領域の殆どが含まれなくなっても、蓄積した過去画像データを表示することにより、車体の下方にあたる駐車目標領域を表示できる。従って、運転者は、駐車目標領域からずれないように、車両を駐車させることができる。また、車両が所定距離だけ移動するたびに表示手段に出力する画像データを更新するので、現在状況に即した、比較的正確な情報を提供できる。
請求項3に記載の発明によれば、表示制御手段は、読出した過去画像データのうち、車両の端部から反進行方向側の所定距離分の領域と、現在位置で撮像した画像データのうち、所定距離分の領域と連続する領域とを合成して、画像合成データを生成する画像合成手段を有する。そして、その画像合成データを表示手段に出力する。このため、車両から遠い距離の画像データは削除されるため、撮像装置の撮像視点を擬似的に下方に向けた、即ち撮像装置の俯角を大きくした画像合成データを生成することができる。従って、駐車目標領域に車両が進入した際に、撮像装置の撮像視点を擬似的に下方に向けることで、不必要な範囲又は、ゆがみ等が生じやすい範囲の表示を省略し、駐車目標領域に集中した画像を表示手段に表示することができる。
請求項4に記載の発明によれば、現在位置での車両の位置を、画像データに重ねて表示する。このため、運転者は、車両の位置と、駐車目標領域とのずれ量を把握することができるので、駐車目標領域内に車両を駐車させることができる。
請求項5に記載の発明によれば、画像データ読出手段は、車両が所定距離だけ移動するたびに、現在位置から進行方向において所定距離後方の地点で撮像した1つの過去画像データを画像データ記憶手段から読出す。そして、表示制御手段は、2つの画像データを表示手段に表示するので、画像データの読出処理・表示処理を簡素化し、画像データ読出手段及び表示制御手段にかかる負荷の軽減、処理時間の短縮化を図ることができる。
請求項6に記載の発明によれば、表示制御手段は、複数の各過去画像データのうち、車両の端部から反進行方向において所定距離分の領域をそれぞれ構成する各領域と、現在位置で撮像した画像データのうち、過去画像データの画像に連続する領域とを表示手段に表示する。このため、比較的短い間隔で表示手段の画面を更新できる。
請求項7に記載の発明によれば、駐車支援装置は、撮像装置から取得した画像データに生じた歪曲収差を補正する収差補正手段を備えている。このため各画像データを表示手段に表示した際に、画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。
請求項8に記載の発明によれば、変換手段によって、異なる視点から撮像された各過去画像データの座標を、現在位置での撮像視点による画像データに変換する。このため、異なる視点から撮像した画像データを、仮想的に、現在位置から撮像された画像データにす
ることができる。このため、各画像データが描画する画像の連続性を良好にすることができる。
ることができる。このため、各画像データが描画する画像の連続性を良好にすることができる。
請求項9に記載の発明によれば、画像データ取得手段により、車両の後端部に設けられた撮像装置から、車両の後方を撮像した画像データが取得される。このため、車両が駐車目標領域に向ってバックした際に、車両後方を撮像した画像データを用いて合成画像を生成できるので、運転操作が難しい場合に支援を行うことができる。
(第1の実施形態)
以下、本発明の駐車支援装置を、自動車に搭載され、経路案内を行うナビゲーション装置に具体化した第1の実施形態を図1〜図13に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
以下、本発明の駐車支援装置を、自動車に搭載され、経路案内を行うナビゲーション装置に具体化した第1の実施形態を図1〜図13に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
図1に示すように、ナビゲーション装置1は、制御手段としての制御装置2を備えている。この制御装置2は、主制御を行う制御部3、画像データ記憶手段としてのRAM4、ROM5を備えている。制御部3は、ROM5に格納された経路案内プログラム、画像データ保存プログラム、合成データ出力プログラム、駐車案内プログラム等、各種プログラムに従って、各種処理を行う。尚、制御部3は、特許請求の範囲に記載の画像データ取得手段、位置特定手段、画像データ読出手段、画像合成手段、表示制御手段、車両位置表示手段、収差補正手段及び変換手段を構成する。
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、車両Cの輪郭をディスプレイ12に表示するためのデータである。また、輪郭描画データ5aは、車両Cの大きさに応じて設定され、車両Cが小型車である場合には、画面に応じた小型車の大きさの輪郭を描画するようになっている。
また、制御装置2は、GPS受信部6及び位置特定手段を構成する自車位置検出部7を備えている。GPS受信部6は、GPS衛星からの電波を受信する。自車位置検出部7は、GPS受信部6から受信した検出データに基づいて、自車位置の絶対位置を示す緯度・経度・高度等の測位データを定期的に算出する。
さらに、制御装置2は、I/F部8を備えている。制御部3は、このI/F部8を介して、車両C(図3参照)に配設された車速センサ20及びジャイロセンサ21から、車両Cの速度及び相対方位を取得し、これらを自車位置検出部7に送信する。自車位置検出部7は、GPS受信部6による測位データにより算出した基準自車位置をもとに、車速及び相対方位に基づき、自律航法による自車位置を算出する。このとき、自車位置検出部7は、図3に示すように、車両Cの後輪Caの車軸Cbの中心点25を、車両用のXY座標系(以下、車両座標系という)上の座標点として算出する。そして、GPS受信部6から測位データを逐次取得しながら、自律航法による自車位置を補正し、自車位置を決定する。尚、車両座標系は、水平面(路面)上の車両Cの位置を示すための座標系である。
また、図1に示すように、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、地図データとしての経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、各道路の交差点や曲点を示すノードを示すノードデータや、各ノードを接続するリンクを示すリンクデータ等を格納しており、制御部3は、目的地までの経路案内処理を行う際に、この経路データ9a及びROM5に格納された経路案内プログラムに従って経路を探索する。また、制御部3は、上記したように算出した自車位置の座標と、走行軌跡、経路データ9aを照合して、自車位置座標を適切な道路上に位置決めし、自車位置データをさらに補正する。地図描画データ9bは、広範囲から狭範囲の地
図を表示するためのデータであって、経路データ9aと関連付けられている。
図を表示するためのデータであって、経路データ9aと関連付けられている。
また、制御装置2は、画像データ取得手段を構成する撮像データ取得部10を備えている。撮像データ取得部10は、車両Cに設けられた撮像装置としての後方カメラ22から撮像データを定期的に取得する。撮像データは、後方カメラ22によりアナログ/デジタル変換されたデジタルデータであって、撮像データ取得部10は、各種補正や合成等の画像処理が可能な画像データGとして、制御部3に送信する。制御部3は、その画像データGを取得すると、そのときの自車位置と関連付けて、画像データGをRAM4に一時格納する。
後方カメラ22は、図2に示すように、車両Cのバックドア等、車両Cの後端の略中央に、光軸Aを下方に向けて取り付けられている。後方カメラ22は、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)とを備えている。広角レンズは、例えば左右140度の後方視野を有し、後方カメラ22は、車両Cの後端を含む、後方約3mの撮像範囲F1(周辺視界)を撮像可能になっている。また、後方カメラ22が広角レンズを用いているため、画像データGをナビゲーション装置1のディスプレイ12に表示すると、画面周辺の画像が縮む、いわゆる歪曲収差が生じる。
さらに、図1に示すように、制御装置2は、I/F部8を介して、車両Cに設けられたステアリングセンサ23、シフトセンサ24と接続されている。制御部3は、ステアリングセンサ23,シフトセンサ24から舵角検出信号及びシフトポジション信号を取得する。そして、制御部3は、シフトポジション信号に基づいて、変速機のシフトポジションがリバース状態であるか否かを判断する。シフトポジションがリバースであって、車両Cの後方の画像を単に表示する場合には、制御部3等は、ROM5に格納された駐車案内プログラムに従って、舵角検出信号に基づき、図4に示す撮像画面33をディスプレイ12に表示する。撮像画面33には、車両Cの背景が表示され、その背景に、予想軌跡線31、車幅延長線32が、公知の方法で、重ねて描画されている。予想軌跡線31は、車両Cの舵角及び車幅に応じた進行軌跡を示す。車幅延長線32は、車両Cの車幅を後方に延長した指標である。従って、運転者は、駐車する際に、予想軌跡線31と、車幅延長線32とのずれ量に応じて操舵を行う。
また、ナビゲーション装置1は、上記した、表示手段としてのディスプレイ12を具備している。このディスプレイ12は、タッチパネルであって、車両Cの変速機のシフトポジションがリバースになると、車両Cの後方を撮像した画像データGや、制御部3から送信された画像合成データを出力する。さらに、ディスプレイ12は、変速機のシフトポジションがリバースになっていない場合には、制御部3から送信された地図描画データ9bを出力して、自車位置周辺の地図画面12a(図1参照)を自車位置マーク等と併せて表示する。
制御装置2が備える入力信号取得部13は、そのディスプレイ12のタッチパネル操作によって入力された入力信号、ナビゲーション装置1に配設された操作ボタン14を押釦することによって入力された入力信号を取得して、制御部3に送信する。操作ボタン14の中には、画像切換ボタン14aが備えられている。
この画像切換ボタン14aは、例えば、図3に示すように、車両Cが駐車目標領域Rに駐車するとき等に、駐車目標領域Rがディスプレイ12の画面からはみ出して、視認しずらくなった際に、運転者によって操作される。この画像切換ボタン14aが操作されることにより、入力信号取得部13により合成開始信号が生成され、制御部3は、各画像データGの合成及び出力処理を開始するようになっている。尚、この画像切換ボタン14aは、ナビゲーション装置1の筐体に配設されるのではなく、ディスプレイ12上に表示され
てもよい。
てもよい。
また、ナビゲーション装置1は、スピーカ15を備えている。スピーカ15は、制御部3から送信された音声出力信号に基づき、各種案内音声や案内音を出力する。
また、制御装置2は、画像合成手段、車両位置表示手段、収差補正手段及び変換手段を構成する画像処理部11を備えている。画像処理部11は、制御部3から各画像データGを受信して、各画像データGに生じた、広角レンズによる歪曲収差を補正する。また、画像処理部11は、制御部3から受信した画像合成命令に従って、現在の自車位置(以下、現在地点と言う)で新たに取得した画像データG1と、その画像データGよりも過去に撮像された過去画像データG2とを合成する。現在の画像データG1に合成する過去画像データG2は、現在地点よりも、車両座標系において、所定距離(画像更新距離)だけ離れた地点で生成されている。
また、制御装置2は、画像合成手段、車両位置表示手段、収差補正手段及び変換手段を構成する画像処理部11を備えている。画像処理部11は、制御部3から各画像データGを受信して、各画像データGに生じた、広角レンズによる歪曲収差を補正する。また、画像処理部11は、制御部3から受信した画像合成命令に従って、現在の自車位置(以下、現在地点と言う)で新たに取得した画像データG1と、その画像データGよりも過去に撮像された過去画像データG2とを合成する。現在の画像データG1に合成する過去画像データG2は、現在地点よりも、車両座標系において、所定距離(画像更新距離)だけ離れた地点で生成されている。
画像処理部11は、図5に模式的に示すように、現在の画像データG1を、過去画像データG2の上に、現在の画像データG1が表示側になるように重ねる。このとき、画像処理部11は、画像データG1及び過去画像データG2のうち、連続する領域がそれぞれ撮像された合成領域G1a,G2aが互いに連続するように合成する。これにより生成された画像合成データGAは、現在の画像データG1の合成領域G1a(第1の合成領域)と、過去画像データG2の合成領域G2a(第2の合成領域)の画像がほぼ連続した状態となる。
さらに、画像処理部11及び制御部3は、図6に模式的に示すように、ディスプレイ12の撮像画面の画素座標を示すxy座標系(以下、画面座標系という)において、画像データG1の合成領域G1aと、過去画像データG2の合成領域G2aとが、表示領域12bに含まれるように、ディスプレイ12に出力する。このとき、画像データG1の非表示領域G1bは表示領域12bに含めない。また、過去画像データG2の非表示領域G2b(図5参照)は、現在の画像データG1の合成領域G1aに隠されて、表示されない。また、このとき、画像処理部11は、各合成領域G1a,G2aを表示領域12bに含めるために、画像データG1及び過去画像データG2のうち、一方又は両方を必要に応じて縮小又は拡大する。
次に、本実施形態の処理手順について、図7及び図8に従って説明する。図7は、画像データ保存処理の手順を示し、図8は、画像合成データ出力処理の手順を示す。尚、制御装置2は、この画像データ保存処理及び画像合成データ出力処理を並行して行う。
図7に示す画像データ保存処理は、制御装置2が、ROM5に格納した画像データ保存プログラムに従って行う処理である。まず、制御部3は、変速機のシフトポジションがリバースであるか否かを判断する(ステップS1−1)。具体的には、制御部3が、I/F部8を介して、シフトセンサ24からシフトポジション信号を取得することにより判断する。
シフトポジションがリバースでない場合には(ステップS1−1においてNO)、ステップS1−1の判断処理を繰り返す。シフトポジションがリバースであると判断した場合には(ステップS1−1においてYES)、制御部3は、自車位置検出部7から自車位置を取得する(ステップS1−2)。そして、制御部3は、取得した自車位置に基づき、車両Cが所定距離だけ移動するたびに、撮像データ取得部10から画像データGを取得する(ステップS1−3)。この所定距離は、例えば、数十〜数百mmであって、本実施形態では約0.5mに設定されている。
そして、ステップS1−2で取得した自車位置と、取得した画像データGを関連付けて
、RAM4に格納する(ステップS1−4)。
そして、制御部3は、終了トリガがあるか否かを判断する(ステップS1−5)。予め設定した終了トリガがある場合には(ステップS1−5においてYES)、画像データ保存処理を終了する。具体的には、I/F部8を介して、パーキング又はドライブを示すシフトポジション信号の受信や、図示しない車両ECUからのイグニッションモジュールのオフ信号の受信があった場合に処理を終了する。又は、入力信号取得部13を介して、画像切換ボタン14aの入力操作信号を受信した場合に、処理を終了する。終了トリガがない場合には(ステップS1−5においてNO)、ステップS1−2に戻って上記した処理を繰り返す。
、RAM4に格納する(ステップS1−4)。
そして、制御部3は、終了トリガがあるか否かを判断する(ステップS1−5)。予め設定した終了トリガがある場合には(ステップS1−5においてYES)、画像データ保存処理を終了する。具体的には、I/F部8を介して、パーキング又はドライブを示すシフトポジション信号の受信や、図示しない車両ECUからのイグニッションモジュールのオフ信号の受信があった場合に処理を終了する。又は、入力信号取得部13を介して、画像切換ボタン14aの入力操作信号を受信した場合に、処理を終了する。終了トリガがない場合には(ステップS1−5においてNO)、ステップS1−2に戻って上記した処理を繰り返す。
このようなステップS1−2〜ステップS1−5の処理は、前記した所定距離毎に繰り返し行われる。このため、車両Cがバック走行する際には、RAM4には、互いに連続する領域を撮像した各画像データG(画像データG1、過去画像データG2)が蓄積されていく。
次に、図8に従って、画像合成データ出力処理について説明する。この画像データ出力処理は、制御装置2が、ROM5に格納した合成データ出力プログラムに従って行う処理である。
まず、制御部3は、画像データ保存処理と同様に、シフトポジションがリバースであるか否かを判断する(ステップS2−1)。シフトポジションがリバースである場合には(ステップS2−1においてYES)、制御部3は、画像合成を開始するか否かを判断する(ステップS2−2)。即ち、運転者が、例えば、図3に示す車両Cの位置で、画像切換ボタン14aを操作すると、制御部3は、合成開始信号を受信して、画像合成を開始すると判断する(ステップS2−2においてYES)。そして制御部3は、合成開始信号を受信した時点の車両Cの座標(図3の自車位置)を、図9に示す、撮像地点としての初期位置P1とする。このとき、後方カメラ22は、カメラ視点V1から、車両Cの後方の撮像範囲F1を撮像している。
画像合成を行わないと判断した場合(ステップS2−2においてNO)には、制御部3は、RAM4から最新の画像データG1を取得し、予想軌跡線31、車幅延長線32とを重ね、図4のような後方画像を表示した撮像画面33をディスプレイ12に表示する。この場合、制御部3は、画像データGを逐次取得し、撮像画面33を更新しながら、画像合成を開始するための信号の受信を待つ。
画像合成を開始すると判断した場合には(ステップS2−2においてYES)、制御部3は、自車位置検出部7から自車位置データを取得する(ステップS2−3)。そして、制御部3は、自車位置と、初期位置P1との座標に基づいて、初期位置P1からの移動距離を演算し、その移動距離が、画像更新距離D1(所定距離)以上になったか否かを判断する(ステップS2−4)。画像更新距離D1とは、RAM4に格納された過去画像データG2と、新たに取得した画像データG1とからなる画像合成データGAを出力して合成画面40をディスプレイ12に表示(又は更新する)タイミングとなる距離であって、本実施形態では、約0.5mに設定されている。
移動距離が画像更新距離D1未満である場合(ステップS2−4においてNO)には、移動距離が画像更新距離D1以上になるまで、自車位置取得(ステップS2−3)及びステップS2−4の判断を繰り返す。
図10に示すように、車両Cの初期位置P1からの移動距離が画像更新距離D1以上になった場合には(ステップS2−4においてYES)、車両Cが撮像地点としての画像更
新地点Sに到達したとして、現在地点の画像データG1をRAM4から取得する(ステップS2−5)。尚、この画像更新地点Sとは、初期位置P1を基準として、画像更新距離D1ごとに設定される地点である。即ち、初期位置P1を始点として、例えば0.5mの地点、1mの地点、1.5mの地点をそれぞれ画像更新地点Sとしている。また、図10に示すように、画像更新地点Sでは、後方カメラ22のカメラ視点V2は、図9に示すカメラ視点V1よりも、X軸方向側(進行方向側)に位置している。さらに、この後方カメラ22の撮像範囲F2は、図9に示す撮像範囲F1と共通する範囲と、異なる範囲とを含んでいる。
新地点Sに到達したとして、現在地点の画像データG1をRAM4から取得する(ステップS2−5)。尚、この画像更新地点Sとは、初期位置P1を基準として、画像更新距離D1ごとに設定される地点である。即ち、初期位置P1を始点として、例えば0.5mの地点、1mの地点、1.5mの地点をそれぞれ画像更新地点Sとしている。また、図10に示すように、画像更新地点Sでは、後方カメラ22のカメラ視点V2は、図9に示すカメラ視点V1よりも、X軸方向側(進行方向側)に位置している。さらに、この後方カメラ22の撮像範囲F2は、図9に示す撮像範囲F1と共通する範囲と、異なる範囲とを含んでいる。
このとき読出された現在地点の画像データG1は、例えば、図12に示すような撮像画面37を表示する。この撮像画面37では、図3に示す車両Cが駐車目標領域Rに進入し、駐車目標領域Rを区画する白線が、後方カメラ22の撮像範囲F2外に移動した画像を表示している。また、車両Cの後方の他車両等の背景画像が表示されている。
さらに、制御部3は、初期位置P1、又は一つ前の画像更新地点Sが関連付けられた過去画像データG2を検索し、その過去画像データG2をRAM4から読み出す(ステップS2−6)。具体的には、車両Cが初期位置P1から0.5m離れた画像更新地点Sにいるとき、初期位置P1の座標が関連付けられた画像データGを過去画像データG2として読出す。また、車両Cが初期位置P1から1m離れた画像更新地点Sにいるとき、初期位置P1から0.5mの画像更新地点Sの画像データGを過去画像データG2として読出す。このとき読出された過去画像データG2は、例えば、図11に示すような撮像画面34のデータである。この過去画像データG2は、現在地点よりも進行方向後方で生成されているため、駐車目標領域Rを区画する白線が、後方カメラ22の撮像範囲F1内に含まれている。
そして、制御部3は、画像処理部11に画像合成命令を送信して、各画像データGの補正を行う(ステップS2−7)。上記したように、画像処理部11は、各画像データGの歪曲収差を補正する。さらに、画像データG1及び過去画像データG2のうち、バンパーB(図2参照)等の車両Cの後端部が描画された車両後端画像BGを消去する。このとき、車両後端画像BGが表示される領域は一定であるので、車両後端画像BGが表示されるデータ領域を予め設定しておくことで、車両後端画像BGを容易に消去できる。
また、画像処理部11は、補正した各画像データGを合成する(ステップS2−8)。画像処理部11は、図5のように、過去画像データG2に画像データG1を重ねる。このとき、過去画像データG2の合成領域G2aは、後方カメラ22の撮像範囲F1(図9参照)のうち、図10に示す撮像範囲F3に相当する。撮像範囲F3は、現在のカメラ視点V2よりも、進行方向後方のカメラ視点V1から、現在位置の車両Cの後端部分までを撮像した範囲である。即ち、撮像範囲F3は、車両Cの後端から画像更新距離D1(所定距離)分の画像である。また撮像範囲F3は、現在地点(画像更新地点S)では、車体の下方であって、後方車輪周辺に相当し、例えば車体の下方にある白線等を含み、車両Cから遠距離範囲を含まない。つまり、ある地点で撮像した過去画像データG2のうち、車両Cから遠い範囲の画像をディスプレイ12に表示すると、表示内容の時間的ずれ、画像のゆがみが生じる可能性があるため、合成領域G2aには遠距離範囲を含めない。
さらに、現在地点の画像データG1の合成領域G1aは、図10に示す撮像範囲F2のうち、車両Cの近距離範囲である撮像範囲F4に相当する。撮像範囲F4では、車両Cから近距離範囲の路面や障害物(例えば、車両Cの後方の他車両等)を撮像している。また、撮像範囲F4は、後方カメラ22の本来の撮像範囲F2に比べて、遠距離範囲が削除されている。
制御部3は、この画像合成データGAをディスプレイ12に表示する(ステップS2−9)。その結果、図13に示す合成画面40が表示される。合成画面40は、現在の画像データG1による現在画像38と、過去画像データG2による過去画像39とが連続して描画されている。現在画像38は、現在地点での車両Cの後方の背景である。このとき、遠距離範囲の背景画像が表示されないので、後方カメラ22の光軸Aが擬似的に下方に傾斜したような画像になっている。
また、過去画像データG2から生成された過去画像39は、現在地点では車両Cの下方に隠れている領域の画像であって、現在地点でのカメラ視点V2では撮像できない領域である。この過去画像39には、車体の下方にあるため実際には隠れて見えない白線等が表示されている。従って、この過去画像39を表示することにより、車両Cの車体を透かして、その下方の路面が表示されたように見える。
さらに、画像処理部11は、ROM5に格納された輪郭描画データ5aを用いて、過去画像39に、車両輪郭線41を重ねて描画する。車両輪郭線41は、自車位置に応じて、車両Cの車体後方を仮想的に描画している。また、車両輪郭線41は、車体の外郭を示す外形表示線41aと、車両Cの後輪を示す後輪表示線41bとから構成されている。従って、運転者は、車両Cの現在の位置と、現在画像38又は過去画像39に表示された駐車目標領域Rとをディスプレイ12にて視認することによって、駐車目標領域Rとの相対位置やずれ量を把握したり、自車位置と障害物との相対距離を把握する。
さらに、制御部3は、終了トリガがあるか否かを判断する(ステップS2−10)。このとき、画像データ合成処理と同様に、画像切換ボタン14aの操作、シフトポジションのリバースからドライブ又はパーキングへの変更、イグニッションモジュールからのオフ信号の受信の有無を判断する。終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻り、上記した処理を繰り返す。これにより、例えば、0.5m等の画像更新距離D1ごとに、合成画面40が更新される。即ち、画像更新距離D1だけ移動する度に、RAM4に格納された各過去画像データG2のうち、最も新しい過去画像データG2を用いて合成画面40を更新するため、運転者は、現在の車両C周辺の状況に即した、正確な情報を合成画面40から得ることができる。そして、終了トリガがある場合には(ステップS2−10においてYES)、画像合成データ出力処理を終了する。
第1の実施形態によれば、以下のような効果を得ることができる。
(1)第1の実施形態では、ナビゲーション装置1の制御装置2は、車両Cに設けられた後方カメラ22から、車両Cの後方の撮像範囲F1を撮像した画像データGを、各撮像地点で取得するようにした。また、制御装置2の制御部3は、取得した画像データGを、自車位置検出部7から取得した自車位置と関連付けてRAM4に格納するようにした。また、制御部3は、車両Cが基準となる位置(初期位置P1又は画像更新地点S)から画像更新距離D1だけ移動した際に、その基準となる位置の座標が関連付けられた過去画像データG2を読出し、現在の画像データG1を重ねて画像合成データGAを生成するようにした。そして、この画像合成データGAをディスプレイ12に表示するようにした。
(1)第1の実施形態では、ナビゲーション装置1の制御装置2は、車両Cに設けられた後方カメラ22から、車両Cの後方の撮像範囲F1を撮像した画像データGを、各撮像地点で取得するようにした。また、制御装置2の制御部3は、取得した画像データGを、自車位置検出部7から取得した自車位置と関連付けてRAM4に格納するようにした。また、制御部3は、車両Cが基準となる位置(初期位置P1又は画像更新地点S)から画像更新距離D1だけ移動した際に、その基準となる位置の座標が関連付けられた過去画像データG2を読出し、現在の画像データG1を重ねて画像合成データGAを生成するようにした。そして、この画像合成データGAをディスプレイ12に表示するようにした。
このため、後方カメラ22の撮像範囲F1に駐車目標領域Rの殆どが含まれなくなる位置まで車両Cが移動しても、蓄積した過去画像データG2を合成することにより、車両Cの下方にある、白線等を含む駐車目標領域Rをディスプレイ12に表示できる。従って、運転者は、駐車目標領域Rからずれたりしないように、容易に駐車操作を行うことができる。また、車両Cが画像更新距離D1だけ移動する度に、RAM4に格納された過去画像データG2のうち、最も新しい過去画像データG2を用いて画像合成データGAを生成するようにしたので、運転者は正確な情報を合成画面40から得ることができる。
(2)第1の実施形態では、現在地点の画像データG1のうち、車両Cの近距離範囲である合成領域G1aのみが、ディスプレイ12の表示領域12bに出力されるようにした。即ち、画像データG1のうち、車両Cの遠距離範囲である上部の領域を表示しないようにした。そして、合成領域G1aを、過去画像データG2の合成領域G2aと合成することによって、後方カメラ22の光軸を擬似的に下方に向って傾斜させた画像合成データGAを生成するようにした。従って、駐車目標領域Rに車両Cが進入した際に、画像データGのうち、遠方の背景画像等の不必要なデータはディスプレイ12に表示されないので、駐車目標領域Rに集中した合成画面40をディスプレイ12に表示することができる。
(3)第1の実施形態では、制御部3及び画像処理部11は、現在地点の自車位置に応じた車両輪郭線41を合成画面40に表示するようにした。このため、車両Cと、駐車目標領域Rとの相対位置を把握し易くなるので、車両Cが駐車目標領域Rからはみ出ないように駐車することができる。
(4)第1の実施形態では、画像処理部11は、各画像データGの歪曲収差を補正するようにした。このため各画像データGを合成し、ディスプレイ12に表示した際に、画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。
(5)第1の実施形態では、制御部3及び画像処理部11は、画像データG1と、過去画像データG2とを一部重ねた状態で並行に並べて、画像合成データGAを生成するようにした。従って、合成画面40は、2つの画像データGから合成されるので、比較的容易に合成処理を行うことができる。
(6)第1の実施形態では、駐車支援装置を、自車位置検出部7を備えるナビゲーション装置1に具体化したので、精度の高い自車位置検出機能を利用して、画像データGの合成を行うことができる。このため、合成画面40内での画像の連続性等が向上できる。
(第2の実施形態)
以下、本発明を具体化した第2の実施形態を図8と、図14〜図25とに従って説明する。第2の実施形態は、第1の実施形態の画像合成データ出力処理を変更したのみの構成なので、各処理の手順についてのみ説明し、その他の説明は省略する。尚、第2の実施形態では、第1の実施形態の画像データ保存処理(ステップS1−1〜S1−5)において、画像データGを取得するタイミングとなる車両Cの移動距離(所定距離)は、第1の実施形態よりも短い距離(例えば、0.15m)とする。
以下、本発明を具体化した第2の実施形態を図8と、図14〜図25とに従って説明する。第2の実施形態は、第1の実施形態の画像合成データ出力処理を変更したのみの構成なので、各処理の手順についてのみ説明し、その他の説明は省略する。尚、第2の実施形態では、第1の実施形態の画像データ保存処理(ステップS1−1〜S1−5)において、画像データGを取得するタイミングとなる車両Cの移動距離(所定距離)は、第1の実施形態よりも短い距離(例えば、0.15m)とする。
図8に示す画像合成データ出力処理では、第1の実施形態と同様に、制御部3はシフトポジションがリバースである場合に(ステップS2−1においてYES)、画像合成を開始するか否かを判断する(ステップS2−2)。
例えば、図14に示す車両Cの位置で、合成開始信号を受信した場合(ステップS2−2においてYES)には、制御部3は、このときの自車位置を初期位置P1に設定する。この初期位置P1で生成された画像データGは、例えば図19に示すような撮像画面43を表示する。撮像画面43には、路面44や、駐車目標領域Rを区画する白線45、障害物等が表示された背景46、バンパーBの画像である車両後端画像BG等が描画されている。尚、図14に示すように、初期位置P1での後方カメラ22の視点をカメラ視点V1、後方カメラ22の撮像する範囲を撮像範囲F1とする。
続いて、制御部3は、自車位置を取得し(ステップS2−3)、初期位置P1からの移
動量が画像更新距離D1に到達したか否かを判断する(ステップS2−4)。尚、第2の実施形態では、この画像更新距離D1を、第1の実施形態よりも短い距離(例えば、0.15m)とする。
動量が画像更新距離D1に到達したか否かを判断する(ステップS2−4)。尚、第2の実施形態では、この画像更新距離D1を、第1の実施形態よりも短い距離(例えば、0.15m)とする。
図15に示すように、車両Cが初期位置P1から画像更新距離D1だけX軸方向にバック走行したと判断した場合(ステップS2−4においてYES)、制御部3は、撮像地点としての第1の画像更新地点S1に到達したとみなす。そして、現在の自車位置(第1の画像更新地点S1)に関連付けられた画像データGS1をRAM4から取得する(ステップS2−5)。このとき取得した画像データGS1は、例えば、図20に示すような撮像画面47を表示する。このとき、図15に示すように、後方カメラ22のカメラ視点V2は、初期位置P1のカメラ視点V1よりもX軸方向側にあるため、撮像画面47では、図19に示す初期位置P1での撮像画面43に比べて、駐車目標領域Rの一部が、画面外に移動している。
また、制御部3は、初期位置P1に関連付けられた過去画像データとしての画像データGFを、RAM4から読出す(ステップS2−6)。そして、画像データGF,GS1を、一つの画面として合成表示させるため、画像処理部11に画像データGF,GS1を送信して、画像データGF,GS1の補正を行う(ステップS2−7)。
ステップS2−7において、画像処理部11は、画像データGF,GS1の歪曲収差補正及び車両後端画像BGの削除を行う。さらに、画像処理部11は、初期位置P1で生成した画像データGFに対し、座標変換及び合成用画像データの生成を行う。
座標変換では、図17に模式的に示すように、自車位置Aの撮像画面22a内の画素座標35aを、自車位置Aから自車位置Bまでの移動距離及び移動方向に応じて、画面座標系内で平行移動又は回転移動させて、自車位置Bの撮像画面22a内の画素座標35bに変換してもよい。尚、撮像画面22aと、ディスプレイ12の表示領域12bは、同じ座標系上に位置づけられる。
或いは、座標変換において、後方カメラ22の撮像画面22aの画素の位置を示す画面座標系と、車両Cの自車位置を示す車両座標系との間に成り立つ関係式を、後方カメラ22の光軸Aの角度及び撮像範囲F1等に基づいて取得しておく。そして、初期位置P1の自車位置(図中、自車位置A)の座標を加味して、撮像画面22a上の画素座標35aを、予め求めた関係式に基づいて、車両座標系の座標点36に変換してもよい。さらに、画像処理部11により、車両系座標の座標点36を、関係式に基づいて、第1の画像更新地点S1(図中、自車位置B)の撮像画面22a内の画素座標35bに変換する。これにより、カメラ視点V1による画像データGFが、現在のカメラ視点V2から撮像されたデータのような撮像角度に変換することができる。
次に、画像処理部11は、補正した画像データGF,GS1を合成する(ステップS2−8)。具体的には、画像処理部11は、図18に模式的に示すように、第1の画像更新地点S1での現在の画像データGS1を、初期位置P1の画像データGFの上に重ね、画像合成データGAを生成する。このとき、現在の画像データGS1のうち、予め定めた合成領域Zb(第2の合成領域)と、初期位置P1の画像データGFの予め定めた合成領域Za(第1の合成領域)とが連続するように重ねる。合成領域Za,Zbは、車両Cが画像更新距離D1だけ移動した際に、画像が互いに連続するようなデータ領域をそれぞれ確保する。現在の画像データGS1の合成領域Zbは、初期位置P1の画像データGFの合成領域Zaよりも大きく、現在の画像が占める割合が大きくなっている。また、図15(a)に示すように、現在の画像データGS1の合成領域Zbは、第1の画像更新地点S1での撮像範囲のうち、車両Cから近距離範囲を撮像した撮像範囲F6に相当する。従って
、車両Cの近距離範囲のデータ範囲のみが表示されるので、光軸Aが擬似的に下方に向って傾斜したようなデータとなる。
、車両Cの近距離範囲のデータ範囲のみが表示されるので、光軸Aが擬似的に下方に向って傾斜したようなデータとなる。
また、図15(a)に示すように、初期位置P1の画像データGFの合成領域Zaは、後方カメラ22の撮像範囲F5に相当する。この撮像範囲F5は、車両Cの後端から画像更新距離D1分の画像であって、第1の画像更新地点S1では、車体の下方に隠れた駐車目標領域Rに相当する範囲である。
さらに制御部3は、図15(b)のように合成した画像合成データGAを、ディスプレイ12に表示する(ステップS2−9)。その結果、図21に示すように、画像合成データGAを出力表示した合成画面48がディスプレイ12に表示される。合成画面48は、初期位置P1での画像データGFに基づく過去画像48aを下部に、第1の画像更新地点S1の現在の画像データGS1に基づく現在画像48bを上部に配置して生成されている。過去画像48aは、第1の画像更新地点S1では、車体下方の領域にあたるため、車体を透過して路面が表示されているように見える。また、合成画面48は、上記したように、後方カメラ22の光軸を下方に向って傾斜させた画面のように見える。
また、画像処理部11は、画像合成データGAに、第1の画像更新地点S1での自車位置を示す車両輪郭線49を重ねて表示する。そして、制御部3は、終了トリガの有無を判断し(ステップS2−10)、終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻る。
終了トリガが無い場合、制御部3は、自車位置取得(ステップS2−3)を行って、車両Cの第1の画像更新地点S1からの移動量が、画像更新距離D1以上であるか否か、即ち撮像地点としての第2の画像更新地点S2に到達したか否かを判断する(ステップS2−4)。
図16(a)に示すように、車両Cが第2の画像更新地点S2に到達した場合には(ステップS2−4においてYES)、現在地点(第2の画像更新地点S2)での画像データGS2の取得(ステップS2−5)、RAM4に格納された画像データGS1,GFの読出を行う(ステップS2−6)。即ち、第2の画像更新地点S2から、反X軸方向(反進行方向)において、画像更新距離D1ずつ離間した各地点(例えば、初期位置P1、第1の画像更新地点S1)が関連付けられた画像データGを読出す。
そして、上記したように、読出した画像データGS1,GFと、現在の画像データGS2の補正を行う(ステップS2−6)。即ち、画像処理部11は、読出した画像データGS1,GFに対して、歪曲収差補正と、第2の画像更新地点S2のカメラ視点V3(図15参照)での撮像画面22a内への座標変換、車両後端画像BGの削除を行う。さらに、現在地点で取得した画像データG1に対しても、歪曲収差補正及び車両後端画像BGの削除を行う。
そして、画像処理部11は、図22に模式的に示すように、現在の画像データGS2の合成領域Zbと、第1の画像更新地点S1の画像データGS1の合成領域Zaと、初期位置P1の画像データGFの合成領域Zaとが互いに連続するように重ねて、画像合成データGBを生成する。(ステップS2−8)。即ち、図16(b)に模式的に示すように、第2の画像更新地点S2の合成領域Zbを最上部に、第1の画像更新地点S1での合成領域Zaを中央部に、初期位置P1での合成領域Zaを最下部にして並べて重ねる。現在の画像データGS2の合成領域Zbは、他の合成領域Zaよりも大きいデータ領域が確保されている。
そして、制御部3は、画像合成データGBをディスプレイ12に出力して、図23に示すような合成画面50をディスプレイ12に表示させる(ステップS2−9)。合成画面50は、第2の画像更新地点S2での画像データGS2の合成領域Zbの画像50cを最上部に、第1の画像更新地点S1での画像データGS1の画像50bを中央部に、初期位置P1の画像データGFの画像50aを最下部に配置して生成されている。
また、画像処理部11は、画像合成データGBに、第2の画像更新地点S2での自車位置を示す車両輪郭線49を重ねて表示する。また、画像50a,50bは車体の下方に隠れた領域である。また合成画面50は、後方カメラ22の光軸を擬似的に下方に傾斜させたような画面になっている。しかも、第1の画像更新地点S1で生成した画像合成データGAと比較して、現在地点での画像50cの割合が小さくなっているので、より遠距離範囲の画像が削除され、光軸がより車両C側に傾斜しているような画面になっている。
そして、制御部3は、終了トリガの有無を判断し(ステップS2−10)、終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻る。
このようにして、終了トリガが無い状態で、ステップS2−3〜ステップS2−10が4回目に繰り返された場合には、図24(a)に示すように、車両Cは、初期位置P1からの移動量が、画像更新距離D1の4倍である、撮像地点としての第4の画像更新地点S4に位置している。このとき、RAM4からは、現在の画像データGS4と、4枚の画像データGF,GS1〜GS3が読出され、補正される(ステップS2−6,S2−7)。
このようにして、終了トリガが無い状態で、ステップS2−3〜ステップS2−10が4回目に繰り返された場合には、図24(a)に示すように、車両Cは、初期位置P1からの移動量が、画像更新距離D1の4倍である、撮像地点としての第4の画像更新地点S4に位置している。このとき、RAM4からは、現在の画像データGS4と、4枚の画像データGF,GS1〜GS3が読出され、補正される(ステップS2−6,S2−7)。
そして、図24(b)に示すように、画像処理部11は、上記した手順と同様に、現在の画像データGS4と画像データGF,GS1〜GS3を重ねる。画像データGF,GS1〜GS3の合成領域Zaは、ほぼ同じデータ領域である。また、現在の画像データGS4の合成領域Zbは、過去の画像データGF,GS1〜GS3の合成領域Zaよりも大きい
データ領域となっている。
データ領域となっている。
また、過去に生成された画像データGF,GS1〜GS3の合成領域Zaは、図24(
a)に示すように、初期位置P1の合成領域Zaに基づく撮像範囲F5、撮像地点としての第1〜第3の画像更新地点S1〜S3の合成領域Zaに基づく撮像範囲F7,F10,F11にそれぞれ相当する。これらの撮像範囲F5,F7,F10,F11は、第4の画像更新地点S4において、車両Cの後輪部分に相当する領域である。
a)に示すように、初期位置P1の合成領域Zaに基づく撮像範囲F5、撮像地点としての第1〜第3の画像更新地点S1〜S3の合成領域Zaに基づく撮像範囲F7,F10,F11にそれぞれ相当する。これらの撮像範囲F5,F7,F10,F11は、第4の画像更新地点S4において、車両Cの後輪部分に相当する領域である。
さらに、現在の画像データG1の合成領域Zbは、図24(a)に示すように、撮像範囲F12に相当する。この撮像範囲F12は、図15(b)、図16(b)に示す合成領域Zbよりもデータ領域が小さく、現在の画像データGS4に対して最低限確保される大きさのデータ領域である。従って、ステップS2−3〜S2−10が4回目まで繰り返されるにつれて、現在の画像データGの合成領域Zbの大きさは、次第に小さくなり、これにより、ディスプレイ12の画面上では、後方カメラ22の光軸Aが擬似的に次第に下方に傾斜していくように見える。
さらに、ステップS2−3〜ステップS2−10の処理を5回目に繰り返すとき、図25(a)に示すように、車両Cは、撮像地点としての第5の画像更新地点S5に位置している。また、制御部3は、RAM4から、第1〜第4の画像更新地点S1〜S4に関連付けられた4つの画像データGS1〜GS4を読出し、初期位置P1の画像データGFは読出さない。そして、画像処理部11は、各画像データGS1〜GS4と、新たに取得した現在地点の画像データGS5とを補正して(ステップS2−7)、図25(b)に模式的に示すような画像合成データGDを生成する(ステップS2−8)。即ち、画像処理部11は、各画像データGを合成する際に、RAM4から読出した4つの画像データGと、現在地点の画像データGとを用いる。
画像合成データGDは、現在の画像データGS5の合成領域Zbを最上部にして、他の画像データGS1〜GS4の合成領域Zaが連続するように、各画像データGS1〜GS5を重ねて生成されている。
このように、以下、終了トリガがあると判断するまで、制御部3及び画像処理部11は、RAM4に格納された画像データGのうち、新しい方から5番目までの画像データGを使用して、画像合成データGA〜GDを生成し、ディスプレイ12に出力表示する。
そして、制御部3が、終了トリガがあると判断すると(ステップS2−10においてYES)、制御部3は、合成データ出力処理を終了する。
第2の実施形態によれば、第1の実施形態の効果に加えて、以下のような効果を得ることができる。
第2の実施形態によれば、第1の実施形態の効果に加えて、以下のような効果を得ることができる。
(6)第2の実施形態では、ナビゲーション装置1の制御部3及び画像処理部11は、車両Cが画像更新地点S1〜S5に到達した際に、その地点の画像データGを取得するようにした。また、初期位置P1又は画像更新地点S1〜S4に関連付けられた、過去の画像データGを、現在地点から近い方から、最大4つまで読出すようにした。又、画像処理部11は、現在地点で取得した画像データGの合成領域Zbと、読み出された各画像データの各合成領域Zaとを、画面内での車両Cの進行方向に沿って、順番に連続するように合成するようにした。このため、画像合成データGA〜GDは、2つ〜最大5つの画像データGから構成されるので、画像の更新距離を短くすることができる。また、合成画面48,50を比較的短い時間間隔で更新することができる。従って、車両C周辺の情報を比較的迅速に提供できる。
(7)第2の実施形態では、RAM4から読出した過去の画像データGS1〜GS4を、現在地点でのカメラ視点の撮像画面22a内の座標に変換するようにした。このため、異なるカメラ視点で撮像して生成した画像データを、現在地点のカメラ視点で撮像した画像データGのように変換できるので、合成画面48,50として表示した際に、画像の連続性をより良好にすることができる。このため、運転者等に違和感を与えない。
尚、上記各実施形態は以下のように変更してもよい。
・第1の実施形態では、ステップS2−7において、歪曲収差の補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。
・第1の実施形態では、ステップS2−7において、歪曲収差の補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。
・第1の実施形態では、合成する2つの画像データGに対して、カメラ視点を同一にする変換処理を行ってもよい。
・第2の実施形態では、最大5つの画像データGから画像合成データを生成するようにしたが、3つ以上であればよい。
・第2の実施形態では、最大5つの画像データGから画像合成データを生成するようにしたが、3つ以上であればよい。
・第2の実施形態の座標変換処理は、その他の公知の方法を用いて、カメラ視点を変換した画像データを作成してもよい。
・第2の実施形態では、カメラ視点を同一にする視点変換処理を省略してもよい。また、画像データGの歪曲収差補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。
・第2の実施形態では、カメラ視点を同一にする視点変換処理を省略してもよい。また、画像データGの歪曲収差補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。
・上記各実施形態では、自車位置は、後車軸の中心点25としたが、その他の車両Cの特定位置でもよい。
・上記各実施形態では、画像データGを取得するタイミングとなる車両Cの移動距離(
所定距離)と、画像更新距離D1とを同じ距離としたが、異なる距離にしてもよい。この
とき、画像データGを取得する際の所定距離は、画像更新距離D1よりも短い距離とする。
・上記各実施形態では、画像データGを取得するタイミングとなる車両Cの移動距離(
所定距離)と、画像更新距離D1とを同じ距離としたが、異なる距離にしてもよい。この
とき、画像データGを取得する際の所定距離は、画像更新距離D1よりも短い距離とする。
・上記各実施形態では、画像更新距離D1を0.15m、0.5mにそれぞれ設定したが、より短い距離に設定してもよい。例えば、第1の実施形態では、画像更新距離D1を0.1m等の短い距離とし、過去画像データG2の表示領域を小さくし、現在位置の画像データG1の表示領域をより大きくするようにしてもよい。第2の実施形態では、画像更新距離D1を50mm等のより短い距離とし、過去の画像データGの表示領域を小さくする、或いは6枚以上の画像データGにより画面を構成するようにしてもよい。
・上記各実施形態では、制御部3は、所定距離毎に画像データGを取得し、RAM4に格納するようにしたが、例えば、数十ミリ秒ごとに画像データGを取得し、その時点の車両Cの位置と関連付けてRAM4に格納するようにしてもよい。
・第1の実施形態では、制御部3及び画像処理部11は、所定距離(画像更新距離D1)毎に取得した過去画像データG2を、車両Cの現在位置でのカメラ視点に変換するようにしてもよい。そして、上記各実施形態では、過去の画像データGを、現在地点のカメラ視点よりも上方の視点に変換するようにしてもよい。詳述すると、後方カメラ22が車体の中心軸から水平方向にオフセットされた位置に取付けられた車両であったり、車体が大きい車両の場合には、過去の画像データGを、現在のカメラ視点に座標変換(視点変換)しても、車両の後輪を含む領域を全てディスプレイ12に表示できないことがある。このため、図26に示すように、車両C1がX矢印方向に後退するときに、現在地点よりも、進行方向(X矢印方向)後方のカメラ視点V1(撮像視点)で撮像範囲E1が撮像された過去の画像データGを、図27に示すように、現在のカメラ視点V2よりも鉛直方向上方の視点V1a(撮像視点)に変換する。視点V1aは、現在のカメラ視点V2の水平方向(X軸方向及びY軸方向)の座標と同じ座標であるが、鉛直方向の座標のみがカメラ視点V2よりも上方である。また、視点V1aの鉛直方向の高さは、少なくとも車両C1の各後輪に相当する領域がディスプレイ12の画面内に収容されるような高さである。このとき、現在地点のカメラ視点V2による撮像範囲E2と、過去地点のカメラ視点V1による撮像範囲E1との間に間隔を設けてもよい。これにより、図28に示すように、過去の画像データGに基づく過去画像60と、現在の画像データGに基づく現在画像61とが表示された合成画面62がディスプレイ12に表示される。過去画像60は、車両C1の各後輪を収容する領域の画像であって、車体の輪郭を示す車両輪郭線63が表示されている。車両輪郭線63には、各後輪を描画した後輪描画線64を有している。現在画像61は、図26及び図27に示す撮像範囲E2に相当する画像である。現在画像61と過去画像60の間には、案内表示部65が表示されている。このように、過去の画像データGを視点変換する際に、現在のカメラ視点V2よりも上方の視点V1aに変換すると、車種や後方カメラ22の取付位置に関わらず、現在地点で車両C1の後輪部分に相当する領域等、所望の領域をディスプレイ12の画面に表示できる。
・上記実施形態では、過去の画像データGと、現在位置の画像データGとを、車両Cの進行方向に並べるようにしたが、他の表示方法によって、車両Cが所定距離移動するたびに取得した画像データGと現在の画像データGとを用いて、ディスプレイ12の画面を所定距離毎に更新するようにしてもよい。例えば、第1の実施形態では、画面のうち約下半分に相当する領域に過去画像データG2を出力するようにしたが、その領域の一部や、画面の中央部等、予め定められた領域に過去画像データG2を表示するようにしてもよい。
・後方カメラ22は、後方でなく、車両Cの前方に取り付けられてもよい。この場合にも、このカメラによって生成された画像データGを使用して、車体の下方の領域を表示す
ることができるため、車両C前方の見えにくい障害物を視認しやすくすることができる。
ることができるため、車両C前方の見えにくい障害物を視認しやすくすることができる。
・上記実施形態では、駐車支援装置を経路案内を行うナビゲーション装置1に具体化したが、経路案内を省略した装置としてもよい。この場合、地図データ記憶部9が省略される。
1…駐車支援装置としてのナビゲーション装置、2…制御手段としての制御装置、3…画像データ取得手段、位置特定手段、画像データ読出手段、画像合成手段、表示制御手段、車両位置表示手段、収差補正手段、画像変換手段としての制御部、4…画像データ記憶手段としてのRAM、7…位置特定手段を構成する自車位置検出部、10…画像データ取得手段を構成する撮像データ取得部、11…画像データ読出手段、画像合成手段、車両位置表示手段、収差補正手段及び画像変換手段を構成する画像処理部、12…表示手段としてのディスプレイ、22…撮像装置としての後方カメラ、33,34,37,43,47…撮像画面、A…光軸、C,C1…車両、GA〜GD…画像合成データ、F1〜F13…周辺視界としての撮像範囲、G,GF,GS1〜GS5…画像データ、G2…過去画像デ
ータ、P1…撮像地点としての初期位置、R…駐車目標領域、S1〜S5…撮像地点としての第1〜第5の画像更新地点、G1a,Zb…第1の合成領域としての合成領域、Za…第2の合成領域としての合成領域。
ータ、P1…撮像地点としての初期位置、R…駐車目標領域、S1〜S5…撮像地点としての第1〜第5の画像更新地点、G1a,Zb…第1の合成領域としての合成領域、Za…第2の合成領域としての合成領域。
Claims (9)
- 車両の位置を特定する位置特定手段と、画像データを表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、
前記制御手段が、
前記車両が所定距離だけ移動するたびに、前記車両に設けられた撮像装置から前記車両の周辺を撮像した画像データを、前記画像データを撮像した位置と関連付けて、過去画像データとして画像データ記憶手段に格納する工程と、
前記車両が前記所定距離だけ移動するたびに、前記車両の現在位置よりも進行方向において前記所定距離後方の位置で撮像した前記過去画像データを読出す工程と、
読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データを、前記車両の現在位置で撮像した前記画像データとともに前記表示手段に表示する工程と
を有することを特徴とする駐車支援方法。 - 車両の位置を特定する位置特定手段と、
前記車両が所定距離移動するたびに、前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを取得する画像データ取得手段と、
前記画像データを撮像した位置と関連付けて過去画像データとして格納する画像データ記憶手段と、
前記画像データを表示する表示手段と、
前記車両が前記所定距離だけ移動するたびに、前記車両の現在位置よりも進行方向において前記所定距離後方の位置で撮像した前記過去画像データを読出す画像データ読出手段と、
読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データを、前記車両の現在位置で撮像した前記画像データとともに前記表示手段に表示する表示制御手段と
を備えたことを特徴とする駐車支援装置。 - 請求項2に記載の駐車支援装置において、
前記表示制御手段は、
読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の領域と、
前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する領域とを合成して、画像合成データを生成する画像合成手段を有し、前記画像合成データを前記表示手段に出力することを特徴とする駐車支援装置。 - 請求項2又は3に記載の駐車支援装置において、
前記車両の現在位置を示す車両位置指標を、前記画像データに重ねて表示する車両位置表示手段をさらに備えたことを特徴とする駐車支援装置。 - 請求項2〜4のいずれか1項に記載の駐車支援装置において、
前記画像データ読出手段は、
前記車両が前記所定距離だけ移動するたびに、前記現在位置から進行方向において前記所定距離後方の地点で撮像した1つの前記過去画像データを前記画像データ記憶手段から読出し、
前記表示制御手段は、
読み出した前記過去画像データのうち、前記車両の端部から反進行方向側の前記所定距離分の画像データと、前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する画像データとを、前記車両の進行方向に沿っ
て連続するように前記表示手段に表示することを特徴とする駐車支援装置。 - 請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記画像データ読出手段は、
前記車両が前記所定距離だけ移動するたびに、前記現在位置から反進行方向において前記所定距離毎に設定された各地点で撮像された複数の前記各過去画像データを前記画像データ記憶手段から読出し、
前記表示制御手段は、
読み出した前記各過去画像データのうち、前記車両の端部から反進行方向側の所定距離分の領域をそれぞれ構成する各領域と、前記車両の現在位置で撮像した前記画像データのうち、前記過去画像データの前記所定距離分の領域に連続する領域とを、前記車両の進行方向に沿って順番に連続するように前記表示手段に表示することを特徴とする駐車支援装置。 - 請求項2〜6のいずれか1項に記載の駐車支援装置において、
前記撮像装置から取得した前記画像データの歪曲収差を補正する収差補正手段をさらに備えたことを特徴とする駐車支援装置。 - 請求項2〜7のいずれか1項に記載の駐車支援装置において、
前記過去画像データを、前記車両の現在位置に応じた撮像視点に視点変換する変換手段をさらに備えたことを特徴とする駐車支援装置。 - 請求項2〜8のいずれか1項に記載の駐車支援装置において、
前記画像データ取得手段は、前記車両の後端部に設けられた前記撮像装置から、前記車両の後方を撮像した画像データを取得することを特徴とする駐車支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005130588A JP2006306241A (ja) | 2005-04-27 | 2005-04-27 | 駐車支援方法及び駐車支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005130588A JP2006306241A (ja) | 2005-04-27 | 2005-04-27 | 駐車支援方法及び駐車支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006306241A true JP2006306241A (ja) | 2006-11-09 |
Family
ID=37473626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005130588A Pending JP2006306241A (ja) | 2005-04-27 | 2005-04-27 | 駐車支援方法及び駐車支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006306241A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013541915A (ja) * | 2010-12-30 | 2013-11-14 | ワイズ オートモーティブ コーポレーション | 死角地帯の表示装置および方法 |
US20150375631A1 (en) * | 2013-05-31 | 2015-12-31 | Ihi Corporation | Vehicle power-supplying system |
CN113246857A (zh) * | 2020-02-13 | 2021-08-13 | 丰田自动车株式会社 | 车辆周边监视装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07250319A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH10117342A (ja) * | 1996-10-11 | 1998-05-06 | Yazaki Corp | 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体 |
JP2001344699A (ja) * | 2000-06-01 | 2001-12-14 | Yazaki Corp | 車両位置姿勢検出装置、及びそれを用いた駐車補助装置 |
JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2005001570A (ja) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
-
2005
- 2005-04-27 JP JP2005130588A patent/JP2006306241A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07250319A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH10117342A (ja) * | 1996-10-11 | 1998-05-06 | Yazaki Corp | 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体 |
JP2001344699A (ja) * | 2000-06-01 | 2001-12-14 | Yazaki Corp | 車両位置姿勢検出装置、及びそれを用いた駐車補助装置 |
JP2002359838A (ja) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2005001570A (ja) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013541915A (ja) * | 2010-12-30 | 2013-11-14 | ワイズ オートモーティブ コーポレーション | 死角地帯の表示装置および方法 |
US20150375631A1 (en) * | 2013-05-31 | 2015-12-31 | Ihi Corporation | Vehicle power-supplying system |
US9758048B2 (en) * | 2013-05-31 | 2017-09-12 | Ihi Corporation | Vehicle power-supplying system |
CN113246857A (zh) * | 2020-02-13 | 2021-08-13 | 丰田自动车株式会社 | 车辆周边监视装置 |
CN113246857B (zh) * | 2020-02-13 | 2023-12-15 | 丰田自动车株式会社 | 车辆周边监视装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1777498B1 (en) | Vehicle moving distance detecting method, vehicle moving distance detecting device, current vehicle position detecting method, and current vehicle position detecting device | |
JP4561479B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2006298115A (ja) | 運転支援方法及び運転支援装置 | |
US7680570B2 (en) | Parking assist devices, methods, and programs | |
US8010283B2 (en) | Driving evaluation system and server | |
JP4696691B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP4595649B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP4914458B2 (ja) | 車両周辺表示装置 | |
US20070147664A1 (en) | Driving assist method and driving assist apparatus | |
JP5723106B2 (ja) | 車両用ディスプレイ装置及び車両用ディスプレイ方法 | |
WO2019097755A1 (ja) | 表示装置及びコンピュータプログラム | |
CN103140377A (zh) | 用于在显示装置上显示图像的方法和驾驶员辅助系统 | |
JP6626069B2 (ja) | 車両用表示装置 | |
US20140043466A1 (en) | Environment image display apparatus for transport machine | |
JP2007266930A (ja) | 運転支援方法及び運転支援装置 | |
JP2007226300A (ja) | 運転支援方法及び運転支援装置 | |
JP2018173399A (ja) | 表示装置及びコンピュータプログラム | |
JP4670460B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2006306241A (ja) | 駐車支援方法及び駐車支援装置 | |
JP4561470B2 (ja) | 駐車支援装置 | |
JP2006298258A (ja) | 駐車支援方法及び駐車支援装置 | |
JP4561512B2 (ja) | 駐車支援方法及び駐車支援装置 | |
JP4946045B2 (ja) | 画像表示方法及び運転支援装置 | |
JP3877127B2 (ja) | 車両用表示装置 | |
JP2005233712A (ja) | 位置表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100706 |