JP2017159687A - 駐車領域表示システム及びそれを用いた自動駐車システム - Google Patents

Abstract

【課題】ドライバが駐車領域を確認し易い駐車領域表示システム及びそれを用いた自動駐車システムを提供する。
【解決手段】走行中に車両側方の画像を撮影する側方カメラ１３Ａと、走行中に車両側方にある物との距離を計測する距離計測センサ１４と、自車位置センサ１２による移動量及び移動方向に基づいて自車位置を計算する自車位置計算部２１と、側方カメラ１３Ａで撮影された複数の画像に基づいて平行投影画像を作成する平行投影画像作成部２２Ａと、距離計測センサ１４で計測された距離に基づいて駐車領域を検出する駐車領域検出部２３と、平行投影画像作成部２２Ａで作成された平行投影画像上に駐車領域検出部２３で検出された駐車領域を重畳表示する駐車領域表示部２４Ａと、駐車領域表示部２４Ａから出力された平行投影画像と駐車領域とを表示するタッチパネル１５とを有する。
【選択図】図１

Description

本発明は、車両が駐車可能な駐車領域を表示する駐車領域表示システム及びそれを用いた自動駐車システムに関する。

特許文献１に示す駐車支援装置では、後方カメラで撮影した画像上に、当該画像の画像処理により検出した駐車区画枠を重畳表示し、ドライバにより駐車区画枠の表示位置の確認や変更を求め、確認された駐車区画枠に対し、自動運転により駐車している。

特開２００４−３２２９４４号公報

特許文献１に示す駐車支援装置では、図１４の白抜き矢印で示す駐車区画枠に対し、その両隣に駐車車両がある場合、自車両の停車位置によっては、目標駐車区画枠が両隣の駐車車両の陰となり、目標駐車区画枠の白線が見えない（認識できない）。また、後方カメラで撮影した画像は、上記特許文献１の図２に示されるように、斜めに歪んでいるので、目標駐車区画枠の確認が困難になるという問題がある。また、駐車区画枠の白線が汚れていたり、かすれていたりすると、白線を認識できなかったり、誤認識するおそれがある。更に、駐車区画枠の高さ方向の情報については、検出あるいは抽出することができない。

本発明は上記課題に鑑みなされたもので、ドライバが駐車領域を確認し易い駐車領域表示システム及びそれを用いた自動駐車システムを提供することを目的とする。

上記課題を解決する第１の発明に係る駐車領域表示システムは、
車両の側方の駐車区画の前を走行中に、前記車両の側方の画像を撮影する第１撮影手段と、
前記走行中に、前記車両の側方にある物との距離を水平方向に沿って計測する距離計測手段と、
前記車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する自車位置計算部と、
前記第１撮影手段で撮影された複数の前記画像に基づいて、平行投影画像を作成する平行投影画像作成部と、
前記距離計測手段で計測された水平方向における前記距離に基づいて、前記車両の車長及び幅より大きい領域を駐車領域として検出する駐車領域検出部と、
前記自車位置計算部で計算された前記自車位置に基づいて、前記平行投影画像作成部で作成された前記平行投影画像上に、前記駐車領域検出部で検出された前記駐車領域を重畳して表示して、出力する駐車領域表示部と、
前記駐車領域表示部から出力された前記平行投影画像と前記駐車領域とを表示する表示手段と、を有する
ことを特徴とする。

上記課題を解決する第２の発明に係る駐車領域表示システムは、
上記第１の発明に記載の駐車領域表示システムにおいて、
前記距離計測手段は、前記車両の側方にある物との距離を更に鉛直方向に沿って計測するものであり、
前記駐車領域検出部は、前記距離計測手段で計測された水平方向及び鉛直方向における前記距離に基づいて、前記車両の車長、幅及び高さより大きい領域を駐車領域として検出する
ことを特徴とする。

上記課題を解決する第３の発明に係る駐車領域表示システムは、
上記第１又は第２の発明に記載の駐車領域表示システムにおいて、
前記平行投影画像作成部は、前記第１撮影手段で撮影された複数の前記画像の中心領域を各々切り出すと共に、各々の前記中心領域を前記自車位置計算部で計算された前記自車位置に対応した位置にずらしながら重ね合わせて前記平行投影画像を作成する
ことを特徴とする。

上記課題を解決する第４の発明に係る駐車領域表示システムは、
上記第１〜第３のいずれか１つの発明に記載の駐車領域表示システムにおいて、
前記走行中に、前記車両の前方の画像を撮影する第２撮影手段と、
前記平行投影画像作成部で作成された前記平行投影画像と、前記第２撮影手段で撮影された現在の画像とを組み合わせて、ドライバ視点の鳥瞰画像を作成する鳥瞰画像作成部と、を更に有し、
前記駐車領域表示部は、前記鳥瞰画像作成部で作成された前記鳥瞰画像上に、前記駐車領域検出部で検出された前記駐車領域を重畳して表示して、出力する
ことを特徴とする。

上記課題を解決する第５の発明に係る駐車領域表示システムは、
上記第１〜第４のいずれか１つの発明に記載の駐車領域表示システムにおいて、
前記車両のドア閉鎖時の大きさを示す第１範囲とドア開放時の大きさを示す第２範囲とを前記駐車領域内に表示し、前記表示手段に出力して、前記駐車領域内における前記第１範囲及び前記第２範囲の位置を修正可能とすると共に、確認時の前記第１範囲及び前記第２範囲の位置を駐車位置とする駐車位置修正部を更に有する
ことを特徴とする。

上記課題を解決する第６の発明に係る自動駐車システムは、
上記第５の発明に記載の駐車領域表示システムと、
前記車両のステアリングを操舵するアクチュエータとを少なくとも有し、
前記駐車領域表示システムにより前記駐車位置を確認し、前記アクチュエータにより前記ステアリングを操舵して、確認時の前記駐車位置に前記車両を誘導する
ことを特徴とする。

第１の発明によれば、複数の画像に基づいて作成した平行投影画像上に検出した駐車領域を重畳して表示するので、他の駐車車両などの障害物の陰にならない平行投影画像中に駐車領域を表示することになり、駐車領域を視覚的に確認し易くなる。また、車両の側方にある物との距離を水平方向に沿って計測し、計測した水平方向における距離に基づいて、車両の車長及び幅より大きい領域を駐車領域として検出するので、駐車区画枠の白線が汚れていたり、白線が切れていたりしても、駐車領域を検出することができる。

第２の発明によれば、車両の側方にある物との距離を水平方向及び鉛直方向に沿って計測し、計測した水平方向及び鉛直方向における距離に基づいて、車両の車長、幅及び高さより大きい領域を駐車領域として検出するので、駐車区画枠の白線が汚れていたり、白線が切れていたりしても、駐車領域を検出することができ、しかも、検出された駐車領域は高さ方向の情報も含んでいるので、駐車領域の大きさ（幅及び高さ）が視覚的に確認し易くなる。

第３の発明によれば、撮影された複数の画像の中心領域を各々切り出すと共に、各々の中心領域を自車位置に対応した位置にずらしながら重ね合わせて平行投影画像を作成するので、作成された平行投影画像が他の駐車車両などの障害物の陰にならない画像となり、駐車領域を視覚的に確認し易くなる。

第４の発明によれば、作成した平行投影画像と車両前方を撮影している現在の画像とを組み合わせて、ドライバ視点の鳥瞰画像を作成し、この鳥瞰画像上に検出した駐車領域を重畳して表示するので、従来のアラウンドビューモニタと比較して、周囲環境が確認し易くなる。なお、従来のアラウンドビューモニタでは、カメラ画像を仮想路面に投影した画像を表示しているので、立体的なものは伸びたように表示されてしまう。例えば、図１５に示す従来のアラウンドビューモニタの画像では、車両のフロント部分が伸びたように表示されている。また、作成した鳥瞰画像がドライバ視点の画像であるので、駐車領域を視覚的に確認し易くなる。

第５の発明によれば、駐車領域内に車両のドア閉鎖時の大きさを示す第１範囲とドア開放時の大きさを示す第２範囲とを表示して、駐車位置を修正可能としているので、ドライバが駐車可能な位置を確認しながら、隣接する障害物（他の駐車車両など）との間に適切な間隔が空く希望の位置に、駐車位置を調整することができる。

第６の発明によれば、上記第５の発明に記載の駐車領域表示システムを用いて駐車位置を確認しているので、隣接する障害物（他の駐車車両など）との間に適切な間隔を空けた駐車位置に、車両を誘導して駐車することができる。

本発明に係る自動駐車システムの実施形態の一例（実施例１）を示すブロック図である。 図１に示した自動駐車システムが実施する手順を説明するフローチャートである。 図１に示した自動駐車システムにおいて、駐車時の動作を説明する図である。 図１に示した自動駐車システムにおいて、平行投影画像を作成するための連続するカメラ画像を示す図である。 図１に示した自動駐車システムにおいて、連続するカメラ画像から作成した平行投影画像を説明する図である。 図１に示した自動駐車システムにおいて、作成した平行投影画像と超音波センサによる計測距離のグラフとの関係を示す図である。 図６に示した平行投影画像と超音波センサにより検出した駐車領域とを組み合わせた図である。 図１に示した自動駐車システムにおいて、タッチパネルに表示される駐車位置確認の画面を示す図である。 本発明に係る自動駐車システムの実施形態の他の一例（実施例２）を示すブロック図である。 図９に示した自動駐車システムが実施する手順を説明するフローチャートである。 図９に示した自動駐車システムで使用する鳥瞰画像の作成のための仮想平面の設置例を示す図である。 図９に示した自動駐車システムにおいて、タッチパネルに表示される駐車位置確認の画面を示す図である。 ピンホールカメラモデルを説明する図である。 従来の駐車支援装置での問題を説明する図である。 従来のアラウンドビューモニタの画像を示す図である。

本発明に係る駐車領域表示システム及びそれを用いた自動駐車システムの実施形態について、図１〜図１３を参照して説明を行う。なお、以降においては、本発明に係る駐車領域表示システム及びそれを用いた自動駐車システムを、まとめて、自動駐車システムと呼ぶ。

［実施例１］
図１は、本実施例の自動駐車システムを示すブロック図であり、図２は、図１に示した自動駐車システムが実施する手順を説明するフローチャートである。

本実施例の自動駐車システムは、図１に示すように、開始／終了スイッチ１１と、自車位置センサ１２と、側方カメラ１３Ａと、距離計測センサ１４と、タッチパネル１５と、ステアリングアクチュエータ１６と、アクセルアクチュエータ１７と、ブレーキアクチュエータ１８と、制御装置２０Ａとを有している。

開始／終了スイッチ１１は、本実施例の自動駐車システムの開始又は終了を操作するためのスイッチである。ドライバが開始／終了スイッチ１１をオンにすると、後述する駐車領域、駐車位置の表示及び自動駐車が開始し、ドライバが開始／終了スイッチ１１をオフにすると、駐車領域、駐車位置の表示及び自動駐車が終了する。なお、後述するタッチパネル上に開始／終了スイッチ１１に代わる操作ボタンを表示し、表示した操作ボタンにドライバがタッチすることで、当該システムの開始又は終了を操作するようにしても良い。

自車位置センサ１２は、自車位置を検出するものである。例えば、車輪速センサや操舵角センサなどが用いられる。車輪速センサは、例えば、後輪に取り付けられ、後輪の角速度を検出し、また、操舵角センサは、例えば、ステアリングコラムに取り付けられ、ステアリングの操舵角を検出しており、検出した角速度及び操舵角に基づいて、移動量及び移動方向を計算可能であり、移動量及び移動方向に基づいて、自車位置を計算可能である。なお、自車位置を検出することができれば、車輪速センサ、操舵角センサに代えて、他のセンサを用いても良い。

側方カメラ１３Ａ（第１撮影手段）は、車両側方両方の画像を連続して撮影するものである。そして、後述するように、連続するカメラ画像から平行投影画像を作成するため、側方カメラ１３Ａは、側方の水平方向を撮影する角度に取り付けられている。側方カメラ１３Ａは、例えば、車両のノーズ（前端中央）に取り付けたり、左右両方のドアミラーに各々取り付けたりすれば良いが、車両側方の両方を撮影できれば、どこに取り付けても良い。

距離計測センサ１４（距離計測手段）は、車両側方にある物との距離を水平方向に沿って計測するものである。つまり、車両側方において、走行方向（車長方向）となる水平方向に沿う距離の変化を計測している。距離計測センサ１４としては、例えば、超音波センサやレーダなどが用いられる。距離計測センサ１４は、例えば、上述した側方カメラ１３Ａと共に、車両のノーズに取り付けたり、左右両方のドアミラーに取り付けたりすれば良いが、車両側方を計測できれば、どこに取り付けても良い。

また、距離計測センサ１４としては、車両側方にある物との距離を水平方向及び鉛直方向に沿って計測するようにしても良い。この場合、車両側方において、走行方向（車長方向）となる水平方向に沿う距離の変化だけでなく、高さ方向となる鉛直方向に沿う距離の変化も計測している。この場合も、距離計測センサ１４としては、例えば、超音波センサやレーダなどが用いられ、１つの超音波センサ又はレーダを用いる場合には、超音波センサ又はレーダを鉛直方向にスキャンするように構成し、複数の超音波センサ又はレーダを用いる場合には、複数の超音波センサ又はレーダが互いに異なる高さを計測するように構成すれば良い。

タッチパネル１５（表示手段）は、平行投影画像と共に駐車領域及び駐車位置を表示するものである。タッチパネル１５としては、ナビゲーションシステムのタッチパネルが利用可能である。

ステアリングアクチュエータ１６は、ステアリングハンドル（図示省略）を操作して、車両を操舵している。アクセルアクチュエータ１７は、アクセル（図示省略）を操作し、また、ブレーキアクチュエータ１８は、ブレーキ（図示省略）を操作しており、アクセルアクチュエータ１７及びブレーキアクチュエータ１８により、車両の加減速や速度を操作している。

制御装置２０Ａは、開始／終了スイッチ１１、自車位置センサ１２、側方カメラ１３Ａ、距離計測センサ１４及びタッチパネル１５からの入力に基づいて、図２に示すフローチャートの手順により、平行投影画像や駐車領域を表示すると共に、駐車位置を確認し、確認した駐車位置に基づいて、ステアリングアクチュエータ１６、アクセルアクチュエータ１７及びブレーキアクチュエータ１８を自動制御して、車両を駐車位置に誘導するものである。制御装置２０Ａとしては、例えば、車両で使用されるＥＣＵ（Electronics Control Unit）などが適用可能であり、このＥＣＵは、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有している。

制御装置２０Ａは、具体的には、自車位置計算部２１、平行投影画像作成部２２Ａ、駐車領域検出部２３、駐車領域表示部２４Ａ、駐車位置修正部２５Ａ及び自動駐車制御部２６を有している。これらの構成については、以降において、図２に示すフローチャートと共に説明する。

図２に示すフローチャートと共に、図１及び図３〜図８を参照して、本実施例の自動駐車システムが実施する手順を説明する。なお、ここでは、自車位置センサ１２として、車輪速センサ及び操舵角センサを使用するものとし、また、距離計測センサ１４として、超音波センサを使用するものとして、以降の説明を行う。

本実施例の自動駐車システムは、ドライバが開始／終了スイッチ１１をオンにすることにより開始する。例えば、駐車区画が連続して並列に並んでいる駐車場（並列駐車型駐車場）において、駐車区画エリアの入口に自車両が来たとき、開始／終了スイッチ１１をオンにすれば良い。

（ステップＳ１Ａ）
開始／終了スイッチ１１のオン後、図３に示すように、車両側方にある駐車区画エリアＰａ（駐車区画Ｐ₁〜Ｐ₄）の前を横切るようにドライバが自車両を走行させ、走行中にデータ取得を行う。ここで、図３において、符号１０₁は、最初の位置にいる自車両を示し、符号Ａ₁は当該位置でのデータ取得を示している。また、符号１０_iは、最初の位置から移動した後の位置にいる自車両を示し、符号Ａ_iは当該位置でのデータ取得を示しており、符号１０_nは、最後の位置にいる自車両を示し、符号Ａ_nは当該位置でのデータ取得を示している。なお、ｉは、２以上、ｎ未満の正の整数であり、ｎは、３以上の正の整数である。

そして、各位置でのデータ取得Ａ₁、…、Ａ_i、…、Ａ_nでは、自車位置センサ１２において、車輪速センサが角速度を取得し、操舵角センサが操舵角を取得し、側方カメラ１３Ａが車両側方の水平方向のカメラ画像を取得し（後述の図４参照）、距離計測センサ１４（超音波センサ）が自車両の側方に存在する物との距離を計測している（後述の図６参照）。

（ステップＳ２）
自車位置計算部２１は、自車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する。具体的には、自車位置センサ１２の検出値、つまり、車輪速センサにより検出された角速度に基づいて、移動量を計算し、操舵角センサにより検出されたステアリングの操舵角に基づいて、移動方向を計算し、移動量及び移動方向に基づいて、自車位置を計算する。

（ステップＳ３Ａ）
平行投影画像作成部２２Ａは、側方カメラ１３Ａで撮影した連続する複数のカメラ画像から平行投影画像を作成し、作成した平行投影画像をタッチパネル１５に出力する。

例えば、図３に示すように駐車区画エリアＰａに駐車車両が駐車している場合には、側方カメラ１３Ａは、図４に示す連続する複数のカメラ画像Ｇ₁、…、Ｇ_i、…、Ｇ_nを撮影することになる。そして、図４に示す連続する複数のカメラ画像Ｇ₁、…、Ｇ_i、…、Ｇ_nの中心領域を各々切り出し、切り出した各々の中心領域を、自車位置計算部２１で計算された自車位置に対応した位置にずらしながら順次重ね合わせて合成することで、図５に示す平行投影画像Ｇ_ppを作成し、タッチパネル１５に出力する。

ここで、図４に示すカメラ画像Ｇ₁、…、Ｇ_i、…、Ｇ_nは、図３に示したデータ取得Ａ₁、…、Ａ_i、…、Ａ_nに対応するものとする。また、参考のため、図４のカメラ画像Ｇ_i中に、切り出し量ｄｕでの中心領域の切り出し部分（点線部分）を示し、図５中に、この切り出し部分に対応する部分（点線部分）を示している。

（ステップＳ４）
駐車領域検出部２３は、距離計測センサ１４（超音波センサ）が計測した自車両の側方に存在する物のとの距離に基づいて、自車両が駐車可能な駐車領域を検出したかどうかを判断し、駐車領域を検出していない場合にはステップＳ１Ａへ戻り、駐車領域を検出した場合にはステップＳ５Ａへ進む。距離計測センサ１４が水平方向に沿って距離を計測している場合には、自車両の車長及び幅より大きい領域を駐車領域として検出し、距離計測センサ１４が水平方向及び鉛直方向に沿って距離を計測している場合には、自車両の車長、幅及び高さより大きい領域を駐車領域として検出すれば良い。

例えば、図３に示すように駐車区画エリアＰａに駐車車両が駐車している場合には、図６上方に示すグラフに示すように、駐車区画エリアＰａの駐車車両との距離や有無に応じて、計測距離が変化することになる。なお、図６下方には、図６上方のグラフとの対応関係を示すため、平行投影画像作成部２２Ａで作成した平行投影画像Ｇ_pp（図５参照）を併記している。

図３を参照すると、駐車区画Ｐ₁、Ｐ₂及びＰ₄には駐車車両があり、駐車区画Ｐ₃には駐車車両がなく、また、駐車区画Ｐ₂の駐車車両は後方側（図中上側）に寄って駐車している。図６上方のグラフにおいて、距離計測センサ１４（超音波センサ）が計測した距離は、図３に示す駐車状況を反映しており、駐車区画Ｐ₃に対応する部分の距離は、駐車区画Ｐ₁、Ｐ₂及びＰ₄に対応する部分の距離と比較して、車両１台の長さ以上大きくなっている。また、駐車区画Ｐ₂に対応する部分の距離は、駐車区画Ｐ₁及びＰ₄に対応する部分の距離と比較して、駐車車両が後方側に寄って駐車した分だけ大きくなっている。

図６上方に示すグラフは、距離計測センサ１４がある高さ位置の水平方向に沿って距離を計測した場合のデータである。具体的には、自車両の走行方向（車長方向）となる水平方向に沿って、その走行方向に垂直な水平方向（車幅方向）の距離を計測した２次元平面の計測データとなっている。そのため、自車両の側方の水平方向において、駐車可能な駐車領域となる２次元平面上の領域が検出可能となっている。従って、自車両の車長及び幅より大きい２次元平面上の領域が検出されたとき、この領域が駐車領域Ｐｔとして検出されることになる。

この場合、計測距離が自車両の車長以上ある領域が検出されても、その領域が車幅未満の幅であれば、駐車領域Ｐｔとしては検出されない。

なお、距離計測センサ１４が水平方向及び鉛直方向に沿って距離を計測した場合には、図６上方に示すグラフと同様なデータが高さ位置に応じて複数計測されることになる。つまり、自車両の走行方向（車長方向）となる水平方向に沿って、その進行方向に垂直な水平方向（車幅方向）の距離を複数の高さ位置で計測した３次元空間の計測データとなっている。そのため、自車両の側方の水平方向及び鉛直方向において、駐車可能な駐車領域となる３次元空間内の領域が検出可能となっている。従って、自車両の車長、幅及び高さより大きい３次元空間内の領域が検出されたとき、この領域が駐車領域Ｐｔとして検出されることになる。

この場合、計測距離が自車両の車長以上ある領域が車幅以上に渡って続いていても、その領域が鉛直方向（高さ方向）において車高未満の高さであれば、駐車領域Ｐｔとして検出されない。また、計測距離が自車両の車長以上ある領域が、鉛直方向（高さ方向）において車高以上に渡って続いていても、その領域が車幅未満の幅であれば、駐車領域Ｐｔとして検出されない。

なお、ここでは、並列駐車型駐車場を対象としているので、駐車領域Ｐｔの幅として、自車両の車幅を基準として設定しているが、縦列駐車型駐車場を対象とする場合には、駐車領域Ｐｔの幅として、自車両の車長を基準として設定すれば良い。

上記駐車領域Ｐｔが検出されない場合には、ステップＳ１Ａへ戻り、上記駐車領域Ｐｔが検出されるまで、自車両を走行させて、上述したステップＳ１Ａ〜Ｓ４が繰り返されることになる。

（ステップＳ５Ａ）
駐車領域表示部２４Ａは、上記駐車領域Ｐｔが検出された場合、図７に示すように、平行投影画像Ｇ_pp上に上記駐車領域Ｐｔを重畳して表示して、タッチパネル１５へ出力しており、タッチパネル１５は、出力された画面を表示している。平行投影画像Ｇ_ppと駐車領域Ｐｔは、共に、自車位置計算部２１で計算した自車位置との対応関係が分かっているので、駐車領域Ｐｔは平行投影画像Ｇ_pp上の正確な位置に表示することができる。また、距離計測センサ１４（超音波センサ）により駐車領域Ｐｔの幅（又は、幅及び高さ）を検出しているので、駐車領域Ｐｔの幅（又は、幅及び高さ）を含めて、平行投影画像Ｇ_pp上に表示することができる。

（ステップＳ６Ａ）
駐車位置修正部２５Ａにおいては、図８に示す画面を用いて、タッチパネル１５において、駐車位置の修正を可能とすると共に、最終的な駐車位置の確認を行う。図８に示す画面は、図７に示した画面を含むものであり、駐車位置の修正及び確認を行う機能を更に表示している。

具体的には、図８に示す画面の上方においては、「駐車位置を確認して下さい。」とメッセージを表示し、平行投影画像Ｇ_pp上に表示した駐車領域Ｐｔ（二重線参照）を表示すると共に、更に、駐車領域Ｐｔの枠内に、自車両のドア閉鎖時の大きさ（車幅及び車高）を示す第１範囲Ｔａ（点線参照）と、自車両のドア解放時の大きさ（幅及び車高）を示す第２範囲Ｔｂ（実線参照）を表示している。駐車領域Ｐｔ、第１範囲Ｔａ及び第２範囲Ｔｂは、視認し易くするため、異なる色で表示するようにしており、例えば、駐車領域Ｐｔは緑色、第１範囲Ｔａは青色、第２範囲Ｔｂは赤色で表示している。

ここでは、左側方の平行投影画像Ｇ_ppを表示しているので、画面上に「左側方映像」と表示しているが、図中右横側の黒矢印をドライバがタッチすれば、右側方の平行投影画像Ｇ_ppに切り替わり、画面上に「右側方映像」と表示される。

また、図８に示す画面の下方においては、自車両自身の映像と共に、上述した第１範囲Ｔａ及び第２範囲Ｔｂを表示している。自車両自身の映像の下に表示された左矢印については、左矢印をドライバが１回タッチする度に、駐車領域Ｐｔの枠内において、上述した第１範囲Ｔａ及び第２範囲Ｔｂが左に所定量ずつ移動して、設定する駐車位置を左側に所定距離ずつ移動することになる。同じく、右矢印についても、右矢印をドライバが１回タッチする度に、駐車領域Ｐｔの枠内において、上述した第１範囲Ｔａ及び第２範囲Ｔｂが右に所定量ずつ移動して、設定する駐車位置を右側に所定距離ずつ移動することになる。このような操作により、駐車位置の修正を行っている。

更に、自車両自身の映像の上に表示された上矢印にドライバがタッチすると、平行投影画像Ｇ_pp上の駐車領域Ｐｔの枠内に、自車両自身の映像が表示され、上述した左矢印及び右矢印をドライバがタッチすることにより、自車両自身の映像と共に、駐車位置を変更可能となる。そして、画面上の駐車位置が希望通りの位置であることを確認できたら、画面右下に表示された「ＯＫ」ボタンをドライバがタッチすれば、確認完了となる。つまり、確認時の第１範囲Ｔａ及び第２範囲Ｔｂの位置が最終的な駐車位置となる。

（ステップＳ７〜Ｓ８）
自動駐車制御部２６は、上述した手順により確認した駐車位置に自車両を誘導するように、ステアリングアクチュエータ１６を用いて、自車両のステアリングハンドルを自動制御して、自車両を操舵し、また、アクセルアクチュエータ１７及びブレーキアクチュエータ１８を用いて、アクセル及びブレーキを自動制御して、自車両の加減速や速度を操作する。そして、駐車位置に自車両が停車後、ドライバが上述した開始／終了スイッチ１１をオフにすると、自動駐車は終了することになる。

なお、ステップＳ７〜Ｓ８では、ステアリングハンドル、アクセル及びブレーキを自動制御して、自車両の自動駐車を行っているが、ステアリングハンドルのみを自動制御とし、アクセル及びブレーキはドライバにより操作を行い、自車両の駐車支援を行うようにしても良い。つまり、自動駐車支援システムとしても良い。

以上説明したように、走行中に取得したカメラ画像から作成した平行投影画像Ｇ_ppを使用することで、目標駐車区画が隣接駐車車両の陰にならず、視認性を向上させることができる。また、作成した平行投影画像Ｇ_pp上に、駐車領域Ｐｔだけでなく、ドア閉鎖時の第１範囲Ｔａ及びドア解放時の第２範囲Ｔｂを表示しているので、駐車領域Ｐｔへ駐車した際の隣接障害物との余裕度を確認でき、駐車位置の修正、確認が容易になる。この結果、ドライバが希望する位置に、例えば、駐車領域Ｐｔの枠内の中心又は左寄り又は右寄りの位置に、駐車位置を容易に修正可能となる。また、駐車領域Ｐｔが、幅だけでなく、高さ方向の情報も含んでいる場合には、例えば、背の高い車両を駐車する際にも、駐車領域Ｐｔの大きさ（幅及び高さ）を視覚的に確認することができる。

［実施例２］
図９は、本実施例の自動駐車システムを示すブロック図であり、図１０は、図９に示した自動駐車システムが実施する手順を説明するフローチャートである。

本実施例の自動駐車システムは、基本的には、図１に示した実施例１の自動駐車システムと略同等の構成を有し、また、本実施例の自動駐車システムが実施する手順についても、基本的には、図２に示した実施例１の自動駐車システムが実施する手順と略同等である。

主な相違点は、図９に示す本実施例の自動駐車システムは、図１に示した実施例１の自動駐車システムとは、側方カメラ１３Ａに加えて、前方カメラ１３Ｂ（第２撮影手段）を備え、平行投影画面作成部２２Ａに代えて、制御装置２０Ｂにおいて、鳥瞰画像作成部２２Ｂを有する点である。また、図１０に示す本実施例の自動駐車システムが実施する手順は、図２に示した実施例１の自動駐車システムが実施する手順とは、ステップＳ３Ａに代えて、ステップＳ３Ｂとしている点である。なお、上述した相違点に伴い、後述するように、駐車領域表示部２４Ｂ、駐車位置修正部２５Ｂは、内容が一部相違し、また、ステップＳ１Ｂ、Ｓ５Ｂ、Ｓ６Ｂも、内容が一部相違してくる。

以下、上述した相違点を中心に、図１０に示すフローチャートに沿って、本実施例の自動駐車システムを説明する。なお、ここでは、実施例１と同等の構成、手順については同じ符号を付し、重複する説明は省略又は簡略にしている。

本実施例の自動駐車システムも、実施例１と同様に、ドライバが開始／終了スイッチ１１をオンにすることにより開始する。

（ステップＳ１Ｂ）
本実施例において、ステップＳ１Ｂでも、実施例１と略同様に、走行中にデータ取得を行う。本実施例でも、自車位置センサ１２において、車輪速センサが角速度を取得し、操舵角センサが操舵角を取得し、側方カメラ１３Ａが車両側方の水平方向のカメラ画像を取得し、距離計測センサ１４（超音波センサ）が自車両の側方に存在する物との距離を計測しているが、本実施例では、更に、前方カメラ１３Ｂが車両前方のカメラ画像を取得している。

前方カメラ１３Ｂは、走行中に車両前方を撮影するものであり、後述するように、前方カメラ１３Ｂのカメラ画像から鳥瞰画像を作成するため、前方カメラ１３Ｂは、前方を撮影する角度に取り付けられている。前方カメラ１３Ｂは、例えば、車両のノーズに取り付けられているが、車両前方を撮影できれば、どこに取り付けても良い。

（ステップＳ２）
自車位置計算部２１は、実施例１と同様に、自車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する。

（ステップＳ３Ｂ）
鳥瞰画像作成部２２Ｂは、以下の手順により、側方カメラ１３Ａによる平行投影画像と前方カメラ１３Ｂによる現在のカメラ画像とを組み合わせることにより、ドライバ視点の鳥瞰画像を作成している。

鳥瞰画像作成部２２Ｂでは、図１１に示す実空間の上面図において、路面Ｓに垂直な仮想平面Ｆ₁〜Ｆ₅を設定している。具体的には、自車両１０の前端中央をドライバの想定位置Ｃとし、この想定位置Ｃを基準として、左側方に２ｍ離れた位置に、車長方向に沿った仮想平面Ｆ₁、Ｆ₂を設定し、前方に２ｍ離れた位置に、車幅方向に沿った仮想平面Ｆ₃を設定し、右側方に２ｍ離れた位置に、車長方向に沿った仮想平面Ｆ₄、Ｆ₅を設定している。これは、通常、ドライバが駐車を行う際に、駐車区画から１ｍ程度離れた位置を走行することと、左右側方を撮影する側方カメラ１３Ａが車幅約２ｍの自車両１０のノーズ位置に取り付けられていることを反映している。側方カメラ１３Ａが左右のドアミラー位置に取り付けられている場合、仮想平面Ｆ₁、Ｆ₂は、左側の側方カメラ１３Ａから左側方に１ｍ程度、仮想平面Ｆ₄、Ｆ₅は、右側の側方カメラ１３Ａから右側方に１ｍ程度とするのが良い。また、仮想平面Ｆ₁及びＦ₅は、車長方向において、想定位置Ｃの位置より車両後方側とし、仮想平面Ｆ₂及びＦ₄は、車長方向において、想定位置Ｃの位置より車両前方側としている。なお、想定位置Ｃは、ここでは、前方カメラ１３Ｂのカメラ位置となる。

そして、鳥瞰画像作成部２２Ｂでは、仮想平面Ｆ₁及びＦ₅については、実施例１で説明した平行投影画像作成部２２Ａと同様に、側方カメラ１３Ａで撮影した連続する複数のカメラ画像から平行投影画像を作成し、作成した平行投影画像を仮想平面Ｆ₁及びＦ₅に投影している。加えて、鳥瞰画像作成部２２Ｂでは、仮想平面Ｆ₂〜Ｆ₄に対しては、前方カメラ１３Ｂで撮影している現在のカメラ画像（リアルタイム画像）を仮想平面Ｆ₂〜Ｆ₄に投影している。

そして、鳥瞰画像作成部２２Ｂでは、平行投影画像を投影した仮想平面Ｆ₁及びＦ₅と、リアルタイム画像を投影した仮想平面Ｆ₂〜Ｆ₄とに基づいて、ドライバ視点に近い想定位置Ｃから見た鳥瞰画像を作成し、作成した鳥瞰画像をタッチパネル１５に出力している（図１２参照）。

（ステップＳ４）
駐車領域検出部２３は、実施例１と同様に、距離計測センサ１４（超音波センサ）が計測した距離に基づいて、駐車領域Ｐｔを検出したかどうかを判断し、駐車領域Ｐｔを検出していない場合にはステップＳ１Ｂへ戻り、駐車領域Ｐｔを検出した場合にはステップＳ５Ｂへ進む。

（ステップＳ５Ｂ）
駐車領域Ｐｔが検出された場合、駐車領域表示部２４Ｂは、図１２に示すように、鳥瞰画像上に駐車領域Ｐｔを重畳して表示し、当該画面をタッチパネル１５へ出力する。このとき、駐車領域表示部２４Ｂは、自車両１０が前進している間は、画面上に、自車両１０の進行方向Ｍを表示すると共に、検出した駐車領域Ｐｔまでの経路Ｒを表示する。

ここで、図３のように駐車場に平行に走行しているときの平行投影画像（下記式２）及び経路Ｒの表示方法について説明する。リアルタイム画像を投影した仮想平面Ｆ₂〜Ｆ₄においては、ピンホールカメラモデル基づいて、経路Ｒを表示する。

平行投影画像を投影した仮想平面Ｆ₁及びＦ₅においては、以下に説明するように、下記式３、式４に基づいて、経路Ｒを表示する。

まず、現在の自車位置を、位置：ｘ（ｔ）、ｙ（ｔ）、姿勢：ｒｚ（ｔ）とし、直前の自車位置を、ｘ（ｔ−１）、ｙ（ｔ−１）、ｒｚ（ｔ−１）とし、平行投影画像作成開始時の自車位置を、ｘ（０）、ｙ（０）、ｒｚ（０）とする。

ピンホールカメラモデルのカメラ画像の場合、例えば、図１３に示すように、距離Ｌ離れた位置にある物体が、カメラ水平軸（ｘ軸）に沿って、距離ｄ＝ｘ（ｔ）−ｘ（ｔ−１）移動したとすると、カメラ画像上ではｄｕ移動する。このｄｕは、歪み補正後のカメラ画像の焦点距離をｆｐとすると、下記式１で表される。

ｄｕ＝ｋ×ｄ …式１
但し、ｋ＝ｆｐ／Ｌ

従って、カメラ画像上の切り出し量（切り出し画素）は、ｄｕ［pixel］となり、平行投影画像Ｉ（ｕ，ｖ）と現在のカメラ画像Ｉ’（ｕ’，ｖ’）との対応に関しては、以下の式２の通りとなる。なお、図４及び図５で説明したように、図４に示したカメラ画像から切り出し量ｄｕで切り出した切り出し部分（点線部分）は、図５に示した平行投影画像の点線部分に対応し、これらは、以下の式２の関係となる。

Ｉ（ｕ，ｖ）＝Ｉ’（ｕ’，ｖ’）、ｕ＝ｕ’−（ｗ−ｄｕ）／２＋ｋ×ｄ₀、ｖ＝ｖ’ …式２
但し、ｄ₀＝ｘ（ｔ）−ｘ（０）、（ｗ−ｄｕ）／２≦ｕ’≦（ｗ＋ｄｕ）／２
（ｗ：カメラ画像のｕ’方向画素数）

また、平行投影画像Ｉ（ｕ，ｖ）とカメラから見た３次元座標（ｘ，ｙ，ｚ）との対応に関しては、以下の式３、４の通りである。

ｕ軸方向：ｕ＝ｋ×ｘ＋ｕ₀、ｕ₀＝ｗ_pano−ｄｕ／２ …式３
ｖ軸方向：ｖ＝ｆｐ×ｙ／ｚ＋ｖ₀、ｖ₀＝ｈ／２ …式４
（ｗ_pano：平行投影画像のｕ軸方向画素数、ｈ：平行投影画像のｖ軸方向画素数）

そして、平行投影画像を投影した仮想平面Ｆ₁及びＦ₅においては、上記式３及び式４に従って、検出した駐車位置Ｐｔへの経路Ｒが作成されることになる。

（ステップＳ６Ｂ）
駐車位置修正部２５Ｂにおいては、図１２に示す鳥瞰画像を含む画面を用いて、タッチパネル１５において、駐車位置の修正を可能とすると共に、最終的な駐車位置の確認を行う。

（ステップＳ７〜Ｓ８）
自動駐車制御部２６は、実施例１と同様に、確認した駐車位置に自車両を誘導するように、自動駐車を開始し、駐車位置に自車両が停車後、ドライバが上述した開始／終了スイッチ１１をオフにすると、自動駐車は終了することになる。

従来は、駐車車両などの路面上の物体は伸びた表示となっていたので、駐車可能な領域をドライバが認識しにくかった。しかしながら、本実施例では、上述したように、平行投影画像を含む鳥瞰画像を用いており、ドライバの視点に近い画像となるため、駐車領域Ｐｔをドライバが認識し易くなる。また、公知のアラウンドビューモニタと比較しても、周囲環境を確認しやすい画像が表示されることになる。更に、実施例１と比較しても、検出した駐車領域Ｐｔがドライバにより判り易く表示されることになる。

本発明は、車両全般、例えば、乗用車、建設車両、農業車両、産業車両などに適用可能である。

１２ 自車位置センサ
１３Ａ 側方カメラ
１３Ｂ 前方カメラ
１４ 距離計測センサ
１５ タッチパネル
１６ ステアリングアクチュエータ
１７ アクセルアクチュエータ
１８ ブレーキアクチュエータ
２０Ａ、２０Ｂ 制御装置
２１ 自車位置計算部
２２Ａ 平行投影画像作成部
２２Ｂ 鳥瞰画像作成部
２３ 駐車領域検出部
２４Ａ、２４Ｂ 駐車領域表示部
２５Ａ、２５Ｂ 駐車位置修正部
２６ 自動駐車制御部

Claims (6)

1. 車両の側方の駐車区画の前を走行中に、前記車両の側方の画像を撮影する第１撮影手段と、
   前記走行中に、前記車両の側方にある物との距離を水平方向に沿って計測する距離計測手段と、
   前記車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する自車位置計算部と、
   前記第１撮影手段で撮影された複数の前記画像に基づいて、平行投影画像を作成する平行投影画像作成部と、
   前記距離計測手段で計測された水平方向における前記距離に基づいて、前記車両の車長及び幅より大きい領域を駐車領域として検出する駐車領域検出部と、
   前記自車位置計算部で計算された前記自車位置に基づいて、前記平行投影画像作成部で作成された前記平行投影画像上に、前記駐車領域検出部で検出された前記駐車領域を重畳して表示して、出力する駐車領域表示部と、
   前記駐車領域表示部から出力された前記平行投影画像と前記駐車領域とを表示する表示手段と、を有する
   ことを特徴とする駐車領域表示システム。
2. 請求項１に記載の駐車領域表示システムにおいて、
   前記距離計測手段は、前記車両の側方にある物との距離を更に鉛直方向に沿って計測するものであり、
   前記駐車領域検出部は、前記距離計測手段で計測された水平方向及び鉛直方向における前記距離に基づいて、前記車両の車長、幅及び高さより大きい領域を駐車領域として検出する
   ことを特徴とする駐車領域表示システム。
3. 請求項１又は請求項２に記載の駐車領域表示システムにおいて、
   前記平行投影画像作成部は、前記第１撮影手段で撮影された複数の前記画像の中心領域を各々切り出すと共に、各々の前記中心領域を前記自車位置計算部で計算された前記自車位置に対応した位置にずらしながら重ね合わせて前記平行投影画像を作成する
   ことを特徴とする駐車領域表示システム。
4. 請求項１から請求項３のいずれか１つに記載の駐車領域表示システムにおいて、
   前記走行中に、前記車両の前方の画像を撮影する第２撮影手段と、
   前記平行投影画像作成部で作成された前記平行投影画像と、前記第２撮影手段で撮影された現在の画像とを組み合わせて、ドライバ視点の鳥瞰画像を作成する鳥瞰画像作成部と、を更に有し、
   前記駐車領域表示部は、前記鳥瞰画像作成部で作成された前記鳥瞰画像上に、前記駐車領域検出部で検出された前記駐車領域を重畳して表示して、出力する
   ことを特徴とする駐車領域表示システム。
5. 請求項１から請求項４のいずれか１つに記載の駐車領域表示システムにおいて、
   前記車両のドア閉鎖時の大きさを示す第１範囲とドア開放時の大きさを示す第２範囲とを前記駐車領域内に表示し、前記表示手段に出力して、前記駐車領域内における前記第１範囲及び前記第２範囲の位置を修正可能とすると共に、確認時の前記第１範囲及び前記第２範囲の位置を駐車位置とする駐車位置修正部を更に有する
   ことを特徴とする駐車領域表示システム。
6. 請求項５に記載の駐車領域表示システムと、
   前記車両のステアリングを操舵するアクチュエータとを少なくとも有し、
   前記駐車領域表示システムにより前記駐車位置を確認し、前記アクチュエータにより前記ステアリングを操舵して、確認時の前記駐車位置に前記車両を誘導する
   ことを特徴とする自動駐車システム。