JP2007230371A - 駐車支援装置及び駐車支援方法 - Google Patents

Abstract

【課題】車両乗員が目標駐車スペースの位置や方向を指定する操作を直感的に行えるようにする。
【解決手段】俯瞰映像を表示画面に表示する際に、車両の外形に対応した大きさの枠図形Ｆを表示画面上における所定の基準位置に所定の方向で俯瞰映像に重畳して表示し、車両乗員による操作に応じてその枠図形Ｆの表示位置や方向を変更できるようにして、変更した後の枠図形Ｆの表示位置及び方向に基づいて、車両を駐車させる目標となる目標駐車スペースを特定する。
【選択図】図４

Description

本発明は、車載カメラで撮影された映像を車両上方の仮想視点から見下ろした映像に変換して表示装置の表示画面に表示し、車両駐車時における運転者の運転操作を支援する駐車支援装置及び駐車支援方法に関する。

従来、車両駐車時に、車両後部に設置されたリアカメラなどの車載カメラで撮影された映像を車室内のディスプレイに表示して、車両乗員がこのディスプレイの表示画面上で目標とする駐車スペースを指定すると、その目標駐車スペースに車両が移動できるように、車両のステアリング操作などをアシストする駐車支援装置が提案されている。また、近年では、車載カメラの撮影映像をそのままディスプレイに表示した場合に、駐車スペースを示す白線などが歪んで見えて目標駐車スペースを指定する操作が難しくなるという点を考慮して、車載カメラの撮影映像を車両上方の仮想視点から見た俯瞰映像に変換してディスプレイに表示し、この俯瞰映像上で目標駐車スペースを指定する操作を行えるようにする試みもなされている（例えば、特許文献１参照。）。

特許文献１に記載の駐車支援装置では、車載カメラの撮影映像を俯瞰映像に変換してタッチパネル式の表示画面に表示し、車両乗員が表示画面に表示されている俯瞰映像上の任意の位置に触れると、その周辺の画像を解析して目標とする駐車スペースの位置及び方位を特定し、或いは、車両乗員が俯瞰映像上の任意の位置をなぞる操作を行うと、その位置及びなぞった方向から目標とする駐車スペースの位置及び方向を特定して、特定した目標駐車スペースの位置及び方向に合わせて、車両の外形に対応した大きさの枠図形を重畳表示するようにしている。そして、枠図形が重畳表示された目標駐車スペースに車両が適切に移動できるように、車両のステアリング操作などをアシストするようにしている。
特開２００１−３３９７１６号公報

しかしながら、特許文献１に記載されている従来の駐車支援装置では、車両乗員による操作に応じて俯瞰画像上で目標とする駐車スペースの位置及び方向を特定し、特定した目標駐車スペースの位置及び方向に合わせて、車両の外形に対応した大きさの枠図形を重畳表示するようにしているので、目標とする駐車スペースが特定されてその位置に枠図形が重畳表示されるまでは、その駐車スペースが車両が駐車できるだけの十分な広さを有するスペースかどうかを判断することが難しく、車両乗員が俯瞰画像上で目標駐車スペースの位置及び方向を指定する操作を行う段階では、直感的な操作が困難で、操作性に劣るという問題がある。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両乗員が目標駐車スペースの位置や方向を指定する操作を直感的に行えるようにして、操作性を向上させた駐車支援装置及び駐車支援方法を提供することを目的としている。

本発明は、前記目的を達成するために、車載カメラの撮影映像を視点変換した俯瞰映像、或いは複数の車載カメラの撮影映像を視点変換するとともに繋ぎ合わせた車両周囲俯瞰映像を表示装置の表示画面に表示するにあたり、車両の外形に対応した大きさの枠図形を表示対象の俯瞰映像或いは車両周囲俯瞰映像に重畳して表示し、操作手段を用いた車両乗員の操作に応じてその枠図形の表示位置や方向を変更できるようにして、変更した後の枠図形の表示位置を、車両を駐車させる目標となる目標駐車スペースとして特定するようにした。

本発明によれば、俯瞰映像や車両周囲俯瞰映像に車両の外形に対応した大きさの枠図形が重畳表示され、車両乗員が操作手段を用いてその枠図形を動かす操作を行うことで車両を駐車させる目標となる目標駐車スペースが特定されるので、車両乗員は極めて簡便且つ直感的な操作で目標駐車スペースを指定でき、操作性が向上する。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。

［第１の実施形態］
まず、本発明の第１の実施形態として、車両後部に設置されたリアカメラの撮影映像を俯瞰映像に変換して車室内に設置された表示装置の表示画面に表示する駐車支援装置に対して本発明を適用した例について説明する。

本実施形態の駐車支援装置の概略構成を図１に示す。この図１に示す駐車支援装置は、表示対象となる俯瞰映像を作成する画像処理ユニット１０を主要な構成要素として備え、この画像処理ユニット１０の入力側にリアカメラ１が接続され、出力側に表示装置２が接続された構成とされる。また、画像処理ユニット１０の入力側には、リアカメラ１のほか、表示切替スイッチ３、操作入力デバイス４、車両情報取得装置５がそれぞれ接続されている。

リアカメラ１は、例えば１８０度程度の画角を有する広角カメラよりなり、車両後部に設置されている。そして、このリアカメラ１は、画像処理ユニット１０からの指令に応じて車両後方の所定領域の映像を撮影し、撮影した映像を電気信号に変換して、例えば、コンポジット信号（アナログ形式の映像信号）として、所定のアナログ通信線を介して画像処理ユニット１０に出力する。

表示装置２は、例えば車室内に設置された液晶ディスプレイ等からなり、画像処理ユニット１０から出力された映像信号に基づく表示処理を行なうことで、表示画面に車両後方の俯瞰映像を表示する。なお、この表示装置２としては、本実施形態の駐車支援装置に専用の表示装置を用いてもよいが、例えば車載ナビゲーション装置など、車両に搭載されている他の装置で用いる表示装置を利用するようにしてもよい。この場合、表示切替えスイッチ３の操作によって、表示装置２の表示画面に表示する映像の切り替えが行われることになる。

表示切替えスイッチ３は、表示装置２に車両後方の俯瞰映像を表示させる際に車両乗員が操作するスイッチであり、例えば、車室内のインストゥルメントパネルなどに設置される。この表示切替えスイッチ３を用いて車両乗員が表示装置２に車両後方の俯瞰映像を表示させる旨の操作を行うと、その情報は画像処理ユニット１０に入力される。

操作入力デバイス４は、車両乗員が俯瞰映像の表示開始以外の各種の指示を入力するためのものであり、例えば、コンビネーションスイッチやジョイスティック、音声入力装置など、一般的に利用されている各種入力デバイスが利用可能である。また、表示装置２としてタッチパネル式の表示画面を有するタッチパネルディスプレイを用いる場合は、表示装置２のタッチパネルも操作入力デバイス４として利用されることになる。この操作入力デバイス２を用いて車両乗員が各種の操作を行うと、その操作に応じた指示が画像処理ユニット１０に入力される。

車両情報取得装置５は、車両の現在のステアリング操作角度やシフト位置などを表す各種車両情報を取得するものである。この車両情報取得装置５により取得された各種の車両情報は、画像処理ユニット１０からの要求に応じて、画像処理ユニット１０へと適宜入力される。

画像処理ユニット１０は、リアカメラ２の撮影映像を用いて俯瞰映像を作成し、この俯瞰映像に目標駐車スペースを表す枠図形や、車両の現在位置から目標駐車スペースまでの目標軌道を表す目標軌道線、車両の現在位置からの予想軌道を表す予想軌道線などを必要に応じて重畳して、表示対象の俯瞰映像として表示装置２に出力するものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。

特に、この画像処理ユニット１０は、本発明に関わる部分として、図２に示すように、リアカメラ１から映像信号として入力された撮影映像をフレーム毎に一時的に保持する入力フレームバッファ１１と、表示装置２に対して出力する表示対象の俯瞰映像をフレーム毎に一時的に保持する出力フレームバッファ１２と、入力フレームバッファ１１に保持されたリアカメラの撮影映像を俯瞰映像に変換して出力フレームバッファ１２に書き込む視点変換処理部１３とを備える。また、この画像処理ユニット１０には、俯瞰映像に重畳して表示装置２に表示させる枠図形の表示位置及び方向を決定する枠図形表示位置決定部１４や、出力フレームバッファ１２に保持された俯瞰映像上に枠図形を描画する枠図形描画部１５、車両を駐車させる目標となる目標駐車スペースを特定する目標駐車スペース特定部１６、車両の現在位置から目標駐車スペースまでの目標軌道を算出する目標軌道算出部１７、出力フレームバッファ１２に保持された俯瞰映像上に目標軌道線を描画する目標軌道線描画部１８、車両の現在位置からの予想軌道を算出する予想軌道算出部１９、出力フレームバッファ１２に保持された俯瞰映像上に予想軌道線を描画する予想軌道線描画部２０が設けられている。

リアカメラ１から出力された撮影映像の映像信号は、Ａ/Ｄ変換されてＲＧＢ信号にデコードされた上で、リアカメラ１の撮影映像のフレームを構成するフレームデータとして、画像処理ユニット１０の入力フレームバッファ１１に格納される。そして、画像処理ユニット１０の視点変換処理部１３が、例えば、入力フレームバッファ１１の画素毎のアドレスと出力フレームバッファ１２の画素毎のアドレスとの対応関係を記載した変換マップなどを用い、入力フレームバッファ１１に格納されているリアカメラ１の撮影映像を、車両上方の仮想視点から見下ろした俯瞰映像に変換する処理を行ない、変換した俯瞰映像の映像データを出力フレームバッファ１２に格納する。

出力フレームバッファ１２に格納された俯瞰映像の映像データ（ＲＧＢ信号）は、リアカメラ１の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット１０から出力され、所定のアナログ通信線を介して表示装置２に出力される。そして、表示装置２がこの画像処理ユニット１０からの映像信号に基づいて表示動作を行うことで、表示装置２の表示画面に、例えば図３（ａ）に示すような俯瞰映像が表示されることになる。なお、図３（ａ）に示す俯瞰映像は、車両を所定の駐車スペースに並列駐車させるシーンにおいて、リアカメラ１により撮影された図３（ｂ）に示すような撮影映像を視点変換処理して作成したものである。

また、本実施形態の駐車支援装置では、画像処理ユニット１０の枠図形描画部１５が、出力フレームバッファ１２に保持された俯瞰映像上に枠図形を描画することで、表示装置２の表示画面上に、俯瞰映像に重畳して車両の外形に対応した大きさの枠図形を表示させるようにしている。また、車両を駐車させる目標となる目標駐車スペースが特定されたときには、目標軌道線描画部１８が出力フレームバッファ１２に保持された俯瞰映像上に目標軌道線を描画し、予想軌道線描画部２０が出力フレームバッファ１２に保持された俯瞰映像上に予想軌道線を描画することで、表示装置２の表示画面上に、俯瞰映像に重畳して目標軌道線や予想軌道線を表示させるようにしている。

表示装置２の表示画面上における枠図形の表示位置や方向は、画像処理ユニット１０の枠図形表示位置決定部１４により決定される。枠図形表示位置決定部１４は、例えば、車両乗員による表示切替えスイッチ３の操作があった場合や、車両情報取得装置５で取得された車両情報（例えば、シフト位置がバックで車速が所定値以下など）に基づいて車両が駐車態勢に入ったと判定された場合など、俯瞰映像の表示開始を指示する旨の何らかのトリガを検出した場合には、まず、表示装置２の表示画面上における枠図形の表示位置及び方向を、予め定めておいた所定の基準位置及び方向に決定する。そして、枠図形描画部１５が、この枠図形表示位置決定部１４により決定された表示位置及び方向の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に枠図形を描画することで、例えば図４（ａ）に示すように、表示装置２の表示画面上における所定の基準位置に所定の方向で、車両の外形に対応した大きさの枠図形Ｆが、俯瞰映像に重畳して表示されることになる。

なお、このような俯瞰映像の表示開始時に枠図形Ｆを表示させる基準位置及び方向は、例えば、車両の現在位置から所定距離だけ離れた後方の位置に車両に対して平行な向きといったように、必ず一定の表示位置及び方向となるように定めていてもよいが、例えば、頻繁に利用する駐車スペースなどで、車両が駐車態勢に入ったときの車両に対する駐車スペースの位置や向きが予め分かっている場所については、その駐車スペースの位置情報と枠図形Ｆの表示位置及び方向の情報とを関連付けて記憶させておき、車両がその駐車スペースに近づいて駐車態勢に入ったときは、俯瞰映像の表示開始時に、記憶している表示位置及び方向で枠図形Ｆを表示させるようにしてもよい。

また、本実施形態の駐車支援装置において、表示装置２の表示画面上における枠図形Ｆの表示位置や方向は、車両乗員がコンビネーションスイッチやジョイスティック、音声入力装置、タッチパネルなどの操作入力デバイス４を用いた操作を行うことで、任意の位置及び方向に変更できるようになっている。すなわち、俯瞰映像の表示が開始された後、車両乗員が操作入力デバイス４を用いて表示装置２の表示画面上における枠図形Ｆの表示位置や方向を変更する操作を行うと、その操作内容を示す情報が画像処理ユニット１０の枠図形表示位置決定部１４に入力される。枠図形表示位置決定部１４は、操作入力デバイス４から車両乗員の操作内容を示す情報が入力されると、その操作内容に応じて、表示装置２の表示画面上における枠図形Ｆの表示位置や方向を決定する。そして、枠図形描画部１５が、この枠図形表示位置決定部１４により決定された表示位置及び方向の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に枠図形Ｆを描画することで、表示装置２の表示画面上における枠図形Ｆの表示位置や方向が変更され、例えば図４（ｂ）に示すように、車両の乗員が指定した任意の表示位置に任意の方向で、車両の外形に対応した大きさの枠図形Ｆが、俯瞰映像に重畳して表示されることになる。

ここで、車両乗員による枠図形Ｆの表示位置や方向を変更する操作は、例えば、表示装置２の表示画面に重畳表示されている枠図形Ｆを表示画面上で回転させたり、表示画面上の縦方向及び横方向に平行移動させることによって行われる。具体的には、図４（ａ）に例示した枠図形Ｆの表示位置及び方向を図４（ｂ）に例示した表示位置及び方向に変更する場合、車両乗員は、例えば図５に示すように、まず、枠図形Ｆをその対角線の中点を中心に回転させ（図５中の矢印Ａ）、回転させた枠図形Ｆを縦方向に平行移動させ（図５中の矢印Ｂ）、次に横方向に平行移動させる（図５中の矢印Ｃ）といった手順で操作すればよい。なお、枠図形Ｆを回転させる操作や縦方向に移動させる操作、横方向に移動させる操作の順番は任意であり、車両の乗員が操作しやすい順番とすればよい。

また、本実施形態の駐車支援装置では、車両の乗員が操作入力デバイス４を用いて、表示装置２の表示画面上における枠図形Ｆの表示位置及び方向を確定する旨の指示を入力すると、画像処理ユニット１０の目標駐車スペース特定部１６が、表示装置２の表示画面上で枠図形Ｆが表示されている位置に、枠図形Ｆが表示されている向きで、目標とする駐車スペースが存在すると認識して、そこを目標駐車スペースとして特定する。

そして、画像処理ユニット１０の目標駐車スペース特定部１６により目標駐車スペースが特定されると、目標軌道算出部１７が、車両の現在位置から目標駐車スペースまで、例えばステアリング操作角度を一定のまま移動できる理想的な軌道を、目標軌道として算出する。そして、目標軌道線描画部１８が、この目標軌道算出部１７により算出された目標軌道の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に目標軌道を表すラインを描画することで、例えば図６（ａ）に示すように、表示装置２の表示画面上に、車両を現在位置から目標駐車スペースへと移動させる際の指標となる目標軌道線Ｌ１が、俯瞰映像に重畳して表示されることになる。

また、画像処理ユニット１０の目標駐車スペース特定部１６により目標駐車スペースが特定されると、予想軌道算出部１９が、車両情報取得装置５で取得されたステアリング操作角度の情報やシフト位置の情報から、車両の現在のステアリング操作角度と進行方向とを判定し、それに基づいて、車両を現在位置からそのままのステアリング操作角度で進行方向に沿って移動させたときの軌道を、予想軌道として算出する。そして、予想軌道線描画部２０が、この予想軌道算出部１９により算出された予想軌道の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に予想軌道を表すラインを描画することで、例えば図６（ａ）に示すように、表示装置２の表示画面上に、車両を現在位置からそのまま移動させた場合の軌道を表す予想軌道線Ｌ２が、俯瞰映像に重畳して表示されることになる。

本実施形態の駐車支援装置では、以上のように、表示装置２の表示画面に表示されている俯瞰映像上で目標駐車スペースが特定されたときに、目標軌道線Ｌ１及び予想軌道線Ｌ２を表示画面上に表示することで、目標駐車スペースへの車両の駐車を容易に行えるように、車両の運転者による運転操作を支援する。すなわち、車両の運転者は、例えば図６（ａ）のような表示装置２の表示画面を見ながら、車両の現在のステアリング操作角度を反映した予想軌道線Ｌ２が目標軌道線Ｌ１に重なるように車両のステアリングを操作し、表示装置２の表示画面に例えば図６（ｂ）に示すような俯瞰映像が表示された状態で、車両を徐々に後退させる操作を行えば、目標駐車スペースに車両を適切に駐車させることができる。

ここで、本実施形態の駐車支援装置において、表示装置２の表示画面に俯瞰映像を表示させる際の画像処理ユニット１０による一連の処理の流れについて、図７及び図８のフローチャートを参照しながら説明する。なお、図７の処理フローはリアカメラ１の撮影周期に同期して画像処理ユニット１０により繰り返し実行されるメインルーチンであり、図８の処理フローは、図７のステップＳ１３における描画処理の詳細を示すサブルーチンである。

図７の処理フローは、例えば、車両乗員による表示切替えスイッチ３の操作があった場合や、車両情報取得装置５で取得された車両情報に基づいて車両が駐車態勢に入ったと判定された場合など、俯瞰映像の表示開始を指示する旨の何らかのトリガを検出した場合に開始される。

図７の処理フローが開始されると、まず、ステップＳ１１において、リアカメラ１により撮影された撮影映像が画像処理装置１０に取り込まれ、フレームごとの映像データとして入力フレームバッファ１１に格納される。次に、ステップＳ１２において、視点変換処理部１３が、変換マップなどを用いて入力フレームバッファ１１に格納されているリアカメラ１の撮影映像を、車両上方の仮想視点から見下ろした俯瞰映像に変換する処理を行ない、変換した俯瞰映像の映像データを出力フレームバッファ１２に格納する。

次に、ステップＳ１３において、枠図形描画部１５が出力フレームバッファ１２に保持された俯瞰映像上に枠図形Ｆを描画する処理を行なうとともに、必要に応じて、目標軌道線描画部１８が目標軌道線Ｌ１、予想軌道線描画部２０が予想軌道線Ｌ２をそれぞれ描画する処理を行なう。そして、ステップＳ１４において、出力フレームバッファ１２に保持された表示対象の俯瞰映像の映像データが画像処理装置１０から表示装置２へと出力される。これにより、表示装置２の表示画面には、枠図形Ｆや目標軌道線Ｌ１、予想軌道線Ｌ２などが重畳された車両後方の俯瞰映像が表示されることになる。

なお、この図７の処理フローは、車両の駐車が完了して、俯瞰映像の表示停止を指示する旨の何らかのトリガを検出するまで、或いは駐車支援装置の電源がオフするまで、リアカメラ１の撮影周期に同期して繰り返し行われ、俯瞰映像の表示停止の指示や駐車支援装置の電源オフなどが行われた段階で終了する。

図７のステップＳ１３における枠図形Ｆや目標軌道線Ｌ１、予想軌道線Ｌ２の描画処理は、図８の処理フローに従って行われる。図８の処理フローが開始されると、まず、ステップＳ１０１において、俯瞰映像に重畳して表示装置２の表示画面上に表示された枠図形Ｆの表示位置及び方向を変更する旨の車両乗員による操作がなされたか否かが判断される。ここで、俯瞰映像の表示を開始した直後の処理では、車両乗員による操作はなされていない状態であるので、ステップＳ１０１では否定の判定となりステップＳ１０２に進む。

この場合、ステップＳ１０２において、枠図形表示位置決定部１４が、枠図形Ｆの表示位置及び方向を、予め定めておいた所定の基準位置及び方向に決定する。そして、ステップＳ１０３において、枠図形描画部１５が、出力フレームバッファ１２に保持された俯瞰映像上の所定の基準位置に所定の方向で枠図形Ｆを描画する処理を行なう。これにより、表示装置２の表示画面上には、所定の基準位置に所定の方向で枠図形Ｆが重畳された俯瞰映像が表示されることになる。

一方、俯瞰映像の表示を開始して、表示装置２の表示画面上における所定の基準位置に所定の方向で枠図形Ｆを重畳した俯瞰映像を表示した後の処理周期において、車両の乗員が操作入力デバイス４を用いて、この俯瞰映像上の枠図形Ｆの表示位置や方向を変更させる操作を行うと、ステップＳ１０１では肯定の判定となりステップＳ１０４に進む。

この場合、ステップＳ１０４において、枠図形表示位置決定部１４が、操作入力デバイス４から入力された車両乗員の操作入力の内容に応じて、枠図形Ｆの表示位置や方向を決定する。そして、ステップＳ１０５において、枠図形描画部１５が、出力フレームバッファ１２に保持された俯瞰映像上のステップＳ１０４で決定した表示位置にステップＳ１０４で決定した方向で枠図形Ｆを描画する処理を行なう。これにより、表示装置２の表示画面上には、車両乗員の操作に応じた位置に車両乗員の操作に応じた方向で枠図形Ｆが重畳された俯瞰映像が表示されることになる。

次に、ステップＳ１０６において、車両乗員の操作入力デバイス４を用いた操作により、表示装置２の表示画面上における枠図形Ｆの表示位置及び方向を確定する旨の指示が入力されたか否かが判断される。そして、枠図形Ｆの表示位置及び方向を確定する旨の指示が入力されない間は、そのまま図８の処理フローを終了する。一方、枠図形Ｆの表示位置及び方向を確定する旨の指示が入力された場合には、次のステップＳ１０７へと処理を移行する。

ステップＳ１０６で肯定の判定となりステップＳ１０７に進んだ場合は、ステップＳ１０７において、目標駐車スペース特定部１６が、現在、表示装置２の表示画面上で枠図形Ｆが表示されている位置に、枠図形Ｆが表示されている向きで、目標とする駐車スペースが存在すると認識して、そこを目標駐車スペースとして特定する。

次に、ステップＳ１０８において、目標軌道算出部１７が、車両の現在位置からステップＳ１０７で特定された目標駐車スペースまでの理想的な車両の軌道を、目標軌道として算出する。そして、ステップＳ１０９において、目標軌道線描画部１８が、ステップＳ１０８で算出された目標軌道の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に目標軌道線Ｌ１を描画する処理を行なう。

また、ステップＳ１１０において、予想軌道算出部１９が、車両の現在のステアリング操作角度と進行方向に基づいて、車両を現在位置からそのままのステアリング操作角度で進行方向に沿って移動させたときの軌道を、予想軌道として算出する。そして、ステップＳ１１１において、予想軌道線描画部２０が、ステップＳ１１０で算出された予想軌道の情報をもとに、出力フレームバッファ１２に保持された俯瞰映像上に予想軌道線Ｌ２を描画する処理を行なって、図８の処理フローを終了する。

以上のステップＳ１０７からステップＳ１１１までの処理により、表示装置２の表示画面上には、車両を現在位置から目標駐車スペースへと移動させる際の指標となる目標軌道線Ｌ１や、車両を現在位置からそのまま移動させた場合の軌道を表す予想軌道線Ｌ２が重畳された俯瞰映像が表示されることになる。したがって、車両の運転者は、表示装置２の表示画面を見ながら、予想軌道線Ｌ２が目標軌道線Ｌ１に重なるように車両のステアリングを操作して車両を徐々に後退させる操作を行うことで、目標駐車スペースに車両を適切に駐車させることができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の駐車支援装置は、リアカメラ１の撮影映像を俯瞰映像に変換して表示装置２の表示画面に表示するに際して、俯瞰映像の表示開始時には、車両の外形に対応した大きさの枠図形Ｆを表示画面上における所定の基準位置に所定の方向で俯瞰映像に重畳して表示し、車両乗員による操作に応じてその枠図形Ｆの表示位置や方向を変更できるようにして、変更した後の枠図形Ｆの表示位置及び方向に基づいて、車両を駐車させる目標となる目標駐車スペースを特定するようにしている。したがって、本実施形態の駐車支援装置によれば、車両の乗員は、表示装置２の表示画面に表示された枠図形Ｆを基準として、俯瞰映像上で車両の駐車が可能な十分な広さを有する駐車スペースを探し、駐車が可能な駐車スペースがあれば、表示画面上のその位置に枠図形Ｆを移動させるといった極めて単純且つ直感的な操作で目標駐車スペースを指定することができ、目標駐車スペースを指定する際の操作性の向上が実現される。

また、本実施形態の駐車支援装置によれば、表示装置２の表示画面に表示されている俯瞰映像上で目標駐車スペースが特定されたときに、車両を現在位置から目標駐車スペースへと移動させる際の指標となる目標軌道線Ｌ１や、車両を現在位置からそのまま移動させた場合の軌道を表す予想軌道線Ｌ２を、俯瞰画像に重畳して表示画面に表示するようにしているので、車両の運転者は、表示装置２の表示画面を見ながら、予想軌道線Ｌ２が目標軌道線Ｌ１に重なるように車両のステアリングを操作して車両を徐々に後退させる操作を行うことで、目標駐車スペースに車両を適切に駐車させることができ、車両駐車時における運転者の運転操作を適切に支援することができる。

なお、以上説明した本実施形態の駐車支援装置では、表示装置２の表示画面上に目標軌道線Ｌ１や予想軌道線Ｌ２を表示して、車両の運転者に、表示画面上の予想軌道線Ｌ２が目標軌道線Ｌ１に重なるように車両のステアリングを操作させることで、運転者の運転操作を支援するようにしているが、表示装置２の表示画面に表示されている俯瞰映像上で目標駐車スペースが特定されたときに、車両の現在位置から目標駐車スペースまでの目標軌道を算出して、この目標軌道に沿って車両が移動するように、車両のステアリング操作角度を自動調整することによって、車両駐車時における運転者の運転操作を支援するようにしてもよい。この場合、車両の運転者は、アクセルペダル及びブレーキペダルを適宜操作するのみで、車両を目標駐車スペースに駐車させることができるので、運転者による運転操作はより簡便なものとなる。

［第２の実施形態］
次に、本発明の第２の実施形態として、車両前方、後方、左右両側方の各領域の映像を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された撮影画像を俯瞰映像に変換するとともに繋ぎ合わせて、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す１つの連続した車両周囲俯瞰映像として車室内に設置された表示装置の表示画面に表示する駐車支援装置に対して本発明を適用した例について説明する。なお、以下の説明において、第１の実施形態と同じ構成要素については、図中同一の符号を付して詳細な説明は省略する。

本実施形態の駐車支援装置の概略構成を図９に示す。この図９に示す駐車支援装置は、表示対象となる車両周囲俯瞰映像を作成する画像処理ユニット３０を主要な構成要素として備え、この画像処理ユニット３０の入力側にフロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４の４つの車載カメラがそれぞれ接続され、出力側に表示装置２が接続された構成とされる。また、画像処理ユニット１０の入力側には、４つの車載カメラ２１，２２，２３，２４のほか、表示切替スイッチ３、操作入力デバイス４、車両情報取得装置５がそれぞれ接続されている。

フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４の４つの車載カメラは、例えば１８０度程度の画角を有する広角カメラよりなり、これら４つの車載カメラで車両周囲を囲む全ての領域の映像を撮影できるように、車両の適所に搭載されている。具体的には、フロントカメラ２１は、図１０に示すように、車両前方のフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２２は、車両後方のリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の映像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ２３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の映像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ２４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の映像を地面に対して斜めに見下ろす方向で撮影する。そして、これら４つの車載カメラ２１，２２，２３，２４は、それぞれ画像処理ユニット３０からの指令に応じて所定の被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の映像を撮影し、撮影した映像を電気信号に変換して、例えば、コンポジット信号（アナログ形式の映像信号）として、所定のアナログ通信線を介して画像処理ユニット３０に出力する。

画像処理ユニット３０は、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４の４つの車載カメラの撮影映像を用いて、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す車両周囲俯瞰映像を作成し、この車両周囲俯瞰映像に目標駐車スペースを表す第１枠図形や、目標駐車スペースに切り返し操作を行うことなく駐車可能な推奨駐車開始位置を示す第２枠図形、推奨駐車開始位置から目標駐車スペースまでの目標軌道を表す第２目標軌道線、推奨駐車開始位置からの予想軌道を表す第２予想軌道線などを必要に応じて重畳して、表示対象の俯瞰映像として表示装置２に出力するものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。

特に、この画像処理ユニット３０は、本発明に関わる部分として、図１１に示すように、４つの車載カメラ２１，２２，２３，２４から映像信号として入力された撮影映像をフレーム毎に一時的に保持する４つの入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄと、表示装置２に対して出力する表示対象の車両周囲俯瞰映像の映像データをフレーム毎に一時的に保持する出力フレームバッファ３２と、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに保持された車載カメラ２１，２２，２３，２４の撮影映像から各々必要な映像領域を切り出して俯瞰映像に変換し、１つの連続した車両周囲俯瞰映像として出力フレームバッファ３２に書き込む視点変換処理部３３とを備える。また、この画像処理ユニット３０には、車両周囲俯瞰映像に重畳して表示装置２に表示させる第１枠図形の表示位置及び方向を決定する第１枠図形表示位置決定部３４や、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第１枠図形を描画する第１枠図形描画部３５、車両を駐車させる目標となる目標駐車スペースを特定する目標駐車スペース特定部３６、目標駐車スペースに切り返し操作を行うことなく駐車可能な推奨駐車開始位置を算出する推奨駐車開始位置算出部３７、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に推奨駐車位置を示す第２駐車枠を描画する第２枠図形描画部３８、推奨駐車開始位置から目標駐車スペースまでの目標軌道を算出する第２目標軌道算出部３９、出力フレームバッファ１２に保持された車両周囲俯瞰映像上に第２目標軌道線を描画する第２目標軌道線描画部４０、推奨駐車開始位置からの予想軌道を算出する第２予想軌道算出部４１、出力フレームバッファ１２に保持された車両周囲俯瞰映像上に第２予想軌道線を描画する第２予想軌道線描画部４２が設けられている。

フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４の４つの車載カメラから出力された撮影映像の映像信号は、それぞれＡ/Ｄ変換されてＲＧＢ信号にデコードされた上で、各車載カメラ２１，２２，２３，２４の撮影映像のフレームを構成するフレームデータとして、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄにそれぞれ格納される。そして、画像処理ユニット３０の視点変換処理部３３が、例えば、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄの画素毎のアドレスと出力フレームバッファ３２の画素毎のアドレスとの対応関係を記載した変換マップなどを用い、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納されている各車載カメラ２１，２２，２３，２４の撮影映像から必要な映像領域を取り出して、車両上方の仮想視点から見下ろした俯瞰映像に変換する処理を行なうとともにこれらを繋ぎ合わせて、車両周囲全域を現す一連の車両周囲俯瞰映像として、その映像データを出力フレームバッファ３２に格納する。

出力フレームバッファ３２に格納された車両周囲俯瞰映像の映像データ（ＲＧＢ信号）は、各車載カメラ２１，２２，２３，２４の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット３０から出力され、所定のアナログ通信線を介して表示装置２に出力される。そして、表示装置２がこの画像処理ユニット３０からの映像信号に基づいて表示動作を行うことで、表示装置２の表示画面に、例えば図１２に示すように、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す車両周囲俯瞰映像が表示されることになる。なお、この図１２に例示した車両周囲俯瞰映像において、映像領域Ｂ１がフロントカメラ２１の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ２がリアカメラ２２の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ３が右サイドカメラ２３の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ４が左サイドカメラ２４の撮影映像の一部を切り出して視点変換した映像である。また、この図１２に例示した車両周囲俯瞰映像では、各映像領域の境界にマスク線Ｍを描画し、その部分が映像の繋ぎ目であることを車両乗員に認識させるようにしている。また、図１２に例示した車両周囲俯瞰映像において、映像中央部に表示される画像Ｃは車両の位置を表す自車画像であり、コンピュータグラフィックス等で作成されて車両周囲俯瞰映像上に重畳されている。

また、本実施形態の駐車支援装置では、画像処理ユニット３０の第１枠図形描画部３５が、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第１枠図形を描画することで、表示装置２の表示画面上に、車両周囲俯瞰映像に重畳させて車両の外形に対応した大きさの第１枠図形を表示させるようにしている。また、車両を駐車させる目標となる目標駐車スペースが特定されたときには、第２枠図形描画部３８が、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に１つ又は複数の第２枠図形を描画することで、表示装置２の表示画面上に、車両周囲俯瞰映像に重畳して１つ又は複数の推奨駐車開始位置を示す第２枠図形を表示させるようにしている。さらに、本実施形態の駐車支援装置では、車両が第２枠図形で示される推奨駐車開始位置に移動したときには、第２目標軌道線描画部４０が出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第２目標軌道線を描画し、第２予想軌道線描画部４２が出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第２予想軌道線を描画することで、表示装置２の表示画面上に、車両周囲俯瞰映像に重畳して第２目標軌道線や第２予想軌道線を表示させるようにしている。

表示装置２の表示画面上における第１枠図形の表示位置や方向は、画像処理ユニット３０の第１枠図形表示位置決定部３４により決定される。第１枠図形表示位置決定部３４は、例えば、車両乗員による表示切替えスイッチ３の操作があった場合や、車両情報取得装置５で取得された車両情報に基づいて車両が駐車態勢に入ったと判定された場合など、車両周囲俯瞰映像の表示開始を指示する旨の何らかのトリガを検出した場合には、まず、表示装置２の表示画面上における第１枠図形の表示位置及び方向を、予め定めておいた所定の基準位置及び方向に決定する。そして、第１枠図形描画部３５が、この第１枠図形表示位置決定部３４により決定された表示位置及び方向の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第１枠図形を描画することで、例えば図１３（ａ）に示すように、表示装置２の表示画面上における所定の基準位置に所定の方向で、車両の外形に対応した大きさの第１枠図形Ｆ１が、車両周囲俯瞰映像に重畳して表示されることになる。

また、本実施形態の駐車支援装置において、表示装置２の表示画面上における第１枠図形Ｆ１の表示位置や方向は、車両乗員が操作入力デバイス４を用いた操作を行うことで、任意の位置及び方向に変更できるようになっている。すなわち、車両周囲俯瞰映像の表示が開始された後、車両乗員が操作入力デバイス４を用いて表示装置２の表示画面上における第１枠図形Ｆ１の表示位置や方向を変更する操作を行うと、その操作内容を示す情報が画像処理ユニット１０の第１枠図形表示位置決定部３４に入力される。第１枠図形表示位置決定部３４は、操作入力デバイス４から車両乗員の操作内容を示す情報が入力されると、その操作内容に応じて、表示装置２の表示画面上における第１枠図形Ｆ１の表示位置や方向を決定する。そして、第１枠図形描画部３５が、この第１枠図形表示位置決定部３４により決定された表示位置及び方向の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第１枠図形Ｆ１を描画することで、表示装置２の表示画面上における第１枠図形Ｆ１の表示位置や方向が変更され、例えば図１３（ｂ）に示すように、車両の乗員が指定した任意の表示位置に任意の方向で、車両の外形に対応した大きさの第１枠図形Ｆ１が、車両周囲俯瞰映像に重畳して表示されることになる。

また、本実施形態の駐車支援装置では、車両の乗員が操作入力デバイス４を用いて、表示装置２の表示画面上における第１枠図形Ｆ１の表示位置及び方向を確定する旨の指示を入力すると、画像処理ユニット３０の目標駐車スペース特定部３６が、表示装置２の表示画面上で第１枠図形Ｆ１が表示されている位置に、第１枠図形Ｆ１が表示されている向きで、目標とする駐車スペースが存在すると認識して、そこを目標駐車スペースとして特定する。

そして、画像処理ユニット３０の目標駐車スペース特定部３６により目標駐車スペースが特定されると、推奨駐車開始位置算出部３７が、予め記憶されている車両の最小回転半径を表す情報に基づいて、目標駐車スペースに切り返し操作を行うことなく駐車可能な車両周囲俯瞰映像上の位置を、推奨駐車開始位置として算出する。このとき、推奨駐車開始位置算出部３７は、車両周囲俯瞰映像上で少なくとも１つの推奨駐車開始位置を算出すればよいが、例えば、目標駐車スペース近傍に車両の軌道の妨げとなるような障害物が存在する場合もあることを考慮すると、車両周囲俯瞰映像上で複数の推奨駐車開始位置を算出することが望ましい。そして、第２枠図形描画部３８が、この推奨駐車開始位置算出部３７で算出された推奨駐車開始位置の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に１つ又は複数の第２枠図形を描画することで、例えば図１４に示すように、表示装置２の表示画面上に、推奨駐車開始位置を示す第２枠図形Ｆ２が、車両周囲俯瞰映像に重畳して表示されることになる。なお、図１４では、推奨駐車開始位置算出部３７で３つの推奨駐車開始位置が算出され、第２枠図形描画部３８が、これら推奨駐車開始位置を示す３つの第２枠図形Ｆ２を描画した例を示している。

また、本実施形態の駐車支援装置では、表示装置２の表示画面を参照した車両の運転者の運転操作により、車両周囲俯瞰映像上で第２枠図形Ｆ２として示されている推奨駐車開始位置に車両が移動したときには、第２目標軌道算出部３９が、車両の現在位置である推奨駐車開始位置から目標駐車スペースまで、例えばステアリング操作角度を一定のまま移動できる理想的な軌道を、目標軌道として算出する。そして、第２目標軌道線描画部４０が、この第２目標軌道算出部３９により算出された目標軌道の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に目標軌道を表すラインを描画することで、例えば図１５（ａ）に示すように、表示装置２の表示画面上に、車両を推奨駐車開始位置から目標駐車スペースへと移動させる際の指標となる第２目標軌道線Ｌ１１が、車両周囲俯瞰映像に重畳して表示されることになる。なお、車両が推奨駐車開始位置へと移動させたときに、車両周囲俯瞰映像をそのままの縮尺で表示装置２の表示画面に表示すると、目標駐車スペースが表示画面から外れてしまうような場合には、表示装置２の表示画面に表示する車両周囲俯瞰映像の縮尺を変更して、目標駐車スペースが表示画面内に収まるようにすることが望ましい。

また、車両周囲俯瞰映像上で第２枠図形Ｆ２として示されている推奨駐車開始位置に車両が移動すると、第２予想軌道算出部４１が、車両情報取得装置５で取得されたステアリング操作角度の情報やシフト位置の情報から、車両の現在のステアリング操作角度と進行方向とを判定し、それに基づいて、車両を推奨駐車開始位置からそのままのステアリング操作角度で進行方向に沿って移動させたときの軌道を、予想軌道として算出する。そして、第２予想軌道線描画部４２が、この第２予想軌道算出部４１により算出された予想軌道の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に予想軌道を表すラインを描画することで、例えば図１５（ａ）に示すように、表示装置２の表示画面上に、車両を推奨駐車開始位置からそのまま移動させた場合の軌道を表す第２予想軌道線Ｌ１２が、車両周囲俯瞰映像に重畳して表示されることになる。

本実施形態の駐車支援装置では、以上のように、表示装置２の表示画面に表示されている車両周囲俯瞰映像上で目標駐車スペースが特定されたときに、推奨駐車開始位置を示す第２枠図形を表示画面上に表示し、車両が推奨駐車開始位置へと移動したときには、第２目標軌道線Ｌ１１及び第２予想軌道線Ｌ１２を表示画面上に表示することで、目標駐車スペースへの車両の駐車を容易に行えるように、車両の運転者による運転操作を支援する。すなわち、車両の運転者は、例えば図１４のような表示装置２の表示画面を見ながら車両を推奨駐車開始位置に移動させた後、例えば図１５（ａ）のような表示装置２の表示画面を見ながら、車両の現在のステアリング操作角度を反映した第２予想軌道線Ｌ１２が第２目標軌道線Ｌ１１に重なるように車両のステアリングを操作し、表示装置２の表示画面に例えば図１５（ｂ）に示すような車両周囲俯瞰映像が表示された状態で、車両を徐々に後退させる操作を行えば、目標駐車スペースに車両を適切に駐車させることができる。

ここで、本実施形態の駐車支援装置において、表示装置２の表示画面に車両周囲俯瞰映像を表示させる際の画像処理ユニット３０による一連の処理の流れについて、図１６及び図１７のフローチャートを参照しながら説明する。なお、図１６の処理フローは４つの車載カメラ２１，２２，２３，２４の撮影周期に同期して画像処理ユニット３０により繰り返し実行されるメインルーチンであり、図１７の処理フローは、図１６のステップＳ２３における描画処理の詳細を示すサブルーチンである。

図１６の処理フローは、例えば、車両乗員による表示切替えスイッチ３の操作があった場合や、車両情報取得装置５で取得された車両情報に基づいて車両が駐車態勢に入ったと判定された場合など、車両周囲俯瞰映像の表示開始を指示する旨の何らかのトリガを検出した場合に開始される。

図１６の処理フローが開始されると、まず、ステップＳ２１において、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４の４つの車載カメラにより各々撮影された撮影映像が画像処理装置３０に取り込まれ、フレームごとの映像データとして入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄにそれぞれ格納される。次に、ステップＳ２２において、視点変換処理部３３が、変換マップなどを用いて入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納されている各車載カメラ２１，２２，２３，２４の撮影映像から必要な映像領域を取り出して、車両上方の仮想視点から見下ろした俯瞰映像に変換する処理を行なうとともにこれらを繋ぎ合わせて、車両周囲全域を現す一連の車両周囲俯瞰映像として、その映像データを出力フレームバッファ３２に格納する。

次に、ステップＳ２３において、第１枠図形描画部３５が出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第１枠図形Ｆ１を描画する処理を行なうとともに、必要に応じて、第２枠図形描画部３８が第２枠図形Ｆ２、第２目標軌道線描画部４０が第２目標軌道線Ｌ１１、第２予想軌道線描画部４２が第２予想軌道線Ｌ１２をそれぞれ描画する処理を行なう。そして、ステップＳ２４において、出力フレームバッファ３２に保持された表示対象の車両周囲俯瞰映像の映像データが画像処理装置３０から表示装置２へと出力される。これにより、表示装置２の表示画面には、第１枠図形Ｆ１や第２枠図形Ｆ２、第２目標軌道線Ｌ１１、第２予想軌道線Ｌ１２などが重畳された車両周囲俯瞰映像が表示されることになる。

なお、この図１６の処理フローは、車両の駐車が完了して、車両周囲俯瞰映像の表示停止を指示する旨の何らかのトリガを検出するまで、或いは駐車支援装置の電源がオフするまで、４つの車載カメラ２１，２２，２３，２４の撮影周期に同期して繰り返し行われ、車両周囲俯瞰映像の表示停止の指示や駐車支援装置の電源オフなどが行われた段階で終了する。

図１６のステップＳ２３における第１枠図形Ｆ１や第２枠図形Ｆ２、第２目標軌道線Ｌ１１、第２予想軌道線Ｌ１２の描画処理は、図１７の処理フローに従って行われる。図１７の処理フローが開始されると、まず、ステップＳ２０１において、車両周囲俯瞰映像に重畳して表示装置２の表示画面上に表示された第１枠図形Ｆ１の表示位置及び方向を変更する旨の車両乗員による操作がなされたか否かが判断される。ここで、車両周囲俯瞰映像の表示を開始した直後の処理では、車両乗員による操作はなされていない状態であるので、ステップＳ２０１では否定の判定となりステップＳ２０２に進む。

この場合、ステップＳ２０２において、第１枠図形表示位置決定部３４が、第１枠図形Ｆ１の表示位置及び方向を、予め定めておいた所定の基準位置及び方向に決定する。そして、ステップＳ２０３において、第１枠図形描画部３５が、出力フレームバッファ３２に保持された車両周囲俯瞰映像上の所定の基準位置に所定の方向で第１枠図形Ｆ１を描画する処理を行なう。これにより、表示装置２の表示画面上には、所定の基準位置に所定の方向で第１枠図形Ｆ１が重畳された車両周囲俯瞰映像が表示されることになる。

一方、車両周囲俯瞰映像の表示を開始して、表示装置２の表示画面上における所定の基準位置に所定の方向で第１枠図形Ｆ１を重畳した車両周囲俯瞰映像を表示した後の処理周期において、車両の乗員が操作入力デバイス４を用いて、この車両周囲俯瞰映像上の第１枠図形Ｆ１の表示位置や方向を変更させる操作を行うと、ステップＳ２０１では肯定の判定となりステップＳ２０４に進む。

この場合、ステップＳ２０４において、第１枠図形表示位置決定部３４が、操作入力デバイス４から入力された車両乗員の操作入力の内容に応じて、第１枠図形Ｆ１の表示位置や方向を決定する。そして、ステップＳ２０５において、第１枠図形描画部３５が、出力フレームバッファ３２に保持された車両周囲俯瞰映像上のステップＳ２０４で決定した表示位置にステップＳ２０４で決定した方向で第１枠図形Ｆ１を描画する処理を行なう。これにより、表示装置２の表示画面上には、車両乗員の操作に応じた位置に車両乗員の操作に応じた方向で第１枠図形Ｆ１が重畳された車両周囲俯瞰映像が表示されることになる。

次に、ステップＳ２０６において、車両乗員の操作入力デバイス４を用いた操作により、表示装置２の表示画面上における第１枠図形Ｆ１の表示位置及び方向を確定する旨の指示が入力されたか否かが判断される。そして、第１枠図形Ｆ１の表示位置及び方向を確定する旨の指示が入力されない間は、そのまま図１７の処理フローを終了する。一方、第１枠図形Ｆ１の表示位置及び方向を確定する旨の指示が入力された場合には、次のステップＳ２０７へと処理を移行する。

ステップＳ２０６で肯定の判定となりステップＳ２０７に進んだ場合は、ステップＳ２０７において、目標駐車スペース特定部３６が、現在、表示装置２の表示画面上で第１枠図形Ｆ１が表示されている位置に、第１枠図形Ｆ１が表示されている向きで、目標とする駐車スペースが存在すると認識して、そこを目標駐車スペースとして特定する。

次に、ステップＳ２０８において、推奨駐車開始位置算出部３７が、車両の最小回転半径を表す情報に基づいて、ステップＳ２０７で特定された目標駐車スペースに切り返し操作を行うことなく駐車可能な車両周囲俯瞰映像上の位置を、推奨駐車開始位置として算出する。そして、ステップＳ２０９において、第２枠図形描画部３８が、ステップＳ２０８で算出された推奨駐車開始位置の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に、推奨駐車開始位置を示す第２枠図形Ｆ２を描画する処理を行なう。これにより、表示装置２の表示画面上には、切り返し操作を行うことなく駐車可能な推奨駐車開始位置に第２枠図形Ｆ２が重畳された車両周囲俯瞰映像が表示されることになる。

次に、ステップＳ２１０において、例えば、車両情報取得装置５により取得された各種車両情報や、車載ナビゲーション装置などの位置検出機能で検出された車両の現在位置情報などをもとに、ステップＳ２０８で算出した推奨駐車開始位置に車両が移動したか否かが判断される。そして、推奨駐車開始位置に車両が移動していない間は、そのまま図１７の処理フローを終了する。一方、推奨駐車開始位置に車両が移動した場合には、次のステップＳ２１１へと処理を移行する。

ステップＳ２１０で肯定判定となりステップＳ２１１に進んだ場合は、ステップＳ２１１において、第２目標軌道算出部３９が、車両が移動した推奨駐車開始位置からステップＳ２０７で特定された目標駐車スペースまでの理想的な車両の軌道を、目標軌道として算出する。そして、ステップＳ２１２において、第２目標軌道線描画部４０が、ステップＳ２１２で算出された目標軌道の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第２目標軌道線Ｌ１１を描画する処理を行なう。

また、ステップＳ２１３において、第２予想軌道算出部４１が、車両の現在のステアリング操作角度と進行方向に基づいて、車両を推奨駐車開始位置からそのままのステアリング操作角度で進行方向に沿って移動させたときの軌道を、予想軌道として算出する。そして、ステップＳ２１４において、第２予想軌道線描画部４２が、ステップＳ２１３で算出された予想軌道の情報をもとに、出力フレームバッファ３２に保持された車両周囲俯瞰映像上に第２予想軌道線Ｌ１２を描画する処理を行なって、図１７の処理フローを終了する。

以上のステップＳ２１１からステップＳ２１４までの処理により、表示装置２の表示画面上には、車両を推奨駐車開始位置から目標駐車スペースへと移動させる際の指標となる第２目標軌道線Ｌ１１や、車両を推奨駐車開始位置からそのまま移動させた場合の軌道を表す第２予想軌道線Ｌ１２が重畳された車両周囲俯瞰映像が表示されることになる。したがって、車両の運転者は、表示装置２の表示画面を見ながら、第２予想軌道線Ｌ１２が第２目標軌道線Ｌ１１に重なるように車両のステアリングを操作して車両を徐々に移動させる操作を行うことで、目標駐車スペースに車両を適切に駐車させることができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の駐車支援装置は、４つの車載カメラ２１，２２，２３，２４の撮影画像を俯瞰映像に変換するとともに繋ぎ合わせて車両周囲俯瞰映像として表示装置２の表示画面に表示するに際して、車両周囲俯瞰映像の表示開始時には、車両の外形に対応した大きさの第１枠図形Ｆ１を表示画面上における所定の基準位置に所定の方向で車両周囲俯瞰映像に重畳して表示し、車両乗員による操作に応じてその第１枠図形Ｆ１の表示位置や方向を変更できるようにして、変更した後の第１枠図形Ｆ１の表示位置及び方向に基づいて、車両を駐車させる目標となる目標駐車スペースを特定するようにしている。したがって、本実施形態の駐車支援装置によれば、車両の乗員は、表示装置２の表示画面に表示された第１枠図形Ｆ１を基準として、車両周囲俯瞰映像上で車両の駐車が可能な十分な広さを有する駐車スペースを探し、駐車が可能な駐車スペースがあれば、表示画面上のその位置に第１枠図形Ｆ１を移動させるといった極めて単純且つ直感的な操作で目標駐車スペースを指定することができ、目標駐車スペースを指定する際の操作性の向上が実現される。

また、本実施形態の駐車支援装置によれば、表示装置２の表示画面に表示されている車両周囲俯瞰映像上で目標駐車スペースが特定されたときに、切り返し操作を行うことなく目標駐車スペースへ駐車することが可能な推奨駐車開始位置を第２枠図形Ｆ２として車両周囲俯瞰映像に重畳して表示画面に表示させるようにしているので、車両の運転者は、表示装置２の表示画面を見ながら適切な駐車開始位置へと車両を移動させることができ、車両駐車時における運転者の運転操作を適切に支援することができる。

さらに、本実施形態の駐車支援装置によれば、推奨駐車開始位置に車両が移動したときには、車両を推奨駐車開始位置から目標駐車スペースへと移動させる際の指標となる第２目標軌道線Ｌ１１や、車両を推奨駐車開始位置からそのまま移動させた場合の軌道を表す第２予想軌道線Ｌ１２を、車両周囲俯瞰画像に重畳して表示画面に表示するようにしているので、車両の運転者は、表示装置２の表示画面を見ながら、第２予想軌道線Ｌ１２が第２目標軌道線Ｌ１１に重なるように車両のステアリングを操作して車両を徐々に移動させる操作を行うことで、目標駐車スペースに車両を適切に駐車させることができ、車両駐車時における運転者の運転操作を適切に支援することができる。

さらに、本実施形態の駐車支援装置では、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す１つの連続した車両周囲俯瞰映像を表示装置２の表示画面に表示し、車両の乗員が、この車両周囲俯瞰映像上で第１枠図形Ｆ１を所望の位置に移動させる操作を行うことで目標駐車スペースを指定できるようにしているので、例えば図１８に示すように、目標駐車スペースとして指定したい場所に車両を横付けした状態で、駐車スペースを指定する操作を行うことが可能となる。これにより、例えば、高速道路のサービスエリアなどのように、走行路を挟んで左右両側に並列駐車可能な駐車スペースが並ぶ駐車エリアで車両を駐車させるシーンにおいて、走行路を塞がない位置に車両を停車させた状態で、後続車両の走行を妨げることなく目標駐車スペースを指定する操作を行うことができる。また、目標駐車スペースを設定する操作を行っている間に、目標駐車スペースとして指定したい場所を他の車両が先に駐車してしまうという事態も未然に防止できる。

なお、以上説明した本実施形態の駐車支援装置では、表示装置２の表示画面上に第２目標軌道線Ｌ１１や第２予想軌道線Ｌ１２を表示して、車両の運転者に、表示画面上の第２予想軌道線Ｌ１２が第２目標軌道線Ｌ１１に重なるように車両のステアリングを操作させることで、運転者の運転操作を支援するようにしているが、表示装置２の表示画面に表示されている車両俯瞰映像上で目標駐車スペースが特定されたときに、車両の現在位置から目標駐車スペースまでの目標軌道を算出し、或いは、目標駐車スペースが特定されて車両が推奨駐車開始位置に移動したときに、この推奨駐車開始位置から目標駐車スペースまでの目標軌道を算出して、これらの目標軌道に沿って車両が移動するように、車両のステアリング操作角度を自動調整することによって、車両駐車時における運転者の運転操作を支援するようにしてもよい。この場合、車両の運転者は、アクセルペダル及びブレーキペダルを適宜操作するのみで、車両を目標駐車スペースに駐車させることができるので、運転者による運転操作はより簡便なものとなる。

以上、本発明の実施形態としての駐車支援装置について具体的に説明したが、以上説明した駐車支援システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

第１の実施形態の駐車支援装置の概略構成を示すブロック図である。 画像処理ユニットの詳細な内部構成を示すブロック図である。 俯瞰映像を説明する図であり、（ａ）は表示装置に表示される俯瞰映像の一例を示す図、（ｂ）は俯瞰映像に変換する前のリアカメラの撮影映像を示す図である。 俯瞰映像に重畳して枠図形が表示された様子を示す図であり、（ａ）は所定の基準位置に所定の方向で枠図形が表示された様子を示す図、（ｂ）は車両乗員の操作に応じて枠図形の表示位置及び方向が変更された様子を示す図である。 表示画面上における枠図形の表示位置及び方向を変更する際の操作手順を説明する模式図である。 俯瞰映像に重畳して目標軌道線及び予想軌道線が表示された様子を示す図であり、（ａ）は目標軌道線と予想軌道線とが重なっていない様子を示す図、（ｂ）は車両乗員のステアリング操作に応じて予想軌道線が目標軌道線に重なった様子を示す図である。 第１の実施形態の駐車支援装置において、表示装置の表示画面に俯瞰映像を表示させる際の画像処理ユニットによる一連の処理の流れを示すフローチャートである。 図７のステップＳ１３における描画処理の流れを示すフローチャートである。 第２の実施形態の駐車支援装置の概略構成を示すブロック図である。 第２の実施形態の駐車支援装置における各車載カメラの設置位置及び各車載カメラにより撮影される被撮影領域を説明する図である。 画像処理ユニットの詳細な内部構成を示すブロック図である。 表示装置に表示される車両周囲俯瞰映像の一表示例を示す図である。 車両周囲俯瞰映像に重畳して第１枠図形が表示された様子を示す図であり、（ａ）は所定の基準位置に所定の方向で第１枠図形が表示された様子を示す図、（ｂ）は車両乗員の操作に応じて第１枠図形の表示位置及び方向が変更された様子を示す図である。 車両周囲俯瞰映像に重畳して複数の推奨駐車開始位置を示す複数の第２枠図形が表示された様子を示す図である。 車両周囲俯瞰映像に重畳して第２目標軌道線及び第２予想軌道線が表示された様子を示す図であり、（ａ）は第２目標軌道線と第２予想軌道線とが重なっていない様子を示す図、（ｂ）は車両乗員のステアリング操作に応じて第２予想軌道線が第２目標軌道線に重なった様子を示す図である。 第２の実施形態の駐車支援装置において、表示装置の表示画面に俯瞰映像を表示させる際の画像処理ユニットによる一連の処理の流れを示すフローチャートである。 図１６のステップＳ２３における描画処理の流れを示すフローチャートである。 第２の実施形態の駐車支援装置の効果を説明する図であり、目標駐車スペースとして指定したい場所に車両を横付けした状態で駐車スペースを指定する操作を行う様子を示す図である。

符号の説明

１ リアカメラ
２ 表示装置
３ 表示切替えスイッチ
４ 操作入力デバイス
５ 車両情報取得装置
１０ 画像処理ユニット
１１ 入力フレームバッファ
１２ 出力フレームバッファ
１３ 視点変換処理部
１４ 枠図形表示位置決定部
１５ 枠図形描画部
１６ 目標駐車スペース特定部
１７ 目標軌道算出部
１８ 目標軌道線描画部
１９ 予想軌道算出部
２０ 予想軌道線描画部
２１ フロントカメラ
２２ リアカメラ
２３ 右サイドカメラ
２４ 左サイドカメラ
３０ 画像処理ユニット
３１ａ，３１ｂ，３１ｃ，３１ｄ 入力フレームバッファ
３２ 出力フレームバッファ
３３ 視点変換処理部
３４ 第１枠図形表示位置決定部
３５ 第１枠図形描画部
３６ 目標駐車スペース特定部
３７ 推奨駐車開始位置算出部
３８ 第２枠図形描画部
３９ 第２目標軌道算出部
４０ 第２目標軌道線描画部
４１ 第２予想軌道算出部
４２ 第２予想軌道線描画部

Claims (14)

1. 車載カメラで撮影された映像を車両上方の仮想視点から見下ろした俯瞰映像に変換して表示装置の表示画面に表示し、運転者が前記車両を目標駐車スペースへと駐車させる際の運転操作を支援する駐車支援装置において、
   前記車両の外形に対応した大きさの枠図形を前記俯瞰映像に重畳して表示させる枠図形重畳表示手段と、
   前記車両の乗員により操作される操作手段と、
   前記操作手段による操作に応じて、前記枠図形の前記表示画面上における表示位置と方向の少なくとも何れか一方を変更する枠図形表示変更手段と、
   前記操作手段による操作に応じて変更された後の前記枠図形の表示位置を前記目標駐車スペースとして特定する目標駐車スペース特定手段とを備えることを特徴とする駐車支援装置。
2. 前記枠図形表示変更手段は、前記操作手段による操作に応じて、前記枠図形を前記表示画面上で回転又は平行移動させることで、前記枠図形の前記表示画面上における表示位置を変更することを特徴とする請求項１に記載の駐車支援装置。
3. 前記車両の現在位置から前記目標駐車スペースまでの目標軌道を算出する目標軌道算出手段と、
   前記目標軌道を表すラインを目標軌道線として前記俯瞰映像に重畳して表示させる目標軌道線重畳表示手段とを備えることを特徴とする請求項１に記載の駐車支援装置。
4. 前記車両の現在のステアリング操作角度と進行方向とに基づいて、前記車両の現在位置からの予想軌道を算出する予想軌道算出手段と、
   前記予想軌道を表すラインを予想軌道線として前記俯瞰映像に重畳して表示させる予想軌道線重畳表示手段とを備えることを特徴とする請求項１に記載の駐車支援装置。
5. 前記車両の現在位置から前記目標駐車スペースまでの目標軌道を算出する目標軌道算出手段と、
   前記目標軌道に沿って車両が移動するように、前記車両のステアリング操作角度を自動調整するステアリング自動調整手段とを備えることを特徴とする請求項１に記載の駐車支援装置。
6. 車載カメラで撮影された映像を車両上方の仮想視点から見下ろした俯瞰映像に変換して表示装置の表示画面に表示し、運転者が前記車両を目標駐車スペースへと駐車させる際の運転操作を支援する駐車支援方法であって、
   前記車両の外形に対応した大きさの枠図形を前記俯瞰映像に重畳して表示させる第１のステップと、
   操作手段を用いた前記車両の乗員による操作を受け付ける第２のステップと、
   前記第２のステップで受け付けた操作に応じて、前記枠図形の前記表示画面上における表示位置と方向の少なくとも何れかを変更する第３のステップと、
   前記第３のステップで変更された後の前記枠図形の表示位置を前記目標駐車スペースとして特定する第４のステップとを有することを特徴とする駐車支援方法。
7. 複数の車載カメラで撮影された車両周囲の映像を車両上方の仮想視点から見下ろした映像に変換すると共に繋ぎ合わせて、１つの連続した車両周囲俯瞰映像として表示装置の表示画面に表示し、運転者が前記車両を目標駐車スペースへと駐車させる際の運転操作を支援する駐車支援装置において、
   前記車両の外形に対応した大きさの枠図形を前記表示画面上における所定の基準位置に前記車両周囲俯瞰映像に重畳して表示させる枠図形重畳表示手段と、
   前記車両の乗員により操作される操作手段と、
   前記操作手段による操作に応じて、前記枠図形の前記表示画面上における表示位置と方向の少なくとも何れか一方を変更する枠図形表示変更手段と、
   前記操作手段による操作に応じて変更された後の前記枠図形の表示位置を前記目標駐車スペースとして特定する目標駐車スペース特定手段とを備えることを特徴とする駐車支援装置。
8. 前記枠図形表示変更手段は、前記操作手段による操作に応じて、前記枠図形を前記表示画面上で回転又は平行移動させることで、前記枠図形の前記表示画面上における表示位置を変更することを特徴とする請求項７に記載の駐車支援装置。
9. 前記車両の最小回転半径に基づいて、前記目標駐車スペースに切り返し操作を行うことなく駐車可能な推奨駐車開始位置を算出する推奨駐車開始位置算出手段と、
   前記推奨駐車開始位置を表す図形を前記車両周囲俯瞰映像に重畳して表示させる推奨駐車開始位置重畳表示手段とを備えることを特徴とする請求項７に記載の駐車支援装置。
10. 前記推奨駐車開始位置算出手段は、前記推奨駐車位置を複数算出し、
    前記推奨駐車開始位置重畳表示手段は、前記複数の推奨駐車位置を表す複数の図形を前記車両周囲俯瞰映像に重畳して表示させることを特徴とする請求項９に記載の駐車支援装置。
11. 前推奨駐車開始位置から前記目標駐車スペースまでの目標軌道を算出する目標軌道算出手段と、
    前記目標軌道算出手段で算出された目標軌道を表すラインを目標軌道線として前記車両周囲俯瞰映像に重畳して表示させる目標軌道線重畳表示手段とを備えることを特徴とする請求項９又は１０に記載の駐車支援装置。
12. 前記車両の現在のステアリング操作角度と進行方向とに基づいて、前記推奨駐車開始位置からの予想軌道を算出する予想軌道算出手段と、
    前記予想軌道算出手段で算出された予想軌道を表すラインを予想軌道線として前記車両周囲俯瞰映像に重畳して表示させる予想軌道線重畳表示手段とを備えることを特徴とする請求項９又は１０に記載の駐車支援装置。
13. 前記推奨駐車開始位置から前記目標駐車スペースまでの目標軌道を算出する目標軌道算出手段と、
    前記目標軌道に沿って車両が移動するように、前記車両のステアリング操作角度を自動調整するステアリング自動調整手段とを備えることを特徴とする請求項７に記載の駐車支援装置。
14. 複数の車載カメラで撮影された車両周囲の映像を車両上方の仮想視点から見下ろした映像に変換すると共に繋ぎ合わせて、１つの連続した車両周囲俯瞰映像として表示装置の表示画面に表示し、運転者が前記車両を目標駐車スペースへと駐車させる際の運転操作を支援する駐車支援方法であって、
    前記車両の外形に対応した大きさの枠図形を前記表示画面上における所定の基準位置に前記車両周囲俯瞰映像に重畳して表示させる第１のステップと、
    操作手段を用いた前記車両の乗員による操作を受け付ける第２のステップと、
    前記第２のステップで受け付けた操作に応じて、前記枠図形の前記表示画面上における表示位置と方向の少なくとも何れかを変更する第３のステップと、
    前記第３のステップで変更された後の前記枠図形の表示位置を前記目標駐車スペースとして特定する第４のステップとを有することを特徴とする駐車支援方法。

Images