JP2007116377A - 駐車支援方法及び駐車支援装置 - Google Patents

Abstract

【課題】的確なタイミングで記録画像データを用いた駐車支援画像を表示することができる駐車支援方法及び駐車支援装置を提供する。
【解決手段】駐車支援装置１は、車両に設けられたカメラ２０から画像データを取得するＣＰＵ２と、取得した前記画像データを、記録画像データ１５として記憶する画像メモリ７と、画像データに基づいて、認識対象物を認識する画像プロセッサ８を備える。画像プロセッサ８は、カメラ２０の死角に対する認識対象物の位置に基づき、カメラの死角を補う駐車支援画像を表示するタイミングを判断する。そして、車両の現在位置で撮像した現在画像データと、カメラ２０の死角領域を撮像した記録画像データ１５とを用いた駐車支援画像を、車両の現在位置を示す指標と合わせてディスプレイ９に表示する。
【選択図】図１

Description

本発明は、駐車支援方法及び駐車支援装置に関する。

従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データに基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパーから後方の背景を撮像するものの、車両のフロア下方周辺、リヤコーナー周辺等は、死角領域となっている。このため、車両が駐車目標領域に進入するに従って、駐車目標領域を区画する白線等が次第に車載カメラの撮像領域外となり、車両と駐車目標領域との相対距離、車輪止めの位置等が画面で把握できず、駐車操作が難しくなる。

この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、蓄積した過去の画像データを、現在の画像データと合成する装置も提案されている（特許文献１参照）。この装置では、現在の車載カメラの死角領域を撮像した画像データを読出し、その画像データを用いて合成画像を出力する。
特開２００３−２４４６８８号公報

ところが、上記の装置では、画像データの蓄積が完了すると、例えば、車両が駐車目標領域に到達していないような初期段階から、合成画像を表示するようになっている。このため、運転者が、車載カメラが現在撮像している後方背景を広い視野角で把握したい場合にも関わらず、合成画像がディスプレイに表示されてしまう可能性がある。このため、運転者が、車載カメラの死角領域を把握したい時に、的確なタイミングで合成画像を表示できる装置が求められている。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、的確なタイミングで記録画像データを用いた駐車支援画像を表示することができる駐車支援方法及び駐車支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両に設けられた撮像装置から取得した画像データを記録画像データとして画像データ記憶手段に蓄積し、蓄積した前記記録画像データを用いて、現在の前記撮像装置の死角を補った駐車支援画像を表示手段に表示する駐車支援方法において、前記車両周辺の認識対象物を認識し、前記撮像装置の死角に対する前記認識対象物の位置に基づき、前記撮像装置の死角を補う駐車支援画像を表示するタイミングを判断することを要旨とする。

請求項２に記載の発明は、車両に搭載された駐車支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、認識対象物を認識する認識手段と、前記撮像装置の死角に対する前記認識対象物の位置に基づき、前記撮像装置の死角を補う駐車支援画像を表示するタイミングを判断する判断手段と、前記判断手段によるタイミングに基づいて、前記車両の現在位置で撮像した現在画像データと、前記画像データ記憶手段に記憶され、前記撮像装置の死角の領域を撮像した記録画像データとを用いた駐
車支援画像を、前記車両の現在位置を示す指標と合わせて表示手段に表示する表示制御手段とを備えたことを要旨とする。

請求項３に記載の発明は、請求項２に記載の駐車支援装置において、前記判断手段は、前記認識対象物の一部又は全部が、前記撮像装置の死角に含まれた際に、前記記録画像データを用いた前記駐車支援画像を表示するタイミングであると判断することを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の駐車支援装置において、前記撮像装置は、前記車両のバンパー上方に設けられ、前記判断手段は、前記認識対象物の一部又は全部が、前記車両のバンパー下方に進入したと判断した場合に、前記駐車支援画像を表示するタイミングであると判断することを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の駐車支援装置において、前記表示制御手段は、前記表示手段の表示領域内で前記認識対象物が移動する方向に、前記撮像装置の死角領域を撮像した前記記録画像データを出力することを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の駐車支援装置において、前記認識対象物は、車輪止め又は駐車目標領域を示す白線であって、前記認識手段は、前記画像データを画像処理して、前記車輪止め又は白線を認識することを要旨とする。

請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の駐車支援装置において、前記認識対象物は、駐車目標領域内又はその周辺に位置する障害物であって、前記認識手段は、前記画像データを画像処理して、前記障害物を認識することを要旨とする。

請求項８に記載の発明は、請求項２〜７のいずれか１項に記載の駐車支援装置において、前記認識手段は、入力操作手段を用いた前記認識対象物を指定する入力操作に基づき、前記認識対象物を認識することを要旨とする。

請求項９に記載の発明は、請求項２〜８のいずれか１項に記載の駐車支援装置において、前記判断手段に基づき、前記駐車支援画像を表示するタイミングでないと判断した場合には、前記車両の現在位置で撮像した前記画像データを前記表示手段に表示することを要旨とする。

請求項１又は２に記載の発明によれば、撮像装置の死角に対する認識対象物の位置に基づいて、撮像装置の死角領域を撮像した記録画像データを用いた駐車支援画像を表示するタイミングを判断するようにした。このため、例えば、撮像装置の撮像範囲内に認識対象物が含まれている場合には、車両の後方背景を表示した画面を出力し、認識対象物が撮像装置の死角に接近又は進入すると、そのタイミングで、駐車支援画像に切替えることができる。即ち、運転者が注視したい認識対象物が死角に入ると、認識対象物が進入した領域を撮像した画像を表示するので、運転者は、撮像装置の撮像範囲に認識対象物が含まれなくなった場合にも、認識対象物の位置を継続して把握することができる。従って、駐車目標領域内で、所望の位置に車両を駐車できる。また、認識対象物を回避、又は車両と認識対象物とが接触する際の衝撃を緩和するように運転できる。

請求項３に記載の発明によれば、判断手段は、認識対象物の一部又は全部が、撮像装置の死角領域に含まれたと判断した際に、記録画像データを用いた駐車支援画像を表示する。このため、例えば、認識対象物が車両の下等に進入して、画像データ内に含まれなくなった際に、記録画像データを出力するので、運転者は、車両とその認識対象物との相対位
置及び相対距離を把握することができる。

請求項４に記載の発明によれば、判断手段は、認識対象物の一部又は全部がバンパーに隠れ、撮像装置の死角に含まれたと判断した場合に、駐車支援画像を表示するタイミングであると判断する。このため、車両が駐車目標領域に向って移動するに従って、認識対象物が、バンパー下方に位置した時点から、駐車支援画像を表示できる。

請求項５に記載の発明によれば、表示制御手段は、フレーム内で認識対象物が移動する方向に、記録画像データを出力する。このため、フレーム内で、認識対象物の一部又は全部が見えなくなっても、認識対象物の移動方向に死角領域の画像が表示されるので、運転者は、路面のどの部分が表示されていることを、理解しやすい。

請求項６に記載の発明によれば、認識手段は、車輪止め又は駐車目標領域終端の白線を認識する。このため、車輪止め、又はその白線が撮像装置の死角に含まれた際に、その死角領域の記録画像データを表示できるので、的確なタイミングで、車輪と車輪止めとの相対位置及び距離、車両後端と白線との相対位置及び距離を把握可能な画像を表示できる。

請求項７に記載の発明によれば、認識手段は、障害物を検出する。このため、例えば障害物が撮像装置の死角に含まれた際に、その死角領域の記録画像データを表示できるので、的確なタイミングで、車体と障害物との相対位置及び距離を把握可能な画像を表示できる。

請求項８に記載の発明によれば、認識手段は、入力操作手段の入力操作に基づき、認識対象物を認識する。このため、運転者が、車体との相対位置を注視したい認識対象物のみを認識することができる。

請求項９に記載の発明によれば、判断手段が、駐車支援画像を表示するタイミングではないと判断した場合には、現在の画像データのみを表示手段に表示する。このため、認識対象物が、撮像装置の撮像範囲内に含まれている間は、広い視界で、車両周辺の背景を表示手段にて見ることができる。

以下、本発明を具体化した一実施形態を図１〜図１３に従って説明する。図１に示すように、車両Ｃに搭載された駐車支援装置１は、画像データ取得手段としてのＣＰＵ２を備えている。このＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、車速センサ２１及びジャイロ２２から、それぞれ車速パルス及び方位検出信号を入力する。また、ＣＰＵ２は、この車速パルス及び方位検出信号に基づいて、車両Ｃの基準位置からの相対座標を算出する。

また、ＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、車両Ｃのイグニッションスイッチ２３から、イグニッションシステム（図示せず）のオン信号及びオフ信号を入力する。ＣＰＵ２は、イグニッションスイッチ２３からオン信号を入力すると、駐車支援装置１を起動するようになっている。また、オフ信号を入力すると、起動状態にある駐車支援装置１を、イグニッションスイッチ２３からのオン信号を待機するスリープ状態にする。さらに、ＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、ニュートラルスタートスイッチ２４から、現在の車両Ｃのシフトポジションを示すシフトポジション信号を入力するようになっている。ＣＰＵ２は、このシフトポジション信号に基づいて、ＲＡＭ３に格納された変数であるシフトポジションを更新する。

また、ＣＰＵ２は、イグニッションスイッチ２３からオン信号を入力すると、車両Ｃに設けられた撮像装置としてのカメラ２０を起動する。そして、所定のタイミングで車両Ｃ
の後方背景を撮像した画像データＧを取得するようになっている。図２（ａ）及び（ｂ）に示すように、カメラ２０は、車両Ｃのうち、車幅方向（車両座標系のＹ軸方向）の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ２０は、カラー画像を撮像し、アナログ／デジタル変換された画像データＧを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子と（いずれも図示せず）を備えている。カメラ２０は、例えば左右１４０度の後方視野を有し、車両Ｃのリヤバンパー２５の一部を含む、後方路面の約数メートルを撮像範囲Ｚとしている。

ＣＰＵ２は、取得した画像データＧを、所定のタイミングで、図３に示すように撮像位置を示す位置データ１６と関連付けて、記録画像データ１５として画像データ記憶手段としての画像メモリ７に蓄積する。記録画像データ１５は、車両Ｃ後方の路面に標示された駐車目標領域１０２を区画する白線１０３や、車輪止め１０１（いずれも図２参照）を撮像したデータを含んでいる。

また、図１に示すように、駐車支援装置１のＲＯＭ４には、輪郭描画データ５が格納されている。輪郭描画データ５は、駐車支援装置１を実装した、図２に示す車両Ｃの輪郭を描画するためのデータである。駐車支援モードの際に、輪郭描画データ５を、ディスプレイ９に出力すると、図４に示すような、指標としての補助線３５がディスプレイ９の表示領域９ｚに表示される。補助線３５は、車体リヤ部外郭を示す外郭描画線３６と、各後車輪ＣＲ（図２参照）の位置を示す車輪描画線３７とを有している。外郭描画線３６及び車輪描画線３７は、後車輪ＣＲの中心点を視点として、その視点からのリヤ部及び後車輪ＣＲの位置を示した仮想線である。

また、図１に示す認識手段、判断手段及び表示制御手段としての画像プロセッサ８は、カメラ２０が撮像した画像データＧに対し、画像処理を行う。具体的には、画像プロセッサ８は、画像データＧに基づいて、車両Ｃの後方にある認識対象物を検出する。尚、本実施形態では、認識対象物は、車両Ｃの後方の車輪止め１０１、駐車目標領域１０２を区画する白線１０３（図２参照）、障害物１０４である。

例えば、図５（ａ）及び（ｂ）に示すように、画像プロセッサ８は、画像データＧに対してエッジ検出を行う。そして、画像プロセッサ８が有する図示しないパターン情報に基づき、検出されたエッジＥＧの中で、認識対象物に相当するエッジＥＧを探索する。また、このとき、さらに特徴点を抽出してもよい。画像プロセッサ８の有するパターン情報は、車輪止め１０１に相当する画像部分をエッジ検出したときに表われる特徴量を示すデータ、又は車輪止め１０１の形状のテンプレートである。画像プロセッサ８は、検出されたエッジＥＧと、パターン情報とに基づいて、画像データＧのうち、車輪止め１０１と認識されるエッジＥＧがあるか否かを判断する。尚、カメラ２０のレンズが広角であるため、実際の画像データＧには歪曲収差が生じているが、便宜上、画像の歪みの図示を省略する。

また、画像プロセッサ８が白線１０３を認識するときは、同様に、図５（ａ）に示すように、画像データＧに基づいて、白線１０３の画像のエッジＥＧを検出する。そして、検出したエッジＥＧの特徴量に基づき、そのエッジＥＧが白線１０３を検出したエッジであるか否かを判断する。

さらに、画像プロセッサ８は、画像データＧに基づき、路面上の大きな石、路面に落ちた缶、ゴミ等の路面上の障害物１０４を検出する。このとき、図６（ａ）に示すように、画像プロセッサ８は、画像データＧをエッジ検出して、まとまったエッジ、円形、矩形等の所定の形状のエッジを、障害物１０４のエッジＥＧであると判断する。

さらに、画像プロセッサ８は、認識した車輪止め１０１、白線１０３、及び障害物１０４のエッジＥＧを、車両Ｃの移動に伴い、追跡する。このとき、例えば、画像プロセッサ８は、図５（ａ）に示すように、検出した各車輪止め１０１のエッジＥＧを含む小領域Ａ１，Ａ２の画素座標を一時記憶する。そして、ＣＰＵ２から新たに撮像された画像データＧを入力する。さらに、ＣＰＵ２が入力した車速パルスに基づき、車両Ｃの移動方向及び移動量に応じて、先に入力した画像データＧ内の小領域Ａ１，Ａ２が、新たに入力した画像データＧのどの座標に移動したかを推測する。さらに、図５（ｂ）に示すように、移動先の小領域Ａ１，Ａ２領域内及びその周辺で、予め検出した車輪止め１０１のエッジＥＧとの差分が最小となるエッジＥＧを探索する。又は、表示領域９ｚの全域に対して、車輪止め１０１のエッジＥＧと類似するエッジＥＧを探索するようにしてもよい。

また、画像プロセッサ８は、ＣＰＵ２を介して画像データＧを入力する度に、その画像データＧに基づき、認識対象物に相当するエッジＥＧと、画像データＧ内の車両後端領域ＢＡとの相対位置を算出する。車両後端領域ＢＡとは、車両Ｃのリヤバンパー２５を撮像した車両後端画像ＲＢが撮像された領域である。このとき、カメラ２０の位置及び光軸は固定であって、カメラ２０とリヤバンパー２５との相対位置は常に一定であるため、車両後端領域ＢＡの座標は予め算出することができる。

そして、画像プロセッサ８は、車輪止め１０１等の認識対象物に相当するエッジＥＧを追跡しながら、そのエッジＥＧが、車両後端領域ＢＡに完全に進入するタイミングを待つ。図５（ａ）に示すように、車輪止め１０１がカメラ２０の撮像範囲Ｚに含まれている場合には、画像プロセッサ８は、その画像データＧをそのままディスプレイ９に出力する。さらに、その画像データＧに、図７に示すようなガイド線４１を画像データＧに重畳する。ガイド線４１は、車両Ｃの舵角に応じて描画される予想軌跡線４２と、車幅を後方に延長した車幅延長線４３とを有している。

そして、車両Ｃが駐車目標領域１０２に進入して、図２（ｂ）に示すように、リヤ部の下方に車輪止め１０１が位置する状態になると、カメラ２０の撮像範囲Ｚに車輪止め１０１が含まれなくなる。即ち、図５（ｃ）に示すように、車両後端領域ＢＡに車輪止め１０１に相当するエッジＥＧが完全に進入すると、その時点で、画像プロセッサ８は、予め蓄積した記録画像データ１５を用いた画像をディスプレイ９に表示するタイミングであると判断する。このとき画像プロセッサ８が用いる記録画像データ１５は、現在のカメラ２０の死角領域を撮像したデータである。

同様に、画像プロセッサ８は、白線１０３、及び障害物１０４のエッジＥＧも、車両Ｃの移動に伴い追跡する。白線１０３のエッジＥＧを追跡する場合には、白線１０３のうち、車両Ｃの後退方向と略直交する、駐車目標領域１０２の終端の白線１０３ａ（図２（ａ）参照）を追跡する。そして、白線１０３ａに相当するエッジＥＧが、車両後端領域ＢＡに完全に進入したタイミングで、記録画像データ１５を用いた画像をディスプレイ９に出力する。

障害物１０４を追跡する場合には、図６（ｂ）に示すように、障害物１０４に相当するエッジＥＧが、車両後端領域ＢＡに完全に進入したタイミングで、記録画像データ１５を用いた画像をディスプレイ９に出力する。尚、画像プロセッサ８が、車輪止め１０１、白線１０３ａ、及び障害物１０４のうち、複数の認識対象物のエッジＥＧを検出した場合には、いずれか一つに相当するエッジＥＧが車両後端領域ＢＡに完全に進入したタイミングで、記録画像データ１５を用いた画像をディスプレイ９に表示する。

また、駐車支援装置１に接続されたディスプレイ９は、タッチパネルであって、タッチパネルが入力操作されると、ＣＰＵ２は、駐車支援装置１の外部入力Ｉ／Ｆ部１１（図１
参照）を介して、入力操作に応じた所定の信号を入力する。また、ＣＰＵ２は、ディスプレイ９に隣設された入力操作手段としての操作スイッチ１０が入力操作されたときにも、外部入力Ｉ／Ｆ部１１を介して、入力操作に応じた所定の信号を入力する。さらに、駐車支援装置１は、音声プロセッサ１２を備え、警告、案内が必要な場合に、駐車支援装置１に接続されたスピーカ１３から警告音、案内音を出力する。

次に、本実施形態の処理手順について、図８に従って説明する。図８に示すように、ステップＳ１−１において、駐車支援装置１のＣＰＵ２は、イグニッションスイッチ２３からのオン信号の入力を待ち、イグニッションシステムが起動したか否かを判断する（ステップＳ１−１）。イグニッションスイッチ２３からオン信号を入力した場合には（ステップＳ１−１においてＹＥＳ）、ＲＡＭ３に記憶された起動フラグを、オン状態を示す「１」に設定する。次に、ＣＰＵ２は、ニュートラルスタートスイッチ２４からのシフトポジション信号に基づき、現在の車両Ｃのシフトポジションがリバースであるか否かを判断する（ステップＳ１−２）。シフトポジションがリバース以外である場合には（ステップＳ１−２においてＮＯ）、ＲＡＭ３に格納された変数であるシフトポジションを、そのポジションに応じた値に設定して、ステップＳ１−１に戻る。シフトポジションがリバースである場合には（ステップＳ１−２においてＹＥＳ）、ＲＡＭ３に格納されたシフトポジションを、「リバース」に変更する。また、シフトポジションがリバースに切替えられた地点を初期位置とする。

シフトポジションがリバースに変更されると、ＣＰＵ２は、カメラ２０を制御して、初期位置で撮像された画像データＧを取得する（ステップＳ１−３）。そして、初期位置を示す位置データ１６と、その画像データＧとを関連付けて、記録画像データ１５として画像メモリ７に記憶する（ステップＳ１−４）。

初期位置で撮像した記録画像データ１５を記憶すると、ＣＰＵ２は、車速センサ２１から車速パルスを入力する（ステップＳ１−５）。そして、その入力パルス数に応じて、ＲＡＭ３に格納された距離カウンタを更新する。距離カウンタは、入力パルス数を累積するカウンタであって、カウンタの値である累積パルス数Ｃ１に入力パルス数が加算される。

そして、ＣＰＵ２は、その累積パルス数Ｃ１が、所定距離に相当するパルス数であるか否かを判断して、車両Ｃが所定距離後退したか否かを判断する（ステップＳ１−６）。本実施形態では、この所定距離は、２００ｍｍに設定されている。ステップＳ１−４において、ＣＰＵ２が所定距離（２００ｍｍ）後退していないと判断すると、ステップＳ１−３に戻り、車両Ｃの後退に伴い距離カウンタを更新しながら、車両Ｃが所定距離（２００ｍｍ）後退するのを待つ。

ステップＳ１−６において、ＣＰＵ２が、車両Ｃの後退距離が、所定距離（２００ｍｍ）に到達したと判断すると、ＣＰＵ２は、カメラ２０を制御して、画像データＧを取得する（ステップＳ１−７）。そして、車速パルス及び方位検出信号に基づいて、シフトポジションをリバースにした初期位置を基準とした相対座標を算出し、その相対座標を位置データ１６として取得した画像データＧと関連付ける。さらに、その画像データＧを記録画像データ１５として画像メモリ７に記憶する（ステップＳ１−８）。また、記録画像データ１５を画像メモリ７に記憶すると、ＣＰＵ２は、距離カウンタの累積パルス数Ｃ１を初期値「０」にリセットする（ステップＳ１−９）。

さらに、ＣＰＵ２は、画像プロセッサ８を制御して、ステップＳ１−５で取得した画像データＧに基づき、上記したように、認識対象物の認識処理を行う（ステップＳ１−１０）。即ち、画像データＧに対してエッジ検出処理を行い、検出されたエッジＥＧのうち、上記したパターン情報に基づき、認識対象物と認識できるエッジＥＧを探索する。そして
、車輪止め１０１、白線１０３ａ、障害物１０４のいずれか一つが認識できたか否かを判断する（ステップＳ１−１１）。認識できなかったと判断した場合には（ステップＳ１−１１においてＮＯ）、ステップＳ１−１４に進み、終了トリガを入力したか否かを判断する。終了トリガは、本実施形態では、ニュートラルスタートスイッチ２４から出力された、リバース以外のポジションのシフトポジションを示す信号である。終了トリガを入力しないと判断すると（ステップＳ１−１４においてＮＯ）、ステップＳ１−５に戻る。

車輪止め１０１、白線１０３ａ、障害物１０４のいずれか一つが認識できたと判断した場合には（ステップＳ１−１１においてＹＥＳ）、その認識対象物が、リヤバンパー２５下方に進入したか否かを判断する（ステップＳ１−１２）。このとき、画像プロセッサ８は、認識対象物のエッジＥＧが、車両後端領域ＢＡに完全に進入したか否かを判断する。そして、図５（ｃ）及び図６（ｂ）に示すように、車輪止め１０１に相当するエッジＥＧ又は障害物１０４に相当するエッジＥＧが車両後端領域ＢＡに完全に進入し、ディスプレイ９の表示領域９ｚに表示されていないと判断した場合には（ステップＳ１−１２においてＹＥＳ）、ＣＰＵ２に所定の割り込み信号を出力する（ステップＳ１−１３）。この割り込み信号は、画像の表示モードを、記録画像データ１５を用いた画像の表示モードに変更するための信号である。図５（ａ），（ｂ）及び図６（ａ）に示すように、認識対象物のエッジＥＧが、車両後端領域ＢＡに進入していない場合には（ステップＳ１−１２においてＮＯ）、ステップＳ１−１４に進む。

次に、ディスプレイ９に画面を表示するための処理について、図９に従って説明する。図９の処理は、上記した処理（ステップＳ１−１〜Ｓ１−１４）と並行して行われる。まず、駐車支援装置１のＣＰＵ２は、イグニッションスイッチ２３からオン信号を入力し（ステップＳ２−１においてＹＥＳ）、シフトポジションがリバースと判断すると（ステップＳ２−２においてＹＥＳ）、バックモニタ画面を表示するか否かを判断する（ステップＳ２−３）。このとき、ＣＰＵ２は、上記した割り込み信号の入力の有無を判断する。割り込み信号の入力が無い場合には、バックモニタ画面を表示すると判断し（ステップＳ２−３においてＹＥＳ）、ステップＳ２−４に進む。割り込み信号を入力した場合には、記録画像データ１５を用いた画面を表示するための、図１０に示すステップＳ３−１に進む。即ち、画像プロセッサ８が、認識対象物が車両Ｃの下方に進入していないと判断し、割り込み信号を出力しない場合には、バックモニタ画面の表示処理に進む。一方、画像プロセッサ８が、認識対象物が車両Ｃの下方に進入したと判断し、ステップＳ１−１３において割り込み信号を出力した場合には、記録画像データ１５を用いた画像の表示処理に進む。

ステップＳ２−３において、バックモニタ画面を表示すると判断すると、ＣＰＵ２は、カメラ２０を制御して、画像データＧを取得する（ステップＳ２−４）。画像データＧは、３０フレーム毎秒の割合で取得される。画像データＧを取得すると、画像プロセッサ８は、入力した画像データＧ及び各種描画データをディスプレイ９に出力して、図１１（ａ）に示すようなバックモニタ画面３８を表示する（ステップＳ２−５）。図１１（ａ）に示すように、バックモニタ画面３８には、現在の画像データＧに基づく、後方背景３９と車両後端画像ＲＢとが表示されている。また、画像プロセッサ８は、後方背景３９に、ガイド線４１を重畳する。ここでは、車幅延長線４３に予想軌跡線４２が重ねられている。

画像プロセッサ８がバックモニタ画面３８を表示すると、ＣＰＵ２は、上記した終了トリガを入力したか否かを判断する（ステップＳ２−６）。終了トリガを入力しないと判断すると（ステップＳ２−６においてＮＯ）、ステップＳ２−２に戻り、バックモニタ画面３８を更新しながら、割り込み信号、終了トリガの入力を待つ。

そして、車両Ｃが駐車目標領域１０２に進入するに従い、車輪止め１０１は、後車輪Ｃ
Ｒに接近する。そして、画像プロセッサ８は、車両Ｃが所定距離（２００ｍｍ）後退する度に取得した各画像データＧに対して、エッジ検出をそれぞれ行い、認識対象物に相当するエッジＥＧを車両Ｃの移動に伴い追跡する。そして、ステップＳ１−１２において、追跡対象のエッジＥＧが車両後端領域ＢＡに完全に進入したか否かを判断する。例えば、車両Ｃが後退するにつれて、ディスプレイ９に表示されるバックモニタ画面３８は、図１１（ａ）のようなバックモニタ画面３８から、図１１（ｂ）に示すようなバックモニタ画面３８に遷移する。即ち、車両Ｃが後退するにつれて、車輪止め１０１（又は、白線１０３ａ、障害物１０４）に相当する画像４５が、車両後端画像ＲＢに接近していく。そして、図１１（ｂ）のように車輪止め１０１に相当する画像４５の一部が車両後端画像ＲＢに隠れた状態では、ＣＰＵ２は、割り込み信号は出力しない。

車両Ｃの後退に伴い、車輪止め１０１が完全にリヤバンパー２５の下方に進入し、図１１（ｃ）に示すように、車輪止め１０１に相当するエッジＥＧが、車両後端領域ＢＡ及びカメラ２０の死角に完全に進入すると、ステップＳ１−１３において、画像プロセッサ８は、ＣＰＵ２に割り込み信号を出力する。ＣＰＵ２は、ステップＳ２−３において割り込み信号を入力すると、ステップＳ３−１に進む。

図１０に示すように、ステップＳ３−１では、ＣＰＵ２の制御により、画像プロセッサ８が、所定の記録画像データ１５が蓄積されているか否かを判断する。ここでは、画像プロセッサ８は、車両Ｃの現在位置から、進行方向（後退方向）において、所定距離（８００ｍｍ）だけ後方の位置データ１６が関連付けられた記録画像データ１５を検索する。

所定の記録画像データ１５が記憶されていないと判断すると（ステップＳ３−１においてＮＯ）、ステップＳ２−４に進み、バックモニタ画面３８を表示する。所定の記録画像データ１５が記憶されていると判断すると（ステップＳ３−１においてＹＥＳ）、その記録画像データ１５を画像メモリ７から読出す（ステップＳ３−２）。このとき、例えば、図１２（ａ）の画像４６ａに模式的に示すような、記録画像データ１５が読出される。即ち、読出された画像データＧは、現在の位置（車輪止め１０１が車体下方にある位置）よりも、進行方向後方で過去に撮像されたデータである。また、この読出された記録画像データ１５は、車両Ｃのそのときの位置（現在位置）では、カメラ２０の死角になっている領域を撮像したデータである。より具体的には、記録画像データ１５は、現在の車体のフロア下方の領域であって、ほぼ現在の車両Ｃのリヤバンパー２５から後車輪ＣＲの中心軸までの領域に相当する路面を撮像している。

記録画像データ１５を読出すと、画像プロセッサ８は、ＣＰＵ２を介して、車両Ｃの現在位置で撮像された現在画像データ１８を取得する（ステップＳ３−３）。このとき、例えば、図１２（ｂ）の画像４６ｂに模式的に示すような、現在画像データ１８が取得される。さらに、画像プロセッサ８は、取得した記録画像データ１５又は現在画像データ１８に対して、補正等の画像処理を行う（ステップＳ３−４）。この画像処理とは、例えば、カメラ２０の広角レンズに起因する歪曲収差の補正、記録画像データ１５の視点変換等である。ここでは、歪曲収差の補正のみを行う。尚、このとき、ジャイロ２２から入力した方位検出信号又は図示しないステアリングセンサから入力した舵角検出信号に基づき、記録画像データ１５を、現在の車両Ｃの方位又は舵角に合わせて回転変換するようにしてもよい。

画像処理を行うと、画像プロセッサ８は、駐車支援画像を出力する（ステップＳ３−５）。このとき、画像プロセッサ８は、図１２（ａ）に示すように、読出した記録画像データ１５のうち、表示領域９ｚ内の所定の抽出領域４７を抽出して、抽出データ１５ａを生成する。本実施形態では、この抽出領域４７は、表示領域９ｚのうち下方に設定された矩形状の領域である。さらに、図１２（ｂ）に示すように、現在画像データ１８のうち、そ
の座標が予め定められた抽出領域４９を抽出して、現在抽出データ１８ａを生成する。抽出領域４９は、表示領域９ｚのうち下方に設定された、矩形状の領域である。そして、図１２（ｃ）の画像４８に示すように、記録画像データ１５から抽出した抽出データ１５ａを表示領域９ｚの下方に、現在抽出データ１８ａを表示領域９ｚの上方に並べて配置し、合成データ５０を生成する。そして、この合成データ５０を、各種描画データと合わせて、ディスプレイ９に出力する。

その結果、図１１（ｄ）に示す駐車支援画像５１がディスプレイ９に表示される。駐車支援画像５１には、現在画像データ１８に基づく現在画像５２と、記録画像データ１５に基づく死角補完画像５３とが上下に並べて表示されている。現在画像５２は、現在の車両Ｃ後方の背景を表示している。死角補完画像５３は、カメラ２０の死角領域を補完する画像であって、現在の車両Ｃのリヤバンパー２９から後車輪ＣＲ中心までの位置に相当する路面を表示している。

また、画像プロセッサ８により、現在画像５２と死角補完画像５３との間には、帯状の案内表示５４が表示されている。案内表示５４は、現在画像５２と死角補完画像５３とを区画するとともに、車両周辺の目視を促す案内を表示している。また、案内表示５４には、モードを手動で変更するための操作部５５、現在画像５２に上記したガイド線４１を重畳するための操作部５６が表示されている。操作部５５を操作すると、駐車支援画像５１を表示するモードから、バックモニタ画面３８を表示するモードに遷移する。ガイド線４１を描画するための操作部５６を操作すると、現在画像５２上に、上記したガイド線４１を重畳する。

さらに、死角補完画像５３には、画像プロセッサ８により、現在の車両Ｃの位置に応じて、補助線３５が重畳されている。例えば、運転者は、外郭描画線３６と死角補完画像５３に表示された白線１０３の画像５９との相対位置に基づき、車体が白線１０３に対して真っ直ぐになっているか否か、車体が白線１０３からはみ出しているか否かを判断できる。

即ち、カメラ２０の撮像範囲Ｚ内に認識対象物が含まれている場合には、車両Ｃ後方の視野範囲を狭めることなく後方背景を表示するので、認識対象物の位置及びその周辺状況を把握できる。そして、運転者が注視したい認識対象物が死角に入ると、認識対象物が進入した領域を表示した駐車支援画像５１を表示する。

駐車支援画像５１を出力すると、ＣＰＵ２は、終了トリガの入力の有無を判断する（ステップＳ３−６）。終了トリガを入力した場合には（ステップＳ３−６においてＹＥＳ）、処理を終了する。終了トリガを入力しない場合には（ステップＳ３−６においてＮＯ）、ステップＳ２−２に戻る。

そして、車輪止め１０１等の認識対象物が車両Ｃのリヤ部の下方にある位置からさらに後退すると、図１３に示すように、死角補完画像５３に、車輪止め１０１の画像４５が表示され、車輪描画線３７と車輪止め１０１の画像４５との相対位置が把握可能になる。このため、認識対象物がカメラ２０の死角になっても、その認識対象物が進入した死角領域を撮像した記録画像データ１５を出力するので、認識対象物の位置を継続して把握することができる。運転者は、この画像４５と、補助線３５の車輪描画線３７との相対位置に基づいて、後車輪ＣＲが車輪止め１０１に接触するタイミングを予測することができるので、後車輪ＣＲが車輪止め１０１の適切な位置に当接した状態で駐車させることができる。また、減速する等して、後車輪ＣＲと車輪止め１０１との接触による衝撃を緩和することができる。

さらに、図１３に示すように、白線１０３ａの画像５９が死角補完画像５３に表示されているときには、後車輪ＣＲと白線１０３ａとの相対距離が判るので、駐車目標領域１０２から車体が突出しないように車両Ｃを駐車させることができる。

また、障害物１０４が、車輪止め１０１や白線１０３ａよりも後退方向において手前にあった場合や、車輪止め１０１及び白線１０３ａを検出せず、障害物１０４のみを検出した場合、画像プロセッサ８は、障害物１０４のエッジＥＧを追跡しながら、そのエッジＥＧが車両後端領域ＢＡに含まれるか否かを判断する。図１４（ａ），（ｂ）に示すように、障害物１０４の画像５７が、車両後端領域ＢＡに完全に進入していない場合には、画像プロセッサ８は、図１４（ａ），（ｂ）のようなバックモニタ画面３８を表示する。そして、図１４（ｃ）に示すように、障害物１０４の画像５７（エッジＥＧ）が、完全に車両後端領域ＢＡに含まれると、そのタイミングで、画像プロセッサ８は、駐車支援画像５１を表示する。そして、車両Ｃがさらに後退すると、図１４（ｄ）に示すような駐車支援画像５１を表示する。この死角補完画像５３には、障害物１０４の画像５７が表示されている。このため、車輪描画線３７と、障害物１０４の画像５７との相対位置を把握することができるので、後車輪ＣＲが障害物１０４と接触しないように車両Ｃを後退させることができる。

そして、駐車操作が完了し、シフトポジションがリバース以外のポジションになると、ＣＰＵ２は、ニュートラルスタートスイッチ２４から入力したシフトポジション信号に基づき、終了トリガを入力したと判断して、バックモニタ画面３８及び駐車支援画像５１を表示するための処理を終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、駐車支援装置１は、ＣＰＵ２により車両Ｃに設けられたカメラ２０から画像データＧを取得するようにした。そして、取得した画像データＧを、記録画像データ１５として記憶する画像メモリ７と、画像データＧに基づいて、認識対象物を認識する画像プロセッサ８とを備えるようにした。また、画像プロセッサ８は、認識対象物と、車両後端領域ＢＡとの相対位置に基づいて、駐車支援画像５１を表示するタイミングを判断するようにした。このため、カメラ２０の撮像範囲Ｚ内に認識対象物が含まれている場合には、車両Ｃ後方の視野範囲を狭めることなく、後方背景を表示したバックモニタ画面３８を出力することができる。従って、運転者は、バックモニタ画面３８に基づき、認識対象物の位置及び車両Ｃの現在の周辺状況を把握できる。そして、認識対象物がバンパー下方に進入し、カメラ２０の死角になると、そのタイミングで、駐車支援画像５１に切替えるようにした。即ち、運転者が注視したい認識対象物が死角に入ると、認識対象物が進入した領域を撮像した記録画像データ１５を表示するので、継続して、認識対象物の位置を把握することができる。また、駐車支援画像５１には、現在画像データ１８に基づく現在画像５２も表示するので、車両Ｃの周辺状況も確認することができる。

（２）上記実施形態では、画像プロセッサ８は、認識対象物に相当するエッジＥＧが車両後端領域ＢＡに全て進入したと判断した際に、駐車支援画像５１を表示するようにした。このため、カメラ２０の撮像範囲Ｚに、認識対象物の少なくとも一部が含まれている場合は、バックモニタ画面３８を表示するので、車両Ｃの後端と認識対象物との相対位置、及び現在の周辺状況を広い視野角で確認できる。

（３）上記実施形態では、現在画像５２及び死角補完画像５３を、表示領域９ｚのうち、車両Ｃの後退方向（画面座標系でｘ軸方向）において上下に並べ、死角補完画像５３を、車両Ｃの後退方向と反対側の方向に配置するようにした。即ち、車両Ｃの後退に伴い、認識対象物が表示領域９ｚ内で移動する方向（反ｘ軸方向）に、死角補完画像５３を表示するようにした。このため、表示領域９ｚ内で認識対象物が表示されなくなっても、認識
対象物の移動方向に死角補完画像５３を表示するので、死角補完画像５３が、どの領域に相当する画像であるのかを直感的に理解することができる。

（４）上記実施形態では、画像プロセッサ８は、車輪止め１０１、又は駐車目標領域１０２の終端を示す白線１０３ａを画像処理により自動的に検出するようにした。このため、運転者による認識対象物を指定する手動操作が必要なく、利便性を向上できる。

（５）上記実施形態では、画像プロセッサ８は、路面上の空き缶、石等の障害物１０４を検出するようにした。また、障害物１０４が車体下方に進入した際に、駐車支援画像５１を表示するようにした。このため、的確なタイミングで、後車輪ＣＲと障害物１０４との相対位置及び距離、車体後端と白線１０３ａとの相対位置及び距離を把握可能な駐車支援画像５１を表示できる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、駐車支援装置１のＣＰＵ２は、車両Ｃが所定距離だけ後退する度に、記録画像データ１５として記憶するための画像データＧを取得するようにしたが、所定時間毎でもよい。

・上記実施形態では、画像プロセッサ８は、障害物１０４が静止物体であるか移動体であるかを判別するようにしてもよい。この判断処理は、例えば、異なる時点で撮像した画像データＧの差分を検出することにより行うことができる。そして、画像プロセッサ８が移動体であると判断した場合には、駐車支援画像５１を表示するモードに遷移しなくてもよい。

・上記実施形態では、認識対象物に相当するエッジＥＧが、車両後端領域ＢＡに完全に進入した場合に、駐車支援画像５１を表示するようにしたが、これ以外のタイミングでもよい。例えば、図１１（ｂ）に示すように、車輪止め１０１等の認識対象物の画像４５（エッジＥＧ）の一部が、車両後端領域ＢＡに進入したタイミングで、駐車支援画像５１を表示するようにしてもよい。又は、認識対象物の画像４５（エッジＥＧ）と、車両後端領域ＢＡとの相対距離が、画面座標系において所定の長さになったとき、駐車支援画像５１を表示するタイミングであると判断してもよい。

・上記実施形態では、車輪止め１０１等の認識対象物の画像（エッジＥＧ）が車両後端領域ＢＡに進入したときを、駐車支援画像５１を表示するタイミングであると判断するようにした。これ以外に、認識対象物の画像が、車両後端領域ＢＡ以外の位置において、カメラ２０の死角となったときに駐車支援画像５１を表示してもよい。例えば、車両Ｃが後退しながら操舵されることによって、認識対象物の画像（エッジＥＧ）が、表示領域９ｚの側端に向って移動し、側端から表示領域９ｚ外に退出したとき、駐車支援画像５１を表示してもよい。そして、駐車支援画像５１に、その認識対象物を撮像した死角補完画像を用いてもよい。

・上記実施形態では、画像プロセッサ８は、車輪止め１０１、白線１０３ａ、障害物１０４を検出するようにしたが、これ以外の物を検出するようにしてもよい。例えば、駐車目標領域１０２周辺に立設された壁、ガードレール、路面又は路側に設置されたコーン、フェンス、バリケード等、駐車目標領域１０２の終端、側端の位置を示す物を検出してもよい。

・上記実施形態では、画像プロセッサ８は、駐車目標領域１０２の終端を示す車輪止め１０１、白線１０３ａが死角に進入したときに、駐車支援画像５１を表示するようにしたが、終端の白線１０３ａ以外の白線がカメラ２０の死角に進入したときに駐車支援画像５
１を表示するようにしてもよい。例えば、駐車目標領域１０２の側端を示す白線１０３、略コの字状の駐車枠の開口端である白線１０３の始端がカメラ２０の死角となったときに、駐車支援画像５１を表示するようにしてもよい。

・上記実施形態では、画像プロセッサ８が、車輪止め１０１等の認識対象物を認識し、この認識対象物が車両後端領域ＢＡに完全に進入したタイミングで、駐車支援画像５１に切替えるようにした。これ以外に、認識対象物を、ユーザがディスプレイ９上で手動で指定するようにしてもよい。具体的には、図１５の画面６０に示すように、ユーザが、ディスプレイ９（タッチパネル）上で、点を指定するとともに、さらに操作部６２を操作する等して、その指定した各点を頂点とした、三角形状、矩形状、多角形状の小領域６１を設定する。又は、１点を指定して、その１点を中心とした円状の小領域６１を設定してもよい。さらに、その小領域６１を、車両Ｃの車速パルス及び方位に基づいて、車両Ｃの後退に伴い、追跡する。そして、小領域６１が、車両後端領域ＢＡに完全に進入したタイミングで、駐車支援画像５１を表示する。このようにすると、ユーザが追跡したい認識対象物のみを指定することができる。

・上記実施形態では、現在画像５２と死角補完画像５３とを、表示領域９ｚにおいて上下に並べるようにしたが、図１６の画像６６に示すように、現在画像５２と死角補完画像５３とを左右に並べるようにしてもよい。

本発明の駐車支援装置のブロック図。 （ａ）は駐車目標領域への進入時、（ｂ）は駐車終了時を示す説明図。 記録画像データの説明図。 補助線の説明図。 （ａ）及び（ｂ）は、車輪止めが撮像されている画像データに対するエッジ検出、（ｃ）は車輪止めが死角に進入したときの画像データの説明図。 （ａ）は障害物が撮像されている画像データに対するエッジ検出、（ｂ）は障害物が死角に進入したときの画像データの説明図。 ガイド線の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 画像の遷移を説明する説明図であって、(ａ)〜（ｃ）は駐車支援画像への遷移前のバックモニタ画面の説明図、（ｄ）は駐車支援画像の説明図。 (ａ)は記録画像データ、（ｂ）は現在画像データ、（ｃ）は合成データの説明図。 駐車支援画像の説明図。 画像の遷移を説明する説明図であって、(ａ)〜（ｃ）は駐車支援画像への遷移前のバックモニタ画面の説明図、（ｄ）は駐車支援画像の説明図。 別例の画面の説明図。 別例の駐車支援画像の説明図。

符号の説明

１…駐車支援装置、２…画像データ取得手段としてのＣＰＵ、７…画像データ記憶手段としての画像メモリ、８…認識手段、判断手段及び表示制御手段としての画像プロセッサ、９…表示手段及び入力操作手段としてのディスプレイ、９ｚ…表示領域、１０…入力操作手段としての操作スイッチ、１５…記録画像データ、１８…現在画像データ、２０…撮像装置としてのカメラ、２５…リヤバンパー、３５…指標としての補助線、５１…駐車支援画像、１０１…認識対象物としての車輪止め、１０２…駐車目標領域、１０３，１０３
ａ…認識対象物としての白線、１０４…認識対象物としての障害物、Ｃ…車両、Ｇ…画像データ、Ｚ…撮像範囲。

Claims (9)

1. 車両に設けられた撮像装置から取得した画像データを記録画像データとして画像データ記憶手段に蓄積し、蓄積した前記記録画像データを用いて、現在の前記撮像装置の死角を補った駐車支援画像を表示手段に表示する駐車支援方法において、
   前記画像データに基づいて、認識対象物を認識し、前記撮像装置の死角に対する前記認識対象物の位置に基づき、前記撮像装置の死角を補う駐車支援画像を表示するタイミングを判断することを特徴とする駐車支援方法。
2. 車両に搭載された駐車支援装置において、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、
   認識対象物を認識する認識手段と、
   前記撮像装置の死角に対する前記認識対象物の位置に基づき、前記撮像装置の死角を補う駐車支援画像を表示するタイミングを判断する判断手段と、
   前記判断手段によるタイミングに基づいて、前記車両の現在位置で撮像した現在画像データと、前記画像データ記憶手段に記憶され、前記撮像装置の死角の領域を撮像した記録画像データとを用いた駐車支援画像を、前記車両の現在位置を示す指標と合わせて表示手段に表示する表示制御手段と
   を備えたことを特徴とする駐車支援装置。
3. 請求項２に記載の駐車支援装置において、
   前記判断手段は、
   前記認識対象物の一部又は全部が、前記撮像装置の死角に含まれた際に、前記記録画像データを用いた前記駐車支援画像を表示するタイミングであると判断することを特徴とする駐車支援装置。
4. 請求項２又は３に記載の駐車支援装置において、
   前記撮像装置は、前記車両のバンパー上方に設けられ、
   前記判断手段は、前記認識対象物の一部又は全部が、前記車両のバンパー下方に進入したと判断した場合に、前記駐車支援画像を表示するタイミングであると判断することを特徴とする駐車支援装置。
5. 請求項２〜４のいずれか１項に記載の駐車支援装置において、
   前記表示制御手段は、
   前記表示手段の表示領域内で前記認識対象物が移動する方向に、前記撮像装置の死角領域を撮像した前記記録画像データを出力することを特徴とする駐車支援装置。
6. 請求項２〜５のいずれか１項に記載の駐車支援装置において、
   前記認識対象物は、車輪止め又は駐車目標領域を示す白線であって、
   前記認識手段は、前記画像データを画像処理して、前記車輪止め又は白線を認識することを特徴とする駐車支援装置。
7. 請求項２〜６のいずれか１項に記載の駐車支援装置において、
   前記認識対象物は、駐車目標領域内又はその周辺に位置する障害物であって、
   前記認識手段は、
   前記画像データを画像処理して、前記障害物を認識することを特徴とする駐車支援装置。
8. 請求項２〜５のいずれか１項に記載の駐車支援装置において、
   前記認識手段は、
   入力操作手段を用いた前記認識対象物を指定する入力操作に基づき、前記認識対象物を認識することを特徴とする駐車支援装置。
9. 請求項２〜８のいずれか１項に記載の駐車支援装置において、
   前記判断手段に基づき、前記駐車支援画像を表示するタイミングでないと判断した場合には、前記車両の現在位置で撮像した前記画像データを前記表示手段に表示することを特徴とする駐車支援装置。

Images