JP2023011637A - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP2023011637A
JP2023011637A JP2022163460A JP2022163460A JP2023011637A JP 2023011637 A JP2023011637 A JP 2023011637A JP 2022163460 A JP2022163460 A JP 2022163460A JP 2022163460 A JP2022163460 A JP 2022163460A JP 2023011637 A JP2023011637 A JP 2023011637A
Authority
JP
Japan
Prior art keywords
parking
feature point
vehicle
feature points
parking position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022163460A
Other languages
English (en)
Other versions
JP7311004B2 (ja
Inventor
悠 日栄
Yu Hiei
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019187483A external-priority patent/JP7160014B2/ja
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022163460A priority Critical patent/JP7311004B2/ja
Publication of JP2023011637A publication Critical patent/JP2023011637A/ja
Priority to JP2023111424A priority patent/JP7522392B2/ja
Application granted granted Critical
Publication of JP7311004B2 publication Critical patent/JP7311004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】特徴点が検知されなくなっても、車両を登録駐車位置に適切に駐車させる。【解決手段】駐車支援装置は、撮像装置と制御装置を備える。制御装置は、運転者が駐車位置の登録を希望する領域を撮像した撮像画像から特徴点を抽出し、特徴点を駐車位置と関連付けて登録することで駐車位置を登録駐車位置として登録しておき、車両が登録駐車位置の近傍に位置している場合において撮像装置から取得される撮像画像から特徴点を検知可能と判定したときは、特徴点を検知することで登録駐車位置を算出し、登録駐車位置に車両を駐車させる駐車支援制御を実行する。制御装置は、1回の駐車支援制御において撮像画像から特徴点が一度も検知されない事態が所定の回数だけ連続して発生した場合、当該特徴点を登録対象から消去し、同数の特徴点を撮像画像から新たに抽出し、抽出された特徴点を登録駐車位置と関連付けて登録する。【選択図】図27

Description

本発明は、車両が事前に登録された駐車位置に自動的に移動して停止するように当該車両を制御する駐車支援装置に関する。
特許文献1には、車両の移動中に撮像された複数の画像に基づいて、車両の目的個所の周囲に固定して配置された構造物に存在する特徴点を抽出可能な自動運転制御装置(以下、「従来装置」とも称呼する。)が開示されている。この従来装置は、撮像画像に含まれる特徴点に基づいて(即ち、特徴点を検知して)構造物の位置を特定し、当該構造物を目印として自動運転中の自車の位置を算出する。このため、目的個所を区画する駐車枠線がなくても、自動走行により目的個所に車両を自動で駐車させることができると記載されている。
特開2017-138664号公報
従来装置の構成では、特徴点を検知できず、結果として構造物の位置を適切に特定できない場合がある。即ち、従来装置では、車両の移動中に撮像された複数の画像に基づいて特徴点を抽出するが、例えば、これら複数の画像に影が映り込んでいる場合、影を含んだ特徴点が抽出される可能性がある。このような場合において、その後取得される撮像画像に影が映り込んでいないとき、従来装置は、撮像画像から特徴点を検知できない可能性が極めて高い。加えて、例えば、抽出された特徴点に対応する位置の構造物が経時変化により汚れた場合、特徴点が抽出された時点から構造物の状態が変化しているため、従来装置は、撮像画像から特徴点を検知できない可能性が極めて高い。
このように、特徴点の抽出時に不適切な特徴点が抽出されたり、或いは、適切な特徴点が抽出されたとしても、その後、構造物が経時変化したりした場合、特徴点が検知できないため構造物の位置を適切に特定できなくなり、結果として車両を自動走行により目的個所に駐車させることができなくなってしまう可能性がある。
本発明は上述した課題に対処するためになされた。即ち、本発明の目的の一つは、不適切な特徴点の抽出及び特徴点に対応する位置の経時変化に起因して特徴点が検知されなくなっても、車両を登録駐車位置に適切に駐車させることが可能な駐車支援装置(以下、「本発明装置」と称呼する。)を提供することにある。
本発明装置は、
車両(SV)の周囲を撮像可能な撮像装置(21)と、
前記車両(SV)の運転者が駐車位置の登録を希望する領域(PL)及びその近傍を撮像した撮像画像から特徴点(F(Fe、Fi、Fp))を抽出し、当該抽出された特徴点(F)を前記駐車位置と関連付けて登録することにより当該駐車位置を登録駐車位置(Ppark_reg)として登録しておき、前記車両(SV)が前記登録駐車位置(Ppark_reg)の近傍に位置している場合において前記撮像装置(21)から取得される撮像画像から前記特徴点(F)を検知可能と判定したときは、当該特徴点(F)を検知することにより前記登録駐車位置(Ppark_reg)を算出し、当該算出された登録駐車位置(Ppark_reg)に前記車両(SV)を自動的に駐車させる制御又は前記車両を駐車することを支援する制御の何れかを駐車支援制御として実行可能な制御装置(10)と、
を備える。
前記制御装置(10)は、
1回の前記駐車支援制御において前記撮像画像から前記特徴点(F)が一度も検知されない事態である非検知事態が所定の回数だけ連続して発生した場合、当該特徴点(F)を登録対象から消去し、当該消去された特徴点(F)と同数の特徴点(F)を前記撮像画像から新たに抽出し、当該抽出された特徴点(F)を前記登録駐車位置(Ppark_reg)と関連付けて登録する、
ように構成されている。
制御装置によって抽出された特徴点が不適切だった場合、及び、適切な特徴点が抽出されたとしても当該特徴点に対応する位置が経時変化した場合、これらの特徴点はその後の駐車支援制御において撮像画像から検知されないため、非検知事態(1回の駐車支援制御において撮像画像から当該特徴点が一度も検知されない事態)が連続して発生する可能性が極めて高い。本発明装置は、非検知事態が所定の回数だけ連続して発生した場合、当該特徴点を登録対象から消去し、代わりに、消去された特徴点と同数の特徴点を撮像画像から新たに抽出し、当該抽出された特徴点を登録駐車位置と関連付けて登録する。このため、検知可能な特徴点の個数が減少し続けることがなくなる。従って、検知可能な特徴点に基づいて、登録駐車位置を精度よく算出することができ、結果として、車両を登録駐車位置に適切に駐車させることができる。
加えて、上記の構成によれば、1回の駐車支援制御において特徴点が撮像画像の撮像範囲に一度も含まれない場合にも非検知事態が発生する。このため、特徴点の分布範囲を、運転者の癖がより反映された範囲に随時更新することができる。従って、登録駐車位置の算出精度を常に高い水準に維持することができる。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が所定の回数だけ連続して発生した場合、前記消去された特徴点(F)を含む所定の範囲から前記特徴点(F)を新たに抽出する、
ように構成されている。
この構成によれば、所定の範囲を適切に設定することにより、「新たに特徴点が抽出された後の特徴点の分布範囲」を、「特徴点が消去される前の特徴点の分布範囲」と同等とすることができる。このため、新たに特徴点が抽出されることに起因して登録駐車位置の算出精度が低下する可能性を低減することができる。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が所定の回数だけ連続して発生した場合、前記撮像画像を複数個の分割領域に分割したときに前記消去された特徴点(F)が含まれている前記分割領域と同一の分割領域から前記特徴点(F)を新たに抽出する、
ように構成されている。
この構成によれば、「新たに特徴点が抽出された後の特徴点の分布範囲」を、「特徴点が消去される前の特徴点の分布範囲」と同等とすることができる。このため、新たに特徴点が抽出されることに起因して登録駐車位置の算出精度が低下する可能性を低減することができる。
本発明の一側面では、
前記制御装置(10)は、
前記撮像画像を複数個の分割領域に分割し、当該複数個の分割領域のそれぞれから少なくとも1個の特徴点(F)を抽出し、当該抽出された特徴点(F)を前記駐車位置と関連付けて登録する、
ように構成されている。
登録駐車位置は、検知された特徴点に基づいて算出される。登録駐車位置の算出精度は、検知可能な特徴点が撮像画像内で分散しているほど高くなる。上記の構成によれば、複数個の分割領域のそれぞれから少なくとも1個の特徴点が抽出されるため、検知可能な特徴点が撮像画像内で分散する可能性が高くなり、結果として、登録駐車位置を精度よく算出することができる。
本発明の一側面では、
前記制御装置(10)は、
1回の前記駐車支援制御において前記撮像画像から前記特徴点(F、Fo)が一度も検知されない場合において、当該特徴点(Fo)が前記撮像画像の撮像範囲(81乃至84)に含まれていないことに起因して当該特徴点(Fo)が検知されないときは、前記非検知事態が発生しても、当該特徴点(Fo)を前記登録対象から消去しない、
ように構成されている。
特徴点が撮像画像の撮像範囲に含まれていないことに起因して当該特徴点が検知されない場合、その後の駐車支援制御において撮像画像の位置が変化して当該特徴点が撮像画像の撮像範囲に含まれることにより検知される可能性がある。即ち、不適切な特徴点が抽出されたことに起因してその後の駐車支援制御において当該特徴点が検知されない場合、及び、特徴点に対応する位置の経時変化に起因してその後の駐車支援制御において当該特徴点が検知されない場合とは異なり、当該特徴点は、特徴点としての適性を失ったわけではない。上記の構成によれば、このような特徴点に対して非検知事態が発生しても、当該特徴点は登録対象から消去されない。このため、特徴点としての適性を有さないことが明らかである特徴点のみを選択的に消去することができる。
上記説明においては、本発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、本発明の各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されるものではない。
本発明の実施形態に係る駐車支援装置の概略構成図である。 レーダセンサ、第1超音波センサ、第2超音波センサ及びカメラの配置を表す車両の平面図である。 前俯瞰画像及び後俯瞰画像にそれぞれ含まれる地面上の撮像範囲を模式的に示した図である。 右俯瞰画像及び左俯瞰画像にそれぞれ含まれる地面上の撮像範囲を模式的に示した図である。 前俯瞰画像の撮像範囲を区画する分割領域を示した図である。 後俯瞰画像の撮像範囲を区画する分割領域を示した図である。 右俯瞰画像の撮像範囲を区画する分割領域を示した図である。 左俯瞰画像の撮像範囲を区画する分割領域を示した図である。 俯瞰方向から見たときの個人宅の駐車場及びその周辺を示した図である。 図6の駐車場PL及びその周辺を撮像した左側方画像データから生成された左俯瞰画像の撮像範囲に含まれる特徴点を示した図である。 登録モードにおける駐車支援装置の作動及び表示部の表示画像を説明するための図である。 登録モードにおける駐車支援装置の作動及び表示部の表示画像を説明するための図である。 登録モードにおける駐車支援装置の作動及び表示部の表示画像を説明するための図である。 登録モードにおいて暫定的に決定された駐車位置と特徴点との位置関係、及び、当該駐車位置に基づいて設定された目標経路を示した図である。 駐車位置設定操作において回転方向の位置操作がなされなかった場合の駐車位置と特徴点との位置関係を示した図である。 駐車位置設定操作において回転方向の位置操作がなされた場合の駐車位置と特徴点との位置関係を示した図である。 テンプレートマッチングを説明するために用いられる図である。 登録モードにおいて後俯瞰画像から抽出される内部特徴点を示した図である。 登録モードにおいて右俯瞰画像、左俯瞰画像及び前俯瞰画像から抽出される周辺特徴点を示した図である。 駐車位置修正処理を説明するために用いられる図である。 駐車支援モードにおいて左俯瞰画像から検知される入口特徴点を示した図である。 登録モードにおいて不適切な特徴点Fが抽出されるケースを説明するために用いられる図である。 登録モードにおいて抽出された特徴点を示した図である。 駐車支援モードにおいて検知された特徴点を示した図であり、登録モード時と駐車支援モード時とで地面の状態が経時変化しているケースを説明するために用いられる図である。 登録モードにおいて抽出された特徴点が駐車支援モードにおける撮像範囲に含まれないケースを説明するために用いられる図である。 図1に示した車両制御ECUのCPUが実行する登録モードのルーチンを表すフローチャートである。 CPUが実行する登録モードのうちの駐車方法画像表示処理のルーチンを表すフローチャートである。 CPUが実行する登録モードのうちの駐車位置設定処理のルーチンを表すフローチャートである。 CPUが実行する登録モードのうちの登録用駐車支援処理のルーチンを表すフローチャートである。 CPUが実行する登録モードのうちの駐車位置修正処理のルーチンを表すフローチャートである。 CPUが実行する駐車支援モードのルーチンを表すフローチャートである。 CPUが実行する駐車支援モードのうちの入口特徴点に基づく駐車支援処理のルーチンを表すフローチャートである。 CPUが実行する駐車支援モードのうちの周辺・内部特徴点に基づく駐車支援処理のルーチンを表すフローチャートである。 本発明の変形例に係る駐車支援装置の車両制御ECUのCPUが実行する駐車支援モードのうちの入口特徴点に基づく駐車支援処理のルーチンを表すフローチャートである。 CPUが実行する駐車支援モードのうちの周辺・内部特徴点に基づく駐車支援処理のルーチンを表すフローチャートである。
<構成>
本発明の実施形態に係る駐車支援装置(以下、「本実施装置」と称呼される。)は、車両SV(図2を参照。)に適用される。図1に示されるように、本実施装置は、車両制御ECU10、PVM(Panoramic View Monitor)-ECU20、エンジンECU30、ブレーキECU40、EPS・ECU50、メータECU60及びSBW(Shift-by-Wire)・ECU70を備えている。なお、以下において、車両制御ECU10は、単に、「VC(Vehicle Control)ECU」とも称呼される。
各ECUはマイクロコンピュータを含む。マイクロコンピュータは、CPU、ROM、RAM、読み書き可能な不揮発性メモリ及びインターフェース等を含む。CPUはROMに格納されたインストラクション(プログラム、ルーチン)を実行することにより各種機能を実現する。更に、これらのECUは、CAN(Controller Area Network)を介してデータ交換可能(通信可能)に互いに接続されている。従って、特定のECUに接続されたセンサ(スイッチを含む。)の検出値等は他のECUにも送信されるようになっている。
VCECUには、複数のレーダセンサ11a乃至11e、複数の第1超音波センサ12a乃至12d、複数の第2超音波センサ13a乃至13h、駐車支援スイッチ14及び車速センサ15が接続されている。
なお、複数のレーダセンサ11a乃至11eは、これらを区別する必要がない場合、「レーダセンサ11」と称呼される。複数の第1超音波センサ12a乃至12dは、これらを区別する必要がない場合、「第1超音波センサ12」と称呼される。複数の第2超音波センサ13a乃至13hは、これらを区別する必要がない場合、「第2超音波センサ13」と称呼される。
レーダセンサ11は、ミリ波帯の電波(以下、「ミリ波」と称呼する。)を利用する周知なセンサである。レーダセンサ11は、車両SVと立体物との距離、車両SVと立体物との相対速度、車両SVに対する立体物の相対位置(方向)等を特定する物標情報を取得し、物標情報をVCECUに出力する。
レーダセンサ11(11a乃至11e)は、図2に示した車両SVの所定位置に配設され、以下に述べる所定領域に存在する立体物の物標情報を取得する。
レーダセンサ11aは車両SVの右前方領域に存在する立体物の物標情報を取得する。
レーダセンサ11bは車両SVの前方領域に存在する立体物の物標情報を取得する。
レーダセンサ11cは車両SVの左前方領域に存在する立体物の物標情報を取得する。
レーダセンサ11dは車両SVの右後方領域に存在する立体物の物標情報を取得する。
レーダセンサ11eは車両SVの左後方領域に存在する立体物の物標情報を取得する。
第1超音波センサ12及び第2超音波センサ13のそれぞれは、超音波を利用する周知なセンサである。第1超音波センサ12及び第2超音波センサ13は、これらを区別する必要がない場合、「超音波センサ」と総称する。
超音波センサは、超音波を所定の範囲に送信し、立体物によって反射された反射波を受信し、超音波の送信から受信までの時間に基づいて立体物の有無及び立体物までの距離を検出する。第1超音波センサ12は、第2超音波センサ13に比べて、車両SVに対して比較的遠い位置にある立体物の検出に用いられる。超音波センサは図2に示した車体200の所定位置に配設されている。
第1超音波センサ12(第1超音波センサ12a乃至12c)は、以下に述べる所定領域(検出領域)に存在する立体物と第1超音波センサ12との間の距離を取得し、その距離に関する情報をVCECUに送信する。
第1超音波センサ12aの検出領域は車両SVの前部且つ右側の領域である。
第1超音波センサ12bの検出領域は車両SVの前部且つ左側の領域である。
第1超音波センサ12cの検出領域は車両SVの後部且つ右側の領域である。
第1超音波センサ12dの検出領域は車両SVの後部且つ左側の領域である。
第2超音波センサ13(第2超音波センサ13a乃至13h)は、以下に述べる所定領域(検出領域)に存在する立体物と第2超音波センサ13との間の距離を取得し、その距離に関する情報をVCECUに送信する。
第2超音波センサ13a乃至13dのそれぞれの検出領域は車両SVの前方の領域である。
第2超音波センサ13e乃至13hのそれぞれの検出領域は車両SVの後方の領域である。
駐車支援スイッチ14は、運転者により操作(押圧・押下)されるスイッチである。
車速センサ15は、車両SVの車速を検出し、車速を表す信号を出力するようになっている。なお、車速センサ15は、厳密に言うと、車両SVが備える4つの車輪毎に設けられた車輪速センサである。VCECUは、車速センサ15(車輪速センサ)が検出する各車輪の車輪速度に基づいて車両SVの速度を示す車速を取得するようになっている。
PVM-ECU20には、フロントカメラ21a、バックカメラ21b、右サイドカメラ21c及び左サイドカメラ21dが接続されている。なお、以下において、フロントカメラ21a、バックカメラ21b、右サイドカメラ21c及び左サイドカメラ21dは、これらを区別する必要がない場合、「カメラ21(「撮像装置」とも称呼される。)」と総称される。
図2に示したように、フロントカメラ21aは、フロントバンパーFBの車幅方向の略中央部に設けられる。フロントカメラ21aの光軸は、車両SVの前方に向いている。
バックカメラ21bは、車両SVの後部のリアトランクRTの壁部に設けられる。バックカメラ21bの光軸は、車両SVの後方に向いている。
右サイドカメラ21cは、右側のドアミラーDMRに設けられる。右サイドカメラ21cの光軸は、車両SVの右側方に向いている。
左サイドカメラ21dは、左側のドアミラーDMLに設けられる。左サイドカメラ21dの光軸は、車両SVの左側方に向いている。
カメラ21の画角は広角である。従って、カメラ21の撮像範囲は、光軸を基準とした「右方、左方、下方及び上方の範囲」を含む。車両SVの全周囲は、4つのカメラ21の撮像範囲に含まれている。
カメラ21は、所定時間が経過する毎に、撮像範囲に対応する車両SVの周辺の領域を撮像することにより、画像情報(画像データ)を取得する。カメラ21は、取得した画像データをPVM-ECU20及びVCECUに送信する。
具体的に述べると、フロントカメラ21aは、その撮像範囲に対応する「車両SVの前方の周辺領域」を撮像する。フロントカメラ21aは、その撮像により得られた画像データ(以下、「前方画像データ」と称呼される。)をPVM-ECU20に送信する。
バックカメラ21bは、その撮像範囲に対応する「車両SVの後方の周辺領域」を撮像する。バックカメラ21bは、その撮像により得られた画像データ(以下、「後方画像データ」と称呼される。)をPVM-ECU20に送信する。
右サイドカメラ21cは、その撮像範囲に対応する「車両SVの右側方の周辺領域」を撮像する。右サイドカメラ21cは、その撮像により得られた画像データ(以下、「右側方画像データ」と称呼される。)をPVM-ECU20に送信する。
左サイドカメラ21dは、その撮像範囲に対応する「車両SVの左側方の周辺領域」を撮像する。左サイドカメラ21dは、その撮像により得られた画像データ(以下、「左側方画像データ」と称呼される。)をPVM-ECU20に送信する。
PVM-ECU20は、所定時間が経過する毎に、前方画像データ、後方画像データ、右側方画像データ及び左側方画像データを用いて周辺画像データを生成する。周辺画像データに基づいて表示(生成)される画像は周辺画像と称呼される。周辺画像は、車両SVの周囲の領域の少なくとも一部の範囲に対応する画像であり、カメラ視点画像及び合成画像等を含む。
カメラ視点画像は、カメラ21のそれぞれのレンズの配設位置を視点とする画像である。
合成画像の一つは、車両SVの周囲の任意の位置に設定された仮想視点から車両SVの周囲を見た画像(「仮想視点画像」とも称呼される。)である。
この仮想視点画像の生成方法は、周知である(例えば、特開2012-217000号公報、特開2016-192772号公報及び特開2018-107754号公報等を参照。)。なお、PVM-ECU20は、カメラ視点画像及び仮想視点画像のそれぞれに対して、更に、車両画像(例えば、車両の形状を示すポリゴン)及び駐車動作をサポートする線等を合成(重畳)した画像を生成してもよい。このような画像も周辺画像と称呼される。
仮想視点画像の基礎となる仮想視点画像データの生成方法の概要を簡単に説明すると、PVM-ECU20は、前方画像データ、後方画像データ、右側方画像データ及び左側方画像データに含まれる画素(ピクセル)を、仮想的な3次元空間における所定の投影曲面(例えば、お椀形状の曲面)に投影する。
投影曲面の中心は、車両SVの位置として規定される。投影曲面の中心以外の部分は前方画像データ、後方画像データ、右側方画像データ及び左側方画像データに対応している。PVM-ECU20は、投影曲面の中心以外の部分に前方画像データ、後方画像データ、右側方画像データ及び左側方画像データに含まれる画素の情報を投影する。
PVM-ECU20は、車両SVの形状を表すポリゴンを投影曲面の中心に配置する。そして、PVM-ECU20は、仮想的な3次元空間に仮想視点を設定し、仮想視点から見て、所定の視野角に含まれる投影曲面のうちの所定領域を画像データとして切り出す。更に、仮想視点から見た、所定の視野角に含まれる「車両の形状を表すポリゴン」を、その切り出した画像データに重畳する。これにより、仮想視点画像データが生成される。
PVM-ECU20は、所定時間が経過する毎に、前方画像データ、後方画像データ、右側方画像データ及び左側方画像データを用いて、それぞれ、前俯瞰画像データ、後俯瞰画像データ、右俯瞰画像データ及び左俯瞰画像データを生成する。
前俯瞰画像データは、前方画像データを車両SVが接地している面と直交し且つ当該接地面を見下ろす方向(以下、「俯瞰方向」と称呼する。)から見たときの画像に変換した画像データである。
後俯瞰画像データは、後方画像データを俯瞰方向から見たときの画像に変換した画像データである。
右俯瞰画像データは、右側方画像データを俯瞰方向から見たときの画像に変換した画像データである。
左俯瞰画像データは、左側方画像データを俯瞰方向から見たときの画像に変換した画像データである。
前俯瞰画像データ、後俯瞰画像データ、右俯瞰画像データ及び左俯瞰画像データに基づいて生成される画像は、それぞれ、前俯瞰画像、後俯瞰画像、右俯瞰画像及び左俯瞰画像と称呼される。以下、前俯瞰画像、後俯瞰画像、右俯瞰画像及び左俯瞰画像を「俯瞰画像」と総称する場合もある。
図3及び図4に示したように、前俯瞰画像に含まれる地面上の撮像範囲81、後俯瞰画像に含まれる地面上の撮像範囲82、右俯瞰画像に含まれる地面上の撮像範囲83及び左俯瞰画像に含まれる地面上の撮像範囲84は、何れも長方形形状を有しており、その大きさは互いに等しい。
図3に示したように、撮像範囲81及び撮像範囲82の長手方向に延びる辺81E1、辺81E2及び辺82E1、辺82E2は、何れも車両SVの車幅方向に平行であり、短手方向に延びる辺81E3、辺81E4及び辺82E3、辺82E4は、何れも車両SVの前後方向に平行である。撮像範囲81は、俯瞰方向から見たときにフロントカメラ21aが辺81E1の略中央に位置するように画定される。撮像範囲82は、俯瞰方向から見たときにバックカメラ21bが辺82E1の略中央に位置するように画定される。これにより、車両SVに対する撮像範囲81及び撮像範囲82の地面上の相対位置が一義的に決定される。
図4に示したように、撮像範囲83及び撮像範囲84の長手方向に延びる辺83E1、辺83E2及び辺84E1、辺84E2は、何れも車両SVの前後方向に平行であり、短手方向に延びる辺83E3、辺83E4及び辺84E3、辺84E4は、何れも車両SVの車幅方向に平行である。撮像範囲83は、俯瞰方向から見たときに右サイドカメラ21cが辺83E1の略中央に位置するように画定される。撮像範囲84は、俯瞰方向から見たときに左サイドカメラ21dが辺84E1の略中央に位置するように画定される。これにより、車両SVに対する撮像範囲83及び撮像範囲84の地面上の相対位置が一義的に決定される。
VCECUは、所定時間が経過する毎にPVM-ECU20から俯瞰画像を取得し、所定のタイミング(後述)において、俯瞰画像を画像解析して特徴点Fを抽出できるように構成されている。特徴点Fを抽出する際は、VCECUは、俯瞰画像の撮像範囲81乃至撮像範囲84のそれぞれを複数個の分割領域に区画し、分割領域毎に予め設定された個数(後述)の特徴点Fを抽出する。以下、図5A乃至図7を参照して、特徴点Fの抽出方法を説明する。
本実施形態では、図5A乃至図5Dに示したように、各撮像範囲81乃至撮像範囲84は、その長手方向に4等分され且つその短手方向に2等分されることにより、8個の合同な分割領域に区画される。
図5Aに示したように、撮像範囲81は、分割領域81D1乃至分割領域81D8に区画される。
図5Bに示したように、撮像範囲82は、分割領域82D1乃至分割領域82D8に区画される。
図5Cに示したように、撮像範囲83は、分割領域83D1乃至分割領域83D8に区画される。
図5Dに示したように、撮像範囲84は、分割領域84D1乃至分割領域84D8に区画される。
図6は、俯瞰方向から見たときの個人宅の駐車場PL及びその周辺を示す。駐車場PLの地面90は、コンクリート90Cと芝生90Lから構成されている。駐車場PLと道路RDとの間には、側溝を塞ぐためのコンクリート製のブロック90Bが複数個、並んで設置されている。即ち、駐車場PLの周辺の地面90は、ブロック90Bから構成されている。
図7は、駐車場PL及びその周辺を撮像した左側方画像データから生成された左俯瞰画像の撮像範囲84に含まれる特徴点Fを示す。特徴点Fは、輝度の変化が比較的に大きい部分(特に、角部や曲線部)を含む正方形形状の画像である。特徴点Fの対向する1組の辺は各俯瞰画像の長手方向に平行であり、特徴点Fの対向するもう1組の辺は各俯瞰画像の短手方向に平行である。本実施形態では、特徴点Fの一辺の長さは20画素に設定されている。
図7に示したように、撮像範囲84は、コンクリート90C、芝生90L及びブロック90Bを含んでおり、これらの境界において輝度の変化が比較的に大きくなっている。このため、この左俯瞰画像から特徴点Fを抽出する際は、VCECUは、撮像範囲84を8個の分割領域84D1乃至分割領域84D8に区画し、各分割領域から、コンクリート90Cと芝生90Lとの境界(特に、角部)、及び、ブロック90Bとブロック90Bとの境界(特に、角部)を特徴点Fとして抽出する。図7の例では、VCECUは、分割領域84D2、84D3、84D6、84D7からそれぞれ2個の特徴点Fを抽出し、分割領域84D1、84D4、84D5、84D8からそれぞれ1個の特徴点Fを抽出している。なお、特徴点Fは、他の俯瞰画像においても同様の方法で抽出され得る。
なお、VCECUは、俯瞰画像から特徴点Fを抽出する処理に先立って、俯瞰画像を画像解析して俯瞰画像に含まれている立体物をマスキングする処理を実行する。VCECUは、マスキング部分からは特徴点Fを抽出しないように構成されている。これにより、特徴点Fは、地面90の画像として抽出される。
PVM-ECU20には、更にタッチパネル表示部22が接続されている。タッチパネル表示部22は、図示しないナビゲーション装置が備えるタッチパネル式のディスプレイである。PVM-ECU20は、VCECUから送信される指令に応じて、周辺画像をタッチパネル表示部22に表示する。
VCECUは、駐車支援制御を実行可能に構成されている。後で詳述するが、駐車支援制御は、登録モードと駐車支援モードの2種類の支援モードを含む。VCECUが駐車支援制御を実行するときに、PVM-ECU20は、VCECUから送信される指令に応じて、周辺画像を含む駐車支援画像(操作画像)をタッチパネル表示部22に表示する。
エンジンECU30は、エンジンアクチュエータ31に接続されている。エンジンアクチュエータ31は、エンジン(火花点火・燃料噴射式・内燃機関)32のスロットル弁の開度を変更するスロットル弁アクチュエータを含む。エンジンECU30は、エンジンアクチュエータ31を駆動することによって、エンジン32が発生するトルクを変更することができる。エンジン32が発生するトルクは、トランスミッション(不図示)を介して駆動輪に伝達されるようになっている。
従って、エンジンECU30は、エンジンアクチュエータ31を制御することによって、車両SVの駆動力を制御することができる。VCECUは、エンジンECU30に対して、駆動指令を送信することができる。エンジンECU30は、その駆動指令を受信すると、その駆動指令に応じてエンジンアクチュエータ31を制御する。従って、VCECUは、エンジンECU30を介して、後述の「駆動力自動制御」を実行することができる。なお、車両SVが、ハイブリッド車両である場合、エンジンECU30は、車両駆動源としての「エンジン及び電動機」の何れか一方又は両方によって発生する車両SVの駆動力を制御することができる。更に、車両SVが電気自動車である場合、エンジンECU30は、車両駆動源としての電動機によって発生する車両SVの駆動力を制御することができる。
ブレーキECU40は、ブレーキアクチュエータ41に接続されている。ブレーキアクチュエータ41は、ブレーキペダルの踏力によって作動油を加圧する図示しないマスタシリンダと、左右前後輪に設けられる摩擦ブレーキ機構42との間の油圧回路に設けられる。摩擦ブレーキ機構42は、車輪に固定されるブレーキディスク42aと、車体に固定されるブレーキキャリパ42bとを備える。
ブレーキアクチュエータ41は、ブレーキECU40からの指示に応じてブレーキキャリパ42bに内蔵されたホイールシリンダに供給する油圧を調整し、その油圧によりホイールシリンダを作動させることによりブレーキパッドをブレーキディスク42aに押し付けて摩擦制動力を発生させる。従って、ブレーキECU40は、ブレーキアクチュエータ41を制御することによって車両SVの制動力を制御することができる。VCECUは、ブレーキECU40に対して、制動指令を送信することができる。ブレーキECU40は、その制動指令を受信すると、その制動指令に応じてブレーキアクチュエータ41を制御する。従って、VCECUは、ブレーキECU40を介して、後述の「制動力自動制御」を実行することができる。
EPS・ECU50は、周知の電動パワーステアリングシステムの制御装置であって、モータドライバ51に接続されている。モータドライバ51は、転舵用モータ52に接続されている。転舵用モータ52は、「操舵ハンドルSW、ステアリングシャフトUS、及び、図示しない操舵用ギア機構等を含むステアリング機構」に組み込まれている。転舵用モータ52は、モータドライバ51から供給される電力によってトルクを発生し、このトルクによって操舵アシストトルクを発生したり、左右の操舵輪を転舵したりすることができる。即ち、転舵用モータ52は、車両SVの操舵角(「転舵角」又は「舵角」とも称呼される。)を変更することができる。
更に、EPS・ECU50は、操舵角センサ53及び操舵トルクセンサ54に接続されている。操舵角センサ53は、車両SVの操舵ハンドルSWの操舵角を検出し、操舵角を表す信号を出力するようになっている。操舵トルクセンサ54は、操舵ハンドルSWの操作により車両SVのステアリングシャフトSFに加わる操舵トルクを検出し、操舵トルクを表す信号を出力するようになっている。
EPS・ECU50は、操舵トルクセンサ54によって、運転者が操舵ハンドルSWに入力した操舵トルクを検出し、この操舵トルクに基づいて転舵用モータ52を駆動する。EPS・ECU50は、この転舵用モータ52の駆動によってステアリング機構に操舵トルク(操舵アシストトルク)を付与し、これにより、運転者の操舵操作をアシストすることができる。
VCECUは、EPS・ECU50に操舵指令を送信することができる。EPS・ECU50は、その操舵指令を受信すると、その受信した操舵指令に基づいて転舵用モータ52を駆動する。従って、VCECUは、EPS・ECU50を介して車両SVの転舵輪の操舵角を自動的に(即ち、運転者による操舵操作を必要とせずに)変更することができる。即ち、VCECUは、EPS・ECU50を介して、後述の「操舵角自動制御」を実行することができる。
メータECU60は、表示器61に接続されている。表示器61は、運転席の正面に設けられたマルチインフォーメーションディスプレイである。表示器61は、車速及びエンジン回転速度等の計測値の表示に加えて、各種の情報を表示する。
SBW・ECU70は、シフト位置センサ71に接続されている。シフト位置センサ71は、変速操作部の可動部としてのシフトレバー72の位置を検出する。本例において、シフトレバー72の位置は、駐車位置(P)、前進位置(D)及び後進位置(R)である。SBW・ECU70は、シフトレバー72の位置をシフト位置センサ71から受け取り、その位置に基づいて車両SVの図示しない変速機及び/又は駆動方向切替え機構を制御する(即ち、車両SVのシフト制御を行う。)ようになっている。
より具体的に述べると、SBW・ECU70は、シフトレバー72の位置が「P」であるとき、駆動輪に駆動力が伝達されず、車両SVが機械的に停止位置にロックされるように、変速機及び/又は駆動方向切替え機構を制御する。SBW・ECU70は、シフトレバー72の位置が「D」であるとき、駆動輪に車両SVを前進させる駆動力が伝達されるように変速機及び/又は駆動方向切替え機構を制御する。更に、SBW・ECU70は、シフトレバー72の位置が「R」であるとき、駆動輪に車両SVを後進させる駆動力が伝達されるように変速機及び/又は駆動方向切替え機構を制御する。
VCECUは、SBW・ECU70にシフト指令を送信することができる。SBW・ECU70は、シフト指令を受信すると、そのシフト指令に応じて、運転者のシフトレバー72の操作に基づくことなく、変速機及び/又は駆動方向切替え機構を制御するとともに、シフトレバー72の位置を切り替えることができる。このVCECUから送信されるシフト指令に基づく変速機及び駆動方向切替え機構の制御はシフト位置自動制御と称呼される。
上述したように、駐車支援制御は登録モードと駐車支援モードの2種類の支援モードを含む。登録モードは、車両SVの運転者が「運転者が車両SVの駐車を予定している位置(即ち、予定駐車位置)」を事前にVCECUに登録駐車位置として登録しておくことができるモードである。一方、駐車支援モードは、第1駐車モードと第2駐車モードの2種類の支援モードを含む。即ち、第1駐車モードは、車両SVを登録駐車位置に自動的に駐車させる制御又は車両SVを登録駐車位置に駐車させることを支援する制御を実行するモードである。第2駐車モードは、カメラ21から取得される画像情報(例えば、駐車スペースを区画する白線)、レーダセンサ11から取得される物標情報(例えば、建物の壁及び塀)、及び/又は超音波センサから取得される立体物までの距離に関する情報に基づいて駐車位置を算出し、車両SVを当該駐車位置に自動的に駐車させる制御又は車両SVを当該駐車位置に駐車させることを支援する制御を実行する周知のモードである。本実施形態では、登録モード及び駐車支援モードのうちの第1駐車モードについて説明する。以下では、特に明示しない限り、駐車支援モードは第1駐車モードを意味する。
なお、上記の説明から明らかなように、本明細書では、駐車支援制御は、「車両を駐車位置に自動的に駐車させる制御」及び「車両を駐車位置に駐車させることを支援する制御」の双方を含む。前者の制御は、VCECUが駆動力自動制御、制動力自動制御、操舵角自動制御及びシフト位置自動制御を実行することにより行われる。後者の制御は、VCECUが上記4種類の自動制御の少なくとも1つを実行し、残りの運転操作(例えば、シフトレバー72の操作)を運転者に実行させることにより行われる。本実施形態では、VCECUが前者の制御を実行する場合を想定している。
登録モードでは、車両SVが後退して並列駐車及び/又は縦列駐車が可能な位置に駐車位置を登録できるようになっている。本実施形態では、並列駐車は、駐車支援制御開始時の車両SVの前後方向が、車両SVが登録駐車位置に駐車されたときの前後方向と交差す駐車タイプとして定義される。縦列駐車は、駐車支援制御開始時の車両SVの前後方向が、車両SVが登録駐車位置に駐車されたときの前後方向と略平行となる駐車タイプとして定義される。
<作動>
(登録モード)
運転者が車両SVを停止させた状態で駐車支援スイッチ14を操作すると、駐車支援制御を実行するためのシステム(以下、「駐車支援システム」と称呼する。)が起動する。駐車位置がまだ登録されていない場合において駐車支援システムが起動すると、VCECUは、まず、画像情報、物標情報及び立体物までの距離に関する情報等に基づいて、駐車支援モードのうちの第2駐車モードを実行可能か否か判定する。第2駐車モードを実行可能と判定した場合、VCECUは、タッチパネル表示部22に図8に例示される表示画像G1を表示する。表示画像G1は、左側領域と右側領域に区分される。
表示画像G1の左側領域は、合成画像G1S1及び登録開始ボタンG1aを含む。合成画像G1S1は、車両SVの上方に設定された仮想視点から「第2駐車モードにより駐車可能な領域」を見た仮想視点画像に、車両SVに相当するポリゴンSPが重畳された周辺画像である。登録開始ボタンG1aは、VCECUに駐車位置の登録処理を開始させるために運転者によってタッチ操作されるボタンである。
表示画像G1の右側領域は、合成画像G1S2を含む。合成画像G1S2は、車両SVの直上に設定された仮想視点から車両SVの周囲を見た仮想視点画像にポリゴンSPが重畳された周辺画像である。以下、仮想視点が車両SVの直上に設定された合成画像を特に「合成俯瞰画像」と称呼する。
表示画像G1に含まれる駐車開始ボタン(図示省略)がタッチ操作されると、第2駐車モードによる駐車支援制御が開始される。
なお、実際には、表示画像G1には第2駐車モードを開始するための各種メッセージ、ボタン及びマークが含まれるが、説明の便宜上これらの図示及び説明は省略する。後述する他の表示画像G2及び表示画像G3等についても同様である。
一方、VCECUが第2駐車モードを実行不可能と判定した場合、VCECUは、タッチパネル表示部22に第2駐車モードが実行不可能である旨を示すメッセージとともに登録開始ボタンG1aを表示する(図示省略)。即ち、駐車位置がまだ登録されていない場合において駐車支援システムが起動すると、第2駐車モードが実行可能であるか否かに関わらず、タッチパネル表示部22に登録開始ボタンG1aが表示される。
登録開始ボタンG1aがタッチ操作されると、VCECUは、登録モードの実行を開始して、車両SVの右側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能であるか否か、及び、車両SVの左側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能であるか否か、を判定する。以下、「車両SVの右側/左側領域」を単に「右側/左側領域」とも称呼する。
具体的には、VCECUは、画像情報、物標情報及び立体物までの距離に関する情報に基づいて、車両SVの右側領域及び左側領域に車両SVが並列駐車及び/又は縦列駐車可能なスペースがあるか否か、及び、当該スペースまで車両SVを移動させるための目標経路が障害物と干渉することなく設定可能か否かを判定する。以下、この判定を「駐車可能判定」と称呼する。
加えて、VCECUは、PVM-ECU20から取得される情報に基づいて、右俯瞰画像及び左俯瞰画像のそれぞれから所定の個数(例えば、12個)の特徴点Fを抽出可能か判定する。即ち、後で詳述するが、登録モードでは、駐車位置は、特徴点Fの位置と関連付けて登録される。このため、特徴点Fが抽出不可能な場合、たとえ並列駐車及び/又は縦列駐車可能なスペースが存在し且つ目標経路が設定可能でも当該スペースに駐車位置を登録することはできない。以下、この判定を「特徴点判定」と称呼する。加えて、「所定の個数の特徴点Fを抽出可能である」ことを、単に「特徴点Fを抽出可能である」とも称呼する。
VCECUは、右俯瞰画像から特徴点Fを抽出可能な場合において、右側領域に並列駐車及び/又は縦列駐車可能なスペースが存在し且つ目標経路が設定可能なときは、それぞれ、右側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能であると判定する。
VCECUは、左俯瞰画像から特徴点Fを抽出可能な場合において、左側領域に並列駐車及び/又は縦列駐車可能なスペースが存在し且つ目標経路が設定可能なときは、それぞれ、左側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能であると判定する。
VCECUは、右/左俯瞰画像から特徴点Fを抽出できない場合、駐車可能判定の結果に関わらず、駐車位置の登録は不可能であると判定する。
VCECUは、右側/左側領域に並列駐車及び縦列駐車可能なスペースが存在しないか、存在していても目標経路が設定不可能な場合、特徴点判定の結果に関わらず、駐車位置の登録は不可能であると判定する。
VCECUは、駐車可能判定及び特徴点判定により何れかの駐車方法による駐車位置の登録が可能であると判定した場合、タッチパネル表示部22に図9に例示される表示画像G2を表示する。加えて、VCECUは、特徴点判定により抽出可能と判定された特徴点Fが含まれている右及び/又は左俯瞰画像を、駐車方法に関連付けてそのRAMに格納する(後述)。表示画像G2は、4つの駐車方法選択ボタン(即ち、右並列駐車選択ボタンG2a、右縦列駐車選択ボタンG2b、左並列駐車選択ボタンG2c及び左縦列駐車選択ボタンG2d)を含む。
VCECUは、右側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能と判定した場合、それぞれ、右並列駐車選択ボタンG2a及び/又は右縦列駐車選択ボタンG2bを選択可能に表示する。加えて、VCECUは、右俯瞰画像を、右側領域への並列駐車及び/又は縦列駐車に関連付けてそのRAMに格納する。
VCECUは、左側領域に並列駐車及び/又は縦列駐車による駐車位置の登録が可能と判定した場合、それぞれ、左並列駐車選択ボタンG2c及び/又は左縦列駐車選択ボタンG2dを選択可能に表示する。加えて、VCECUは、左俯瞰画像を、左側領域への並列駐車及び/又は縦列駐車に関連付けてそのRAMに格納する。
図9の例では、左並列駐車選択ボタンG2c及び左縦列駐車選択ボタンG2dが選択可能に表示されている。以下、表示画像G2を「駐車方法画像G2」とも称呼する。
例えば、図7の例において、車両SVが道路RD上の所定の位置P1で停止している状態で登録開始ボタンG1a(図8参照)がタッチ操作されて登録モードが開始され、VCECUが、駐車可能判定において左側領域に並列駐車及び縦列駐車による駐車位置の登録が可能と判定し、且つ、特徴点判定において左俯瞰画像から特徴点Fを抽出可能と判定した場合(図7の撮像範囲84を参照)、VCECUは、この左俯瞰画像を、左側領域への並列駐車及び左側領域への縦列駐車にそれぞれ関連付けてそのRAMに格納する。
一方、VCECUは、駐車可能判定及び特徴点判定により駐車位置の登録が不可能であると判定した場合、タッチパネル表示部22に駐車位置の登録が不可能である旨を示すメッセージを表示し(図示省略)、登録モードを終了する。
運転者が選択可能に表示された駐車方法選択ボタンの中から所望の駐車方法に対応した選択ボタンをタッチ操作することにより、VCECUは、当該駐車方法を用いて駐車位置の登録を行うことを決定し、タッチパネル表示部22に図10に例示される表示画像G3を表示する。図10の例では、左並列駐車選択ボタンG2cがタッチ操作された場合の表示画像G3が表示されている。
表示画像G3は、その左側領域に合成画像G3Sを含む。合成画像G3Sは合成俯瞰画像である。合成画像G3Sには、駐車位置表示枠G3aが重ねて表示される。表示画像G3は、その右側領域に位置操作ボタンG3b及び設定完了ボタンG3cを含む。位置操作ボタンG3bは、上向き矢印、下向き矢印、左向き矢印、右向き矢印、時計回り向き矢印及び反時計回り矢印の6つの矢印ボタンを含む。
駐車位置表示枠G3aは、登録予定の駐車位置を示す長方形形状の枠である。位置操作ボタンG3bは、合成画像G3Sにおける駐車位置表示枠G3aの位置を移動させるために運転者によって操作される。
位置操作ボタンG3bに含まれる上向き矢印、下向き矢印、左向き矢印及び右向き矢印のうちの一つが一回だけタッチ操作されると、合成画像G3Sにおいて駐車位置表示枠G3aがそのタッチ操作された矢印の方向に所定距離だけ移動する。時計回り矢印及び反時計回り矢印のうちの一つが一回だけタッチ操作されると、合成画像G3Sにおいて駐車位置表示枠G3aがそのタッチ操作された矢印の回転方向に所定角度だけ駐車位置表示枠G3aの中心点の周りに回転する。これにより、運転者は、位置操作ボタンG3bを操作して、合成画像G3Sにおける駐車位置表示枠G3aの位置を所望の位置に移動させることができる。以下、この操作を「駐車位置設定操作」とも称呼する。
設定完了ボタンG3cは、駐車位置表示枠G3aにより示される位置を登録予定の駐車位置Pparkとして暫定的に(後述)決定するとともに、車両SVを駐車位置Pparkに自動的に駐車させる制御(駐車支援制御)を開始するためにタッチ操作されるボタンである。以下、表示画像G3を「駐車位置設定画像G3」とも称呼する。
図11は、設定完了ボタンG3cがタッチ操作されたときの駐車位置Pparkを示す。設定完了ボタンG3cがタッチ操作されると、VCECUは、図11に示したように、駐車位置Pparkの所定の位置を原点Oとする座標系を設定する。そして、各特徴点Fを抽出し、その濃淡情報、座標(x,z)及び角度θをVCECUのRAMに格納する(別言すれば、抽出された各特徴点Fを駐車位置Pparkと関連付けて登録する。)。即ち、上述したように、VCECUは、特徴点判定により抽出可能と判定された特徴点Fが含まれている右俯瞰画像及び/又は左俯瞰画像を、駐車方法に関連付けてそのRAMに格納している。VCECUは、そのRAMに格納されている俯瞰画像を読み出すことにより、各特徴点Fの濃淡情報、座標(x,z)及び角度θをそのRAMに格納する。なお、厳密には、設定完了ボタンG3cがタッチ操作された時点で、駐車位置Pparkへの駐車方法と関連付けられていないほうの右俯瞰画像又は左俯瞰画像は消去される。
図11に示したように、x軸は、その正の方向が、「車両SVが後退して駐車位置Pparkに駐車された場合(図15参照)の車両SVの前後方向における前方向」と一致するように設定される。図12A及び図12Bに示したように、各特徴点Fの角度θは、x軸と各特徴点Fに予め設定されている基準線RLとのなす角度として定義される。例えば、基準線RLは、その正の方向が、「駐車位置設定操作が開始される前の駐車位置表示枠G3aにより示される駐車位置に車両SVが駐車された場合の車両SVの前後方向における前方向」と一致するように設定される。図12Aは、駐車位置設定操作において時計回り矢印及び反時計回り矢印が操作されなかった場合の駐車位置Pparkと各特徴点Fとの位置関係を例示し、図12Bは、駐車位置設定操作において時計回り矢印が操作されて駐車位置Pparkが角度θ1だけ回転された場合の駐車位置Pparkと各特徴点Fとの位置関係を例示する。図12Aにおいては各特徴点Fの角度θは0°であり、図12Bにおいては各特徴点Fの角度θはθ1である。本実施形態では、説明の便宜上、θ=0°とする。
ここで、図11に示したように、車両SVが駐車場PL付近の道路RD上で停止した場合、特徴点Fは、駐車場PLの入口における地面90の特徴点として抽出される。このため、以下では、設定完了ボタンG3cがタッチ操作された時点でVCECUのRAMに格納される特徴点Fを「入口特徴点Fe」と称呼する。これにより、駐車位置Pparkと入口特徴点Feとの位置関係が一義的に決定される。
加えて、設定完了ボタンG3cがタッチ操作されると、VCECUは、車両SVを暫定的に決定した駐車位置Pparkに向けて自動的に駐車させる制御(駐車支援制御)を実行する。この場合の駐車支援制御は、駐車位置Ppark(登録予定の駐車位置)が実際に登録される前に行われるため、以下では「登録用駐車支援制御」とも称呼する。
具体的には、VCECUは、車両SVを現在の位置(図7の例では位置P1)から駐車位置Pparkへと車両SVを障害物に接触させることなく移動させるための経路を目標経路Rtgtとして決定する。即ち、VCECUは、現時点の車両SVの位置と駐車位置Pparkとの位置関係を特定し、現時点の車両SVの位置から駐車位置Pparkまで車両SVを移動できる目標経路Rtgtを算出(設定)する。VCECUは、目標経路Rtgtに沿って車両SVを移動させるための「車両SVを移動させるべき方向(具体的には、シフトレバー72の位置)、操舵角パターン及び速度パターン」を決定する。VCECUは、決定されたシフトレバー72の位置に応じてシフトレバー72の位置(変速機及び駆動方向切替え機構の状態)を切り替えるシフト位置自動制御を行い、その後、操舵角パターン及び速度パターンに従って車両SVが走行するように、操舵角自動制御、駆動力自動制御及び制動力自動制御を実行する。
なお、上述した「現時点の車両SVの位置と駐車位置Pparkとの位置関係の特定」は、入口特徴点Feを検知することにより行われる。即ち、登録用駐車支援制御が開始すると、VCECUは、所定時間が経過する毎にPVM-ECU20から取得される俯瞰画像に入口特徴点Feが含まれているか否かを、後述するマッチング処理により判定する。俯瞰画像に少なくとも一個以上の入口特徴点Feが含まれている場合、VCECUは、入口特徴点Feを検知したと判定し、当該入口特徴点Feの座標(x,z)及び角度θに基づいて駐車位置Pparkを算出する。
即ち、VCECUは、登録用駐車支援制御の実行中、「入口特徴点Feに基づいて算出された駐車位置Pparkに基づいて目標経路Rtgtを設定し、当該目標経路Rtgtに沿って車両SVを移動させる各種制御を実行する処理」を、所定時間毎に行う。図11の例では、登録用駐車支援制御が開始されてしばらくの期間は、入口特徴点Feは、左俯瞰画像から検知され、その後、後俯瞰画像から検知されると考えられる。
なお、車両SVが目標経路Rtgtに沿って移動したことにより、入口特徴点Feが何れの俯瞰画像からも検知されない事態も発生し得る。この場合、VCECUは、過去に設定された目標経路Rtgtのうち直近のものを現時点における目標経路Rtgtとして使用する。
ここで、図13を参照してマッチング処理について説明する。本実施装置は、テンプレートマッチングによりマッチング処理を行う。テンプレートマッチングは、所定範囲の画像からテンプレート画像との類似度が高い画像を探索する処理である。テンプレートマッチングは周知であるため、以下では、その概要を簡潔に説明する。
図13は、任意の或る入口特徴点Feをテンプレート画像とし、左俯瞰画像の撮像範囲84内でテンプレートマッチングを行う場合を例示する。VCECUは、まず、当該入口特徴点Feの濃淡情報を算出する。ここで、画像の濃淡情報とは、当該画像を構成する各画素の輝度値(lumij、i,j:画像内の位置座標)から、当該画像を構成する全ての画素の平均輝度値(lumave)を除算した値(lumid-lumave)が、各画素に関連付けられた情報である。続いて、VCECUは、左俯瞰画像から入口特徴点Feと同じ大きさ及び形状の画像を切り出し、当該画像の濃淡情報を算出し、入口特徴点Feの濃淡情報との類似度を算出する。VCECUは、この処理を、撮像範囲84内の全域に亘って行う。
具体的には、撮像範囲84の長手方向に1画素ずつずらしながら左俯瞰画像の濃淡情報と入口特徴点Feの濃淡情報との類似度を算出する処理を、撮像範囲84の短手方向に1画素ずつずらしながら実行する。VCECUは、左俯瞰画像内に濃淡情報の類似度が所定の類似度閾値以上の画像が含まれていた場合、左俯瞰画像から入口特徴点Feを検知したと判定する。マッチング処理は、他の俯瞰画像についても同様の方法で行われる。加えて、俯瞰画像から他の特徴点F(後述する内部特徴点Fi及び周辺特徴点Fp)を検知する際も、同様のマッチング処理が行われる。
更に、設定完了ボタンG3cがタッチ操作されて登録用駐車支援制御が開始されると、VCECUは、タッチパネル表示部22に登録用駐車支援画像(図示省略)を表示する。登録用駐車支援画像は、その左側領域に車両SVの位置から移動方向を見たときのカメラ視点画像を含み、その右側領域に合成俯瞰画像を含む。カメラ視点画像及び合成俯瞰画像が駐車位置Pparkを含む場合、これらカメラ視点画像及び合成俯瞰画像には、駐車位置Pparkを示す駐車位置表示枠が重ねて表示される。
登録モードでは、特徴点Fに基づく駐車位置Pparkの算出精度を向上させるため、入口特徴点Feに加え、内部特徴点Fi及び周辺特徴点Fpが追加的に抽出される。まず、内部特徴点Fiについて説明する。
VCECUは、車両SVを目標経路Rtgtに沿って駐車位置Pparkまで移動させる過程で、駐車位置Pparkに対する車両SVの位置推定精度を算出する。そして、当該位置推定精度が所定の精度閾値以上になったと判定した場合、VCECUは、図14に示したように、当該時点でPVM-ECU20から取得された後俯瞰画像から所定の個数(本実施形態では12個)の特徴点Fを抽出する。駐車位置Pparkに対する車両SVの位置推定精度は、車両SVの移動量の推定精度が高くなると高くなる。車両SVの移動量の推定精度は、車両SVが旋回している期間は比較的に低く、車両SVが直進している期間は比較的に高い。登録用駐車支援制御が開始されてから車両SVが直進し始めるのは、車両SVが後退してその一部が駐車位置Pparkの内部に進入した時点である(図14参照)。このため、VCECUは、車両SVが後退してその一部が駐車位置Pparkの内部に進入し、駐車位置Pparkに対する車両SVの位置推定精度が精度閾値以上になったと判定した場合、後俯瞰画像から特徴点Fを抽出する。本実施形態では、VCECUは、分割領域82D2、82D3、82D6、82D7からそれぞれ2個の特徴点Fを抽出し、分割領域82D1、82D4、82D5、82D8からそれぞれ1個の特徴点Fを抽出する。
このようにして抽出される特徴点Fは、その大半が駐車位置Pparkの内部に存在している。このため、以下では、駐車位置Pparkに対する車両SVの位置推定精度が精度閾値以上になった時点で抽出される特徴点Fを「内部特徴点Fi」と称呼する。VCECUは、内部特徴点Fiの濃淡情報、座標(x,z)及び角度θをそのRAMに格納する。内部特徴点Fiは、駐車支援モードにおいて駐車位置Pparkを算出する際に使用される。即ち、内部特徴点Fiは、登録モードにおいては、駐車位置Pparkの算出に使用されない。
VCECUは、内部特徴点Fiの抽出後、車両SVが所定の距離だけ後退した場合、内部特徴点Fiを再度抽出する。上記所定の距離は、例えば、後俯瞰画像が重複することがないような距離に設定される。但し、車両SVが所定の距離だけ後退する前に駐車位置Pparkへの駐車が完了している場合、内部特徴点Fiの抽出は1回のみ行われる。
続いて、周辺特徴点Fpについて説明する。VCECUは、車両SVを駐車位置Pparkまで移動させると、制動力自動制御を実行して車両SVを停止させ、その後、シフト位置自動制御によりシフトレバー72の位置を「P」に切り替える。これにより、車両SVの駐車位置Pparkへの駐車が完了する。VCECUは、駐車が完了したと判定した場合、図15に示したように、当該時点でPVM-ECU20から取得された右俯瞰画像、左俯瞰画像及び前俯瞰画像からそれぞれ所定の個数の特徴点Fを抽出する。本実施形態では、VCECUは、右俯瞰画像及び左俯瞰画像からはそれぞれ11個の特徴点Fを、前俯瞰画像からは12個の特徴点Fを抽出する(図15では、一部の特徴点Fのみ図示している。)。具体的には、VCECUは、右俯瞰画像については、分割領域83D2乃至83D4からそれぞれ2個の特徴点Fを抽出し、分割領域83D1、83D5乃至83D8からそれぞれ1個の特徴点Fを抽出し、左俯瞰画像については、分割領域84D1乃至84D3からそれぞれ2個の特徴点Fを抽出し、分割領域84D4、84D5乃至84D8からそれぞれ1個の特徴点Fを抽出し、前俯瞰画像については、分割領域81D2、81D3、81D6、81D7からそれぞれ2個の特徴点Fを抽出し、分割領域81D1、81D4、81D5、81D8からそれぞれ1個の特徴点Fを抽出する。
このようにして抽出される特徴点Fは、駐車位置Pparkの周辺に存在している。このため、以下では、車両SVの駐車位置Pparkへの駐車が完了した時点で抽出される特徴点Fを「周辺特徴点Fp」と称呼する。VCECUは、周辺特徴点Fpの濃淡情報、座標(x,z)及び角度θをそのRAMに格納する。周辺特徴点Fpは、駐車支援モードにおいて駐車位置Pparkを算出する際に使用される。即ち、周辺特徴点Fpは、登録モードにおいては、駐車位置Pparkの算出に使用されない。なお、以下では、入口特徴点Fe、内部特徴点Fi及び周辺特徴点Fpをまとめて「特徴点F」と総称する場合もある。
VCECUは、車両SVを駐車位置Pparkへ駐車させると(即ち、登録用駐車支援制御が完了すると)、タッチパネル表示部22に駐車位置修正画像(図示省略)を表示する。駐車位置修正画像は、その左側領域に合成俯瞰画像を含み、その右側領域に位置操作ボタン及び登録ボタンを含む。合成俯瞰画像には、駐車位置Pparkを示す駐車位置表示枠が重ねて表示される。位置操作ボタンは、位置操作ボタンG3bと同一の構成及び機能を有し、合成俯瞰画像における駐車位置表示枠の位置を移動させるために運転者によって操作される。登録ボタンは、駐車位置表示枠により示される位置を登録駐車位置Ppark_regとして決定するとともに、登録モードを終了するためにタッチ操作されるボタンである。
運転者が位置操作ボタンを操作して駐車位置表示枠の位置を所望の位置に移動させることにより、図16に示したように、駐車位置Ppark(破線参照)を所望の位置(即ち、登録駐車位置Ppark_reg(実線参照))に修正することができる。登録ボタンがタッチ操作されると、VCECUは、タッチパネル表示部22に、登録駐車位置Ppark_regの登録が完了したことを示す登録完了画像(図示省略)を表示する。加えて、VCECUは、登録駐車位置Ppark_regの所定の位置を原点Oregとする座標系を再設定し、入口特徴点Fe、内部特徴点Fi及び周辺特徴点Fpのそれぞれの座標及び角度を、再設定された座標系における座標(x,z)及び角度θに補正して、濃淡情報とともにVCECUの不揮発性メモリに格納する。別言すれば、これらの特徴点FをVCECUに登録する。これにより、登録モードが終了される。
(駐車支援モード)
次に、駐車支援モードについて説明する。以下では、登録モードと同一の処理については、その説明を省略する場合がある。
運転者が車両SVを停止させた状態で駐車支援スイッチ14を操作すると、駐車支援システムが起動する。登録駐車位置Ppark_regが登録されている場合において駐車支援システムが起動すると、VCECUは、登録モードの場合と同様に、まず、第2駐車モードを実行可能か否か判定する。第2駐車モードを実行可能と判定した場合、VCECUは、タッチパネル表示部22に、表示画像G1(図8参照)を表示する。表示画像G1に含まれる駐車開始ボタン(図示省略)がタッチ操作されると、第2駐車モードによる駐車支援制御が開始される。
ここで、登録駐車位置Ppark_regが登録されている場合、VCECUは、車両SVが所定の車速以下で走行している期間中、所定時間が経過する毎に取得した右俯瞰画像及び左俯瞰画像において入口特徴点Feのマッチング処理を行い、これらの画像の何れか一方から入口特徴点Feが検知されたか否かを判定している。駐車支援スイッチ14が操作された時点で入口特徴点Feが検知されている場合(図17参照)、VCECUは、表示画像G1の右側領域に含まれる合成画像G1S2(図8参照)に、モードボタン(図示省略)を重ねて表示する。モードボタンは、第2駐車モードと駐車支援モード(厳密には、第1駐車モードであり、登録駐車位置Ppark_regへの駐車支援制御を実行するモード)とを切り替えるためのボタンである。なお、駐車支援スイッチ14が操作された時点で入口特徴点Feが検知されていない場合、VCECUは、登録駐車位置Ppark_regへの駐車支援制御は不可能であると判定し、モードボタンを表示しない。
運転者がモードボタンをタッチ操作すると、VCECUは、タッチパネル表示部22に駐車支援画像(図示省略)を表示する(即ち、表示画像G1から駐車支援画像に切り替える。)。
駐車支援画像は、その左側領域に車両SVの位置から移動方向を見たときのカメラ視点画像を含み、その右側領域に合成俯瞰画像及び駐車開始ボタン(図示省略)を含む。カメラ視点画像及び合成俯瞰画像が登録駐車位置Ppark_regを含む場合、これらカメラ視点画像及び合成俯瞰画像には、登録駐車位置Ppark_regを示す駐車位置表示枠が重ねて表示される。なお、この登録駐車位置Ppark_regは、検知された入口特徴点Feに基づいて算出された駐車位置である。運転者が駐車開始ボタンをタッチ操作すると、VCECUは、車両SVを登録駐車位置Ppark_regに向けて自動的に駐車させる制御(駐車支援制御)を実行する(別言すれば、駐車支援モードを開始する。)。
VCECUは、駐車支援制御の前半においては、登録モードにおける登録用駐車支援制御と同様の処理を実行する。即ち、VCECUは、「入口特徴点Feに基づいて算出された登録駐車位置Ppark_regに基づいて目標経路Rtgtを設定し、当該目標経路Rtgtに沿って車両SVを移動させる各種制御を実行する処理」を、所定時間が経過する毎に行う。なお、車両SVが目標経路Rtgtに沿って移動したことにより、入口特徴点Feが何れの俯瞰画像からも検知されない場合、VCECUは、過去に設定された目標経路Rtgtのうち直近のものを現時点における目標経路Rtgtとして使用する。
VCECUは、駐車支援制御の後半においては、所定時間が経過する毎にPVM-ECU20から取得される俯瞰画像(特に、右俯瞰画像、左俯瞰画像及び後俯瞰画像)を用いてマッチング処理を行い、当該俯瞰画像から周辺特徴点Fp及び/又は内部特徴点Fiが検知されるか否かを判定する。周辺特徴点Fp及び/又は内部特徴点Fiが検知された場合、VCECUは、検知された周辺特徴点Fp及び/又は内部特徴点Fiの座標(x,z)及び角度θに基づいて登録駐車位置Ppark_regを算出する。VCECUは、登録駐車位置Ppark_regに基づいて目標経路Rtgtを設定し、当該目標経路Rtgtに沿って車両SVを移動させる各種制御を実行する。VCECUは、上記の処理を所定時間が経過する毎に行う。このように、入口特徴点Feだけではなく、周辺特徴点Fp及び内部特徴点Fiに基づいて登録駐車位置Ppark_regを算出する(別言すれば、所定時間が経過する毎に登録駐車位置Ppark_regを更新する)ことにより、登録駐車位置Ppark_regを高い精度で算出することができる。
上述したように、登録駐車位置Ppark_regは、特徴点Fに基づいて算出されるため、登録駐車位置Ppark_regの算出精度を一定の水準に維持するためには、特徴点Fはできるだけ多く検知されることが望ましい。しかしながら、以下の3つのケースにおいては、登録モード時に抽出した特徴点Fを駐車支援モード時に検知できず、登録駐車位置Ppark_regの算出精度が低下してしまう可能性がある。以下、上記3つのケースについて具体的に説明する。
ケース1:登録モード時に不適切な特徴点Fを抽出するケース
図18は、車両SVが位置P1(図11参照)に停止している状態で登録モードにおいて撮像範囲84から抽出された12個の特徴点F1乃至特徴点F11及び特徴点Fsを示す。以下では、登録モードにおける撮像範囲は、それを明示するために撮像範囲regと表記する。図18に示したように、撮像範囲84reg内(より詳細には、分割領域84D8内)には影Sが映り込んでおり、影Sと芝生90Lとの境界において輝度の変化が比較的に大きくなっている。このため、VCECUは、分割領域84D8からは、影Sと芝生90Lとの境界の角部を特徴点Fsとして抽出している。影Sの位置は時刻によって変化する。このため、駐車支援モードにおいては、特徴点Fsを検知することができない可能性が極めて高い。
ケース1に該当するのは、影Sを含む特徴点Fを抽出した場合に限られない。例えば、夜間に登録モードを開始して特徴点Fを抽出する場合、照明により照らされている部分と照らされていない部分との境界が特徴点Fとして抽出されることがある。この場合も、照明が使用されていない日中に駐車支援モードを実行する場合、当該特徴点Fを検知することができない可能性が極めて高い。即ち、ケース1は、登録モード時に不適切な特徴点Fを抽出するケースに該当する。
ケース2:登録モード時と駐車支援モード時とで地面90の状態が経時変化しているケース
図19は、車両SVが位置P1(図11参照)に停止している状態で登録モードにおいて撮像範囲84regから抽出された12個の特徴点F1乃至特徴点F12を示す。図19に示したように、これらの特徴点F1乃至特徴点F12の中には、ケース1に該当する特徴点は含まれていない。図20は、駐車支援モードにおいて撮像範囲84から検知された11個の特徴点F1乃至特徴点F5及び特徴点F7乃至特徴点F12を示す。なお、撮像範囲84は、図19の撮像範囲84regと一致している。図20に示したように、この駐車支援モードが実行される時点では、登録モード時から時間が経過しており、分割領域84D4に含まれるブロック90Bに汚れDが付着している。このため、分割領域84D4から抽出された特徴点F6(図19参照)は、駐車支援モードにおいては検知されない。
ケース2に該当するのは、地面90に汚れDが付着した場合に限られない。例えば、芝生90Lが成長したり枯れたりした場合、及び、地面90が経時変化により日焼けした場合には、登録モード時に抽出された特徴点Fが、駐車支援モード時には検知されない場合がある。即ち、ケース2は、登録モード時と駐車支援モード時とで地面90の状態が経時変化しているケースに該当する。
ケース3:登録モードで抽出された特徴点Fが駐車支援モードにおける撮像範囲に含まれないケース
図21は、車両SVが位置P1(図11参照)に停止している状態で登録モードが実行されて撮像範囲84regから抽出された12個の特徴点F1乃至特徴点F12と、車両SVが位置P2(図17参照)に停止している状態で駐車支援モードが実行されて撮像範囲84から抽出された7個の特徴点F2乃至特徴点F6並びに特徴点F8及び特徴点F10を示す。これらの特徴点F1乃至特徴点F12の中には、ケース1及びケース2に該当する特徴点は含まれていない。
図21の例では、駐車支援モードにおける撮像範囲84が登録モードにおける撮像範囲84regからずれているため、駐車支援モードでは5個の特徴点F1、F7、F9、F11及びF12は検知されない。即ち、ケース3は、登録モードで抽出された特徴点Fが駐車支援モードにおける撮像範囲に含まれないケースに該当する。
VCECUは、或る特徴点Fが上記3つのケースに該当する事態が駐車支援制御(厳密には、駐車支援モードによる駐車支援制御)を実行するたびに連続して発生した場合、当該特徴点Fを不揮発性メモリから消去して(別言すれば、登録されていた当該特徴点Fを登録対象から消去して)、新たな特徴点Fを抽出する。以下、具体的に説明する。
VCECUは、登録モード時に抽出された各特徴点Fにカウント値cntを設定する。VCECUは、1回の駐車支援制御の実行中に或る特徴点Fが一度でも検知された場合、当該特徴点Fを検知済特徴点FdとしてそのRAMに格納する。VCECUは、駐車支援制御の終了後、登録モードにおいて抽出された全ての特徴点F(即ち、入口特徴点Fe、内部特徴点Fi及び周辺特徴点Fp)のカウント値cntを更新する。具体的には、或る特徴点Fが検知済特徴点FdとしてVCECUのRAMに格納されている場合、VCECUは、以下の式(1)に従って当該特徴点Fのカウント値cntを更新する。一方、或る特徴点Fが検知済特徴点Fdではなく特徴点FとしてVCECUのRAMに格納されている場合(別言すれば、1回の駐車支援制御の実行中に一度も検知されなかった場合)、VCECUは、以下の式(2)に従って当該特徴点Fのカウント値cntを更新する。なお、本実施形態では、カウント値cntの初期値は5に設定される。
cnt=min(5,cnt+3) ・・・(1)
cnt=cnt-1 ・・・(2)
VCECUは、カウント値cntの更新後、カウント値cnt=0である特徴点Fが存在するか否かを判定し、存在する場合、当該特徴点Fを不揮発性メモリから消去する。例えば、現在のカウント値cntが5の特徴点Fが、ケース1乃至ケース3の何れかに該当することに起因して、駐車支援制御の実行中に一度も検知されない事態が5回連続して発生した場合、当該特徴点Fは消去される。なお、カウント値cntの初期値及び式(1)に使用される数字は上記の値に限られず、適宜変更されてもよい。加えて、式(1)の代わりに、以下の式、即ち、cnt=N(N:所定の整数)が採用されてもよい。
特徴点Fが消去された場合、VCECUは、消去された特徴点Fと同数の特徴点Fを俯瞰画像から新たに抽出する。以下、具体的に説明する。
VCECUは、入口特徴点Feが消去された場合、同数の入口特徴点Feを、後述する「入口特徴点用俯瞰画像」から新たに抽出する。入口特徴点用俯瞰画像は、駐車支援モードが開始された時点でPVM-ECU20から取得される右俯瞰画像又は左俯瞰画像である。即ち、上述したように、駐車支援モードの駐車開始ボタンがタッチ操作された時点では、右俯瞰画像及び左俯瞰画像の何れか一方から入口特徴点Feが既に検知されている。このため、VCECUは、当該時点において、既に検知されている入口特徴点Feを含んでいる方の俯瞰画像(即ち、右俯瞰画像又は左俯瞰画像)を入口特徴点用俯瞰画像としてそのRAMに格納しておく。例えば、図21において、車両SVが位置P2(図17参照)に位置しているときに駐車支援モードが開始された場合、VCECUは、駐車支援モードが開始された時点において、撮像範囲84(図21の太枠参照)の左俯瞰画像を入口特徴点用俯瞰画像としてそのRAMに格納しておく。
そして、駐車支援制御が終了した時点で当該入口特徴点用俯瞰画像を読み出し、消去された入口特徴点Feが含まれていた分割領域と同一の分割領域から新たな入口特徴点Feが抽出可能か否かを判定する。抽出可能と判定した場合、VCECUは、同一の分割領域から新たな入口特徴点Feを抽出する。一方、抽出不可能と判定した場合、VCECUは、入口特徴点用俯瞰画像の全体から新たな入口特徴点Feを抽出する。VCECUは、抽出された新たな入口特徴点Feの濃淡情報、座標(x,z)及び角度θをその不揮発性メモリに格納する(別言すれば、新たな入口特徴点Feを登録駐車位置Ppark_regと関連付けて登録する。)。
例えば、図18の例では、特徴点Fsはケース1に該当する。このため、特徴点Fsのカウント値cntが5の場合において、「1回の駐車支援制御の実行中に特徴点Fsが検知されない事態」が5回連続して発生すると、駐車支援制御が終了した時点で特徴点Fsは消去される。ここで、入口特徴点用俯瞰画像の撮像範囲84が撮像範囲84regと一致していると仮定すると、特徴点Fsが含まれている分割領域84D8には抽出可能な特徴点F12nが含まれているため、VCECUは、分割領域84D8から特徴点F12nを新たな入口特徴点Feとして抽出する。
一方、入口特徴点用俯瞰画像の撮像範囲84が撮像範囲84regと一致しておらず、入口特徴点用俯瞰画像では特徴点Fsがその分割領域84D6に含まれていると仮定すると、VCECUは、入口特徴点用俯瞰画像の分割領域84D6から新たな入口特徴点Feを抽出可能か否か判定する。抽出可能と判定した場合、VCECUは、その分割領域84D6から新たな入口特徴点Feを抽出する。一方、抽出不可能と判定した場合、VCECUは、入口特徴点用俯瞰画像の全体から新たな入口特徴点Feを抽出する。
なお、特徴点Fsが消去されるのは、特徴点Fsが検知されない事態が5回連続して発生する場合に加えて、以下のような場合もある。即ち、特徴点Fsが検知されない事態が4回連続して発生して特徴点Fsのカウント値cntが1になった場合において、次の駐車支援制御の実行中に撮像範囲84に影Sが映り込んでいることにより偶然に特徴点Fsが検知された場合、式(1)によればそのカウント値cntは4に更新される。この場合、その後、特徴点Fsが検知されない事態が4回連続して発生すると、駐車支援制御が終了した時点で特徴点Fsは消去される。
加えて、図19及び図20の例では、特徴点F6(図19参照)はケース2に該当する。このため、特徴点F6のカウント値cntが5の場合において、「1回の駐車支援制御の実行中に特徴点F6が検知されない事態」が5回連続して発生すると、駐車支援制御が終了した時点で特徴点F6は消去される。ここで、入口特徴点用俯瞰画像の撮像範囲84(図20参照)は撮像範囲84reg(図19参照)と一致しており、特徴点F6が含まれていた分割領域84D4には抽出可能な特徴点F6nが含まれているため、VCECUは、分割領域84D4から特徴点F6nを新たな入口特徴点Feとして抽出する。
更に、図21の例では、特徴点F1、F7、F9、F11及びF12はケース3に該当する。このため、これら5個の特徴点Fのカウント値cntが5の場合において「1回の駐車支援制御の実行中にこれら5個の特徴点Fが検知されない事態」が5回連続して発生すると、駐車支援制御が終了した時点でこれら5個の特徴点Fは消去される。ここで、図21に示したように、消去された5個の特徴点Fは入口特徴点用俯瞰画像の撮像範囲84には含まれていないため、VCECUは、入口特徴点用俯瞰画像の全体から新たに5個の特徴点Fを抽出可能か否か判定する。この例では、撮像範囲84の分割領域84D7から2個の特徴点F1n及び特徴点F7nを、分割領域84D8から2個の特徴点F9n及び特徴点F11nを、分割領域84D4から1個の特徴点F12nを新たに抽出可能であるため、VCECUは、これら5個の特徴点Fを新たな入口特徴点Feとして抽出する。
VCECUは、周辺特徴点Fp及び内部特徴点Fiが消去された場合、消去された周辺特徴点Fpと同数の周辺特徴点Fp及び消去された内部特徴点Fiと同数の内部特徴点Fiを、後述する「周辺特徴点用俯瞰画像」及び「内部特徴点用俯瞰画像」からそれぞれ新たに抽出する。
内部特徴点用俯瞰画像は、車両SVの登録駐車位置Ppark_regに対する位置推定精度が精度閾値以上になった時点(即ち、車両SVが後退してその一部が登録駐車位置Ppark_regの内部に進入した時点)でPVM-ECU20から取得される後俯瞰画像である。
周辺特徴点用俯瞰画像は、駐車支援制御が終了した時点(即ち、車両SVの登録駐車位置Ppark_regへの移動が完了した時点)でPVM-ECU20から取得される右俯瞰画像、左俯瞰画像及び前俯瞰画像である。
新たな周辺特徴点Fp及び内部特徴点Fiの抽出方法は、新たな入口特徴点Feの抽出方法と同様である。即ち、VCECUは、駐車支援制御が終了した時点で周辺特徴点用俯瞰画像を取得するとともに内部特徴点用俯瞰画像を読み出し、消去された周辺特徴点Fp及び内部特徴点Fiが含まれていた分割領域と同一の分割領域から新たな周辺特徴点Fp及び内部特徴点Fiがそれぞれ抽出可能か否かを判定する。抽出可能と判定した場合、VCECUは、同一の分割領域から新たな周辺特徴点Fp及び内部特徴点Fiをそれぞれ抽出する。一方、抽出不可能と判定した場合、VCECUは、周辺特徴点用俯瞰画像の全体及び内部特徴点用俯瞰画像の全体から新たな周辺特徴点Fp及び内部特徴点Fiをそれぞれ抽出する。VCECUは、抽出された新たな周辺特徴点Fp及び内部特徴点Fiの濃淡情報、座標(x,z)及び角度θをその不揮発性メモリに格納する(別言すれば、新たな周辺特徴点Fp及び内部特徴点Fiを登録駐車位置Ppark_regと関連付けて登録する。)。
上記処理の終了後、VCECUは駐車支援モードを終了する。なお、新たな特徴点Fは、消去された特徴点Fと同一の分割領域から抽出される代わりに、消去された特徴点Fを中心とする(又は任意の位置に含む)所定の範囲(例えば、円形形状の範囲又は正方形形状の範囲)から抽出される構成が採用されてもよい。
<具体的作動>
(登録モード)
VCECUのCPU(単に「CPU」と称呼する。)は、登録モードの実行が開始されると、所定時間が経過する毎に図22にフローチャートにより示したルーチンを実行するようになっている。
従って、登録モードの実行が開始されると、CPUは、図22のステップ2200から処理を開始して、ステップ2300の駐車方法画像表示処理、ステップ2400の駐車位置設定処理、ステップ2500の登録用駐車支援処理及びステップ2600の駐車位置修正処理をこの順に実行する。以下では、これらの処理について順に説明する。
CPUは、ステップ2300に進むと、図23にフローチャートにより示したルーチン(駐車方法画像表示処理)を実行するようになっている。CPUは、図23のステップ2300から処理を開始してステップ2305に進み、右側領域及び左側領域に車両SVが並列駐車及び/又は縦列駐車可能なスペースがあるか否か、及び、当該スペースまでの目標経路Rtgtを設定可能か否かを判定する(駐車可能判定)とともに、右俯瞰画像及び左俯瞰画像から特徴点Fを抽出可能であるか否かを判定する(特徴点判定)。
CPUは、駐車可能判定で肯定判定を行い且つ特徴点判定で肯定判定を行った場合(S2305:Yes)、何れかの駐車方法による駐車位置の登録が可能であると判定し、ステップ2310に進み、タッチパネル表示部22に駐車方法画像G2を表示する。その後、CPUは、駐車方法選択ボタンG2a乃至G2dの何れかがタッチ操作された時点でステップ2395に進んで駐車方法画像表示処理を終了し、図24のステップ2400に進む。
これに対し、CPUは、駐車可能判定及び特徴点判定の少なくとも一方の判定で否定判定を行った場合(S2305:No)、駐車位置の登録が不可能であると判定し、ステップS2315に進み、タッチパネル表示部22に駐車位置の登録が不可能である旨を示すメッセージを表示する。その後、CPUは、ステップ2395に進んで駐車方法画像表示処理を終了するとともに、登録モードを終了する。
CPUは、ステップ2400に進むと、図24にフローチャートにより示したルーチン(駐車位置設定処理)を実行するようになっている。CPUは、図24のステップ2400から処理を開始してステップ2405に進み、タッチパネル表示部22に駐車位置設定画像G3を表示する。その後、CPUは、ステップ2410に進み、位置操作ボタンG3bがタッチ操作されたか否かを判定する。ステップ2410で否定判定を行った場合(S2410:No)、CPUは、ステップ2420に進んで設定完了ボタンG3cがタッチ操作されたか否かを判定する。ステップ2420で否定判定を行った場合(S2420:No)、CPUは、ステップ2495に進んで本ルーチンを一旦終了する。
上記処理を繰り返し、ステップ2410で肯定判定を行った場合(S2410:Yes)、CPUは、ステップ2415に進み、合成画像G3Sにおける駐車位置表示枠G3aの位置を移動させる。その後、CPUは、ステップ2420に進み、設定完了ボタンG3cがタッチ操作されたか否かを判定する。ステップ2420で肯定判定をした場合(S2420:Yes)、CPUは、ステップ2425に進み、駐車位置Pparkに座標系を設定し、ステップ2305の特徴点判定により抽出可能と判定されていた特徴点Fを入口特徴点Feとして、その濃淡情報、座標(x,z)及び角度θをVCECUのRAMに格納する。別言すれば、入口特徴点Feと駐車位置Pparkとの位置関係を記憶する。その後、CPUは、ステップ2495に進み駐車位置設定処理を終了し、図25のステップ2500に進む。
CPUは、ステップ2500に進むと、図25にフローチャートにより示したルーチン(登録用駐車支援処理)を実行するようになっている。CPUは、図25のステップ2500から処理を開始してステップ2505に進み、タッチパネル表示部22に登録用駐車支援画像を表示する。その後、CPUは、ステップ2510に進み、後退フラグの値が0であるか否かを判定する。後退フラグは、車両SVの駐車位置Pparkに対する位置推定精度が精度閾値以上であるか否かを示すフラグであり、精度閾値以上の場合はその値が1に設定され、精度閾値未満の場合はその値が0に設定される。
後退フラグの値が0であると判定した場合(S2510:Yes)、CPUは、ステップ2515に進み、入口特徴点Feを検知したか否かを判定する。肯定判定をした場合(S2515:Yes)、CPUは、ステップ2520にて入口特徴点Feに基づいて駐車区画Pparkを算出する。その後、CPUは、ステップ2525に進み、駐車位置Pparkに基づいて目標経路Rtgtを設定し、ステップ2530にて、車両SVを目標経路Rtgtに沿って移動させるための各種制御を実行する。
その後、CPUは、ステップ2535に進み、車両SVの駐車位置Pparkへの駐車が完了したか否かを判定する。否定判定した場合(S2535:No)、CPUは、ステップ2540にて、車両SVの駐車位置Pparkに対する位置推定精度が精度閾値以上であるか否かを判定する。上述したように、位置推定精度が精度閾値以上になるのは、車両SVが後退してその一部が駐車位置Pparkの内部に進入した時点(別言すれば、後退方向に直進し始める時点)である。このため、車両SVが後退してその一部が駐車位置Pparkの内部に進入するまでは、CPUは、ステップ2540にて否定判定を行い(S2540:No)、その後、ステップ2595に進んで本ルーチンを一旦終了する。
上記処理を繰り返して車両SVが目標経路Rtgtに沿って移動した結果、入口特徴点Feをバックカメラ21bを用いても検知できなくなった場合、CPUは、ステップ2515にて否定判定を行う(S2515:No)。この場合、CPUは、ステップS2530に進み、車両SVを直近の周期で算出された目標経路Rtgtに沿って移動させるための各種制御を実行する。
その後、CPUは、ステップS2535の判定を行い、否定判定した場合(S2535:No)、ステップ2540の判定を行う。まだ車両SVの一部が駐車位置Pparkの内部に進入していない(別言すれば、車両SVがまだ後退方向に直進していない)場合、CPUは、ステップ2540にて否定判定を行い(S2540:No)、その後、ステップ2595に進んで本ルーチンを一旦終了する。
上記処理を繰り返してステップ2540にて肯定判定した場合(S2540:Yes)、CPUは、ステップ2545に進んで上述した後退フラグの値を1に設定する。その後、CPUは、ステップ2550に進んで、現在の周期において後俯瞰画像から抽出可能な特徴点Fが、既に後俯瞰画像から抽出された特徴点Fと重複していないか否かを判定する。ステップ2540で初めて肯定判定をした場合、まだ後俯瞰画像から特徴点Fを抽出する処理は行っていないため、CPUは、ステップ2550にて肯定判定を行う(S2550:Yes)。その後、CPUは、ステップ2555に進み、現在の周期で取得された後俯瞰画像から特徴点Fを内部特徴点Fiとして抽出し、その濃淡情報、座標(x,z)及び角度θをVCECUのRAMに格納する。別言すれば、内部特徴点Fiと駐車位置Pparkとの位置関係を記憶する。その後、CPUは、ステップ2595に進み本ルーチンを一旦終了する。
CPUは、上記処理を繰り返し、ステップ2505を経てステップ2510の判定を行う。ステップ2545にて後退フラグの値は1に設定されているため、CPUは、ステップ2510にて否定判定し(S2510:No)、ステップ2530にて直近の周期で算出された目標経路Rtgtに沿って車両SVを移動させるための各種制御を行う。車両SVが後退して、一旦その一部が駐車位置Pparkの内部に進入した場合、車両SVが駐車位置Pparkに駐車を完了するまで、駐車位置Pparkに対する車両SVの位置推定精度は精度閾値以上である。このため、CPUは、ステップ2530の終了後、ステップ2535にて否定判定した場合(S2535:No)、ステップ2540にて肯定判定を行い(S2540:Yes)、ステップ2545を経てステップ2550の判定を再度行う。現在の周期において後俯瞰画像から抽出可能な特徴点Fが、既に後俯瞰画像から抽出された特徴点Fと重複している場合(S2550:No)、CPUはステップ2595に進んで本ルーチンを一旦終了する。
上記処理を繰り返し、ステップ2535にて肯定判定した場合(S2535:Yes)、CPUはステップ2560に進み、現在の周期で取得された右俯瞰画像、左俯瞰画像及び前俯瞰画像からそれぞれ特徴点Fを周辺特徴点Fpとして抽出し、その濃淡情報、座標(x,z)及び角度θをVCECUのRAMに格納する。別言すれば、周辺特徴点Fpと駐車位置Pparkとの位置関係を記憶する。加えて、CPUは、後退フラグの値を0に設定する(初期化する)。その後、CPUは、ステップ2595に進み、登録用駐車支援処理を終了し、図26のステップ2600に進む。
CPUは、ステップ2600に進むと、図26にフローチャートにより示したルーチン(駐車位置修正処理)を実行するようになっている。CPUは、図26のステップ2600から処理を開始してステップ2605に進み、タッチパネル表示部22に駐車位置修正画像を表示する。その後、CPUは、ステップ2610にて位置操作ボタンがタッチ操作されたか否かを判定する。ステップ2610で否定判定を行った場合(S2610:No)、CPUは、ステップ2620に進んで登録ボタンがタッチ操作されたか否かを判定する。ステップ2620で否定判定を行った場合(S2620:No)、CPUは、ステップ2695に進んで本ルーチンを一旦終了する。
上記処理を繰り返し、ステップ2610で肯定判定を行った場合(S2610:Yes)、CPUは、ステップ2615に進み、合成俯瞰画像における駐車位置表示枠の位置を移動させる。その後、CPUは、ステップ2620に進み、登録ボタンがタッチ操作されたか否かを判定する。ステップ2620で肯定判定をした場合(S2620:Yes)、CPUは、ステップ2625にてタッチパネル表示部22に登録完了画像を表示してステップ2630に進む。ステップ2630では、CPUは、登録駐車位置Ppark_regに座標系を再設定し、入口特徴点Fe、内部特徴点Fi及び周辺特徴点Fpの補正後の座標(x,z)及び角度θを濃淡情報とともにVCECUの不揮発性メモリに格納する。別言すれば、入口・内部・周辺特徴点Fe,Fi,Fpと登録駐車位置Ppark_regとの位置関係を保存する。その後、CPUはステップ2695に進んで駐車位置修正処理を終了し、図22のステップ2295に進んで登録モードを終了する。
(駐車支援モード)
CPUは、駐車支援モードの実行が開始されると、所定時間が経過する毎に図27にフローチャートにより示したルーチンを実行するようになっている。
従って、駐車支援モードの実行が開始されると、CPUは、図27のステップ2700から処理を開始して、ステップ2800の「入口特徴点に基づく駐車支援処理」及びステップ2900の「周辺・内部特徴点に基づく駐車支援処理」をこの順に実行する。
CPUは、ステップ2800に進むと、図28にフローチャートにより示したルーチン(入口特徴点に基づく駐車支援処理)を実行するようになっている。CPUは、図28のステップ2800の処理を開始した時点で、PVM-ECU20から取得される右俯瞰画像又は左俯瞰画像を「入口特徴点用俯瞰画像」としてVCECUのRAMに格納する。その後、CPUは、ステップ2805に進み、タッチパネル表示部22に駐車支援画像を表示し、ステップ2810にて入口特徴点Feを検知したか否かを判定する。肯定判定をした場合(S2810:Yes)、CPUは、ステップ2815にて、入口特徴点Feに基づいて登録駐車位置Ppark_regを算出し、ステップ2820にて、検知された入口特徴点Feを「検知済入口特徴点Fed」としてVCECUのRAMに格納する。その後、CPUは、ステップ2825に進み、登録駐車位置Ppark_regに基づいて目標経路Rtgtを設定し、ステップ2830にて車両SVを目標経路Rtgtに沿って移動させるための各種制御を実行する。その後、CPUは、ステップ2895に進んで本ルーチンを一旦終了する。
上記処理を繰り返して車両SVが目標経路Rtgtに沿って移動した結果、入口特徴点Feをバックカメラ21bを用いても検知できなくなった場合、CPUは、ステップ2810にて否定判定を行う(S2810:No)。この場合、CPUは、ステップS2830に進み、車両SVを直近の周期で算出された目標経路Rtgtに沿って移動させるための各種制御を実行する。その後、CPUは、ステップ2895に進んで入口特徴点に基づく駐車支援処理を終了し、図29のステップ2900に進む。
CPUは、ステップ2900に進むと、図29にフローチャートにより示したルーチン(周辺・内部特徴点に基づく駐車支援処理)を実行するようになっている。CPUは、図29のステップ2900から処理を開始してステップ2905に進み、タッチパネル表示部22に駐車支援画像を表示する。その後、CPUは、ステップ2910にて車両SVが登録駐車位置Ppark_regに接近しているか否かを判定する。シフトレバー72の位置が「D」であるとき、CPUは、ステップ2910にて否定判定を行う(S2910:No)。この場合、CPUは、ステップ2915に進み、車両SVを直近の周期で算出された目標経路Rtgtに沿って移動させるための各種制御を実行する。その後、CPUは、ステップ2995に進んで本ルーチンを一旦終了する。
上記処理を繰り返し、その途中でシフトレバー72の位置が「R」に切り替えられた場合、CPUは、ステップ2910にて肯定判定し(S2910:Yes)、ステップ2920に進んで周辺特徴点Fp及び/又は内部特徴点Fiを検知したか否かを判定する。否定判定した場合(S2920:No)、CPUはステップ2915に進み、車両SVを直近の周期で算出された目標経路Rtgtに沿って移動させるための各種制御を実行する。その後、CPUは、ステップ2995に進んで本ルーチンを一旦終了する。
上記処理を繰り返し、ステップ2920にて肯定判定を行った場合(S2920:Yes)、CPUは、ステップ2925にて周辺特徴点Fp及び/又は内部特徴点Fiに基づいて登録駐車位置Ppark_regを算出し、ステップ2930にて、検知された周辺特徴点Fp及び/又は内部特徴点Fiを「検知済周辺特徴点Fpd」及び/又は「検知済内部特徴点Fid」としてVCECUのRAMに格納する。その後、CPUは、ステップ2935に進み、登録駐車位置Ppark_regに基づいて目標経路Rtgtを設定し、ステップ2940にて車両SVを目標経路Rtgtに沿って移動させるための各種制御を実行する。
その後、CPUは、ステップ2945に進んで、車両SVの登録駐車位置Ppark_regに対する位置推定精度が「初めて」精度閾値以上になった時点でPVM-ECU20から取得される後俯瞰画像を「内部特徴点用俯瞰画像」としてVCECUのRAMに格納する。なお、当該位置推定精度が精度閾値以上になるまでは、CPUは、ステップ2905乃至ステップステップ2940の処理を繰り返す。その後、CPUは、ステップ2950に進んで車両SVの登録駐車位置Ppark_regへの駐車が完了したか否かを判定する。否定判定した場合(S2950:No)、CPUは、ステップ2995に進んで本ルーチンを一旦終了する。上記処理を繰り返し、ステップ2950で肯定判定した場合(S2950:Yes)、CPUはステップ2995に進んで周辺・内部特徴点に基づく駐車支援処理を終了し、図27のステップ2705に進む。
CPUは、ステップ2705に進むと、各特徴点F(入口特徴点Fe、周辺特徴点Fp及び内部特徴点Fi)のカウント値cntを更新する。具体的には、各特徴点Fが検知済特徴点Fd(検知済入口特徴点Fed、検知済周辺特徴点Fpd及び検知済内部特徴点Fid)としてVCECUのRAMに格納されている場合、CPUは、上記式(1)に則ってそのカウント値cntを更新する。一方、各特徴点Fが特徴点FとしてVCECUのRAMに格納されている場合、CPUは、上記式(2)に則ってそのカウント値cntを更新する。CPUは、更新された各特徴点Fのカウント値cntを各特徴点Fに関連付けてVCECUの不揮発性メモリに格納する。
その後、CPUは、ステップ2710に進んでカウント値cntが0の特徴点Fが存在するか否かを判定する。否定判定した場合(S2710:No)、CPUは、ステップ2795に進み、駐車支援モードを終了する。これに対し、ステップ2710で肯定判定した場合(S2710:Yes)、CPUは、ステップ2715にてカウント値cntが0である特徴点Fを不揮発性メモリから消去する。
続いて、CPUは、ステップ2720に進んで、VCECUのRAMに格納されている入口特徴点用俯瞰画像及び内部特徴点用俯瞰画像を読み出すとともに、PVM-ECU20から右俯瞰画像、左俯瞰画像及び前俯瞰画像を「周辺特徴点用俯瞰画像」として取得する(以下、これらを「特徴点用俯瞰画像」と総称する場合もある。)。そして、特徴点用俯瞰画像において、消去された特徴点Fが含まれていた分割領域と同一の分割領域から新たな特徴点Fを抽出可能か否か判定する。
ステップ2720で肯定判定した場合(S2720:Yes)、CPUは、ステップ2725に進んで、同一の分割領域から新たな特徴点Fを抽出し、その濃淡情報、座標(x,z)及び角度θを、カウント値cntの初期値(=5)に関連付けてVCECUの不揮発性メモリに格納する。その後、CPUは、ステップ2795に進んで駐車支援モードを終了する。
一方、ステップ2720で否定判定した場合(S2720:No)、CPUは、ステップ2730に進んで、特徴点用俯瞰画像の全体から新たな特徴点Fを抽出し、その濃淡情報、座標(x,z)及び角度θを、カウント値cntの初期値(=5)に関連付けてVCECUの不揮発性メモリに格納する。その後、CPUは、ステップ2795に進んで駐車支援モードを終了する。
本実施装置の作用効果を説明する。本実施装置では、特徴点Fがケース1乃至ケース3に該当することに起因して、1回の駐車支援制御において俯瞰画像から当該特徴点Fが一度も検知されない事態(以下、「非検知事態」とも称呼する。)が所定の回数(4回又は5回)だけ連続して発生した場合、当該特徴点FがVCECUの不揮発性メモリから消去され、代わりに、消去された特徴点Fと同数の特徴点Fが特徴点用俯瞰画像から新たに抽出され、その濃淡情報、座標(x,z)及び角度θが当該不揮発性メモリに格納される。このため、俯瞰画像から検知することが可能な特徴点Fの個数が減少し続けることがなくなる。従って、検知可能な特徴点Fに基づいて、登録駐車位置Ppark_regを精度よく算出することができ、結果として、車両を登録駐車位置Ppark_regに適切に駐車させることができる(即ち、駐車支援モードを適切に実行することができる。)。
加えて、本実施装置では、特徴点Fがケース3に該当することに起因して非検知事態が所定の回数だけ連続して発生した場合にも当該特徴点FがVCECUの不揮発性メモリから消去される。このため、例えば、駐車支援モードを開始するときの車両SVの位置(図17の位置P2を参照)が、登録モードにおいて入口特徴点Feが抽出されたときの車両SVの位置(図11の位置P1を参照)からずれることが常態化した場合、ケース3に該当する入口特徴点Fe(即ち、範囲外入口特徴点Feo)は最終的に消去され、「駐車支援モードを開始する際に運転者が傾向的に停止させる車両SVの位置に対応した入口特徴点用俯瞰画像」から新たな入口特徴点Feが抽出される。従って、特徴点の分布範囲を、運転者の癖がより反映された範囲に随時更新することができる。結果として、登録駐車位置Ppark_regの算出精度を常に高い水準に維持することができる。
(変形例)
本発明の変形例に係る駐車支援装置(以下、「本変形装置」と称呼される。)について説明する。本変形装置は、各特徴点Fのカウント値cntの更新方法が本実施装置と異なっている。このため、以下では、本実施装置との相違点について主に説明する。
本実施装置では、特徴点Fがケース1乃至ケース3の何れかに該当することに起因してカウント値cntが0になった場合、当該特徴点Fが消去される構成が採用されている。ここで、ケース1は、登録モード時に不適切な特徴点Fが抽出されるケースであるため、ケース1に該当する特徴点Fが駐車支援モードにおいて検知される可能性は極めて低い。加えて、ケース2は、登録モード時と駐車支援モード時とで地面90の状態が変化しているケースであるため、ケース2に該当する特徴点Fが駐車支援モードにおいて検知される可能性は極めて低い。しかしながら、ケース3は、登録モードで抽出された特徴点Fが駐車支援モードにおける撮像範囲に含まれないケースである。このため、ケース3に該当する特徴点Fは、それ自体が特徴点Fとして不適切であったり、経時変化により検知されなくなったりしたわけではない。別言すれば、或る駐車支援制御では特徴点Fがケース3に該当するとして検知されなかったとしても、別の駐車支援制御では当該特徴点Fが検知される(俯瞰画像の撮像範囲に含まれる)可能性もある。
そこで、本変形装置では、特徴点Fがケース3に該当することに起因して検知されなかった場合は、当該特徴点Fのカウント値cntを維持する構成を採用している。具体的には、VCECUは、1回の駐車支援制御の実行中に或る特徴点Fが一度でも検知された場合、当該特徴点Fを検知済特徴点FdとしてそのRAMに格納する。一方、1回の駐車支援制御の実行中に或る特徴点Fが一度も検知されなかった場合において、当該特徴点Fがケース3に該当するとき(即ち、俯瞰画像の撮像範囲に一度も含まれなかったとき)、VCECUは、当該特徴点Fを範囲外特徴点FoとしてそのRAMに格納する。加えて、1回の駐車支援制御の実行中に或る特徴点Fが俯瞰画像の撮像範囲に含まれていたにも関わらず、当該特徴点Fが一度も検知されなかった場合、VCECUは、当該特徴点Fを単なる特徴点FとしてそのRAMに格納する。
VCECUは、或る特徴点Fが検知済特徴点FdとしてVCECUのRAMに格納されている場合、以下の式(3)に従って当該特徴点Fのカウント値cntを更新し、或る特徴点Fが単なる特徴点FとしてVCECUのRAMに格納されている場合、以下の式(4)に従って当該特徴点Fのカウント値cntを更新し、或る特徴点Fが範囲外特徴点FoとしてVCECUのRAMに格納されている場合、以下の式(5)に従って当該特徴点Fのカウント値cntを更新する。
cnt=min(5,cnt+3) ・・・(3)
cnt=cnt-1 ・・・(4)
cnt=cnt …(5)
なお、カウント値cntの初期値及び式(3)に使用される数字は上記の値に限られず、適宜変更されてもよい。加えて、式(3)の代わりに、以下の式、即ち、cnt=N(N:所定の整数)が採用されてもよい。カウント値cntの更新後の処理は本実施装置と同様であるため、その説明は省略する。
<具体的作動>
変形装置では、CPUは、図28及び図29のルーチンの代わりに、図30及び図31にフローチャートにより示したルーチンをそれぞれ実行するようになっている。
図30のルーチンでは、図28のルーチンのステップ2820とステップ2825との間にステップ3000が追加されている点で図28のルーチンと相違している。即ち、ステップ2820の終了後、CPUは、ステップ3000に進んで、検知済入口特徴点Fed以外の入口特徴点Feのうち、右俯瞰画像の撮像範囲83又は左俯瞰画像の撮像範囲84に含まれなかった入口特徴点Feを、「範囲外入口特徴点Feo」としてVCECUのRAMに格納する。その後、CPUは、ステップ2825に進む。なお、範囲外入口特徴点Feoが、その後、ステップ2810の判定により検知された場合(S2810:Yes)、当該範囲外入口特徴点Feoは、ステップ2820にて検知済入口特徴点FedとしてVCECUのRAMに格納される。
図31のルーチンでは、図29のルーチンのステップ2930とステップ2935との間にステップ3100が追加されている点で図29のルーチンと相違している。即ち、ステップ2930の終了後、CPUは、ステップ3100に進んで、検知済周辺特徴点Fp以外の周辺特徴点Fp、及び、検知済内部特徴点Fi以外の内部特徴点Fiのうち、何れの俯瞰画像(特に、右俯瞰画像、左俯瞰画像及び後俯瞰画像)の撮像範囲にも含まれなかった周辺特徴点Fp及び内部特徴点Fiを、それぞれ「範囲外周辺特徴点Fpo」及び「範囲外内部特徴点Fio」としてVCECUのRAMに格納する。その後、CPUは、ステップ2935に進む。なお、範囲外周辺特徴点Fpo及び/又は範囲外内部特徴点Fioが、その後、ステップ2920の判定により検知された場合(S2920:Yes)、当該範囲外周辺特徴点Fpo及び/又は当該範囲外内部特徴点Fioは、ステップ2930にて検知済周辺特徴点Fpd及び/又は検知済内部特徴点FidとしてVCECUのRAMに格納される。
変形装置では、図27のステップ2705の処理が本実施装置と相違している。具体的には、CPUは、ステップ2705に進むと、各特徴点F(入口特徴点Fe、周辺特徴点Fp及び内部特徴点Fi)のカウント値cntを更新する。具体的には、各特徴点Fが検知済特徴点Fd(検知済入口特徴点Fed、検知済周辺特徴点Fpd及び検知済内部特徴点Fid)としてVCECUのRAMに格納されている場合、CPUは、上記式(3)に則ってそのカウント値cntを更新する。一方、各特徴点Fが単なる特徴点FとしてVCECUのRAMに格納されている場合、CPUは、上記式(4)に則ってそのカウント値cntを更新する。加えて、CPUは、各特徴点Fが範囲外特徴点Fo(範囲外入口特徴点Feo、範囲外周辺特徴点Fpo及び範囲外内部特徴点Fio)としてVCECUのRAMに格納されている場合、CPUは、上記式(5)に則ってそのカウント値cntを更新する。CPUは、更新された各特徴点Fのカウント値cntを各特徴点Fに関連付けてVCECUの不揮発性メモリに格納する。
変形装置の作用効果を説明する。変形装置では、特徴点Fがケース3に該当することに起因して非検知事態が発生した場合、非検知事態の連続発生回数に関わらず当該特徴点Fは消去されない。変形装置では、特徴点Fがケース1又はケース2に該当することに起因して非検知事態が所定の回数だけ連続して発生した場合にのみ当該特徴点Fが消去される。このため、変形装置によれば、特徴点Fとしての適性を有さないことが明らかである特徴点(即ち、ケース1又はケース2に該当する特徴点F)のみを選択的に消去することができる。
以上、本発明の実施形態及び変形例に係る駐車支援装置について説明したが、本発明はこれらに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。例えば、本発明の実施形態及び変形例は、図示しない音声認識装置を備えるように構成してもよく、タッチパネル操作によって行われる操作の一部又は全部を、運転者の音声による操作によって行われるように構成してもよい。
10…車両制御ECU、11…レーダセンサ、12…第1超音波センサ、13…第2超音波センサ、14…駐車支援スイッチ、15…車速センサ、20…PVM-ECU、21a…フロントカメラ、21b…バックカメラ、21c…右サイドカメラ、21d…左サイドカメラ、22…タッチパネル表示部、30…エンジンECU、40…ブレーキEUU、50…EPS・ECU、70…SBW・ECU、72…シフトレバー、81…前俯瞰画像の撮像範囲、82…後俯瞰画像の撮像範囲、83…右俯瞰画像の撮像範囲、84…左俯瞰画像の撮像範囲
本発明装置は、
車両(SV)の周囲を撮像可能な撮像装置(21)と、
前記車両(SV)の運転者が駐車位置の登録を希望する領域(PL)及びその近傍を撮像した撮像画像から特徴点(F(Fe、Fi、Fp))を抽出し、当該抽出された特徴点(F)を前記駐車位置と関連付けて登録することにより当該駐車位置を登録駐車位置(Ppark_reg)として登録しておき、前記車両(SV)が前記登録駐車位置(Ppark_reg)の近傍に位置している場合において前記撮像装置(21)から取得される撮像画像から前記特徴点(F)を検知可能と判定したときは、当該特徴点(F)を検知することにより前記登録駐車位置(Ppark_reg)を算出し、当該算出された登録駐車位置(Ppark_reg)に前記車両(SV)を自動的に駐車させる制御又は前記車両を駐車することを支援する制御の何れかを駐車支援制御として実行可能な制御装置(10)と、
を備える。
前記制御装置(10)は、
1回の前記駐車支援制御において前記撮像画像から前記特徴点(F)が一度も検知されない事態である非検知事態が1回又は複数回発生した場合、当該特徴点(F)を登録対象から消去する、
ように構成されている。
制御装置によって抽出された特徴点が不適切だった場合、及び、適切な特徴点が抽出されたとしても当該特徴点に対応する位置が経時変化した場合、これらの特徴点はその後の駐車支援制御において撮像画像から検知されないため、非検知事態(1回の駐車支援制御において撮像画像から当該特徴点が一度も検知されない事態)が発生する可能性が極めて高い。本発明装置は、非検知事態が1回又は複数回発生した場合、当該特徴点を登録対象から消去する。このため、「特徴点としての適性を有さない可能性が高い特徴点を検知可能か否か」を駐車支援制御を実行する度に判定する必要がなくなり、結果として、車両を登録駐車位置に適切に駐車させることができる。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、少なくとも1個以上の特徴点(F)を前記撮像画像から新たに抽出し、当該抽出された特徴点(F)を前記登録駐車位置(Ppark_reg)と関連付けて登録する、
ように構成されている。
また、本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、1個以上且つ前記消去された特徴点(F)と同数以下の所定の個数の特徴点(F)を前記撮像画像から新たに抽出する、
ように構成されている。
更に、本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、前記消去された特徴点(F)と同数の特徴点(F)を前記撮像画像から新たに抽出する、
ように構成されている。
これらの構成によれば、検知可能な特徴点の個数が減少し続けることがなくなる。従って、検知可能な特徴点に基づいて、登録駐車位置を精度よく算出することができ、結果として、車両を登録駐車位置に適切に駐車させることができる。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、前記消去された特徴点(F)を含む所定の範囲から前記特徴点(F)を新たに抽出する、
ように構成されている。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、前記撮像画像を複数個の分割領域に分割したときに前記消去された特徴点(F)が含まれている前記分割領域と同一の分割領域から前記特徴点(F)を新たに抽出する、
ように構成されている。
本発明の一側面では、
前記制御装置(10)は、
前記非検知事態が1回又は複数回発生した場合、前記撮像画像を複数個の分割領域に分割したときの当該複数個の分割領域のそれぞれから前記特徴点(F)を新たに抽出する
ように構成されている。
登録駐車位置は、検知された特徴点に基づいて算出される。登録駐車位置の算出精度は、検知可能な特徴点が撮像画像内で分散しているほど高くなる。上記の構成によれば、複数個の分割領域のそれぞれから特徴点が抽出されるため、検知可能な特徴点が撮像画像内で分散する可能性が高くなり、結果として、登録駐車位置を精度よく算出することができる。

Claims (5)

  1. 車両の周囲を撮像可能な撮像装置と、
    前記車両の運転者が駐車位置の登録を希望する領域及びその近傍を撮像した撮像画像から特徴点を抽出し、当該抽出された特徴点を前記駐車位置と関連付けて登録することにより当該駐車位置を登録駐車位置として登録しておき、前記車両が前記登録駐車位置の近傍に位置している場合において前記撮像装置から取得される撮像画像から前記特徴点を検知可能と判定したときは、当該特徴点を検知することにより前記登録駐車位置を算出し、当該算出された登録駐車位置に前記車両を自動的に駐車させる制御又は前記車両を駐車することを支援する制御の何れかを駐車支援制御として実行可能な制御装置と、
    を備えた駐車支援装置において、
    前記制御装置は、
    1回の前記駐車支援制御において前記撮像画像から前記特徴点が一度も検知されない事態である非検知事態が所定の回数だけ連続して発生した場合、当該特徴点を登録対象から消去し、当該消去された特徴点と同数の特徴点を前記撮像画像から新たに抽出し、当該抽出された特徴点を前記登録駐車位置と関連付けて登録する、
    ように構成された、
    駐車支援装置。
  2. 請求項1に記載の駐車支援装置において、
    前記制御装置は、
    前記非検知事態が所定の回数だけ連続して発生した場合、前記消去された特徴点を含む所定の範囲から前記特徴点を新たに抽出する、
    ように構成された、
    駐車支援装置。
  3. 請求項2に記載の駐車支援装置において、
    前記制御装置は、
    前記非検知事態が所定の回数だけ連続して発生した場合、前記撮像画像を複数個の分割領域に分割したときに前記消去された特徴点が含まれている前記分割領域と同一の分割領域から前記特徴点を新たに抽出する、
    ように構成された、
    駐車支援装置。
  4. 請求項1乃至請求項3の何れか一項に記載の駐車支援装置において、
    前記制御装置は、
    前記撮像画像を複数個の分割領域に分割し、当該複数個の分割領域のそれぞれから少なくとも1個の特徴点を抽出し、当該抽出された特徴点を前記駐車位置と関連付けて登録する、
    ように構成された、
    駐車支援装置。
  5. 請求項1乃至請求項4の何れか一項に記載の駐車支援装置において、
    前記制御装置は、
    1回の前記駐車支援制御において前記撮像画像から前記特徴点が一度も検知されない場合において、当該特徴点が前記撮像画像の撮像範囲に含まれていないことに起因して当該特徴点が検知されないときは、前記非検知事態が発生しても、当該特徴点を前記登録対象から消去しない、
    ように構成された、
    駐車支援装置。
JP2022163460A 2019-10-11 2022-10-11 駐車支援装置 Active JP7311004B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022163460A JP7311004B2 (ja) 2019-10-11 2022-10-11 駐車支援装置
JP2023111424A JP7522392B2 (ja) 2019-10-11 2023-07-06 駐車支援装置及び駐車支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019187483A JP7160014B2 (ja) 2019-10-11 2019-10-11 駐車支援装置
JP2022163460A JP7311004B2 (ja) 2019-10-11 2022-10-11 駐車支援装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019187483A Division JP7160014B2 (ja) 2019-10-11 2019-10-11 駐車支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023111424A Division JP7522392B2 (ja) 2019-10-11 2023-07-06 駐車支援装置及び駐車支援方法

Publications (2)

Publication Number Publication Date
JP2023011637A true JP2023011637A (ja) 2023-01-24
JP7311004B2 JP7311004B2 (ja) 2023-07-19

Family

ID=87201352

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022163460A Active JP7311004B2 (ja) 2019-10-11 2022-10-11 駐車支援装置
JP2023111424A Active JP7522392B2 (ja) 2019-10-11 2023-07-06 駐車支援装置及び駐車支援方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023111424A Active JP7522392B2 (ja) 2019-10-11 2023-07-06 駐車支援装置及び駐車支援方法

Country Status (1)

Country Link
JP (2) JP7311004B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122315A (ja) * 2003-10-14 2005-05-12 Kazuo Iwane 3dcg合成装置
JP2013133098A (ja) * 2011-12-23 2013-07-08 Hyundai Motor Co Ltd アラウンドビューモニタートップビュー基盤の駐車支援システム
JPWO2012172870A1 (ja) * 2011-06-14 2015-02-23 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2017138664A (ja) * 2016-02-01 2017-08-10 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
US20180107207A1 (en) * 2015-11-10 2018-04-19 Hyundai Motor Company Automatic parking system and automatic parking method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211277A (ja) 2009-03-06 2010-09-24 Toyota Industries Corp 駐車支援装置および駐車支援方法
DE102010023162A1 (de) 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
JP5740174B2 (ja) 2011-02-18 2015-06-24 東京窯業株式会社 溶湯接触形の断熱れんが壁
US9725116B2 (en) 2015-03-27 2017-08-08 Ford Global Technologies, Llc Vehicle and vehicle parking system
JP2018127065A (ja) 2017-02-07 2018-08-16 三菱自動車工業株式会社 駐車支援装置
US10268201B2 (en) 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
JP7036400B2 (ja) 2018-01-30 2022-03-15 株式会社豊田中央研究所 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム
JP2019133318A (ja) 2018-01-30 2019-08-08 トヨタ自動車株式会社 位置推定システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122315A (ja) * 2003-10-14 2005-05-12 Kazuo Iwane 3dcg合成装置
JPWO2012172870A1 (ja) * 2011-06-14 2015-02-23 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP2013133098A (ja) * 2011-12-23 2013-07-08 Hyundai Motor Co Ltd アラウンドビューモニタートップビュー基盤の駐車支援システム
US20180107207A1 (en) * 2015-11-10 2018-04-19 Hyundai Motor Company Automatic parking system and automatic parking method
JP2017138664A (ja) * 2016-02-01 2017-08-10 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法

Also Published As

Publication number Publication date
JP2023145476A (ja) 2023-10-11
JP7522392B2 (ja) 2024-07-25
JP7311004B2 (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
JP7160014B2 (ja) 駐車支援装置
JP7176421B2 (ja) 駐車支援装置
JP7410463B2 (ja) 車両駐車支援装置
US11643070B2 (en) Parking assist apparatus displaying perpendicular-parallel parking space
US11613273B2 (en) Parking assist apparatus
JP7238722B2 (ja) 車両駐車支援装置
JP6982053B2 (ja) 駐車支援システム
JP2007028445A (ja) 画像表示システム
JP7028708B2 (ja) 駐車支援装置
CN112721912B (zh) 驻车辅助装置
JP2009298384A (ja) 駐車を支援するための装置
JP7311004B2 (ja) 駐車支援装置
JP7319590B2 (ja) 車両駐車支援装置
US12100227B2 (en) Parking assist apparatus
JP7207254B2 (ja) 車両駐車支援装置
JP7481685B2 (ja) 車両駐車支援装置
JP2024075990A (ja) 制御装置、車両及び、制御方法
JP2023043327A (ja) 駐車支援システム
JP2022141997A (ja) 車両制御装置
JP2024009685A (ja) 駐車支援装置
JP2021062697A (ja) 車両駐車支援装置
JP2021079892A (ja) 車両走行方法、目標位置入力アプリケーション

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7311004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151