JP2009298384A - 駐車を支援するための装置 - Google Patents

駐車を支援するための装置 Download PDF

Info

Publication number
JP2009298384A
JP2009298384A JP2008158305A JP2008158305A JP2009298384A JP 2009298384 A JP2009298384 A JP 2009298384A JP 2008158305 A JP2008158305 A JP 2008158305A JP 2008158305 A JP2008158305 A JP 2008158305A JP 2009298384 A JP2009298384 A JP 2009298384A
Authority
JP
Japan
Prior art keywords
vehicle
parking space
point
target parking
parking frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008158305A
Other languages
English (en)
Other versions
JP4997183B2 (ja
Inventor
Mitsunori Kawashima
光則 河島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008158305A priority Critical patent/JP4997183B2/ja
Publication of JP2009298384A publication Critical patent/JP2009298384A/ja
Application granted granted Critical
Publication of JP4997183B2 publication Critical patent/JP4997183B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両を駐車させるための駐車スペースの目標駐車枠を簡単かつ効率的に設定できるようにする。
【解決手段】車両に搭載され、該車両が駐車すべき駐車スペースに対して目標駐車枠を設定して表示するための装置が提供される。該装置は、車両の周辺の画像を撮像し、該撮像された画像を俯瞰画像に変換して表示装置の画面に表示する。該俯瞰画像が表示されている画面上で、駐車スペースに対して車両が進入する入口の両端に対応する第1の点(P1)および第2の点(P2)が乗員により指定されたことを検出し、該第1の点および第2の点を結ぶ第1の線(L1)と、該第1の点および第2の点のそれぞれから該駐車スペースの奥行き方向に垂直に伸長する第2の線(L2)および第3の線(L3)からなる枠を該目標駐車枠として設定し、該目標駐車枠を該俯瞰画像上に重畳して表示する。
【選択図】図3

Description

この発明は、駐車を支援するための装置に関し、より具体的には、車両に搭載され、該車両が駐車すべき駐車スペースに対して目標駐車枠を設定して表示するための装置に関する。
下記の特許文献1には、駐車目標位置の設定手法が開示されている。この手法によると、タッチパネルディスプレイ上に、車両の後方をカメラで撮像した画像と共に、指標を重畳表示する。乗員は、方向キーを用いて、該指標の表示位置を、撮像されている駐車スペース上まで移動させ、該指標の位置を駐車目標位置として登録する。
特開2007−118912号公報
画像に撮像されている駐車スペース上に目標駐車枠を設定することができれば、該駐車スペースに対する車両の位置関係が判明するので、目標駐車枠に従って車両を自動的に誘導させて該車両を駐車スペースに駐車させることができる。
上記のような目標駐車枠の設定手法によると、車両から駐車スペースまでの距離に依存して、該駐車スペースが画像の隅に撮像されるおそれがあり、また、駐車スペースが小さく撮像されていたり、歪んで撮像されているおそれがある。乗員は、方向キーを操作して、画像上の駐車スペースまで指標を動かす必要があるが、撮像されている駐車スペースがこのように視認しにくいと、該駐車スペース上に該指標を良好に位置合わせするのが困難となりうる。また、指標を駐車スペース上まで動かす必要があるので、目標駐車枠の設定に時間がかかり、利便性が低下するおそれがある。
したがって、より効率的かつ簡単に、目標駐車枠を設定することができる装置が望まれている。
この発明の一つの側面によると、車両に搭載され、該車両が駐車すべき駐車スペースに対して目標駐車枠を設定して表示するための装置は、車両の周辺の画像を撮像する撮像手段(10)と、該撮像された画像を俯瞰画像に変換して表示装置の画面に表示する表示手段(21)と、該俯瞰画像が表示されている画面上で、駐車スペースに対して車両が進入する入口の両端に対応する第1の点(P1)および第2の点(P2)が乗員により指定されたことを検出する検出手段(22)と、該第1の点および第2の点を結ぶ第1の線(L1)と、該第1の点および第2の点のそれぞれから該駐車スペースの奥行き方向に垂直に伸長する第2の線(L2)および第3の線(L3)からなる枠を該目標駐車枠として設定し、該目標駐車枠を、俯瞰画像上に重畳して表示する重畳表示手段(22)と、を備える。
この発明によれば、撮像手段により撮像した画像を俯瞰画像に変換して表示するので、乗員は、駐車スペースの入口の両端に対応する2点をより容易に指定することができる。また、乗員は、駐車スペースに対して車両が進入する入口の両端を指定しさえすれば、目標駐車枠を設定することができる。したがって、駐車スペース全体を撮像する必要はなく、駐車スペースに車両を近づけた状態で指定を行うことができる。さらに、入口の両端の指定によって目標駐車枠を設定することができるので、四角形でない駐車スペースに対しても、目標駐車枠を設定することができる。また、該2点の指定によって得られた目標駐車枠により、車両の実際の位置と、実際の駐車スペースとの間の位置関係が定まるので、該目標駐車枠を用いることによって、車両を駐車スペースに自動的に誘導することができる。
この発明の一実施形態によると、重畳表示された第1、第2および第3の線からなる目標駐車枠が、駐車スペースに対して所望の位置に設定されているか否かを乗員に確定させるための入力手段(43)を備える。
この発明によれば、確定のための入力手段を設けることにより、乗員に、所望の位置に目標駐車枠が設定されているかどうかを確認させることができる。また、乗員による確定操作に応じて、装置は、設定した目標駐車枠に対応する場所が、実際に車両を駐車すべき場所と判断することができる。したがって、該確定に応じて、該目標駐車枠に対応する場所に車両を誘導する処理を開始することができる。
この発明の一実施形態によると、上記第1の線(L1)の、車両の車両長方向に対する角度(θ)を算出する手段(22)を備える。
このように算出された角度は、第1の線すなわち駐車スペースの入口が、車両に対してどの程度傾いているかを示している。したがって、駐車スペースの入口が車両に対して傾くような位置に該車両が停止していても、該角度を用いることにより、車両を自動的に駐車スペースに誘導することが可能となる。
この発明の一実施形態によると、目標駐車枠および上記角度に従って、車両を駐車スペースに自動的に誘導するための手段(23)を備える。
目標駐車枠の設定により、駐車スペースと車両との間の位置関係が定まる。また、角度により、車両が、駐車スペースに対してどの程度傾いているかが定まる。したがって、目標駐車枠と角度を用いることにより、車両を自動的に駐車スペースに誘導させることができる。
次に図面を参照してこの発明の実施の形態を説明する。図1は、この発明の一実施形態に従う、車両に搭載され、該車両が所望の駐車スペースに駐車するのを支援するための装置のブロック図である。
撮像装置10は、車両の周辺を撮像するための装置であり、この実施例では、車両の左側の前側方を撮像するよう、車両の左側のドアミラーの下部に取り付けられたカメラである。撮像装置10は、たとえば、CMOSカメラおよびCCDカメラによって実現されることができる。
ここで、図2を参照すると、車両30が、駐車スペースPに駐車させるために、矢印31の方向(進行方向)に向かって停止している様子を示している。車両30には、この例では、進行方向に向かって右側に運転席が設けられている。撮像装置10は、車両の左側の前側方周辺を見下ろす角度で取り付けられており、領域32が、該撮像装置10による撮像領域を示している。
この実施例では、駐車スペースPは四角形をなしており、該四角形の四辺を、図に示すようにS1〜S4で表すと、辺S1は、車両30が該駐車スペースPに進入する入口に対応する辺(入口辺と呼ぶ)である。車両30は、撮像装置10の撮像領域32に入口辺S1が含まれるような位置に停車すればよい。
制御部12は、車両に搭載された電子制御ユニット(ECU)において実現されることができる。ECUは、中央処理装置(CPU)およびメモリを備えるコンピュータである。制御部12は、画像処理部21、目標駐車枠設定部22および車両誘導部23を有している。
画像処理部21は、撮像装置10によって撮像された画像を受け取る。図2(a)のように停止している車両30の撮像装置10によって撮像された駐車スペースPの画像の概略を示す一例が、図2(b)に示されている。符号33〜35は、駐車スペースPを画定する白線を示している。前述した入口辺S1は白線33上にあり、辺S2および辺S3は、白線34および35にそれぞれ対応している。図に示されているように、撮像画像は遠近感を有している。画像処理部21は、座標変換処理(視点変換処理)行い、該撮像画像を、俯瞰画像すなわち駐車スペースPを真上から見た画像に変換する。こうして、図2(b)に示すような画像は、図2(c)に概略的に示すような俯瞰画像に変換される。
俯瞰画像への変換処理は、任意の既知の手法によって行うことができる。たとえば、撮像装置から撮像画像を受け取ると、画像処理部21は、該撮像画像のデータを、予め決められた変換テーブルを用いて、車両の上方の視点からみたデータに変換する。該変換テーブルは、撮像装置10から入力した撮像画像の各画素の座標と、俯瞰画像に変換した後の各画素の座標とをマッピングしたテーブルである。代替的に、該変換処理を演算式に従って行ってもよい。たとえば、特開2002−29350号公報には、撮像画像を俯瞰画像に変換するための視点変換処理の演算が記載されている。
表示装置13は、画像処理部21によって生成された俯瞰画像を画面上に表示する。操作部14は、表示装置13のディスプレイ画面の表面に重ね合わせるよう配置されたタッチパネルから構成されている。すなわち、表示装置13および操作部14は、タッチパネルディスプレイを構成している。タッチパネル14を介して、乗員は、表示装置13上に表示されている俯瞰画像に対して操作を行い、これによって制御部12に指示を与えることができる。このようなタッチパネルディスプレイとして、ナビゲーションシステムで用いられるモニタを用いることができる。
目標駐車枠設定部22は、表示装置13に表示されている俯瞰画像に対する操作部14を介した乗員の操作に応答して、該車両が駐車すべき駐車スペースPを表す目標駐車枠を該画像上で設定する。該操作は、車両が停止しているときに許可され、車両が停止しているかどうかは、車速センサ15によって検出されることができる。
ここで、目標駐車枠の設定手法について説明する。図3(a)を参照すると、表示装置13上に表示された俯瞰画像の一例が示されている。図2を参照して前述したように、駐車スペースPは、白線33〜35により区切られている。乗員は、該表示装置13上に表示された画像を見ながら、車両30を、駐車スペースPの入口辺S1が該画像内に撮像されるような位置に停車させることができる。
乗員は、タッチパネル14上で、駐車スペースPの入口辺S1の両端に対応する点P1およびP2を、指36で押圧することによって指定する。図3(b)では、入口辺S1の一方の端部すなわち第1の点P1が指定される様子を示している。俯瞰画像に変換されているので、乗員は、容易に第1の点を特定することができる。
第1の点P1が指定されると、目標駐車枠設定部22は、符号37で示すように、指定された点の位置に所定のマーク(ここでは、リング)を表示する。また、該マークの表示と共に、目標駐車枠設定部22は、指定が行われたことを乗員に知らせるよう、音(任意の音でよく、たとえば、ピッというような音)を発するようにしてもよい。図3(c)に示すように、画像には、X軸およびY軸が定義されており(格子は、実際には画面に表示されない)、目標駐車枠設定部22は、乗員によってタッチパネル上で指定された第1の点P1の座標(X1,Y1)を求め、これをメモリに記憶する。
図3(d)では、指36により、入口辺S1の他方の端部すなわち第2の点P2が指定される様子を示している。俯瞰画像に変換されているので、乗員は、容易に第2の点を特定することができる。第2の点P2が指定されると、目標駐車枠設定部22は、第1の点P1と同様に、該指定された点の位置に所定のマーク39を表示する。また、第1の点P1と同様に、該第2の点P2が指定されたことに応じて音を発するようにしてもよい。目標駐車枠設定部22は、乗員によって指定された第2の点P2の座標(X2,Y2)を求め、これをメモリに記憶する。こうして、乗員によって、駐車スペースPの入口辺S1の両端が、第1および第2の点P1およびP2として指定される。なお、マーク37および39は任意の形状のものでよく、また、乗員に視認されやすいような任意の色で表示されることができる。
この実施例では、入口辺S1の両端のうち、Y1の座標を持つ第1の点P1を、Y2の座標を持つ第2の点P2より先に指定しているが、指定順序は任意でよい。乗員は、入口辺S1の両端の位置を、任意の順序で指定することができる。
また、この実施例では、第1の点P1は、白線33と34の交点として指定され、第2の点P2は、白線33と35の交点として指定される。しかしながら、白線33〜35が路面上に描画されていない場合でも、乗員は、駐車スペースPの入口辺S1を想定して、該入口辺S1の両端に対応するよう第1の点P1および第2の点P2を指定することができる。
図3(d)に示すように、目標駐車枠設定部22は、第1の点P1が指定された後、第2の点P2を指定するための画面上に、キャンセルボタン41を表示することができる。乗員が該キャンセルボタン41を選択したならば、それに応じて目標駐車枠設定部22は、第1の点P1の指定をキャンセルする。具体的には、目標駐車枠設定部22は、メモリに記憶された第1の点P1の座標を消去し(物理的な消去でもよいし論理的な消去でもよい)、表示画面上のマーク37の表示を消去する。該キャンセルにより、乗員は、図3(a)のような画面上で再び第1の点P1を指定することができる。
図3(e)に示すように、第2の点P2が指定されたことに応じて、目標駐車枠設定部22は、指定された第1の点P1および第2の点P2を結ぶ線分L1を描画して表示すると共に、該第1の点P1から、駐車スペースPの奥行き方向へ、入口辺S1に対して垂直方向に伸長する線分L2と、該第2の点P2から、駐車スペースPの奥行き方向へ、入口辺S1に対して垂直方向に伸長する線分L3とを描画して表示する。すなわち、線分L2は、駐車スペースPの辺S2に重なり、線分L3は、駐車スペースPの辺S3に重なるように表示される。こうして、3本の線分L1〜L3から構成される枠が目標駐車枠として設定されて、俯瞰画像上に重畳表示される。目標駐車枠は、目標とする駐車スペースPの入口の枠を表している。
図の例では、線分L2およびL3は、画面の左端に達するまで描画されているが、これは必ずしも必要ではなく、線分L2およびL3の長さは、駐車スペースPの入口の枠を乗員が視認できるような長さであればよい。また、線分L1〜L3は、任意の太さおよび種類の線で表されることができ、線分L1〜L3の色は、乗員に視認しやすいように任意の色(たとえば、赤等)であることができる。線分L1〜L3の色を互いに異ならせてもよい。さらに、線分L1〜L3の表示と共に、点P1およびP2のマーク37および39の表示を画面から消去してもよい。
好ましくは、目標駐車枠設定部22は、第2の点P2が指定されたことに応じて、入口辺S1に対応する線分L1の、車両の車両長方向に対する角度θを算出する。ここで、図4を参照すると、他の例として、駐車スペースの入口辺S1が、車両30の車両長方向の中心軸M1に対して傾きを有している場合における、乗員による指定に応じて3本の線L1〜L3が表示されている画面の一例が示されている(この画面は、図3(e)に対応する画面であるが、キャンセルおよびスタートボタンは簡略化のため省略されている)。線47(これは、画面に表示されない)は、線分L1に平行な線である。車両の中心軸M1は、線分L1に対して角度θをなしており、目標駐車枠設定部22は、該角度θを算出してメモリに記憶する。第1の点P1の座標(X1,Y1)および第2の点P2の座標(X2,Y2)を用い、tanθ=(X2−X1)/(Y2−Y1)に従って角度θを算出することができる。該角度θは、後述する車両誘導部23によって用いられる。
図3(e)に戻り、目標駐車枠設定部22は、線分L1〜L3によって目標駐車枠を表示したならば、キャンセルボタン41およびスタートボタン43を表示する。乗員は、目標駐車枠が、実際の駐車スペースを画定するライン(この画像では、白線33〜35)に合致しているかどうかを確認する。該駐車スペースを画定するライン(たとえば白線)が実際の道路上に描画されていなければ、乗員は、該駐車スペースの枠に相当するラインを想定し、該ラインに目標駐車枠が合致しているかどうかを確認すればよい。目標駐車枠が該駐車スペースに合致していなければ、キャンセルボタン41を選択し、合致していれば、スタートボタン43を選択する。目標駐車枠設定部22は、キャンセルボタン41が乗員により選択されたならば、第1および第2の点P1およびP2の両方の指定をキャンセルする。具体的には、目標駐車枠設定部22は、メモリに記憶された第1および第2の点P1およびP2の座標と角度θを消去すると共に、表示画面上の線分L1〜L3およびマーク37および39の表示を消去する。該キャンセルにより、乗員は、図3(a)のような画面上で再び第1の点P1から指定を開始することができる。
スタートボタン43が乗員により選択されたならば、目標駐車枠設定部22は、目標駐車枠が確定されたと判断し、メモリに記憶された第1および第2の点P1およびP2の座標と角度θを、確定済みとして該メモリに保持する。こうして、第1および第2の点P1およびP2の座標と角度θが、目標駐車枠を表すデータとして、該装置に登録される。該登録されたこれらの座標および角度は、後述する車両誘導部23によって用いられる。
図1の車両誘導部23は、車両30が駐車スペースPに駐車されるように、目標駐車枠に従って車両を誘導する。ここで、図5(a)を参照して、車両を誘導する手法の一例について説明する。図には、車両30が所定の駐車スペースPまで誘導される様子が示されている。A1は、車両30の所定のスタート位置を示しており、車両の所定部(たとえば、ドアの内側の所定位置)が、駐車スペースPの中心線M2(駐車スペースの入口辺S1とそれに対向する辺S4(図2参照)の中心を通る線)に一致する位置である。この時、所定のスイッチを乗員が操作することにより、運転者がステアリングホイールを自発的に操作するパワーステアリングモードから、車両誘導部23が自動的にステアリングホイールの操舵を行う自動操舵モードに切り換えられて、自動操舵制御が開始される。車両30は、スタート位置A1から、経路101のように前進し、前進から後進に切り換える折り返し位置A2に到達する。その後、折り返し位置A2から、経路102のように後進し、目標とする駐車位置A3に到達する。自動操舵制御により、運転者がブレーキペダルをゆるめて車両をクリープ走行させるだけでステアリングホイールを操作しなくても、スタート位置A1から折り返し位置A2を経て目標駐車位置A3まで、自動操舵される。
図5(a)の位置A1からA3は、駐車スペースPの位置に対して最適な位置として決められており、これら最適な位置に従って、図5(b)に示すような移動軌跡がメモリに記憶されている。該移動軌跡は、車両の移動距離に対する操舵輪(前輪)の転舵角を示している。したがって、図5(a)のように最適なスタート位置A1に車両30が位置していれば、車両誘導部23は、図5(b)のように設定された移動軌跡に従って該車両30の転舵角を制御することにより、最適な位置A3に車両を駐車させることができる。ここで、移動軌跡は、経路101に相当する距離aの前進直進部、距離bの右保舵部(右に転舵した状態を保持して走行)、および距離cの前進直進部と、経路102に相当する距離dの左保舵部(左に転舵した状態を保持して走行)および距離eの後進直進部とから成っている。
しかしながら、車両30の実際のスタート位置が、該最適位置A1からずれた場合、図5(b)のような移動軌跡に従って制御すると、最適な位置A3からずれた位置に車両が誘導され、または、駐車スペースPに良好に車両を誘導することができないおそれがある。そこで、車両誘導部23は、車両が最適スタート位置A1からずれた場合には、該ずれに対応して移動軌跡を修正する。この修正の一例を簡単に説明する。
図6は、車両30の実際のスタート位置A1’が、最適スタート位置A1からΔaだけ後方にずれた場合を示している。前述したように、最適スタート位置A1は、駐車スペースPの位置を基準として予め決められているので、車両30が最適スタート位置A1に位置しているときの撮像画像上の駐車スペースPの入口辺S1の両端に対応する前述した第1および第2の点P1およびP2の位置(以下、第1の最適位置および第2の最適位置と呼ぶ)は、予め決まっている。車両誘導部23は、今回指定された第1の点P1の位置(図には、参考のため、指定される第1の点P1および第2の点P2が示されている)が、該第1の最適位置に対してY軸方向にどれくらいずれているかに基づいて、自車30の現在位置が、最適スタート位置A1に対してどれくらいずれているか(すなわちΔa)を求めることができる。ここでは、第1の点P1に基づいてずれΔaを求めているが、代替的に第2の点P2に基づいて、ずれΔaを算出してもよい(図7以下の場合も同様である)。
車両誘導部23は、車両30のスタート位置A1’が、最適スタート位置A1からΔaだけ後方にずれていることがわかったならば、図6(b)に示すように、前進直進部aをΔaだけ延長することにより、点線で示すものから実線で示すものへ移動軌跡を修正する。該修正された移動軌跡に従って、車両誘導部23は、車両30を誘導する。
図には示していないが、最適スタート位置A1からΔaだけ前方にずれている場合には、前進直進部aをΔaだけ短縮するよう移動軌跡を修正すればよい。
また、図7(a)は、車両30の実際のスタート位置A1’が、最適スタート位置A1からΔeだけ右にずれた場合を示している。前述したように、車両誘導部23は、撮像画像上の第1の点P1の位置が、第1の最適位置に対してX軸方向にどれくらいずれているかに基づいて、自車30の現在位置が、最適スタート位置A1に対してどれくらいずれているか(すなわちΔe)を求めることができる。
車両誘導部23は、車両30のスタート位置A1’が、最適スタート位置A1からΔeだけ右にずれていることがわかったならば、図7(b)に示すように、後進直進部eをΔeだけ延長することにより、移動軌跡を修正する。該修正された移動軌跡に従って、車両誘導部23は車両30を誘導する。図には示していないが、最適スタート位置A1からΔeだけ左にずれている場合には、後進直進部eをΔeだけ短縮すればよい。
また、図8(a)は、車両30の実際のスタート位置A1’が、最適スタート位置A1に対して角度θだけ左向きに傾いている場合を示している。図5(b)に示す移動軌跡は、該最適スタート位置A1に位置している車両の車両長方向の中心軸M1が、駐車スペースP1の入口辺に平行である場合を前提としているので、このように傾いている場合には該移動軌跡の修正が必要とされる。図8のθは、図4を参照して述べた、撮像画像上の第1および第2の点P1およびP2を結ぶ線分L1の車両30の中心軸M1に対する角度θに対応する。
車両誘導部23は、最適スタート位置A1において、車両30が駐車スペースPに対して角度θだけ傾いていることがわかったならば、図8(b)に示すように、右保舵部bをΔbだけ延長し、車両の右旋回量が角度θだけ増加するように、点線で示すものから実線で示すものへ移動軌跡を修正する。該修正された移動軌跡に従って、車両誘導部23は、車両30を誘導する。図には示していないが、最適スタート位置A1から角度θだけ右に傾いている場合には、右保舵部bをΔbだけ短縮すればよい。
以上のような修正手法および自動操舵手法については、たとえば特開2001−18821号公報に詳細が記載されている。当然ながら、車両30が、最適スタート位置A1に対して複数の方向にずれている場合には、それぞれの方向についての上記修正を組み合わせればよい。たとえば、前方および左側の両方にずれている場合には、上記の図6および図7を参照して説明した修正の両方を、移動軌跡に対して行えばよい。
上記の実施例では、前進および後進の両方を自動操舵制御によって実現する形態について説明したが、折り返し位置までの前進のみを自動操舵制御で行い、折り返し位置からの後進を、運転手が操舵するようにしてもよい。この場合、折り返し位置において、所定の転舵角(たとえば、左の限界転舵角)を実現するようステアリングホイールを運転手が保持することにより、該折り返し位置A2から目標駐車位置A3まで、所望の移動軌跡に沿って車両を誘導することができる。このような自動操舵の手法は、たとえば、特開2003−54433号公報に記載されている。
図9は、制御部12によって実行されるプロセスのフローチャートを示す。このプロセスは、所定の時間間隔で実行される。
ステップS11において、車両のイグニションスイッチがオンにされたかどうかを判断する。ステップS12において、該車両のエンジンが完爆したかどうかを判断する。完爆したかどうかは、たとえばクランク角センサから検出されることのできるエンジン回転数に基づいて判断することができる。ステップS11およびS12の判断がNoの場合には、このプロセスを終了する。イグニションスイッチは運転者の意志を反映しているので、エンジンが作動しているだけでなくイグニションスイッチがオンにされていることを、自動操舵制御の実行の条件としている。
ステップS11およびS12の判断がYesの場合には、ステップS13に進み、車両が停止しているかどうかを判断する。停止しているかどうかは、車速センサ15(図1)によって検出された車速がゼロであるかどうかによって判断することができる。車両が停止しているのが望ましいが、代替的に、たとえば車速が非常に低い速度(たとえば、1km/h)以下であるかどうかを判断してもよい。この判断がYesならば、ステップS14において、図10に示される入力判断プロセスを実行する。この判断がNoならば、ステップS15およびS16において、前述した第1および第2の点P1およびP2が乗員によってタッチパネル上で指定されているならば、これをキャンセルすると共に、前述した第1〜第3の線分L1〜L3が表示されているならば、該表示を消去する。このように、後述する入力判断プロセスにおいて第1および第2の点が指定された状態や、第1〜第3の線分L1〜L3が表示されている状態で車両が動き出した場合には、処理を中断させるために、これらのキャンセルおよび消去処理を行う。
ステップS17において、ステップS14の入力判断プロセスにおいて乗員によりスタートボタンが選択されたことによって入力が完了したかどうかが判断される。この判断がYesならば、前述した車両誘導部23によるステップS18の車両誘導プロセス(フローは図示せず)の実行を開始する。この判断がNoならば、ステップS19において、イグニションスイッチがオフであるか、またはエンジンが停止しているかどうかを判断し、いずれかの判断がYesならば、処理を終了する。こうして、イグニションスイッチがオンであってもエンスト等によってエンジンが停止している場合には、処理を中止する。この判断がNoであればステップS13に戻る。
図10は、図9のステップS14で実行される入力判断プロセスである。ステップS21において、第1の点P1についての座標が既に求められているかどうかを判断する。この判断がYesならば、第2の点P2についての座標を得るため、ステップS24に進む。この判断がNoならば、乗員によってまだ第1の点P1が指定されていないことを示す。ステップS22において、乗員によって第1の点P1が指定されたかどうかを判断し、この判断がNoならば、図9のメインルーチンに戻る。この判断がYesならば、指定された第1の点P1の座標を求めてメモリに保持する(S23)。
ステップS24において、第2の点P2についての座標が既に求められているかどうかを判断する。この判断がNoならば、乗員によってまだ第2の点P2が指定されていないことを示す。ステップS25において、乗員によって第2の点P2が指定されたかどうかを判断し、この判断がYesならば、指定された第2の点P2の座標を求めてメモリに保持する(S26)。
ステップS27において、前述したように、第1および第2の点P1およびP2を結ぶ線分L1の、車両30の車両長方向に対する角度θを算出する。ステップS27において、前述したように、第1および第2の点P1およびP2を結ぶ第1の線分L1と、第1の点から駐車スペースの奥行き方向に伸長する垂線L2と、第2の点から駐車スペースの奥行き方向に伸長する垂線L3を、表示画面上に表示する(S28)。こうして、図3(e)に示されるような目標駐車枠が表示画面上に表示される。
ステップS29において、乗員によって表示画面上のスタートボタン43(図3(e))が選択されたかどうかを判断する。この判断がYesならば、乗員による指定が完了したと判断し(S30)、図9のメインルーチンに戻る。
また、ステップS25の判断がNoならば、ステップS31において、表示画面上のキャンセルボタン41(図3(d))が選択されたかどうかを判断する。この判断がYesならば、ステップS22で指定された第1の点P1をキャンセルする(S32)。これに伴い、表示画面上には、第1の点P1が指定されたことを示すマーク37(図3(c))の表示が消去される。また、ステップS31の判断がNoならば、図9のメインルーチンに戻る。
ステップS29の判断がNoならば、ステップS33において、表示画面上のキャンセルボタン41(図3(e))が選択されたかどうかを判断する。この判断がYesならば、ステップS22およびS25で指定された第1および第2の点P1およびP2をキャンセルすると共に(S34)、表示画面上に表示された第1〜第3の線分L1〜L3を消去する(S35)。こうして、再び乗員は、第1の点の指定から処理を再開することができる。
本願発明は、縦列駐車にも適用可能である。この場合、図11(a)に示すように、駐車スペースの入口辺S1を含む領域を撮像することができる撮像装置110が車両30(たとえば、左側のドアミラーの下部)に取り付けられる。撮像装置110として、たとえば、広い視野角を有する魚眼カメラを用いることができる。
画像処理部21は、図2(b)および(c)を参照して説明したのと同様の手法で、撮像画像を俯瞰画像に変換し、これを表示装置13上に表示する。また、目標駐車枠設定部22は、図3を参照して説明したのと同様の手法で、駐車スペースPの入口辺S1の両端に対応する第1および第2の点が、表示装置の画面上で乗員によって指定されたことに応じて、第1〜第3の線分L1〜L3から成る目標駐車枠を表示することができる。この画面の一例が、図11(b)に示されている。この画面は、図3(e)と同様の画面となっており、前述したように、該画面においてキャンセルボタン41が選択されたならば、第1および第2の点P1およびP2の指定がキャンセルされると共に、第1〜第3の線分L1〜L3の表示は消去される。また、スタートボタン43が選択されたならば、目標駐車枠は確定され、該確定された目標駐車枠に従って、車両誘導部23により車両を駐車スペースPに誘導させることができる。
ここで、図12を参照すると、縦列駐車の場合に、車両30が所定の駐車スペースPまで誘導される様子が示されている。誘導の手法は、図5を参照して説明したバック駐車の場合と同様である。A1は、車両30の所定のスタート位置を示しており、車両の所定部(たとえば、ドアの内側の所定位置)が、駐車スペースPの中心線(駐車スペースの入口辺S1とそれに対向する辺S4(図11参照)の中心を通る線)に一致する位置である。所定のスイッチを乗員が操作することにより、運転者がステアリングホイールを自発的に操作するパワーステアリングモードから、車両誘導部23が自動的にステアリングホイールの操舵を行う自動操舵モードに切り換えられて、自動操舵制御が開始される。車両30は、スタート位置A1から、経路105のように前進し、前進から後進に切り換える折り返し位置A2に到達する。その後、折り返し位置A2から、経路106のように後進し、目標とする駐車位置A3に到達する。自動操舵制御により、運転者がブレーキペダルをゆるめて車両をクリープ走行させるだけでステアリングホイールを操作しなくても、スタート位置A1から折り返し位置A2を経て目標駐車位置A3まで、自動操舵される。
図12(a)の位置A1からA3は、駐車スペースPの位置に対して最適な位置として決められており、これら最適な位置に従って、図12(b)に示すような車両の移動軌跡がメモリに記憶されている。該移動軌跡は、車両の移動距離に対する操舵輪(前輪)の転舵角を示している。したがって、図12(b)のように最適なスタート位置A1に車両30が位置していれば、車両誘導部23は、図12(b)のように設定された移動軌跡に従って該車両30の転舵角を制御することにより、最適な位置A3に車両を駐車させることができる。ここで、移動軌跡は、経路105に相当する距離aの前進直進部と、経路106に相当する距離bの左保舵部(左に転舵した状態を保持して走行)、距離cの後進直進部、距離dの右保舵部(右に転舵した状態を保持して走行)、および距離eの後進直進部と、から成っている。
車両誘導部23は、目標駐車枠に基づいて、車両30の現在位置が、最適スタート位置A1からどれくらいずれているかを求める。すなわち、車両30が最適スタート位置A1に位置しているときの撮像画像上の第1および第2の点P1およびP2の位置(第1の最適位置および第2の最適位置)は、予めわかっている。したがって、今回指定された第1の点P1の位置(図には、参考のため、指定される第1の点P1および第2の点P2が示されている)が、第1の最適位置に対してどれくらいずれているかに基づいて、自車30の現在位置が、最適スタート位置A1に対してどれくらいずれているかを求めることができる。ここでは、第1の点P1に基づいているが、代替的に第2の点P2に基づいてもよい。
車両誘導部23は、該求めたずれに応じて移動軌跡を修正する。該修正手法も、図6〜図8を参照して説明したバック駐車の場合と同様である。たとえば、車両30の実際のスタート位置が、最適スタート位置A1から前方にΔaだけずれている場合には、前進直進部aをΔaだけ延長すればよい。また、車両30のスタート位置が、最適スタート位置A1から右側にΔeだけずれている場合には、後進直進部cをΔcだけ延長する。Δcは、その左右方向の成分が、Δeに一致するよう設定される。また、Δcによる修正の過程で、Δcの前後方向の成分であるΔaが発生するので、前進直進部aをΔaだけ延長する。また、車両30のスタート位置が、最適スタート位置A1から右方向に角度θだけ傾いている場合には、右保舵部dをΔdだけ延長し、これにより、右旋回量を増加させる。これらの詳細は、たとえば特開2001−18821号公報に詳細が記載されている。
上記実施形態では、車両の左側にある駐車スペースに後進しながら駐車する形態(バック駐車/左モード)および車両の左側にある駐車スペースに後進しながら縦列駐車する形態(縦列駐車/左モード)について説明したが、車両の右側にある駐車スペースに後進しながら駐車する形態(バック駐車/右モード)および車両の右側にある駐車スペースに後進しながら縦列駐車する形態(縦列駐車/右モード)についても、本願発明は同様に適用可能である。この場合、車両の右側の前側方を撮像するための撮像装置を設け(たとえば、右側のドアミラーの下部にカメラを取り付けることができる)、該撮像装置で撮像した画像を俯瞰画像に変換して表示装置に表示する。図3を参照して説明したのと同様の手法で、第1の点P1および第2の点P2が指定されたことに応じて、線分L1〜L3から成る目標駐車枠を表示する。車両誘導部23は、図5〜図8および図12を参照して説明したのと同様の手法で、目標駐車枠および角度θに従って移動軌跡を修正し、該修正した移動軌跡に従って、駐車スペースPに車両30を誘導する。
バック駐車/左モード、バック駐車/右モード、縦列駐車/左モード、および縦列駐車/右モードのいずれかを選択するためのスイッチを車両に設けることができ、車両誘導部23は、該いずれかのスイッチが乗員によって操作されたことに応じて、該選択されたモードに対応する移動軌跡をメモリから抽出し、該移動軌跡を、設定された目標駐車枠(および、必要に応じて角度θ)に基づいて修正し、該修正した移動軌跡に従って車両を誘導するようにしてもよい。
上記の実施形態では、駐車スペースが四角形をなしていたが、本願発明は、任意の形状の駐車スペースに適用されることができる。ここで図13(a)を参照すると、円形の駐車スペースPが表示されており、車両30が進入すべき入口が、Eで示すラインで路面上に描画されている。図13(b)は、該入口を含むよう撮像して俯瞰画像に変換された表示装置13上の画面である。乗員は、該ラインEの両端をタッチパネル上で指定する。代替的に、入口を示すラインEが路面上に描画されていなければ、乗員は、該入口を想定して、第1および第2の点P1およびP2を指定するようにしてもよい。該2点の指定に応じて、図3を参照して説明したのと同様な手法で、目標駐車枠が設定されて表示される。目標駐車枠が表示された画面の一例が図13(c)に示されており、これは、図3(e)と同様の画面となっている。
駐車スペースPは円形であるので、目標駐車枠の線分L2およびL3は該駐車スペースPに合致していない。しかしながら、目標駐車枠の線分L1は、駐車スペースPの入口を示すよう表示されているので、乗員は、駐車スペースPに対して目標駐車枠が所望の位置に設定されていると判断してスタートボタン43を選択することができる。これにより、前述したように、目標駐車枠設定部22(図1)は、目標駐車枠が確定されたと判断して、第1および第2の点の座標および角度θをメモリに保持し、その後の車両誘導にこれらのデータが用いられるようにすることができる。
このように、駐車スペースは、四角形以外の形状でもよく、たとえば台形であってもよい。任意の形状を有する駐車スペースに対し、その入口を乗員が指定することにより、該駐車スペースに対して目標駐車枠を設定することができる。
また、大型車両でも駐車可能な大きな駐車スペースに小型車を駐車しようとする場合のように、駐車スペースの入口が大きいとき、図3に示されるような駐車スペースのコーナーを指定することは、必ずしも必要とされない。たとえば、図14(a)の駐車スペースP(実線の四角形で示されている)は、大型車両でも駐車可能な大きさであり、駐車スペースの入口辺S1の長さW2が、通常の乗用車用の駐車スペース(点線の四角形で示されている)の入口辺S1の長さW1よりも大きい。乗員は、点線で示されるような大きさの駐車スペースを想定して、その入口の両端に対応する2点を、第1および第2の点P1およびP2として指定することができる。該指定に応じて、図14(b)に示すように、画面上には、点線(図14(a))で示すような駐車スペースに沿うように、線分L1〜L3からなる目標駐車枠が設定される。この画面は、図3(e)と同様の画面であり、キャンセルボタン41およびスタートボタン43が設けられている。
なお、図3に示すような装置を、指定された第1および第2の点P1およびP2の間の長さが、車両を駐車のために進入させることができる長さであるかどうかを判定するよう構成してもよい。第1および第2の点P1およびP2の間の長さが短すぎて該車両の進入が困難であると判定した場合には、たとえば、警告メッセージや警告音を発生させて、自動的に該第1および第2の点の指定を取り消す(キャンセルする)ようにすることができる。こうすることにより、乗員による不適切な指定に基づいて車両を誘導するおそれを回避することができる。
さらに、代替形態として、駐車スペースが四角形の場合には、該四角形の4つの辺のうちのいずれかの辺の両端に対応する2点を乗員がタッチパネル上で指定する形態としてもよい。
図15(a)は、図2(a)に示すような駐車スペースPの辺S1〜S4のうち、下辺S2の両端を、第1および第2の点P1およびP2として指定する場合を示している。駐車スペースの幅Wが予めわかっていれば、辺S2に対して垂直方向に、第1の点P1から距離Wだけ上方に離れた点P3を、入口辺S1の他方の端として算出することができる。上辺S3についても同様であり、上辺S3の両端を第1および第2の点P1およびP2として指定することにより、入口辺S1の両端の位置を算出することができる。
また、図15(b)は、入口辺S1と対向する辺S4の両端を、第1および第2の点P1およびP2として指定した状態を示している。駐車スペースの長さLが予めわかっていれば、辺S4に対して垂直な方向に、第1の点P1および第2の点P2のそれぞれから駐車スペースの入口に向かって距離Lだけ離れた点P3およびP4を、入口辺S1の両端として算出することができる。
こうして、図3を参照して説明したように、入口辺S1の両端を第1および第2の点として指定することにより、任意の大きさの駐車スペースについて目標駐車枠を設定すると共に、該駐車スペースの車両に対する傾きθを算出することができるが、駐車スペースの幅Wまたは長さLが予めわかっている場合には(たとえば、自宅の車庫等)、指定する第1および第2の点は、入口辺S1の両端でなくてもよい。他の辺S2〜S4の両端を指定することにより、上記のように入口辺S1の位置を求めることができるので、図3を参照して説明したように目標駐車枠を設定すると共に、駐車スペースの車両に対する傾きθを算出することができる。
なお、上記の実施形態では、タッチパネル上を指で押圧することにより指定操作を実現しているが、図1の操作部14を、他の手段によって実現してもよい。たとえば、ペン(スタイラス)を用いて第1および第2の点を指定するようにしてもよい。
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
この発明の一実施例に従う、駐車支援装置のブロック図。 この発明の一実施例に従う、撮像装置の撮像領域、撮像画像および俯瞰画像の概略を示す図。 この発明の一実施例に従う、目標駐車枠を設定するための手法を説明するための図。 この発明の一実施例に従う、駐車スペースに対して車両が傾いているときの角度の算出を説明するための図。 この発明の一実施例に従う、バック駐車のための車両誘導を示す図。 この発明の一実施例に従う、車両が最適スタート位置からずれている場合のバック駐車のための車両誘導を示す図。 この発明の一実施例に従う、車両が最適スタート位置からずれている場合のバック駐車のための車両誘導を示す図。 この発明の一実施例に従う、車両が最適スタート位置からずれている場合のバック駐車のための車両誘導を示す図。 この発明の一実施例に従う、目標駐車枠を設定するプロセスのフローチャート。 この発明の一実施例に従う、入力判断のプロセスのフローチャート。 この発明の一実施例に従う、縦列駐車の場合の撮像装置の撮像領域の一例を示す図。 この発明の一実施例に従う、縦列駐車のための車両誘導を示す図。 この発明の一実施例に従う、駐車スペースに対する2点の指定の他の態様を説明するための図。 この発明の一実施例に従う、駐車スペースに対する2点の指定の他の態様を説明するための図。 この発明の一実施例に従う、駐車スペースに対する2点の指定の他の態様を説明するための図。
符号の説明
10 撮像装置
12 制御部
13 表示装置
14 操作部
21 画像処理部
22 目標駐車枠設定部
23 車両誘導部

Claims (4)

  1. 車両に搭載され、該車両が駐車すべき駐車スペースに対して目標駐車枠を設定するための装置であって、
    前記車両の周辺の画像を撮像する撮像手段と、
    前記撮像された画像を俯瞰画像に変換して表示装置の画面に表示する表示手段と、
    前記俯瞰画像が表示されている画面上で、前記駐車スペースに対して前記車両が進入する入口の両端に対応する第1の点および第2の点が乗員により指定されたことを検出する検出手段と、
    前記第1の点および第2の点を結ぶ第1の線と、該第1の点および第2の点のそれぞれから該駐車スペースの奥行き方向に垂直に伸長する第2の線および第3の線からなる枠を前記目標駐車枠として設定し、該目標駐車枠を、前記俯瞰画像上に重畳して表示する重畳表示手段と、
    を備える装置。
  2. 前記画面上に重畳表示された第1、第2および第3の線からなる目標駐車枠が、前記駐車スペースに対して所望の位置に設定されているか否かを前記乗員に確定させるための入力手段を備える、
    請求項1に記載の装置。
  3. さらに、前記第1の線の、前記車両の車両長方向に対する角度を算出する手段を備える、
    請求項1または2に記載の装置。
  4. 前記目標駐車枠および前記角度に従って、前記車両を前記駐車スペースに自動的に誘導するための手段を備える、
    請求項3に記載の装置。
JP2008158305A 2008-06-17 2008-06-17 駐車を支援するための装置 Expired - Fee Related JP4997183B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008158305A JP4997183B2 (ja) 2008-06-17 2008-06-17 駐車を支援するための装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008158305A JP4997183B2 (ja) 2008-06-17 2008-06-17 駐車を支援するための装置

Publications (2)

Publication Number Publication Date
JP2009298384A true JP2009298384A (ja) 2009-12-24
JP4997183B2 JP4997183B2 (ja) 2012-08-08

Family

ID=41545735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008158305A Expired - Fee Related JP4997183B2 (ja) 2008-06-17 2008-06-17 駐車を支援するための装置

Country Status (1)

Country Link
JP (1) JP4997183B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012224280A (ja) * 2011-04-21 2012-11-15 Honda Motor Co Ltd 電動パワーステアリング装置
JP2013216307A (ja) * 2012-04-04 2013-10-24 Hyundai Motor Co Ltd Av画像基盤の駐車位置設定装置及びその方法
JP2015030364A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
US20150097956A1 (en) * 2013-10-04 2015-04-09 Aisin Seiki Kabushiki Kaisha Parking assistance device
JP2018120386A (ja) * 2017-01-25 2018-08-02 ダイハツ工業株式会社 駐車支援装置
JP2021004015A (ja) * 2019-06-27 2021-01-14 パナソニックIpマネジメント株式会社 車両及び駐車支援装置
US11643069B2 (en) 2019-06-27 2023-05-09 Panasonic Intellectual Property Management Co., Ltd. Vehicle and parking assistance apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172989A (ja) * 2000-12-05 2002-06-18 Mitsubishi Motors Corp 駐車補助装置
JP2005239048A (ja) * 2004-02-27 2005-09-08 Denso Corp 駐車支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172989A (ja) * 2000-12-05 2002-06-18 Mitsubishi Motors Corp 駐車補助装置
JP2005239048A (ja) * 2004-02-27 2005-09-08 Denso Corp 駐車支援システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012224280A (ja) * 2011-04-21 2012-11-15 Honda Motor Co Ltd 電動パワーステアリング装置
JP2013216307A (ja) * 2012-04-04 2013-10-24 Hyundai Motor Co Ltd Av画像基盤の駐車位置設定装置及びその方法
JP2015030364A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
US20150097956A1 (en) * 2013-10-04 2015-04-09 Aisin Seiki Kabushiki Kaisha Parking assistance device
JP2015074254A (ja) * 2013-10-04 2015-04-20 アイシン精機株式会社 駐車支援装置
US10068483B2 (en) 2013-10-04 2018-09-04 Aisin Seiki Kabushiki Kaisha Parking assistance device
JP2018120386A (ja) * 2017-01-25 2018-08-02 ダイハツ工業株式会社 駐車支援装置
JP7015110B2 (ja) 2017-01-25 2022-02-02 ダイハツ工業株式会社 駐車支援装置
JP2021004015A (ja) * 2019-06-27 2021-01-14 パナソニックIpマネジメント株式会社 車両及び駐車支援装置
US11643069B2 (en) 2019-06-27 2023-05-09 Panasonic Intellectual Property Management Co., Ltd. Vehicle and parking assistance apparatus

Also Published As

Publication number Publication date
JP4997183B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP5212748B2 (ja) 駐車支援装置
JP5182545B2 (ja) 駐車支援装置
JP5403330B2 (ja) 駐車支援装置
JP3945467B2 (ja) 車両後退支援装置および方法
US8319614B2 (en) Parking assistance apparatus and parking assistance method
JP4997183B2 (ja) 駐車を支援するための装置
EP3290301B1 (en) Parking assist device
JP6990686B2 (ja) 駐車支援システム
JP7480822B2 (ja) 駐車支援装置
JP2005239048A (ja) 駐車支援システム
JP2010202010A (ja) 駐車支援装置
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
JP2006175918A (ja) 駐車補助装置
JP2012076483A (ja) 駐車支援装置
JP4772409B2 (ja) 画像表示システム
JP2012040883A (ja) 車両周囲画像生成装置
US11613273B2 (en) Parking assist apparatus
JP2008037320A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
CN112644477A (zh) 停车辅助装置
JP5013205B2 (ja) 駐車支援装置
JP2006248383A (ja) 駐車支援装置
JP2009284386A (ja) 車両用駐車支援装置
JP2009126353A (ja) 駐車支援装置
JP2014127183A (ja) 駐車支援装置及び駐車支援方法
JP3630053B2 (ja) 駐車時の操舵支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees