JP2004142741A - 駐車補助装置 - Google Patents

駐車補助装置 Download PDF

Info

Publication number
JP2004142741A
JP2004142741A JP2003394207A JP2003394207A JP2004142741A JP 2004142741 A JP2004142741 A JP 2004142741A JP 2003394207 A JP2003394207 A JP 2003394207A JP 2003394207 A JP2003394207 A JP 2003394207A JP 2004142741 A JP2004142741 A JP 2004142741A
Authority
JP
Japan
Prior art keywords
parking
display
vehicle
displayed
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003394207A
Other languages
English (en)
Other versions
JP3767600B2 (ja
Inventor
Keiji Kuzutani
葛谷 啓司
Toshiaki Kakinami
柿並 俊明
Shoji Kawada
河田 庄二
Akira Inoue
井上 亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2003394207A priority Critical patent/JP3767600B2/ja
Publication of JP2004142741A publication Critical patent/JP2004142741A/ja
Application granted granted Critical
Publication of JP3767600B2 publication Critical patent/JP3767600B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

  【課題】 簡易な方法により駐車を補助し、縦列駐車や車庫入れ等の駐車に対して有用な情報を適切に提供する。
  【解決手段】 ステアリング角度を検出するステアリングセンサ2を設け、ステアリングセンサ2からのステアリング角度により、駐車時の車両の走行予想軌跡を求め、ディスプレィ13に左右先端が結ばれた走行予想軌跡を後方画像と重ねて表示されるようにした。
【選択図】 図1

Description

 本発明は車両の縦列駐車や車庫入れ等の駐車を補助する駐車補助装置に関するものであり、特に、後方画像をカメラにより撮影し車内のモニタディスプレィに後方画像を表示させて駐車時の操作を補助する駐車補助装置に係わる。
 従来、縦列駐車や車庫入れ等の駐車に不慣れな初心者を駐車操作時に補助する方法が知られている。例えば、特許文献1では車体の周囲にCCDカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたディスプレィ上に車両周辺の周辺画像を鳥瞰図的に表示してドライバに周囲の状況を提供している。
 また、特許文献2においては、ステアリング舵角をステアリングセンサにより検出し、ステアリング操舵角を計算して簡易なディスプレィにより出力し、また、特許文献3に示されるものでは車両の後方に設けられた物体検知用の測距センサにより、障害物(特に、駐車しようとする駐車スペースの隣りに駐車している車等)との距離をはかり、その距離に応じて最大舵角による転舵開始位置を検出し、転舵開始位置をドライバに報知する方法が知られている。
特開平7−17328号公報 特開昭59−201082号公報 特開平8−2357号公報
 しかしながら、上記した従来の方法では様々なセンシング技術を用いて、車両の周辺の障害物を検知することが前提となっており、その処理のためのシステムが複雑になってしまう。また、測距センサ等により近くにある障害物との距離をはかり報知する方法では、駐車スペースの隣りに駐車している車がない場合や人や物等の急な飛び出しに対しての対応が困難で適切に駐車を補助するものではない。
 そこで、本発明は上記の問題点に鑑みてなされたものであり、簡易な方法により駐車を補助し、縦列駐車や車庫入れ等の駐車に対して有用な情報を適切に提供することを技術的課題とする。
 上記の課題を解決するために講じた技術的手段は、後方画像に対して、ステアリング角度に応じて可変となり走行予想軌跡の左右先端が結ばれた走行予想軌跡が重ねて表示されるようにしたことである。
 この場合、車両から左右一対の走行予想軌跡の先端までの距離は、固定長であると良い。
 また、表示器には、舵角状態を示す表示マーカーが表示され、前記後方画像に対して前記走行予想軌跡が重ねて表示されると良い。
 更に、表示マーカーは、表示器の一部に走行予想軌跡と一緒に表示されると良い。
 更にその上、表示マーカーは、駐車時の操作を行う場合にのみ表示されると良い。
 本発明によれば、ステアリングセンサからのステアリング角度により車両の走行予想軌跡を求め、走行予想軌跡をステアリング舵角に応じて表示器に可変表示するようにしたので、ドライバはステアリング舵角に対応した走行予想軌跡を表示器で常に確認しながら駐車が行えるため、表示器を見ればステアリング舵角に対応する走行予想軌跡がわかる。つまり、簡単な表示方法で縦列駐車や車庫入れ等の駐車に対して有用な情報が提供される。
 この場合、走行予想軌跡はカメラからの後方画像に重ねて表示されるようにすれば、後方画像にステアリング角度による走行予想軌跡を重ね合わせて状態を確認できるため、車両が後方のどこの位置を通るかといった走行予想軌跡が同時に確認できるので、駐車操作時の視認性が向上し、駐車操作時の適切な補助が可能になる。
 以下、本発明の実施形態を図面を参照して説明する。
 図1は、駐車補助装置1のシステム構成図である。この図において、駐車補助装置1を制御するコントローラ16には車両の後方を撮影するCCDカメラ(以下、カメラと称す)17、ステアリングホイール(以下、ステアリングと称す)21の操舵角を検出するステアリングセンサ2、トランスミッションのシフトレバーのリバース(後退)状態を検出するシフトレバーリバーススイッチ3、駐車操作時に駐車アシスト機能を動作させる駐車スイッチ4、および、従動輪の左右の車輪速度を検出する車輪速センサ5,6からの信号が入力されており、これらの信号を基にコントローラ16はディスプレィ13上に、車両の後方画像と後述する走行予想軌跡20を表示できるようになっており、また、音声合成回路7により音声合成出力がスピーカ8からドライバに対して、音声が発せられるようになっている。
 コントローラ16の内部には制御を司るCPU11、ディスプレィ13にグラフィックスを描画するグラフィックス描画回路12、グラフィックス信号とカメラ17からの後方画像を重ね合わせるスーパーインポーズ回路9、カメラ画像から同期信号を抽出してグラフィックス描画回路12へ供給する同期分離回路10、カメラ17からの信号を受けて駐車区画の画像認識を行う駐車区画検出用の画像認識装置15が設けられている。尚、画像認識装置15はコントローラ16に別体で設けることも可能である。
 ディスプレィ13上にはステアリングの舵角状態により点灯状態が変化する舵角状態表示(表示マーカー)14が設けられ、ステアリング舵角の状態により表示マーカー14は左右、中央のいずれかが点灯し、ステアリング21がどちらに転舵されているかが、後方画像と一緒にわかるようになっている。
 図2は、駐車補助装置1を車両に取り付けた場合の取付図を示す。後方を撮像するカメラ17は車両後方のナンバープレートの上中央付近に取り付けられ、光軸を下方に向けて設置される。具体的には、図3に示されるように、車両後方の中央に下方(約30度)に向けて取り付けられ、カメラ自体は広角レンズにより左右140度の視野を確保し、後方8m程度までの領域を撮影できるようになっている。
 また、車両の室内のセンターコンソールにはパネル面にディスプレィ13が備え付けられており、グローブボックス上方にはコントローラ16が内部に設けられている。更に、駐車を補助する要求を出す駐車スイッチ4は、ドライバが操作し易いセンターコンソール近傍に設けられている。
 ここで、ステアリングセンサ2について、図4を参照して説明する。このステアリングセンサ2は市販のものを用い、ステアリング21の舵角を検出するものである。これは、ステアリングコラムシャフト23と一体回転するようにスリット板2aが取付けられており、90°の位相差がついた2組のフォトインタラプタ2c,2bが取付けられている。この構成において、ディスク板2aに円周状に設けられた複数のスリットの回転により、光を通過または遮断してフォトトランジスタをオン/オフさせることにより、A相、B相の2つの信号パルスを出力している。これは、ステアリング21の回転方向によりA相に対し、B相は90°位相が遅れるか、または、進んで出力されるようになっており、ここでは、ステアリング角度が1°/パルスのものを用いている。
 次に、図5を参照してコントローラ16の処理について説明する。コントローラ16は電源オン(アクセサリスイッチがオン)で図5に示すプログラムはスタートするようになっている。
 ステップS101ではこの処理に必要なメモリに各種初期値を設定する。その後、ステップS102でシフトリバーススイッチ3の状態をチャックし、オフ(リバースでない)ならば、ディスプレィ13の表示をステップS111で止め、ステップS102に戻る。一方、シフトリバーススイッチ3がオン(リバースレバーの状態)になるとステップS103を行う。ステップS103ではディスプレィ13をカメラ画像モードに切り換えて、車両後方の画像を生画像として表示できるモードにする。つまり、通常のバックモニタカメラである。
 次に、ステップS104において駐車操作時に駐車を補助する駐車スイッチ4をチェックする。ここで、駐車スイッチ4の状態がオフ(駐車補助要求がない状態)であれば、ディスプレィ13のグラフィック画面をステップS112でクリヤし、ディスプレィ13には後方の生画像表示のみとし、ステップS102に戻る。一方、ステップS104において駐車スイッチ4がオン(駐車補助要求がある状態)であるならば、ステップS105に進み、音声合成回路7に予め決められた音声信号出力をし、スピーカ8より音声出力を行う。即ち、状況に応じて「駐車アシストします。軌跡を希望の位置に合わせて、周囲に注意しながらバックして下さい。」、「ただいまより、駐車ガイドを開始いたします。画面の緑(走行予想軌跡)の表示の先端が、駐車区画に向かうように、ハンドルを回して下さい。」、「右(左)にご注意下さい。」等の予め決められた音声メッセージで、ドライバに対して音声により案内を行う。
 次に、ステップS106においてステアリングセンサ2からステアリングセンサ値Nを読み込み、その値を基に駐車操作時の現在の旋回半径Rの算出を行う。具体的には、ステアリングセンサ2の読み込みをA相信号の立ち上がりエッジ検出時にメインプログラムに割り込みを発生させ、図6に示す割り込み処理を実行する。つまり、図6のステップS201においてB相信号の状態をチェックし、B相信号がハイ(H:高電位)なら、ステップS202においてステアリングカウント値Nをインクリメントし、ロー(L:低電位)ならデクリメントしてその値をメモリに記憶する。この場合、ステアリングカウント値Nは、1パルスが1°のため、θ=Nとなる。
 しかし、上記に示すステアリング値Nのカウントのみではステアリング21の絶対舵角が不定となってしまうため、図7に示す方法によりステアリング舵角の中立点を検出し、N=0として中立点を決める。
 そこで、図7を参照して中立点決定について説明する。この処理では1秒周期のタイマ割り込みで実行される。ここでは、通常、車輪に備えつけられている公知の左右の車輪速センサ5,6からの信号により車体速度も算出する。ステップS301,ステップS302では左右の車輪速センサ5,6からの信号(パルス)はコントローラ内部のCPU11に内蔵されたハードウェアカウンタによりカウントされ、このタイマ割り込みルーチンで左右の車輪速が読み出され、車輪速センサ値が記憶されるメモリのNR,NLに記憶される。読み出しの後、カウンタ自体はクリアされ、NR,NLは1秒毎のパルス数を示すものとなる。
 次のステップS303においてNR,NLからその平均値(NR+NL)/2を演算し、この値にタイヤの周長を乗算し、公知の方法により容易に車速Vが求められる。次に、ステアリングセンサ2の基準設定であるが、ステップS304からステップS306では車速V、所定速度(10Km/h)以上の時に左右の車輪速センサ5,6のパルス差がほとんどない状態をもって車両が直進状態であるとみなし、ステップS306でステアリングカウンタNを零にしてリセットすることで、ステアリング舵角の中立点が求められる。
 一方、図5のメインルーチンでは、ステップS107において走行予想軌跡20のパラメータ演算を行い、ステップS108において後述の方法により求められる走行予想軌跡20をディスプレィ13に後方画像と重ねてグラフィック描画する。ステップS109においては、再度、駐車スイッチ4をチェックし、駐車スイッチ4がオフ(駐車補助要求なし)の場合にはステップS102に戻りステップS102からの同じ処理を繰り返すが、オン(駐車補助要求あり)の場合にはステップS110において、今度はシフトリバーススイッチ3をチェックして、リバース(後進)でない場合にはステップS102に戻るが、リバース状態の場合にはステップS106からステップS110までの同じ処理を繰り返す。つまり、駐車スイッチ4により駐車を補助する要求が出ていれば、繰り返し走行予想軌跡20が算出され、後方画面に走行予想軌跡20をステアリング舵角に応じてリアルタイムで可変表示させる(図13参照)。
 次に、走行予想軌跡20の求め方について説明する。これは、図8に示されるように低速時(ここでは、10Km/h以下とする)の旋回中心Oは車両後方の車軸の延長線上に存在し、幾何学的関係によりステアリング操舵角(ステアリング角度)θとホイールベースLとから、旋回半径Rは、R=L/tanθという関係式により導かれる。尚、この場合、ステアリング舵角θ=0の場合には、車両は直進している状態であり、R=∞となる。
 図10ではカメラ上でのグラフィックス表示座標(x,y)を示し、図示の座標系を使用し、座標変換の方法を図12に示す。カメラ17は図11に示されるように路面から上方Hcの高さで光軸を水平状態から下方にθだけ傾けて取り付けられており、カメラ17のレンズは広角で焦点深度が深くとられて、路面の画像をCCDデバイスに描画するように構成されている。このため、路面座標系(X,Z)とディスプレィ上での座標系(x,y)には以下に示すような写像関係が成立するものとなる。
 具体的には、(X,Y,Z):路面座標、(x,y):CCD素子面のカメラ座標、f:カメラのレンズ焦点距離、(x’,y’,z’):レンズ座標、θ:カメラ取付け角度、Hc:路面からの取付け高さとすると、
x=f・x’/z’,y=f・y’/z’・・・(1)
x’=X として、
y’=Zsinθ+(Y−Hc)cosθ} ・・・(2)
z’=Zcosθ−(Y−Hc)sinθ ・・・(3)
という関係式が成立する。ここで、路面上の座標のみに限定すれば、Y=0となり、x,yを上記の関係式により求めれば、
x=f・X/(Zcosθ+Hc・sinθ) ・・・(4)
y=f・(Zsinθ+Hc・cosθ)/(Zcosθ+Hc・sinθ)
                              ・・・(5)
となる。つまり、路面上の点(X,Z)をカメラ17で撮影した場合のディスプレィ上でのグラフィックス画面上での座標(x,y)を(4),(5)の関係式より求めることができる。
 上記の方法により求めた(x,y)の走行予想軌跡20をディスプレィ上に表示する場合、その表示方法は、図9に示されるように各種の方法が考えられる。つまり、(a)では車両の左右輪が通過する予想轍による表示する方法、(b)では駐車時に車両が走行する走行エリアをベクトル表示する方法、(c)は一定距離間隔(はしご間隔:50cm)がわかるようにしたはしご状に表示する方法等があり、ここでは(c)を用いて、駐車操作時に距離感や各位置での車体の角度が分かり易い方法を採用している。尚、この場合、車両予想軌跡20の長さlは固定長(例えば、3m)にしたり、一定の角度分とし、旋回状態(緑色とする)と直進状態(青色とする)で色を変化させたり、更には、予想軌跡先端部のみを区別し易い表示にしたりする方法をとることもできる。
 図13はディスプレィ13上での表示画面の例であり、ステアリング舵角により走行予想軌跡が変化する状態を示したものであり、これは車両の後方の実画像に駐車スイッチ4がオンしている(駐車補助要求ありの状態)場合にのみ、ステアリング舵角に応じてはしご状になった走行予定軌跡20が重なり合って表示させるようにしている。この場合、後方画像に走行予想軌跡を表示させることで、ステアリング舵角をどれだけ転舵しているかわかるようにディスプレィ13の一部に舵角状態を表示する表示マーカー14を一緒に表示させれば、実際にどれだけ転舵しているかがわかる。
 本発明の駐車補助装置1では後方画像に走行予想軌跡20が表示されるため、ドライバはディスプレィ13または後方を目視しながらステアリング21を操舵し、適切な位置に保持しバックすれば良い。その後、駐車スペースの駐車区画内に水平に入った段階でステアリングをまっすぐにし、最後端までバックすれば正しく駐車区画に入ることができ、駐車操作時の適切な補助を行うことができる。
 以上説明した様に、本発明の駐車補助装置1では、次に示す事が可能となる。即ち、走行予想軌跡はカメラからの後方画像に重ねて表示されるようにすれば、後方画像にステアリング角度による走行予想軌跡を重ね合わせて状態を確認でき、車両が後方のどこの位置を通るかといった走行予想軌跡が同時に確認できるので、駐車操作時の視認性が向上し、駐車操作時の適切な補助ができる。
 また、駐車を補助する駐車スイッチを設け、走行予想軌跡はカメラからの後方画像と、後方画像に走行予想軌跡が重ねて表示された画像とを駐車スイッチのスイッチ操作により切り換えれば、駐車操作時に必要な場合のみ、後方画像に走行予想軌跡を重ねて表示させることができる。
 走行予想軌跡は車両の予想轍、車幅状の帯、距離認識可能なはしご状表示のいずれかにより表示されるようにすれば、駐車操作時に距離感がわかる等の視認性が向上する。
 走行予想軌跡は、操舵状態により表示色を変化させるようにすれば、ステアリングの操舵状態が表示色によりわかる。
本発明の一実施形態における駐車補助装置のシステム構成図である。 本発明の一実施形態における駐車補助装置を車両へ取付けた場合の取付図である。 本発明の一実施形態におけるカメラの検出範囲を示した図である。 本発明の一実施形態におけるステアリングセンサを示し、(a)はステアリングコラムシャフトへ取り付けた場合のステアリングセンサの平面図、(b)はステアリングセンサのスリット板とフォトインタラプタの概要を示した斜視図、(c)はステアリングセンサのA相とB相の出力を示す図である。 本発明の一実施形態におけるコントローラの処理を示すフローチャートである。 本発明の一実施形態におけるコントローラのステアリングセンサ信号処理を示すフローチャートである。 本発明の一実施形態におけるコントローラのステアリングセンサの中立点処理を示すフローチャートである。 本発明の一実施形態における走行予想軌跡の算出に用いる説明図である。 本発明の一実施形態における走行予想軌跡の表示例を示した図であり、(a)は予想轍による表示、(b)は車幅分の走行エリアベルト表示、(c)ははしご状表示を示す図である。 本発明の一実施形態におけるカメラおよびディスプレィのグラフィックス表示座標である。 本発明の一実施形態における駐車補助装置のカメラを車両へ取り付けた場合の取り付け状態を示した図である。 本発明の一実施形態における駐車補助装置の座標変換方法を説明する説明図である。 本発明の一実施形態におけるディスプレィの表示画面例である。
符号の説明
1 駐車補助装置
2 ステアリングセンサ
3 シフトレバーリバーススイッチ
4 駐車スイッチ
5 右車輪速センサ
6 左車輪速センサ
13 ディスプレィ(表示器)
14 舵角状態表示(マーカー表示)
17 CCDカメラ(カメラ)
20 走行予想軌跡

Claims (5)

  1. 車両の後方をカメラにより検出し、該カメラからの映像を車内に設けられた表示器に後方画像として表示すると共に、ステアリング角度を検出するステアリングセンサを設け、該ステアリングセンサからのステアリング角度により車両の走行する走行予想軌跡を求めて、前記車両の車幅に対応した左右一対の走行予想軌跡を前記表示器に表示することにより運転者の駐車時の操作を補助する駐車補助装置において、
     前記後方画像に対して、ステアリング角度に応じて可変となり前記走行予想軌跡の左右先端が結ばれた走行予想軌跡が重ねて表示されることを特徴とする駐車補助装置。
  2. 車両から左右一対の走行予想軌跡の先端までの距離は、固定長である請求項1に記載の駐車補助装置。
  3. 前記表示器には、舵角状態を示す表示マーカーが表示され、前記後方画像に対して前記走行予想軌跡が重ねて表示されることを特徴とする請求項1に記載の駐車補助装置。
  4. 前記表示マーカーは、前記表示器の一部に前記走行予想軌跡と一緒に表示される請求項3に記載の駐車補助装置。
  5. 前記表示マーカーは、駐車時の操作を行う場合にのみ表示される請求項3に記載の駐車補助装置。
JP2003394207A 2003-11-25 2003-11-25 駐車補助装置 Expired - Lifetime JP3767600B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003394207A JP3767600B2 (ja) 2003-11-25 2003-11-25 駐車補助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003394207A JP3767600B2 (ja) 2003-11-25 2003-11-25 駐車補助装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP14147498A Division JP3575279B2 (ja) 1998-05-22 1998-05-22 駐車補助装置

Publications (2)

Publication Number Publication Date
JP2004142741A true JP2004142741A (ja) 2004-05-20
JP3767600B2 JP3767600B2 (ja) 2006-04-19

Family

ID=32463914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003394207A Expired - Lifetime JP3767600B2 (ja) 2003-11-25 2003-11-25 駐車補助装置

Country Status (1)

Country Link
JP (1) JP3767600B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122747A1 (ja) 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011057139A (ja) * 2009-09-11 2011-03-24 Denso Corp 運転支援装置
EP3305597A1 (en) 2016-10-04 2018-04-11 Ficomirrors, S.A.U. Vehicle driving assist system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122747A1 (ja) 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
US8559675B2 (en) 2009-04-23 2013-10-15 Panasonic Corporation Driving support device, driving support method, and program
JP2011057139A (ja) * 2009-09-11 2011-03-24 Denso Corp 運転支援装置
DE102010040437A1 (de) 2009-09-11 2011-03-24 Denso Corporation, Kariya-City Fahrunterstützungseinrichtung
EP3305597A1 (en) 2016-10-04 2018-04-11 Ficomirrors, S.A.U. Vehicle driving assist system

Also Published As

Publication number Publication date
JP3767600B2 (ja) 2006-04-19

Similar Documents

Publication Publication Date Title
JP3575279B2 (ja) 駐車補助装置
JP4096445B2 (ja) 駐車補助装置
JP5012914B2 (ja) 車両の後退支援装置および後退支援方法
JP3562335B2 (ja) 駐車補助装置
JP3951465B2 (ja) 駐車補助装置
JP5212748B2 (ja) 駐車支援装置
US7755511B2 (en) Parking assistance apparatus
JP4108210B2 (ja) 車両の駐車支援装置
WO2006016433A1 (ja) 運転支援装置及び運転支援方法
JP5549235B2 (ja) 運転支援装置
JP5605606B2 (ja) 駐車支援装置
KR20140007503A (ko) 차량을 주차하기 위한 방법 및 장치
WO2012039234A1 (ja) 駐車支援装置
JP3726175B2 (ja) 駐車補助装置
JP4491978B2 (ja) 車両の後退支援装置および後退支援方法
JP2003054341A (ja) 車両用駐車支援装置
JP2010215027A (ja) 車両用運転支援装置
JP5617396B2 (ja) 運転支援装置
JP2010105502A (ja) 前方監視装置
JP3767610B2 (ja) 駐車補助装置
JP2004142741A (ja) 駐車補助装置
JP4323402B2 (ja) 舵角補正装置
JP2011057139A (ja) 運転支援装置
JP3925044B2 (ja) 舵角補正装置
JP2001334898A (ja) 駐車補助装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 8

EXPY Cancellation because of completion of term