JP2006306162A - 車載光学装置の方向調整方法 - Google Patents

車載光学装置の方向調整方法 Download PDF

Info

Publication number
JP2006306162A
JP2006306162A JP2005128357A JP2005128357A JP2006306162A JP 2006306162 A JP2006306162 A JP 2006306162A JP 2005128357 A JP2005128357 A JP 2005128357A JP 2005128357 A JP2005128357 A JP 2005128357A JP 2006306162 A JP2006306162 A JP 2006306162A
Authority
JP
Japan
Prior art keywords
vehicle
camera
virtual axis
respect
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005128357A
Other languages
English (en)
Other versions
JP4521551B2 (ja
Inventor
Toshinari Kondo
俊成 近藤
Kazutsugu Fukita
和嗣 吹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Auto Body Co Ltd
Toyota Motor Corp
Original Assignee
Toyota Auto Body Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Auto Body Co Ltd, Toyota Motor Corp filed Critical Toyota Auto Body Co Ltd
Priority to JP2005128357A priority Critical patent/JP4521551B2/ja
Publication of JP2006306162A publication Critical patent/JP2006306162A/ja
Application granted granted Critical
Publication of JP4521551B2 publication Critical patent/JP4521551B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract


【課題】 車載光学装置の向きを、車両の進行方向と一致させることのできる車載光学装置の方向調整方法を提供することを目的とする。
【解決手段】 調整時に設定され、車両1の前後方向を表す仮想軸FAを基準に、車両1を正対させ、左右の後輪RR、RLのトー値αR、αLとから、仮想軸FAに対して、車両進行軸GAが成す角度αを計測するとともに、仮想軸FAに対して、車載カメラ2の視向軸CAが成す角度βを測定する。計測した仮想軸FAに対する車両進行軸GAが成す角度αと、仮想軸FAに対する車載カメラ2の視向軸CAが成す角度βとの和によってカメラ調整角γを算出し、カメラ調整角γだけ車載カメラ2の向きを調整する。
【選択図】 図1

Description

本発明は、車両の進行方向に向けて光学装置の向きを調整する、車載光学装置の方向調整方法に関する。
車載光学装置の方向調整方法に関する従来技術として、以下に説明するものがあった(例えば、特許文献1参照)。これは、まず、後方視認用の車載カメラを搭載した車両を検査場に入庫させ、後方を撮影した車載カメラの画像をディスプレイ上に表示させる。カメラ画像には、検査場の床面に固定された校正指標を含むように表示するとともに、この校正指標を含むことのできるウィンドウを表示させる。次に、ウィンドウの位置を調整して、ウィンドウ内に校正指標が略一致した状態で収まったときの各数値を、カメラパラメータとして固定して校正を行っている。このように、当該従来技術によるものは、ディスプレイのカメラ画像のウィンドウ位置を調整するのみで、車載カメラの方向の校正を行うことができ、車載光学装置の方向調整方法に関する従来技術として、有用な方法であった。
特開2001−245326公報(第6図)
しかしながら、この従来技術による車載カメラの方向調整方法は、車輪(特に後輪)のトーによる、実際の車両の進行方向を考慮したものではなかった。従って、上述した従来技術に関するものにおいては、車両の部品の製造誤差等によって発生する、車両組立時の左右の後輪の向きによっては、調整後の車載カメラの向きと、車両の進行方向とが一致せず、その画像を見る車両運転者が、違和感を感ずることもあった。また、車載カメラによる画像を車両の走行制御等に使用した場合、その制御精度が低下する場合があった。
車両のサスペンションの方式によっては、後輪のトー調整を行うことにより、その不一致を解消することもできるが、トー調整が不可能な車両においては、上述したような車載カメラの向きと、車両の実際の進行方向軸との間の不一致に対して、成すすべがなかった。本発明は上記のような事情に基づいて完成されたものであって、車載光学装置の向きを、車両の進行方向と一致させることのできる車載光学装置の方向調整方法を提供することを目的とする。
上記の目的を達成するための手段として、請求項1の発明は、その調整時に、車両の前後方向に延びる仮想軸を設定し、この仮想軸を基準に、前記車両の向きを固定する車両正対工程と、左右の後輪のトー値から、前記仮想軸に対して、前記車両の進行方向が成す角度を計測する進行角度計測工程と、前記仮想軸に対して、車載光学装置の向きが成す角度を計測する光学方向測定工程と、前記進行角度計測工程によって測定した、前記仮想軸に対する前記車両の進行方向が成す角度と、前記光学方向測定工程によって測定した、前記仮想軸に対する前記車載光学装置の向きが成す角度との和によって、前記車載光学装置の向きを調整する方向調整工程とを備えたことを特徴とする車載光学装置の方向調整方法とした。
請求項2の発明は、前記車載光学装置は車載カメラであって、前記光学方向測定工程は、前記車載カメラから所定距離離れて設置されたスクリーンを、前記車載カメラによって撮影し、撮影された前記スクリーン上における、前記車載カメラの画像中心と前記仮想軸との車両横方向のずれと、前記スクリーンの前記車載カメラからの距離に基づいて、前記仮想軸に対して、前記車載カメラの向きが成す角度を求めることを特徴とする請求項1記載の車載光学装置の方向調整方法とした。
請求項3の発明は、前記車載カメラは、検出した画像データを制御装置に向けて送信するものであって、前記方向調整工程は、前記画像データに関して、前記車載カメラの向きについての、前記制御装置の制御パラメータを修正することを特徴とする請求項2記載の車載光学装置の方向調整方法とした。
<請求項1の発明>
その調整時に、車両の前後方向に延びる仮想軸を設定し、この仮想軸を基準に、車両の向きを固定する車両正対工程と、左右の後輪のトー値から、仮想軸に対して、車両の進行方向が成す角度を計測する進行角度計測工程と、仮想軸に対して、車載光学装置の向きが成す角度を計測する光学方向測定工程と、進行角度計測工程によって測定した、仮想軸に対する車両の進行方向が成す角度と、光学方向測定工程によって測定した、仮想軸に対する車載光学装置の向きが成す角度との和によって、車載光学装置の向きを調整する方向調整工程とを備えたことにより、車載光学装置の方向と車両の実際の進行方向とを一致させることができ、車載光学装置を利用する運転者に、違和感を与えることがない。また、車載光学装置の検出したデータを、車両の走行制御等に使用した場合、その制御精度を向上させることができる。
<請求項2の発明>
車載光学装置は車載カメラであって、光学方向測定工程は、車載カメラから所定距離離れて設置されたスクリーンを、車載カメラによって撮影し、撮影されたスクリーン上における、車載カメラの画像中心と仮想軸との車両横方向のずれと、スクリーンの車載カメラからの距離に基づいて、仮想軸に対して、車載カメラの向きが成す角度を求めることにより、その測定を短時間で容易に行うことが可能である。
<請求項3の発明>
車載カメラは、検出した画像データを制御装置に向けて送信するものであって、方向調整工程は、画像データに関して、車載カメラの向きについての、制御装置の制御パラメータを修正することにより、特に、車載カメラの取付向きを調整することなく、その方向調整が行えるため、調整の作業性がよく、調整作業に要する時間も短縮することが可能である。
本発明の実施形態を図1乃至図4によって説明する。説明中において、図1の左方を前方とする。図1は、調整場に車載カメラ2の視向軸(車載カメラ2の向きと合致している)調整のために、調整用車両1が入庫したところを上方から見た図である。車両1のルームミラー(図示せず)には、車両1の走行アシスト制御のための、前方撮影用の車載カメラ2(本発明の車載光学装置に該当する)が固定されており、車載カメラ2の撮影によって検出された画像データが、図示しない車載コントローラ(本発明の制御装置に該当する)へと送信され、走行アシスト制御に利用される。
調整場の床面UKには、視向軸調整のための基準軸とするために、車両1の前後方向に延びる仮想軸FAが敷設されている。また、床面UKには、前輪用タイヤ正対装置11、後輪用タイヤ正対装置12が、車両1の下方に位置するように設置されている。前輪用タイヤ正対装置11、後輪用タイヤ正対装置12は、それぞれ前後左右輪FR、FL、RR、RLの中央に位置するように設置されたアクチュエータ11a、12aと、これと連結された左右一対のタイヤ押圧部11b、12bとを備えており、アクチュエータ11a、12aを作動させることにより、タイヤ押圧部11b、12bによって車輪FR、FL、RR、RLの接地位置(下端中央部)付近を、それぞれ車両1の内方(図1において矢印FGで示す)に押圧する。
また、左右一対のアライメントテスター13は、それぞれ車両1の左右後輪RR、RLの側方に位置するように床面UKに固定されている。図3に示すように、各々のアライメントテスター13は、床面UKに立設された略三角形状のブラケット13aを有しており、ブラケットの下端には、その前後端に、トー測定用の一対のレーザーセンサ13bが、互いに距離LSだけ離れた状態で取り付けられており、ブラケット13aの頂部には、キャンバー測定用のレーザーセンサ13cが取り付けられている。
また、床面UKからは、一対のタイヤランナウト用の駆動ローラー14が突出しており、この上に各輪RR、RLを載置した後、駆動ローラー14によって後輪RR、RLを回転させながら、タイヤの前後部のレーザーセンサ13bからの距離(図1においてD1、D2にて示す)を測定する。尚、トー測定用のレーザーセンサ13bおよびキャンバー測定用のレーザーセンサ13cは、赤外線センサ等の非接触式の距離センサでもよいし、その他の接触式の距離センサでもよい。
また、車両1の前方には、認識スクリーン15が、車載カメラ2からLCだけ離れるとともに、仮想軸FAと垂直となるように立設されている。認識スクリーン15には、図4に示したように、車両1側から見て、3つのターゲットパターンTP1、TP2、TP3が、水平方向に並ぶように形成されている。中央のターゲットパターンTP1は、その中心が仮想軸FAの延長上にあり、左右のターゲットパターンTP2、TP3は中央のものから等間隔の位置に形成されている。更に、検査場には、認識スクリーン15の上方に、CCDカメラ16が固定され、車両1の前方部を撮影しており、その画像により、車載カメラ2の仮想軸FAに対する車両横方向の距離Wを測定している。
次に、本実施形態による、車載カメラの視向軸調整の方法について説明する。車両1が調整場に入庫すると、最初に、前輪用タイヤ正対装置11、後輪用タイヤ正対装置12によって、前後左右輪FR、FL、RR、RLをそれぞれ車両1の内方へと押圧し、車輪FR、FL、RR、RLの位置に基づいて、車両1の前後方向を、床面UKの仮想軸FAと合致させるように、車両1の位置を調整し正対させる(本発明の車両正対工程に該当し、図2に21にて示す)。車両1を正対させる場合、上述したように、前輪用タイヤ正対装置11、後輪用タイヤ正対装置12を使用せずに、前もって、床面UKに形成されたタイヤ溝に、車輪FR、FL、RR、RLを嵌め込むことによって行ってもよい。
次に、トー測定用のレーザーセンサ13bによって測定した、後輪RR、RLからの距離D1、D2から、後輪RR、RLの各トー値αR、αL(水平面内における、後輪RR、RLの仮想軸FAに対する角度)を求める(図2に22にて示す)。トー値αR、αLは、左後輪RLを例に説明すれば、レーザーセンサ13bによって測定した後輪RLとの距離D1、D2の差と、レーザーセンサ13b間の距離LSとから、式:tanαL=(D1−D2)/LSによって求めることができる。このようにして求めた後輪RR、RLのトー値αR,αLから、α=(αR+αL)/2の式により、車両進行軸角α(車両1の進行方向を示す車両進行軸GAと仮想軸FAとの成す角度)を求める(本発明の進行角度計測工程に該当し、図2に23にて示す)。
上述した、トー値αR、αL測定22および車両進行軸角α算出23と同時に、カメラ視向軸角β(車載カメラ2の視向軸CAと仮想軸FAとの成す角度)測定24を行う(本発明の光学方向測定工程に該当する)。これは、認識スクリーン15を車載カメラ2によって撮影し、図4に示すように、撮影された認識スクリーン15上の、車載カメラ2の画像中心CSと、仮想軸FAとの車両横方向のずれdS、CCDカメラ16による画像から求めた車載カメラ2の仮想軸FAに対する車両横方向の距離W、および車載カメラ2と認識スクリーン15との間の距離LCから、式:tanβ=(dS+W)/LCによって求めることができる。
次に、これらから、式:γ=α+βによって、カメラ調整角γを算出し(図2に25にて示す)、車載カメラ2の送信する画像データに関して、車載カメラ2の方向について、車載コントローラの制御パラメータを変更し、その認識している視向軸CAの向きをγだけ修正して、視向軸調整を完了する(本発明の方向調整工程に該当し、図2に26にて示す)。
本実施形態によれば、仮想軸FAを基準に車両を正対し、左右の後輪RR、RLのトー値αR、αLから、仮想軸FAに対して、車両進行軸GAが成す角度αを計測するとともに、仮想軸FAに対して、車載カメラ2の視向軸CAが成す角度βを計測し、仮想軸FAに対する車両進行軸GAが成す角度αと、仮想軸FAに対する車載カメラ2の視向軸CAが成す角度βとの和によって、車載カメラ2の向きを調整することにより、車載カメラ2の向きと車両1の実際の進行方向とを一致させることができ、トー調整のできない車両においても、車載カメラ2を利用する運転者に違和感を与えることがない。また、車載カメラ2の検出した画像データを、車両の走行アシスト制御等に使用した場合、その制御精度を向上させることができる。
また、車載カメラ2の視向軸角βは、車載カメラ2から距離LCだけ離れて設置された認識スクリーン15を車載カメラ2によって撮影し、撮影された認識スクリーン15上における、車載カメラ2の画像中心CSと仮想軸FAとの車両横方向のずれdSと、CCDカメラ16による画像から求めた車載カメラ2の仮想軸FAに対する車両横方向の距離Wと、認識スクリーン15の車載カメラ2からの距離LCに基づいて求められることにより、短時間で容易に測定することができる。また、車載カメラ2は、検出した画像データを車載コントローラに向けて送信するものであって、車載コントローラにおいて、画像データに関する車載カメラ2の向きについて、制御パラメータを変更し、その視向軸CAの向きについての認識を修正することにより、特に、車載カメラ2の取付向きを調整することなく、その方向調整が行えるため、調整の作業性がよく、調整作業に要する時間も短縮することが可能である。
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
(1)本発明によって調整することが可能なものは、車載カメラの視向軸以外に、車載レーダー装置の向き、車両前照灯の光軸方向等がある。
(2)車両を正対した後、車両のサスペンションを調整して、仮想軸に対する車両進行軸が成す角度を略零とした後に、カメラ視向軸角βのみに基づいて、車載カメラの視向軸を調整してもよい。
(3)車載カメラの取り付け向きを、実際にカメラ調整角γだけ修正することにより、視向軸の向きを調整してもよい。
(4)本発明は、車両後方を撮影する車載カメラの向きの調整にも適用可能である。
本実施形態において、車載カメラの視向軸調整を説明するための上方から見た図である。 車載カメラの視向軸調整の工程を示すブロック図である。 アライメントテスターの正面図である。 車載カメラによって撮影された画像を示す図である。
符号の説明
1…車両
2…車載カメラ
21…車両正対
23…車両進行軸角α算出
24…カメラ視向軸角β測定
25…カメラ調整角γ算出
26…カメラ視向軸調整
RR、RL…後輪
FA…仮想軸
GA…車両進行軸
CA…車載カメラの視向軸
αR、αL…トー値
α…車両進行軸角
β…カメラ視向軸角

Claims (3)

  1. その調整時に、車両の前後方向に延びる仮想軸を設定し、この仮想軸を基準に、前記車両の向きを固定する車両正対工程と、
    左右の後輪のトー値から、前記仮想軸に対して、前記車両の進行方向が成す角度を計測する進行角度計測工程と、
    前記仮想軸に対して、車載光学装置の向きが成す角度を計測する光学方向測定工程と、
    前記進行角度計測工程によって測定した、前記仮想軸に対する前記車両の進行方向が成す角度と、前記光学方向測定工程によって測定した、前記仮想軸に対する前記車載光学装置の向きが成す角度との和によって、前記車載光学装置の向きを調整する方向調整工程とを備えたことを特徴とする車載光学装置の方向調整方法。
  2. 前記車載光学装置は車載カメラであって、前記光学方向測定工程は、前記車載カメラから所定距離離れて設置されたスクリーンを、前記車載カメラによって撮影し、撮影された前記スクリーン上における、前記車載カメラの画像中心と前記仮想軸との車両横方向のずれと、前記スクリーンの前記車載カメラからの距離に基づいて、前記仮想軸に対して、前記車載カメラの向きが成す角度を求めることを特徴とする請求項1記載の車載光学装置の方向調整方法。
  3. 前記車載カメラは、検出した画像データを制御装置に向けて送信するものであって、前記方向調整工程は、前記画像データに関して、前記車載カメラの向きについての、前記制御装置の制御パラメータを修正することを特徴とする請求項2記載の車載光学装置の方向調整方法。
JP2005128357A 2005-04-26 2005-04-26 車載光学装置の方向調整方法 Active JP4521551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005128357A JP4521551B2 (ja) 2005-04-26 2005-04-26 車載光学装置の方向調整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005128357A JP4521551B2 (ja) 2005-04-26 2005-04-26 車載光学装置の方向調整方法

Publications (2)

Publication Number Publication Date
JP2006306162A true JP2006306162A (ja) 2006-11-09
JP4521551B2 JP4521551B2 (ja) 2010-08-11

Family

ID=37473553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005128357A Active JP4521551B2 (ja) 2005-04-26 2005-04-26 車載光学装置の方向調整方法

Country Status (1)

Country Link
JP (1) JP4521551B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113673A1 (ja) * 2009-03-31 2010-10-07 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08276787A (ja) * 1995-04-03 1996-10-22 Suzuki Motor Corp 車載用画像処理装置及び画像表示システム
JP2000209577A (ja) * 1999-01-18 2000-07-28 Yazaki Corp 車両用周辺監視装置及び車両用周辺監視装置のパラメ―タ調整方法
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2003312376A (ja) * 2002-04-22 2003-11-06 Fujitsu Ten Ltd 車載用周辺監視センサの設置調整方法
JP2004032793A (ja) * 2003-07-02 2004-01-29 Fuji Heavy Ind Ltd 車載カメラの取り付け構造

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08276787A (ja) * 1995-04-03 1996-10-22 Suzuki Motor Corp 車載用画像処理装置及び画像表示システム
JP2000209577A (ja) * 1999-01-18 2000-07-28 Yazaki Corp 車両用周辺監視装置及び車両用周辺監視装置のパラメ―タ調整方法
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2003312376A (ja) * 2002-04-22 2003-11-06 Fujitsu Ten Ltd 車載用周辺監視センサの設置調整方法
JP2004032793A (ja) * 2003-07-02 2004-01-29 Fuji Heavy Ind Ltd 車載カメラの取り付け構造

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113673A1 (ja) * 2009-03-31 2010-10-07 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP2010239412A (ja) * 2009-03-31 2010-10-21 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
US8908037B2 (en) 2009-03-31 2014-12-09 Aisin Seiki Kabushiki Kaisha Calibration device, method, and program for on-board camera
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム

Also Published As

Publication number Publication date
JP4521551B2 (ja) 2010-08-11

Similar Documents

Publication Publication Date Title
JP3551920B2 (ja) 車載カメラの校正装置および校正方法
US9981605B2 (en) Surround-view camera system (VPM) and vehicle dynamic
KR101265012B1 (ko) 차량 탑재 카메라의 교정 장치, 방법 및 프로그램
JP6565769B2 (ja) 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
US20080024607A1 (en) Image display apparatus and method
WO2010113672A1 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム
KR20160003329A (ko) 주차 공간에 주차시 차량의 운전자를 보조하는 방법
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
WO2014045344A1 (ja) 車載カメラのfoe設定装置及びfoe設定方法
KR102227850B1 (ko) 차량용 후방 카메라의 영상 보정 방법
JP2008304248A (ja) 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
WO2018173907A1 (ja) 車両制御装置
JP4521551B2 (ja) 車載光学装置の方向調整方法
KR20160128077A (ko) 차량 센서의 자동 보정 장치 및 그 방법
JP6322023B2 (ja) 計測装置、及びそれを用いた故障診断装置
KR20140090388A (ko) 가변형 타원 패턴을 갖는 차량용 카메라의 교정 지표 및 이를 이용한 교정방법
JP2009212734A (ja) 自動校正単眼ステレオ視装置
JP3357290B2 (ja) 車両用位置検出装置
JP6387172B2 (ja) ステアリング装置
JP2006335139A (ja) 車両のホイールアライメント調整方法及び調整装置
JP2006349446A (ja) 移動距離算出装置
CN112020735A (zh) 驾驶支援装置及交通系统
JP4622637B2 (ja) 車載カメラ姿勢補正装置および車載カメラ姿勢補正方法
JP5328391B2 (ja) 車載カメラ校正システム、車載カメラ制御装置、設備制御装置、車載カメラ校正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100107

TRDD Decision of grant or rejection written
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

R150 Certificate of patent or registration of utility model

Ref document number: 4521551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140604

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250