JP2008292407A - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JP2008292407A JP2008292407A JP2007140567A JP2007140567A JP2008292407A JP 2008292407 A JP2008292407 A JP 2008292407A JP 2007140567 A JP2007140567 A JP 2007140567A JP 2007140567 A JP2007140567 A JP 2007140567A JP 2008292407 A JP2008292407 A JP 2008292407A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- image
- unit
- processing unit
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】 マスタ演算処理装置300は、ビデオカメラ120が撮影したランドマークを含む撮影画像を入力し、ビデオカメラ120の位置姿勢を算出し、スレーブ演算処理装置1300に送信する。スレーブ演算処理装置1300は、ビデオカメラ1120で撮像された画像上のランドマークの識別番号及び画像座標を取得し、(画像座標−世界座標−マスタ撮像装置位置姿勢)の組としてデータリストを生成する。生成したデータリストより較正情報算出部1340は、画像座標の理論値と実際の観測値との誤差が最小となるようにビデオカメラ120からビデオカメラ1120への位置姿勢の較正情報を算出する。
【選択図】 図1
Description
MSW=MSM・MMW (式A)
によって示すことができる。
佐藤,内山,山本:UG+B法:主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法,日本バーチャルリアリティ学会論文誌,vol.10,no.3,pp.391−400,2005. 佐藤,内山,田村: 複合現実感における位置合わせ手法,日本バーチャルリアリティ学会論文誌,vol.8,no.2,pp.171−180,2003. M.A.Fischler and R.C.Bolles(June 1981):RandomSample Consensus:A paradigm for model fitting with applications to image analysis and automated cartography,Comm.of the ACM,vol.24,no.6,pp.381−395,1981.
互いの位置関係が固定された第一の撮像装置と第二の撮像装置がそれぞれ第一の処理部と第二の処理部に接続されており、第一の撮像装置の位置姿勢から、第二の撮像装置の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置との間の較正情報を算出する情報処理方法であって、
前記第一の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標を、前記第一の処理部の取得手段が取得する工程と、
前記特徴点の画像座標の取得値、および、当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系における位置姿勢を算出する算出工程と、
前記算出された位置姿勢を、前記第一の処理部から前記第二の処理部へ送信する送信工程と、
前記第二の撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標を、前記第二の処理部の取得手段が取得する取得工程と、
前記通信されてきた位置姿勢と、前記第二の処理部の取得手段が取得した画像座標の取得値と、予め記憶されている世界座標系における特徴点の座標とに基づいて、前記較正情報を前記第二の処理部の演算手段が演算する工程と、
を備える。
互いの位置関係が固定された第一の撮像手段と第二の撮像手段がそれぞれ第一の処理部と第二の処理部に接続されており、前記第一の撮像手段の位置姿勢から、前記第二の撮像手段の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理装置であって、
前記第一の処理部が、
前記第一の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標を取得する取得手段と、
前記特徴点の画像座標の取得値、および、当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系おける位置姿勢を算出する算出手段と、
前記算出された位置姿勢を、前記第二の処理部へ送信する送信手段とを備え、
前記第二の処理部が、
前記第二の撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標を取得する取得手段と、
前記送信手段により送信されてきた位置姿勢と、前記第二の処理部の取得手段が取得した画像座標の取得値と、予め記憶されている世界座標系における特徴点の位置に基づいて、前記較正情報を演算する演算手段と
を備える。
(1)室内の床や壁、テーブル面等に、基準座標系における位置(基準座標)が既知である複数のランドマークを配置あるいは設定する。
(2)カメラが撮影した撮像画像内におけるランドマークの投影像の座標を検出する。
(3)検出されたランドマークの画像座標と、当該ランドマークの基準座標との対応関係に基づいて、カメラの位置及び姿勢を求める。
△s=(ΦTΦ)−1ΦTU (式H)
として算出する。
s+△s→s (式I)
上記実施形態では、2つの独立した汎用コンピュータを利用して、実現されていた。しかしながら、CPUやGPUの多重化が進む近年のコンピュータでは、同一汎用コンピュータ内で、マスターとスレーブの処理を独立させる事も有効であり、その場合でも、本発明による較正方法により、簡易に正確な較正を行う事ができる。
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。
上記実施形態では、ステップS4080で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部1320によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。
上記実施形態では、オペレータからの制御コマンドを入力するための指示部1350を有していた。しかしながら、この入力は必ずしも必要ではなく、例えば画像座標取得部1320がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部1340が較正情報の演算を行うような構成にしてもよい。
上記実施形態では、複合現実感を提示するステレオビデオシースルーHMDの複数のカメラ間の位置姿勢の較正を行うものであった。しかしながら、本発明の適用範囲はこれに限定されるものではなく、固定されている2つ以上の撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。その場合はマスターとなる撮像装置を設定し、マスターとなる撮像装置から他の撮像装置への位置姿勢を較正する事ができる。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアの制御プログラムを構成するプログラムコードを記録したコンピュータ可読メモリである記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
Claims (8)
- 互いの位置関係が固定された第一の撮像装置と第二の撮像装置がそれぞれ第一の処理部と第二の処理部に接続されており、第一の撮像装置の位置姿勢から、第二の撮像装置の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理方法であって、
前記第一の撮像装置が撮像した撮像画像上における複数の特徴点の画像座標を、前記第一の処理部の取得手段が取得する工程と、
前記特徴点の画像座標の取得値、および、当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系における位置姿勢を算出する算出工程と、
前記算出された位置姿勢を、前記第一の処理部から前記第二の処理部へ送信する送信工程と、
前記第二の撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標を、前記第二の処理部の取得手段が取得する取得工程と、
前記通信されてきた位置姿勢と、前記第二の処理部の取得手段が取得した画像座標の取得値と、予め記憶されている世界座標系における特徴点の座標とに基づいて、前記較正情報を前記第二の処理部の演算手段が演算する工程と、
を備えることを特徴とする情報処理方法。 - 前記特徴点は、現実空間に配置されたマーカであることを特徴とする請求項1に記載の情報処理方法。
- 前記特徴点は、現実空間に存在する自然特徴であることを特徴とする請求項1に記載の情報処理方法。
- 前記第一の処理部の取得手段、及び、第二の処理部の取得手段が取得する工程では、前記撮像画像を画像処理することによって前記特徴点を検出し、前記画像座標を算出することを特徴とする請求項1に記載の情報処理方法。
- 前記第一の処理部の取得手段、及び、第二の処理部の取得手段が取得する工程は、ユーザによる指示に基づいて、前記画像座標を取得することを特徴とする請求項1に記載の情報処理方法。
- 請求項1乃至5いずれか1項に記載の情報処理方法を、コンピュータで実現させるための制御プログラム。
- 請求項6に記載の制御プログラムを格納するコンピュータ可読メモリ。
- 互いの位置関係が固定された第一の撮像手段と第二の撮像手段がそれぞれ第一の処理部と第二の処理部に接続されており、前記第一の撮像手段の位置姿勢から、前記第二の撮像手段の位置姿勢を求めるために必要な、前記第一の撮像装置と前記第二の撮像装置の間の較正情報を算出する情報処理装置であって、
前記第一の処理部が、
前記第一の撮像手段が撮像した撮像画像上における複数の特徴点の画像座標を取得する取得手段と、
前記特徴点の画像座標の取得値、および、当該特徴点の予め記憶されている世界座標系における座標に基づいて、前記第一の撮像装置の世界座標系おける位置姿勢を算出する算出手段と、
前記算出された位置姿勢を、前記第二の処理部へ送信する送信手段とを備え、
前記第二の処理部が、
前記第二の撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標を取得する取得手段と、
前記送信手段により送信されてきた位置姿勢と、前記第二の処理部の取得手段が取得した画像座標の取得値と、予め記憶されている世界座標系における特徴点の位置に基づいて、前記較正情報を演算する演算手段と
を備えることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007140567A JP4991395B2 (ja) | 2007-05-28 | 2007-05-28 | 情報処理方法及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007140567A JP4991395B2 (ja) | 2007-05-28 | 2007-05-28 | 情報処理方法及び情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012106117A Division JP2012145598A (ja) | 2012-05-07 | 2012-05-07 | 情報処理方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008292407A true JP2008292407A (ja) | 2008-12-04 |
JP4991395B2 JP4991395B2 (ja) | 2012-08-01 |
Family
ID=40167269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007140567A Expired - Fee Related JP4991395B2 (ja) | 2007-05-28 | 2007-05-28 | 情報処理方法及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4991395B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011239379A (ja) * | 2010-04-30 | 2011-11-24 | Sony Europe Ltd | 撮像システム、撮像装置及び撮像方法 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
JP2016080399A (ja) * | 2014-10-10 | 2016-05-16 | エヌ・ティ・ティ・インフラネット株式会社 | 3次元形状計測装置及び3次元形状計測方法 |
JP2018077196A (ja) * | 2016-11-11 | 2018-05-17 | スタンレー電気株式会社 | 監視システム |
CN110288718A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景坐标认定方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110544280B (zh) * | 2018-05-22 | 2021-10-08 | 腾讯科技(深圳)有限公司 | Ar系统及方法 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05231836A (ja) * | 1991-12-26 | 1993-09-07 | Fanuc Ltd | 物体の3次元位置・姿勢計測方式 |
JPH1062145A (ja) * | 1996-08-14 | 1998-03-06 | Meidensha Corp | カメラ姿勢の検出装置 |
JPH10307352A (ja) * | 1997-05-07 | 1998-11-17 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JPH11259633A (ja) * | 1998-03-12 | 1999-09-24 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2000241136A (ja) * | 1999-02-22 | 2000-09-08 | Matsushita Electric Ind Co Ltd | パターン検査方法とパターン検査装置 |
JP2000275013A (ja) * | 1999-03-24 | 2000-10-06 | Mr System Kenkyusho:Kk | 視点位置姿勢の決定方法、コンピュータ装置および記憶媒体 |
JP2001074428A (ja) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | 形状測定装置の校正方法及び校正治具 |
JP2002005625A (ja) * | 2000-06-27 | 2002-01-09 | Atr Media Integration & Communications Res Lab | カメラの自動校正方法 |
JP2002027507A (ja) * | 2000-07-13 | 2002-01-25 | Sony Corp | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
JP2002228442A (ja) * | 2000-11-30 | 2002-08-14 | Mixed Reality Systems Laboratory Inc | 位置姿勢の決定方法及び装置並びに記憶媒体 |
JP2003279310A (ja) * | 2002-03-22 | 2003-10-02 | Canon Inc | 位置姿勢補正装置、及び位置姿勢補正方法 |
JP2003307466A (ja) * | 2002-02-18 | 2003-10-31 | Topcon Corp | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート |
JP2004028811A (ja) * | 2002-06-26 | 2004-01-29 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2004193947A (ja) * | 2002-12-11 | 2004-07-08 | Fuji Xerox Co Ltd | 三次元撮像装置および方法 |
JP2004334819A (ja) * | 2003-03-13 | 2004-11-25 | Toshiba Corp | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
JP2005114722A (ja) * | 2003-09-19 | 2005-04-28 | National Institute Of Advanced Industrial & Technology | 3次元位置キャリブレーション方法およびキャリブレーション装置 |
JP2005140623A (ja) * | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像計測方法、装置、プログラム及び記録媒体 |
JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
JP2005322128A (ja) * | 2004-05-11 | 2005-11-17 | Rikogaku Shinkokai | ステレオ3次元計測用キャリブレーション方法及び3次元位置算出方法 |
JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
-
2007
- 2007-05-28 JP JP2007140567A patent/JP4991395B2/ja not_active Expired - Fee Related
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05231836A (ja) * | 1991-12-26 | 1993-09-07 | Fanuc Ltd | 物体の3次元位置・姿勢計測方式 |
JPH1062145A (ja) * | 1996-08-14 | 1998-03-06 | Meidensha Corp | カメラ姿勢の検出装置 |
JPH10307352A (ja) * | 1997-05-07 | 1998-11-17 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JPH11259633A (ja) * | 1998-03-12 | 1999-09-24 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2000241136A (ja) * | 1999-02-22 | 2000-09-08 | Matsushita Electric Ind Co Ltd | パターン検査方法とパターン検査装置 |
JP2000275013A (ja) * | 1999-03-24 | 2000-10-06 | Mr System Kenkyusho:Kk | 視点位置姿勢の決定方法、コンピュータ装置および記憶媒体 |
JP2001074428A (ja) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | 形状測定装置の校正方法及び校正治具 |
JP2002005625A (ja) * | 2000-06-27 | 2002-01-09 | Atr Media Integration & Communications Res Lab | カメラの自動校正方法 |
JP2002027507A (ja) * | 2000-07-13 | 2002-01-25 | Sony Corp | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
JP2002228442A (ja) * | 2000-11-30 | 2002-08-14 | Mixed Reality Systems Laboratory Inc | 位置姿勢の決定方法及び装置並びに記憶媒体 |
JP2003307466A (ja) * | 2002-02-18 | 2003-10-31 | Topcon Corp | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート |
JP2003279310A (ja) * | 2002-03-22 | 2003-10-02 | Canon Inc | 位置姿勢補正装置、及び位置姿勢補正方法 |
JP2004028811A (ja) * | 2002-06-26 | 2004-01-29 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2004193947A (ja) * | 2002-12-11 | 2004-07-08 | Fuji Xerox Co Ltd | 三次元撮像装置および方法 |
JP2004334819A (ja) * | 2003-03-13 | 2004-11-25 | Toshiba Corp | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
JP2005114722A (ja) * | 2003-09-19 | 2005-04-28 | National Institute Of Advanced Industrial & Technology | 3次元位置キャリブレーション方法およびキャリブレーション装置 |
JP2005140623A (ja) * | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像計測方法、装置、プログラム及び記録媒体 |
JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
JP2005322128A (ja) * | 2004-05-11 | 2005-11-17 | Rikogaku Shinkokai | ステレオ3次元計測用キャリブレーション方法及び3次元位置算出方法 |
JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011239379A (ja) * | 2010-04-30 | 2011-11-24 | Sony Europe Ltd | 撮像システム、撮像装置及び撮像方法 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
JP2016080399A (ja) * | 2014-10-10 | 2016-05-16 | エヌ・ティ・ティ・インフラネット株式会社 | 3次元形状計測装置及び3次元形状計測方法 |
JP2018077196A (ja) * | 2016-11-11 | 2018-05-17 | スタンレー電気株式会社 | 監視システム |
CN110288718A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景坐标认定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4991395B2 (ja) | 2012-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4136859B2 (ja) | 位置姿勢計測方法 | |
JP5230114B2 (ja) | 情報処理装置、情報処理方法 | |
US20190090955A1 (en) | Systems and methods for position and orientation tracking of anatomy and surgical instruments | |
US8773466B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
JP4976756B2 (ja) | 情報処理方法および装置 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
EP1596333B1 (en) | Calibration for mixed reality | |
KR100934564B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
JP4991395B2 (ja) | 情報処理方法及び情報処理装置 | |
JP2012145598A (ja) | 情報処理方法及び情報処理装置 | |
US9261953B2 (en) | Information processing apparatus for displaying virtual object and method thereof | |
US20200129240A1 (en) | Systems and methods for intraoperative planning and placement of implants | |
JP2007033257A (ja) | 情報処理方法および装置 | |
JP4956456B2 (ja) | 画像処理装置、画像処理方法 | |
JP4095320B2 (ja) | センサ較正装置、センサ較正方法、プログラム、記憶媒体 | |
JP2008009646A (ja) | 画像処理装置、画像処理方法 | |
JP2005326275A (ja) | 情報処理方法および装置 | |
JP2016202351A (ja) | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
KR20180094253A (ko) | 사용자 자세 추정 장치 및 방법 | |
JP4566786B2 (ja) | 位置姿勢計測方法および情報処理装置 | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
JP2005353036A (ja) | 情報処理装置および情報処理方法 | |
JP5726024B2 (ja) | 情報処理方法および装置 | |
JP6109213B2 (ja) | 情報処理装置および方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100518 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4991395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |