JP2008116384A - 撮像システム、および立体画像撮像方法 - Google Patents

撮像システム、および立体画像撮像方法 Download PDF

Info

Publication number
JP2008116384A
JP2008116384A JP2006301312A JP2006301312A JP2008116384A JP 2008116384 A JP2008116384 A JP 2008116384A JP 2006301312 A JP2006301312 A JP 2006301312A JP 2006301312 A JP2006301312 A JP 2006301312A JP 2008116384 A JP2008116384 A JP 2008116384A
Authority
JP
Japan
Prior art keywords
imaging
unit
surveying instrument
measurement
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006301312A
Other languages
English (en)
Other versions
JP4486631B2 (ja
Inventor
Masukazu Toshi
益一 都志
Tomio Inaba
富男 稲葉
Mitsuru Komagari
満 小曲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOOKI KK
Sooki Co Ltd
Original Assignee
SOOKI KK
Sooki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOOKI KK, Sooki Co Ltd filed Critical SOOKI KK
Priority to JP2006301312A priority Critical patent/JP4486631B2/ja
Publication of JP2008116384A publication Critical patent/JP2008116384A/ja
Application granted granted Critical
Publication of JP4486631B2 publication Critical patent/JP4486631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】モータ駆動機能を備えたトータルステーションに付加できる立体画像撮影機能を提供すること。
【解決手段】本発明にかかる撮像システムにおいては、角度情報を出力する角度測定機能と、電子制御による駆動手段とを備えた測定手段に、画像情報を出力する少なくとも2つの撮像手段を、所定の相対的な位置関係で配設し、前記測定手段と前記撮像手段とを関連付けて作動させることにより、前記測定手段から得られる角度情報と、前記撮像手段から得られる画像情報とに基づいて、広範囲の立体画像を得るように構成した。
【選択図】図1

Description

本発明は、対象領域の立体画像を撮影するとともに、前記対象領域の位置情報を取得することのできる技術に関するものである。
従来より、対象領域の立体画像を得るために2つのカメラを用いることが行われている。また、2つのカメラによる立体画像撮影手段が一体的に組み込まれたトータルステーションも提案されている。このようなモータ駆動機能を備えたトータルステーションは、大変に繊細な制御に基づく駆動機構を備えている。
モータ駆動機能を備えたトータルステーションの駆動機構は、大変に繊細な制御に基づく駆動機構であるので、2つのカメラを搭載すると、駆動機構に多大な負担がかかり、故障しやすいという問題があった。
また、強力な駆動機構を備え、且つ2つのカメラが組み込まれたトータルステーションは、高価になるので、現在すでに使用中のトータルステーションを所有しているにも関わらず、強力な駆動機構を備え、且つ2つのカメラが組み込まれたトータルステーションを、追加購入することは、経済的な負担が大きいという問題があった。
そこで、本発明は、モータ駆動機能を備えたトータルステーションの駆動機構にかかる負担を軽くして、且つ、経済的な負担も軽い立体画像撮影機能を提供することを目的としてなされたものである。
本発明にかかる請求項1の撮像システムにおいては、
少なくとも2つの撮像手段を、撮像方向の角度測定機能を備えた測定手段に、所定の相対的な位置関係で配設した。
請求項2の発明では、
前記撮像手段の少なくとも1つは、前記測定手段に対して着脱可能に取り付けられている。
請求項3の発明では、
前記測定手段は、電子制御によるモータドライブ式の駆動手段を備えている。
請求項4の発明では、
前記撮像手段を、前記測定手段に取り付けたときに、前記測定手段の視準用の駆動手段に対する前記撮像手段の静的荷重によるアンバランスを軽減する荷重補償手段を備えている。
請求項5の立体画像撮像方法では、
角度情報を出力する角度測定機能と、電子制御による駆動手段とを備えた測定手段に、画像情報を出力する少なくとも2つの撮像手段を、所定の相対的な位置関係で配設し、前記測定手段と前記撮像手段とを関連付けて作動させることにより、前記測定手段から得られる角度情報と、前記撮像手段から得られる画像情報とに基づいて、広範囲の立体画像を得る。
請求項6では、
前記測定手段に対して着脱可能に取り付けられている少なくとも1つの撮像手段を用いる。
なお、前記測定手段としては、トータルステーションなどの測量機を用いるとよい。
本発明の請求項1では、
少なくとも2つの撮像手段を、測定手段に対して、所定の相対的な位置関係で配設したので、撮像手段で撮像した画像データを、測定手段による測量情報に関連付けして解析しやすい。
請求項2では、前記2つの撮像手段は、前記測定手段に対して着脱可能に取り付けられているので、撮像しないときには、撮像手段を取り外しておけるので、損傷を防止することができる。また、従来の測定手段に必要に応じて装着することもできる。
請求項3では、前記測定手段は、電子制御によるモータドライブ式の駆動手段を備えているので、前記駆動手段を制御して測定手段を撮像したい方向に向けると、撮像手段の向きも追従して動くので、駆動手段を測定手段と撮像手段とで共用することができる。
請求項4では、荷重補償手段を備えているので、前記測定手段に取り付けたときでも、前記駆動機構に対する負荷を抑制することができる。
請求項5の立体画像撮像方法では、
角度情報を出力する角度測定機能と、電子制御による駆動手段とを備えた測定手段に、画像情報を出力する少なくとも2つの撮像手段を、所定の相対的な位置関係で配設し、前記測定手段と前記撮像手段とを関連付けて作動させることにより、前記測定手段から得られる角度情報と、前記撮像手段から得られる画像情報とに基づいて、広範囲の立体画像を、容易に、またほぼ自動的に得ることができる。
請求項6では、
前記測定手段に対して着脱可能に取り付けられている少なくとも1つの撮像手段を用いるので、必要に応じて従来の測定手段に取り付けて上述したような立体画像を撮影することが可能になる。
以下に、本発明にかかる撮像システムを、その実施の形態を示した図面に基づいて詳細に説明する。
1は測量手段としての測量機であり、例えば従来型のトータルステーションと同等の測量機のレンズ筒11の外周に、後述する指示フレームを取り付けるための雄ねじ12が形成されている。
前記測量機1は、測距部101と測角部102とを備えている。測距部101は視準された測点までの斜距離を例えば光波測距により検出し、測角部102はこのときの水平角、高度角等を検出する。測距部101及び測角部102はそれぞれ制御部103からの指令に基づき制御される。例えば、測距部101は制御部103の指令に基づいて測距を行い、測定値を制御部103に返す。一方、測角部102は常時角度を測定しており制御部103からの要求に応じてそのときの測定値を制御部103へ返す。このようにして検出された斜距離、水平角、高度角等の測定値は制御部103において処理される。制御部103は有線もしくは無線通信手段等の通信手段を介して例えばノート型パソコン(PC)や携帯端末(PDA)等の外部コンピュータ(図示は省略した。)に接続され、測距部101、測角部102で検出された斜距離、水平角、高度角等が測量情報として転送される。
21、22はデジタルカメラであり、これらの2台のデジタルカメラ21、22には、CCDやCMOS等を用いた撮像素子とレンズ群からなる光学システムが設けられており、被写体の映像を撮像して、画像信号を、有線もしくは無線通信手段等の通信手段を介して図示しない外部コンピュータなどの画像処理装置へ出力するように構成されている。
画像処理装置においては、入力された画像信号に対してRGBゲイン補正、ホワイトバランス補正、ガンマ補正やスーパインポーズ等の所定の画像処理が施されるとともに、立体画像処理プログラムによって、2台のデジタルカメラ21、22で撮影した2つの画像に基づいて、当該測量機を基準とした被写体の3次元位置データを得て記録することができる。
3はこれらの2台のデジタルカメラ21、22を、前記測量機1の光軸と所定の相対的な位置関係、例えば平行、に支持するための支持フレームである。前記支持フレーム3の中央部分には、前記レンズ筒11を挿入し得る孔31が形成されている。また、前記レンズ筒11の外面に形成されたキー溝に前記孔31の内面に形成されたキー突起を合わせて位置決めする。
この孔31に前記レンズ筒11を挿入し、前記雄ねじ12と螺合し得る雌ねじ32が形成された押さえリング33を前記雄ねじ12に螺合して締めつけることによって、前記測量機1に前記支持フレーム3が固定され、この支持フレーム3に前記2つのデジタルカメラ21、22が固定されるのである。
このとき、2つのデジタルカメラ21、22は、前記測量機1の光軸を挟んだ左右両側に固定され、これらのデジタルカメラ21、22の光軸は、前記測量機の光軸に平行になるように支持される。
前記支持フレーム3は、特許請求の範囲に記載された支持手段を構成し、前記レンズ筒11の外周に形成された雄ねじ12と、前記支持フレーム3に形成された孔31と、前記押さえリング33とで、特許請求の範囲に記載された取り付け手段を構成している。
前記デジタルカメラ21、22は、それぞれ軽量なアルミニウム等によるケースに収納されている。
また、前記各ケースの後部には、バランス錘51、52が配されている。これらのバランス錘51、52は、前記デジタルカメラ21、22およびそれらのケース、支持フレーム3、押さえリング33が、前記測量機1に取り付けられた場合に、前記測量機1の駆動機構に対する静的荷重によるアンバランスを軽減するための荷重補償手段として備えられている。
前記バランス錘51、52は、アンバランスを軽減するように、その位置と重さとが設定されている。図2に示した斜視図のように、前記デジタルカメラ21、22、それらのケース、支持フレーム3、および押さえリング33から構成される部材の重心が、前記測量機1の駆動機構の水平軸にできるだけ近づくように、前記バランス錘51、52の位置と重さとが設定されている。
なお、デジタルカメラ21、22は、それぞれケースに収納されているので、作業現場において外部の衝撃を受けて損傷することが防止される。前記ケースの前面には透明板が配設されて、デジタルカメラによる撮像を妨げないように、また、埃などが内部に入らないように構成されている。
前記支持フレーム3は軽量化のために肉抜きされている。
前記支持フレーム3は光軸まわりの左右バランスのために、光軸まわりに左右対称に形成されている。
前記2つのデジタルカメラ21、22と画像処理装置とをケーブルで接続する場合には、接続するケーブルは、駆動機構への負担を重くしないように、十分に柔から素材で構成されている。
4は前記測量機1の可動部に配設されたレーザービーム照射機であり、前記測量機1の光軸と平行、もしくは所定の角度差で可視光のレーザービームを照射することができるように構成されている。
なお、図1、2においては、前記2台のデジタルカメラは、測量機1の光軸の水平方向の両側に左右対称に配置したが、左右対象でなくてもよく、測量機1の光軸の両側でなく上下でもよい。いずれに場合でも、画像処理装置における画像処理手順(ソフトウェア)を変えることで、立体画像データや各部の3次元データを得ることができる。
以上のように構成した測量機において、通常の測量に際しては、デジタルカメラを装着せずに測量機1だけで使用する。
ステレオ写真を撮像したい場合には、前記測量機1のレンズ筒11を、前記支持フレーム3の孔31に通して、支持フレーム3の孔31から凸出したレンズ筒11の雄ねじ12に、押さえリング33の雌ねじ32をねじ込んで、支持フレーム3をレンズ筒11に固定する。
支持フレーム3、押さえリング33などに遊びがないように構成すれば、装着した状態で測量機1とデジタルカメラの光軸を一回合わせたあとは、装着するだけで光軸が一致することが期待できる。
このように2つのデジタルカメラ21、22で撮像した2つの画像データから得られた撮像対象領域の三次元立体画像データと、前記測量機1で測量した視準点までの距離、角度のデータと、前記測量機1の位置データとに基づいて、前記立体画像データの各部位の位置データを算出することができる。このとき、前記測量機1の位置データが、グローバル座標系で得られている場合は、前記三次元立体画像データの各部位の位置データもグローバル座標系で算出することができる。
次に、請求項5、6に記載した立体画像撮像方法の実施の形態を説明する。
1)同時に視準できる測量用基準点を2点以上設定する。
2)測量機1を設置してセットアップする。
3)前記測量機1に2台のデジタルカメラを取り付ける。
4)パソコンを起動させて、立体画像を解析する機能と前記測量機1および2台のデジタ ルカメラを制御する機能を含んだプログラムを立ち上げる。
5)前記測量機1および2台のデジタルカメラを前記パソコンと接続する。
6)前記2台のデジタルカメラからの画像が前記パソコンに取り込まれる状態になってい ることを確認する。
7)前記測量機1の位置を計算するために一方の基準点を視準して、位置を測定して記録 する。
8)他方の基準点を視準して、位置を測定して記録する。
9)立体画像を得たい領域に、前記測量機1と2台のデジタルカメラとを、相対的な位置 関係を変えずに向ける。撮影して2台のデジタルカメラからの画像情報をパソコンに 取り込み保存する。このとき、前記測量機1からは距離情報や角度情報などの測量情 報をパソコンに取り込み保存する。
10)必要に応じて、さらに、前記測量機1と2台のデジタルカメラの向きを変えて撮影 して取り込み保存する。
11)パソコンに保存された画像情報、距離情報、角度情報などに基づいて、前記プログ ラムの立体画像解析機能によって画像処理して、対象領域の立体画像を得る。
以上のように、本発明の立体画像撮像方法によれば、一回の撮影でも立体画像を得ることができ、必要に応じて広い領域の立体画像を簡単に得ることができる。
特に、前記測量機1が電子制御によるモータドライブ式の駆動手段を備えている場合には、パソコンから所定の駆動情報を出力して前記駆動手段を電子制御することによって、所定の範囲の立体画像を自動的に得ることも可能である。
また、前記2台のデジタルカメラで撮影した画像に基づいて画像処理することにより、光学的な距離測定機能の測定範囲を超えた遠距離の距離も測定することが可能である。
本実施例では、前記測量機1として、自動追尾機能を備えたモータ駆動型のトータルステーションを用いており、この自動追尾機能をパソコンで制御して、前記2つのデジタルカメラ21、22で撮像することと、撮像データと前記測量機1の座標とを関連付けることで、得られる立体画像の応用範囲が広がる。
前記支持フレーム3、雄ねじ12、孔31、押さえリング33を用いて2つのデジタルカメラ21、22を測量機1に取り付ける構造に代えて、実施例2に示したような、他の取り付け構造を採用することができる。
また、2つのデジタルカメラ21、22を測量機の望遠鏡部分の上下位置に内蔵することも可能である。
また、3つ以上のデジタルカメラを、測量機に着脱可能に、もしくは固定して取り付けても。
少なくとも2つの測量機のうちの少なくとも1つを測量機に固定し、他は着脱可能に取り付けてもよい。
なお、いずれの取り付け構造であっても、2つのデジタルカメラ21、22の配設位置は前記測量機1の位置と所定の相対的な位置関係を保持した状態に配設し、その相対的な位置関係を保持した状態で駆動するように構成する。
例えば、水平位置は測量機1の光軸の高さと一致させるが、鉛直位置はずらして設置してもよい。また、所定の角度差を保った状態で駆動するように配設してもよい。いずれの場合も、2つのデジタルカメラ21、22の光軸と、測量機1の光軸との相対的な位置関係が分かっていれば、補正して利用することができるのである。
本実施例では、図3に示したように、2つのデジタルカメラを測量機に簡単に着脱できるような取り付け構造を採用している。
この実施例では、前記支持フレーム3の孔31の近傍に係合・解除機構38を設け、前記測量機1のレンズ筒11には前記係合・解除機構に係合する被係合機構18を設け、前記支持フレーム3をワンタッチで測量機に取り付けたり、取り外したりできるように構成した。
具体的には、例えば、前記係合・解除機構38は、孔31の内面に出没する係合出没部材381と、孔31の内面に突出する係合固定部材382と、前記係合出没部材381を内側方向に弾性付勢する付勢手段(図示せず)と、前記付勢手段に抗して前記係合出没部材381を外側方向に移動させる解除ボタン383とを備えている。前記係合出没部材381と係合固定部材382は孔の上下の向かい合った位置に配設されている。
そして、前記被係合機構18は、前記係合出没部材381の先端が嵌まり得る係合孔181と、前記係合固定部材382の先端が嵌まり得る係合孔(図示せず)を備えている。
そして、前記支持フレーム3を前記測量機のレンズ筒11に係合させて取り付けるときには、前記係合固定部材382を前記係合孔に係合さえて、さらに、前記係合出没部材381の先が弾性付勢力によって前記係合孔181に嵌まり込んで係合したときに、前記支持フレーム3を前記測量機のレンズ筒11に係合させて位置固定するように構成されている。
前記支持フレーム3と前記測量機のレンズ筒11との係合状態を解除するときには、前記解除ボタン383を操作することによって、前記係合出没部材381の先を弾性付勢力に抗して退避させることによって、前記支持フレーム3と前記測量機のレンズ筒11との係合を解除し、前記支持フレーム3を取り外すことができるように構成されている。
本発明にかかる撮像システムの実施の形態の斜視図である。 前記撮像システムの分解斜視図である。 第2実施例の撮像システムの要部の分解斜視図である。
符号の説明
1 測量機
11 レンズ筒11
12 雄ねじ12
21、22 デジタルカメラ
3 支持フレーム
31 孔31
32 雌ねじ32

Claims (6)

  1. 少なくとも2つの撮像手段を、撮像方向の角度測定機能を備えた測定手段に、所定の相対的な位置関係で配設したことを特徴とする撮像システム。
  2. 前記撮像手段の少なくとも1つは、前記測定手段に対して着脱可能に取り付けられていることを特徴とする請求項1に記載の撮像システム。
  3. 前記測定手段は、電子制御によるモータドライブ式の駆動手段を備えていることを特徴とする請求項1または2の何れか1項に記載の撮像システム。
  4. 前記撮像手段を、前記測定手段に取り付けたときに、前記測定手段の視準用の駆動手段に対する前記撮像手段の静的荷重によるアンバランスを軽減する荷重補償手段を備えたことを特徴とする請求項1、2、3の何れか1項に記載の撮像システム。
  5. 角度情報を出力する角度測定機能と、電子制御による駆動手段とを備えた測定手段に、画像情報を出力する少なくとも2つの撮像手段を、所定の相対的な位置関係で配設し、前記測定手段と前記撮像手段とを関連付けて作動させることにより、前記測定手段から得られる角度情報と、前記撮像手段から得られる画像情報とに基づいて、広範囲の立体画像を得ることを特徴とする立体画像撮像方法。
  6. 前記測定手段に対して着脱可能に取り付けられている少なくとも1つの撮像手段を用いることを特徴とする請求項5に記載の立体画像撮像方法。
JP2006301312A 2006-11-07 2006-11-07 撮像システム Expired - Fee Related JP4486631B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006301312A JP4486631B2 (ja) 2006-11-07 2006-11-07 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006301312A JP4486631B2 (ja) 2006-11-07 2006-11-07 撮像システム

Publications (2)

Publication Number Publication Date
JP2008116384A true JP2008116384A (ja) 2008-05-22
JP4486631B2 JP4486631B2 (ja) 2010-06-23

Family

ID=39502423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006301312A Expired - Fee Related JP4486631B2 (ja) 2006-11-07 2006-11-07 撮像システム

Country Status (1)

Country Link
JP (1) JP4486631B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503123B2 (en) * 2006-07-03 2009-03-17 Pentax Industrial Instruments Co., Ltd. Surveying apparatus
JP2015503099A (ja) * 2011-12-06 2015-01-29 ライカ ジオシステムズ アクチエンゲゼルシャフトLeica Geosystems AG 目標を探索する位置感応性検出器を備えたレーザートラッカ
CN105865427A (zh) * 2016-05-18 2016-08-17 三峡大学 一种基于小型无人机遥感的单体地质灾害应急调查方法
WO2018217543A1 (en) * 2017-05-24 2018-11-29 Trimble Inc. Infrastructure positioning camera system
US10300573B2 (en) 2017-05-24 2019-05-28 Trimble Inc. Measurement, layout, marking, firestop stick

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109708622A (zh) * 2017-12-15 2019-05-03 福建工程学院 基于Pixhawk利用无人机对建筑物进行三维建模的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503123B2 (en) * 2006-07-03 2009-03-17 Pentax Industrial Instruments Co., Ltd. Surveying apparatus
JP2015503099A (ja) * 2011-12-06 2015-01-29 ライカ ジオシステムズ アクチエンゲゼルシャフトLeica Geosystems AG 目標を探索する位置感応性検出器を備えたレーザートラッカ
US9696140B2 (en) 2011-12-06 2017-07-04 Leica Geosystems Ag Laser tracker with position-sensitive detectors for searching for a target
CN105865427A (zh) * 2016-05-18 2016-08-17 三峡大学 一种基于小型无人机遥感的单体地质灾害应急调查方法
WO2018217543A1 (en) * 2017-05-24 2018-11-29 Trimble Inc. Infrastructure positioning camera system
US10300573B2 (en) 2017-05-24 2019-05-28 Trimble Inc. Measurement, layout, marking, firestop stick
US10341618B2 (en) 2017-05-24 2019-07-02 Trimble Inc. Infrastructure positioning camera system
US10646975B2 (en) 2017-05-24 2020-05-12 Trimble Inc. Measurement, layout, marking, firestop stick

Also Published As

Publication number Publication date
JP4486631B2 (ja) 2010-06-23

Similar Documents

Publication Publication Date Title
JP6954414B2 (ja) 撮像装置
US7503123B2 (en) Surveying apparatus
JP4486631B2 (ja) 撮像システム
JP4693552B2 (ja) 表示装置、制御装置、及び制御方法
TWI572205B (zh) 根據由包含參考標記的相機所捕捉之影像的相機校準
JP2003279351A (ja) 測量装置及び測量装置を用いて画像データを取得する方法
WO2007031248A3 (en) Surveying instrument and method of providing survey data using a surveying instrument
KR101127737B1 (ko) 촬상 기기 및 그 촬상 기기의 롤 각 취득 방법
JP2005003719A (ja) 撮影装置
JP2008014658A (ja) 測量機
JP2013093738A (ja) 移動距離計測装置及び撮影カメラ
US10248191B2 (en) Virtual rigid framework for sensor subsystem
JP7097709B2 (ja) 測量システム
WO2014192640A1 (ja) 撮像装置及び撮像方法
US9506746B2 (en) Device for determining the location of mechanical elements
US8564717B2 (en) Assembling method for imaging apparatus and imaging apparatus
JP2008032701A (ja) 測量機
US20190394447A1 (en) Imaging apparatus
JP5886241B2 (ja) 携帯型撮影装置
JP2007033087A (ja) キャリブレーション装置及び方法
JP6226731B2 (ja) 撮像装置、制御方法、およびプログラム
JP2018007923A (ja) 放射線画像撮影システム
JP2007033315A (ja) 3次元物体測量装置および測量写真解析装置
JP2005122233A (ja) 情報処理装置および方法並びに記憶媒体
US11962884B2 (en) Digital image capturing devices including lens modules with dual actively-aligned integrated sensor-lens assemblies

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100326

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees