JP2006217222A - パノラマ映像作成方法と作成装置 - Google Patents
パノラマ映像作成方法と作成装置 Download PDFInfo
- Publication number
- JP2006217222A JP2006217222A JP2005027468A JP2005027468A JP2006217222A JP 2006217222 A JP2006217222 A JP 2006217222A JP 2005027468 A JP2005027468 A JP 2005027468A JP 2005027468 A JP2005027468 A JP 2005027468A JP 2006217222 A JP2006217222 A JP 2006217222A
- Authority
- JP
- Japan
- Prior art keywords
- line
- moving
- camera
- line camera
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】 複数のラインカメラを移動体に対し、主点同士が移動方向に所定距離Xだけオフセットされ、視野面同士は平行であり、移動方向から見た場合に各カメラの視野が連続するという関係を満たして固定し、移動体で移動しながら、移動距離を測定し、所定距離を移動する毎に各カメラで撮影し、撮影データを移動距離と関連付けて記憶する工程を実施し、その後に前方側にあるラインカメラで移動距離がYであるときに撮影した撮影データから再現される映像と、後方側にあるラインカメラで移動距離がX+Yであるときに撮影した撮影データから再現される映像を、前記基準線からの角度に基づいて特定される位置関係の下で同一直線上に配置する工程と、直線状に配置された映像を移動方向に並列配置する工程を実行する。
【選択図】 図3
Description
複数の映像を繋ぎ合わせてパノラマ映像を作成するためには、各映像を同一の主点で撮影しておく必要がある。ラインカメラの主点が一致しない場合、繋ぎ目に不整合が生じ、良好なパノラマ映像を作成することができない。ラインカメラの主点が一致しない2枚の映像を繋ぎ合わせるためには、繋ぎ合わせる前の映像について特殊な画像処理をしておくことが必要となる。従って、複数の映像を繋ぎ合わせてパノラマ映像を作成するためには、各映像を同一の主点で撮影することが望ましい。
しかしながら、ラインカメラ同士が物理的に干渉してしまうために、主点を一致させた状態で複数台のラインカメラを配置することは難しい。1台のラインカメラを利用し、主点を中心にしてラインカメラを回転させると、同一主点で複数方向を撮影することができるが、移動体で移動しながら撮影する方法と組合せて用いると、一時停車してラインカメラを回転させて複数方向を撮影してから移動して再度停車する作業を繰返して実施しなければならず、現実的でない。
本発明は上記の課題を解決する。本発明は、移動体で移動しながら撮影することによって同一主点で複数方向を撮影した撮影データを取得し、特別の画像処理をしないで単に繋ぎ合わせるだけで、移動方向に長く伸びるとともに周方向に広く拡がるパノラマ映像を作成することができる技術を提供する。
本発明の方法では、まず前記複数のラインカメラを移動体に対して、
(1) ラインカメラの主点同士は、移動方向に所定距離Xだけオフセットされており、
(2) ラインカメラの視野面同士は、平行であり、
(3) 移動方向から見た場合に、一方のラインカメラの時計回り終端側の視野限界線の基準線からの時計回転方向の角度をaとし、他方のラインカメラの時計回り始端側の視野限界線の前記基準線からの時計回転方向の角度をbとしたときに、b≦aであるという関係を満たして固定し、移動体で移動しながら、
(1) 移動距離を測定し、
(2) 所定距離を移動する毎に各ラインカメラで撮影し、撮影データを移動距離と関連付けて記憶する工程を実施し、
その後に、前方側にあるラインカメラで移動距離がYであるときに撮影した撮影データから再現される映像と、後方側にあるラインカメラで移動距離がX+Yであるときに撮影した撮影データから再現される映像を、前記基準線からの角度に基づいて特定される位置関係の下で、同一直線上に配置する工程と、前記直線上に配置された映像を移動方向に並列配置する工程を実行する。
本明細書でいうラインカメラとは、周囲の景色の中から直線的に伸びる視野範囲内の映像を得る装置のことであって、一般的には撮像素子が直線状に配列されたラインセンサカメラのことをいう。図6に示すように、ラインカメラ102は主点104から光軸108をはさんで伸びる視野限界線106と110の間の視野面S1,S2にはさまれた領域A内の景色を、直線状の映像として撮影する。ここで視野角とは、一方の視野限界線106と他方の視野限界線110が成す角のことをいう。視野面S1とS2まではほぼ平行であり、ラインカメラ102から景色までのX1方向距離に長短があっても、視野AのX2方向の幅Bはほとんど変化しない。
従ってラインカメラ102をX2方向に距離Bだけ移動して撮影する処理を繰返すと、視野限界線106と110の間をX2方向に伸びる領域を、連続的に撮影したパノラマ映像を作成することができる。ラインカメラ102を移動させることによってエリアカメラとすることができる。ラインカメラ102を移動させる方式によって撮影すると、X2方向の移動距離から映像内の対象点のX2座標を知ることができ、対象点を撮影したラインセンサのセル番号から対象点のX3座標を知ることができる。ラインカメラ102を移動させる方式によって撮影すると、撮影対象点のX2座標とX3座標を特定可能な状態で、景色を撮影することができる。
周方向に広く拡がる(1台のラインカメラの視野角以上に広く拡がる)パノラマ映像を作成するために、移動方向から見た各ラインカメラの撮影方向を、互いに異ならせることによって広い範囲を撮影する。移動方向から見た場合に、一方のラインカメラの時計回り終端側の視野限界線の基準線(例えば鉛直下方を向く線)からの時計回転方向の角度をaとし、他方のラインカメラの時計回り始端側の視野限界線の前記基準線からの時計回転方向の角度をbとしたとき、b=aであれば、2台のラインカメラの視野は移動方向から見て、隙間もなければ重複もない関係で連続している。またb<aであれば、2台のラインカメラの視野は一部が重複する関係で連続している。いずれにしても、2台のラインカメラの視野は移動方向から見て連続している。
そこで、同一の主点で、直線的に長く伸びる範囲を撮影した2枚の映像を同一直線上に配置することによって、各ラインカメラの視野角以上に拡がるパノラマ映像を作成することができる。このとき、前記基準線(例えば鉛直下方を向く線)からの角度に基づく位置関係の下で、同一直線上に配置すると、前記映像が直線的に伸びる方向に連続するパノラマ映像を作成することができる。
前記基準線からの角度に基づく位置関係としては、例えば映像内の点とある基準点との距離が、前記基準線からの角度に比例するという関係としてもよい。基準線(例えば鉛直下方を向く線)からの角度と基準点からの距離が比例するという関係は、比較的簡単に得ることができる。b=aの場合は、前方側のラインカメラによって得られる映像と、後方側のラインカメラによって得られる映像は連続しており、重複する映像は存在しない。従って、前方側のラインカメラで得られる映像と、後方側のラインカメラで得られる映像を、そのまま繋ぎ合わせればよい。b<aの場合には、前方側のラインカメラによって得られる映像と、後方側のラインカメラによって得られる映像には、重複する映像範囲が存在する。基準線(例えば鉛直下方を向く線)からの角度と基準点からの距離が比例するという関係を維持すると、重複問題が解消する。重複部については一方のラインカメラで得られた映像のみを使用してもよいし、両者の映像から平均化された映像を使用してもよい。
上記のようにして得られる直線状に配置された映像を移動方向に並列配置することで、移動方向に伸びるとともにラインカメラの視野角以上に拡がるパノラマ映像を作成することができる。
を備え、前記複数のラインカメラは移動体に対して、
(1) ラインカメラの主点同士は、移動方向に所定距離Xだけオフセットされており、
(2) ラインカメラの視野面同士は、平行であり、
(3) 移動方向から見た場合に、一方のラインカメラの時計回り終端側の視野限界線の前記基準線からの時計回転方向の角度をaとし、他方のラインカメラの時計回り始端側の視野限界線の前記基準線からの時計回転方向の角度をbとしたときに、b≦aであるという関係を満たして固定されている。
(形態1): 移動体は、路面を走行する車両である。
(形態2): 車両の移動距離は、ロータリーエンコーダによって計測する。
(形態3): ラインカメラの主点同士を結ぶ直線は、移動体の進行方向に平行である。移動体に搭載するラインカメラの主点同士は、移動方向に所定距離Xだけオフセットされており、その垂直方向にはオフセットされていない。
(形態4): ラインカメラの視野面は、互いに平行であり、鉛直面内にあって、移動体の進行方向に対して傾いている。
本発明を具現化したパノラマ映像作成装置2を、図を参照しながら説明する。図1は、本発明のパノラマ映像作成装置2を模式的に示す側面図であり、図2はパノラマ映像作成装置2を図1の視点II方向から見た平面図であり、図3はパノラマ映像作成装置2を図1の視点III方向から見た正面図である。
撮影部20は、測定車18の上部に配置され、測定車18の側方に向けて張り出した架台8を備え、架台8の上の雲台に搭載された2台のラインカメラ4と6を備えている。
ラインカメラ4と6は、光入力を電気信号に変換する多数の撮像素子が縦一列に配列されており、その前面に光信号を集めるレンズを設けている。ラインカメラ4と6は、制御装置14からの指示によって、レンズを透過して入力された映像をCMOS、CCD等の撮像素子で撮影する。このラインカメラ4と6は、それぞれ4096個の撮像素子を持つ。ラインカメラ4と6の視野角は、それぞれ70°であり、各撮像素子は、レンズから3m離れた被写体について「1mm×1mm」の区画を撮像可能である。
ラインカメラ4は、撮像素子が車両の上下方向に一列となるように設置されている。図2と図3に示すように、ラインカメラ4は、光軸32が測定車18の進行方向に対して垂直で、水平面から35°上方に向いた方向となるように設置角度を調整されている。
ラインカメラ6は、撮像素子が車両の上下方向に一列となるように設置されている。図1と図3に示すように、ラインカメラ6は、光軸34が測定車18の進行方向に対して垂直で、水平面から35°下方に向いた方向となるように設置角度を調整されている。すなわち、ラインカメラ4とラインカメラ6は、視野面が互いに平行である。
図1と図2に示すように、ラインカメラ6は、ラインカメラ4より500mm後方に配置され、ラインカメラ4の主点と、ラインカメラ6の主点を結ぶ線は、測定車18の進行方向とほぼ平行となるように、設置位置を調整されている。
すなわち、ラインカメラ4とラインカメラ6は主点同士が測定車18の進行方向に500mmオフセットされて搭載されている。また、図3に明示されるように、測定車18の進行方向から見た場合に、ラインカメラ4の視野とラインカメラ6の視野は連続している。すなわち、測定車18の進行方向から見た場合に、ラインカメラ4の時計回り終端側の視野限界線82の鉛直軸86からの時計回転方向の角度aと、ラインカメラ6の時計回り始端側の視野限界線84の鉛直軸86からの時計回転方向の角度bは等しい。
制御装置14には、ラインカメラ4と6、ロータリーエンコーダ12、記憶装置10が接続されている。制御装置14は、CPU、ROM、RAM、入出力装置等を備えるコンピュータである。制御装置14は、ロータリーエンコーダ12から入力されるパルス信号を用いて、ROMに格納されている制御プログラムを実行して、測定車18が1mm走行する毎にラインカメラ4と6に撮影を行わせる。車両側方3mの点に垂直壁があれば、ラインカメラ4と6によって1mm×1mmの画素を垂直方向に4096個配列したライン映像が得られる。
制御装置14は、ロータリーエンコーダ12から入力されるパルス信号に基づいて、撮影を開始してからの測定車18の走行距離を把握している。そして、制御装置14は、撮影したライン映像と、撮影を開始してからの測定車18の走行距離とを対応付けて、記憶装置10に記憶させる。制御装置14は、撮影され記憶されたライン映像を繋ぎ合わせてパノラマ映像を作成する。
記憶装置10は、制御装置14から入力されるデータを、複数のハードディスクに分散して記憶する。
ステップS20で動作が開始されると、パノラマ映像作成装置2はステップS22で測定車18を走行させ、測定車18の周囲の撮影を開始する。
ステップS24で、制御装置10は測定車18が所定距離を走行するごとにラインカメラ4と6にライン映像を撮影させる。本実施例では、測定車18が1mm走行するごとに、ラインカメラ4と6は撮影を実施する。測定車18から側方に3m離れた場所に壁面があれば、ラインカメラ4によって壁面上の1mm幅の視野内が撮影される。この場合、ラインカメラ6によっても、壁面上の1mm幅の視野内が撮影される。
ステップS26では、ラインカメラ4と6で撮影された映像データを、走行距離と関連付けて記憶装置12へ記憶する。
ステップS28では、撮影範囲をすべて撮影したかどうかを判断する。まだすべての撮影範囲を撮影していない場合(NOの場合)、ステップS24、ステップS26を繰返し実施する。すべての撮影範囲について撮影が終了した場合(YESの場合)、パノラマ映像作成装置2はステップS30へ進み、測定車18の走行を停止して、撮影を終了する。
ラインカメラ4で撮影されたライン映像は、その映像が撮影され記憶された時点での測定車18の走行距離が関連付けられて記憶されている。これらの映像を測定車18の走行方向に繋ぎ合わせていくことで、図5に示すパノラマ映像52が得られる。パノラマ映像52は、ラインカメラ4によって撮影されるライン映像から得られる。
同様にして、ラインカメラ6で撮影されたライン映像を繋ぎ合わせていき、パノラマ映像54を作成する。
ラインカメラ4と6それぞれについて、パノラマ映像52と54が作成されると、ステップS34へ進む。
図5に示すように、パノラマ映像52は測定車18の走行距離がL1、L2、L3、・・・の時点でラインカメラ4によって撮影されたライン映像62、64、66、・・・を、測定車18の走行する方向に繋ぎ合わせて作成されている。また、パノラマ映像54は測定車18の走行距離がL1、L2、L3、・・・の時点でラインカメラ4によって撮影されたライン映像72、74、76、・・・を、測定車18の走行する方向に繋ぎ合わせて作成されている。各ライン映像は、測定車18が1mm走行する度に撮影されている。また、1つのライン映像の幅は1mmである。
制御装置10は、パノラマ映像54をパノラマ映像52に対して、縦方向にΔZ、横方向にΔLだけオフセットさせ、両者を繋ぎ合わせる。
上記の例では、ラインカメラ4とラインカメラ6の視野が、測定車18の前方から見て重複していない場合を説明した。ラインカメラ4とラインカメラ6の視野が、測定車18の前方から見て重複する場合は、ラインカメラ4とラインカメラ6の光軸同士が成す角度に比例して、ΔZを決定すればよい。例えば、ラインカメラ4とラインカメラ6の光軸同士が成す角度が35°の場合、35°はラインカメラ4の視野角の半分に相当するため、ΔZとしてパノラマ映像52の縦方向(ライン映像の伸びる方向、図5の上下方向)の半分の長さをとればよい。この場合、パノラマ映像52とパノラマ映像54には、重複する部位が存在する。
パノラマ映像52とパノラマ映像54に重複する部分がある場合は、その重複部分について一方の映像(例えばパノラマ映像52)をそのまま用いてもよいし、両方の映像を平均化した映像を用いてもよい。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合せによって技術的有用性を発揮するものであり、出願時請求項記載の組み合せに限定されるものではない。また、本明細書または図面に例示した技術は複数の目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
4・・・ラインカメラ
6・・・ラインカメラ
8・・・架台
10・・・記憶装置
12・・・ロータリーエンコーダ
14・・・制御装置
18・・・測定車
20・・・撮影部
32・・・光軸
34・・・光軸
52・・・パノラマ映像
54・・・パノラマ映像
56・・・ライン映像
58・・・ライン映像
62、64、66・・・ライン映像
72、74、76・・・ライン映像
82・・・視野限界線
84・・・視野限界線
86・・・鉛直軸
102・・・ラインカメラ
104・・・主点
106・・・視野限界線
108・・・光軸
110・・・視野限界線
Claims (2)
- 視野角が所定視野角に制約されているラインカメラの複数台を移動体に搭載し、移動体で移動しながら各ラインカメラで撮影を繰返すことによって、移動方向に伸びるとともに前記所定視野角以上に拡がるパノラマ映像を作成する方法であり、
前記複数のラインカメラを移動体に対して、
(1) ラインカメラの主点同士は、移動方向に所定距離Xだけオフセットされており、
(2) ラインカメラの視野面同士は、平行であり、
(3) 移動方向から見た場合に、一方のラインカメラの時計回り終端側の視野限界線の基準線からの時計回転方向の角度をaとし、他方のラインカメラの時計回り始端側の視野限界線の前記基準線からの時計回転方向の角度をbとしたときに、b≦aであるという関係を満たして固定し、
移動体で移動しながら、
(1) 移動距離を測定し、
(2) 所定距離を移動する毎に各ラインカメラで撮影し、撮影データを移動距離と関連付けて記憶する工程を実施し、
その後に、
前方側にあるラインカメラで移動距離がYであるときに撮影した撮影データから再現される映像と、後方側にあるラインカメラで移動距離がX+Yであるときに撮影した撮影データから再現される映像を、前記基準線からの角度に基づいて特定される位置関係の下で、同一直線上に配置する工程と、
前記直線上に配置された映像を移動方向に並列配置する工程
を少なくとも実行することによって前記パノラマ映像を作成する方法。 - 移動体と、
複数のラインカメラと、
移動距離を測定する手段と、
移動体が所定距離を移動する毎に各ラインカメラで撮影する手段と、
撮影した撮影データを移動距離と関連付けて記憶する手段と、
前方側にあるラインカメラで移動距離がYであるときに撮影した撮影データから再現される映像と、後方側にあるラインカメラで移動距離がX+Yであるときに撮影した撮影データから再現される映像を、移動方向から見た場合の基準線からの角度に基づいて特定される位置関係の下で、同一直線上に配置する手段と、
前記直線上に配置された映像を移動方向に並列配置する手段と
を備え、
前記複数のラインカメラは移動体に対して、
(1) ラインカメラの主点同士は、移動方向に所定距離Xだけオフセットされており、
(2) ラインカメラの視野面同士は、平行であり、
(3) 移動方向から見た場合に、一方のラインカメラの時計回り終端側の視野限界線の前記基準線からの時計回転方向の角度をaとし、他方のラインカメラの時計回り始端側の視野限界線の前記基準線からの時計回転方向の角度をbとしたときに、b≦aであるという関係を満たして固定されている
ことを特徴とするパノラマ映像を作成する装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005027468A JP4551990B2 (ja) | 2005-02-03 | 2005-02-03 | パノラマ映像作成方法と作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005027468A JP4551990B2 (ja) | 2005-02-03 | 2005-02-03 | パノラマ映像作成方法と作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006217222A true JP2006217222A (ja) | 2006-08-17 |
JP4551990B2 JP4551990B2 (ja) | 2010-09-29 |
Family
ID=36980067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005027468A Active JP4551990B2 (ja) | 2005-02-03 | 2005-02-03 | パノラマ映像作成方法と作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4551990B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851228A (zh) * | 2017-03-30 | 2017-06-13 | 百度在线网络技术(北京)有限公司 | 全景图像采集系统、控制方法、设备及存储介质 |
US9794479B2 (en) | 2008-02-08 | 2017-10-17 | Google Inc. | Panoramic camera with multiple image sensors using timed shutters |
CN111861912A (zh) * | 2020-06-30 | 2020-10-30 | 湖南傲英创视信息科技有限公司 | 一种线列周扫立体全景图像去噪方法、系统及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105141859A (zh) * | 2015-09-16 | 2015-12-09 | 浙江吉利汽车研究院有限公司 | 一种汽车全景影像系统的画面切换控制方法 |
CN111432119B (zh) * | 2020-03-27 | 2021-03-23 | 北京房江湖科技有限公司 | 图像拍摄方法、装置、计算机可读存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004531113A (ja) * | 2001-02-09 | 2004-10-07 | リー,クジン | 注釈記入による全方位性3次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 |
-
2005
- 2005-02-03 JP JP2005027468A patent/JP4551990B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004531113A (ja) * | 2001-02-09 | 2004-10-07 | リー,クジン | 注釈記入による全方位性3次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9794479B2 (en) | 2008-02-08 | 2017-10-17 | Google Inc. | Panoramic camera with multiple image sensors using timed shutters |
US10397476B2 (en) | 2008-02-08 | 2019-08-27 | Google Llc | Panoramic camera with multiple image sensors using timed shutters |
US10666865B2 (en) | 2008-02-08 | 2020-05-26 | Google Llc | Panoramic camera with multiple image sensors using timed shutters |
CN106851228A (zh) * | 2017-03-30 | 2017-06-13 | 百度在线网络技术(北京)有限公司 | 全景图像采集系统、控制方法、设备及存储介质 |
CN106851228B (zh) * | 2017-03-30 | 2023-05-05 | 百度在线网络技术(北京)有限公司 | 全景图像采集系统、控制方法、设备及存储介质 |
CN111861912A (zh) * | 2020-06-30 | 2020-10-30 | 湖南傲英创视信息科技有限公司 | 一种线列周扫立体全景图像去噪方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4551990B2 (ja) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9197866B2 (en) | Method for monitoring a traffic stream and a traffic monitoring device | |
JP2006258486A (ja) | 座標計測装置と座標計測方法 | |
WO2011040239A1 (ja) | 広角撮像装置及び測定システム | |
JP6574845B2 (ja) | 図面作成装置及び図面作成方法 | |
EP1087257B1 (en) | Stereo camera apparatus in a vehicle | |
JP3994217B2 (ja) | 画像処理による異常点位置検出システム | |
JP4551990B2 (ja) | パノラマ映像作成方法と作成装置 | |
JPH09161068A (ja) | 画像撮影方法とそれを用いた画像編集装置 | |
JP2011124965A (ja) | 被写体寸法測定用カメラ装置 | |
JP2005016991A (ja) | 赤外線構造物診断システム | |
US9649990B2 (en) | Device and method for optically recording the underbody of a vehicle | |
JP5173551B2 (ja) | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 | |
JP2008045983A (ja) | ステレオカメラの調整装置 | |
JP5628068B2 (ja) | トンネル壁面の展開画像取得システム | |
KR101452342B1 (ko) | 감시카메라 유닛 및 그 구동방법 | |
JPH06167564A (ja) | 魚眼レンズを用いた測位方式およびその装置 | |
JP2009229439A (ja) | 3次元形状測定システム、及び、3次元形状測定方法 | |
JP2017096654A (ja) | 撮影システム | |
JP6659929B2 (ja) | 道路路面撮影システム | |
JP4326864B2 (ja) | コンクリート点検システムのハイビジョン画像処理方法 | |
JPH11257953A (ja) | トンネル壁面観察装置 | |
JP6242515B1 (ja) | 構造物診断方法 | |
US11019245B2 (en) | Bundle adjustment system | |
JP2006017676A (ja) | 計測システムおよび計測方法 | |
JPH05122606A (ja) | 画像合成処理方法および画像合成処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100526 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4551990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |