JP2010276485A - レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム - Google Patents
レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム Download PDFInfo
- Publication number
- JP2010276485A JP2010276485A JP2009129714A JP2009129714A JP2010276485A JP 2010276485 A JP2010276485 A JP 2010276485A JP 2009129714 A JP2009129714 A JP 2009129714A JP 2009129714 A JP2009129714 A JP 2009129714A JP 2010276485 A JP2010276485 A JP 2010276485A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- measured
- laser
- laser measuring
- measuring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】ガラステーブル11上に載置した複数の被計測物R1〜R4及び計測用マーカ16に対し、上下方向からレーザを照射し上記複数の被計測物及び計測用マーカの三次元座標の計測データを取得する複数のレーザ計測装置12〜14と、モデリング生成部15とからなる。モデリング生成部15は、計測用マーカ16に関する特徴線について位置合わせを行い、幾何変換行列を獲得した後で、各レーザ計測装置12〜14から得られた単位点群を幾何変換して統合データを取得し、ラベリング技術を用いて被計測物毎の統合データに分離してメモリに記憶する。
【選択図】図1
Description
一方向計測システムは、テーブルの上方向に設置されているレーザ計測装置からレーザをテーブル上に置かれた遺物に照射し反射光をレーザ計測装置に備える受光器で受け取ることで、表面を計測する。一方向計測システムにより、一度に多くの遺物を計測するための一手法として、遺物をテーブルに並べて、同時に複数の遺物を計測することが行われる。
しかしながら、一方向計測システムでは、計測方向と垂直な部分などについてのデータ収録が困難なケースが多かった。例えば、遺物の表面の向きがテーブルに垂直の場合には、レーザの反射光を受光器で受け取ることができないため、計測不能箇所となる。
例えば、金野哲士,今野晃市,千葉則茂は、平面性に基づいた測定点群の階層的な領域分割による稜線抽出法を提案している(非特許文献3参照)。この文献3には、単位点群から特徴量を抽出して、特徴量に基づいて点群を位置合わせする手法が記載されている。
また、金野哲士,今野晃市,藤本忠博,千葉則茂は、測定点群を用いた建造物モデリングのための特徴線抽出法と特徴線マッチング法を提案している(非特許文献4参照)。
さらに、金野哲士,今野晃市は、円柱などの計測方向に依存する点群から、計測方向に依存しない中心線の抽出する手法を提案している(非特許文献5参照)。この手法によれば、抽出された特徴線同士をマッチングすることで、単位点群同士を位置合わせすることが可能である。
(b)オクルージョンなどの問題により、計測できない箇所が生じる。
(c)非特許文献1のシステムでは、フレスコ壁の破片の表面と裏面、横面を一方向計測システムにより別々に計測した後で統合化するものであり、計測に人手がかかる。
実用的な三次元計測システムでは、(i)高精度、(ii)欠損なし、(iii)高速、(iv)自動化、(v)低コスト、の五つの要件が必要であるが、これらすべてを満たす計測システムは存在しない。
(d)市販品には、(i)高精度、(ii)欠損なし、(iii)高速の三つの要件を満足するシステムがあるが、「1品マンツーマン方式」の計測を行うものであり、自動的に多量の遺物の計測を行うことが困難である。
(e)市販の高精度なシステムの多くは、1台の価格が千万円のオーダーであり、高額である。
(f) 非特許文献2に示す手法では、計算コストが高いことと、適切な初期位置の決定が必要なことは、大きな問題である。
本発明によれば、複数のレーザ計測装置を用いるので、データ欠損の無い計測を行える。
本発明によれば、直線箇所を有する計測用マーカをガラステーブルに載せてキャリブレーションすることで、複数のレーザ計測装置で得られた三次元表面モデルを正確かつ迅速に合成可能である。
本発明によれば、ガラステーブル上に、複数の遺物を載せて、同時に計測することができるので、計測作業の効率が格段に向上する。
本発明によれば、従来と比較して安価にシステム構築が可能であり、低価格の遺物計測用多方向レーザ計測システムを提供することができる。
図1に示すように、この実施形態に係るレーザ計測装置を用いて被計測物を複数方向から同時計測するシステム10は、水平に設置されたガラステーブル11と、ガラステーブル11の上方に位置される第1のレーザ計測装置12及び第2のレーザ計測装置13と、ガラステーブル11の下方に位置される第3のレーザ計測装置14と、モデリング生成部15とを備えてなる。
これによって、データ収録が困難なケースが生じうるレーザ光に垂直な面等についてのレーザの反射光をレーザ受光器で受け取ることができて、レーザ光に垂直な面等が計測不能箇所とならないようにしている。
従って、第1のレーザ計測装置12によって、複数の遺物R1〜R4及び計測用マーカ16の、一方の端面側が欠落しない状態の、上面についての単位点群を得ることができ、また第2のレーザ計測装置13によって、複数の遺物R1〜R4及び計測用マーカ16の、他方の端面側が欠落しない状態の、上面についての単位点群を得ることができる。
これによって、第1のレーザ計測装置12による計測で得られる単位点群の座標軸と、第2のレーザ計測装置13による計測で得られる単位点群の座標軸とが捩れていないようにして、第1のレーザ計測装置12と第2のレーザ計測装置13がそれぞれ単位点群を取得することができる。
第3のレーザ計測装置14は、下側水平アーム部17g3に対して移動自在に係合する可動ブラケット17iに、垂直面内に回転可能かつ位置ロック可能に設けられている。
これによって、第1,第2のレーザ計測装置12,13は、上述したように、複数の遺物R1〜R4及び計測用マーカ16に対し上方両側に互いに逆向きの傾斜状態にセットされ、また第3のレーザ計測装置14は、レーザを上向きに放射するようにセットされる。
モデリング生成部15は、第1〜第3のレーザ計測装置12〜14からの電気信号を入力して演算してレーザ計測装置毎の複数の遺物R1〜R4及び計測用マーカ16に関する対象物表面を覆う単位点群を取得し、計測用マーカの単位点群について各特徴線を抽出し、計測用マーカ16に関する特徴線について位置合わせを行い、幾何変換行列を獲得した後で、各レーザ計測装置から得られた単位点群を幾何変換して統合データを取得し、ラベリング技術を用いて遺物毎の統合データに分離してメモリに記憶するように構成されている。
上述したように、第1,第2のレーザ計測装置12,13は、ガラステーブル11に対してレーザを下向き傾斜状態に設置されているので、ガラステーブル11上に置かれる複数の遺物R1〜R4及び計測用マーカ16の垂直な面も計測できる。
上記構成の計測システムでは、第1〜第3のレーザ計測装置12〜14で三方向から計測した対象物及び計測用マーカ16の表面を覆う三次元座標の単位点群を得られる。三つの単位点群は、三次元座標系が相違している。データ欠損の無い三次元座標の点群を得るためには、三つの単位点群を位置合わせして、統合化する必要がある。
この統合化の手法では、非特許文献3と4の手法の一部を利用することができる。
仮想空間上に実空間の建造物をモデリングする手段として、建造物の形状を表す複数の測定点群を、自動的に配置する位置合わせ手法があり、これには、点ベースの手法と特徴量ベースの手法とがある。特徴量ベースの手法は、点ベースの手法よりも計算量が圧倒的に少ないが、位置が合う特徴量を抽出するのが困難である。そこで、位置合わせに有効な特徴量を安定的に抽出し、複数の方向から測定した点群を同一の三次元空間へ配置するための手法が提案されている。
特徴量ベースの手法では、各単位点群から建造物の特徴部分を表す、特徴点や特徴線のような特徴量を抽出する。そして、抽出した特徴量を総当りで組み合わせ、一致した特徴量の割合が最大となるような幾何変換行列を求め、単位点群に適用する。
この手法は、以下の手順で複数の単位点群を位置合わせ処理する。
はじめに、建造物(ここでの説明においては、計測用マーカと読み替えるものとする。)の特徴部分を表す点列を抽出するために、隣接する2点間の奥行き値の差分が大きい点列を抽出する。抽出した点列を直線的な特徴量ごとに複数のセグメントに分割し、各セグメントを線分で近似することで特徴線を生成する。次に、二つの単位点群間で、線分の長さが同じ特徴線のペアを全て求め、ペアが一致するような幾何変換行列を求める。ペアに対する幾何変換が適切であるか評価し、最適な幾何変換行列を求め単位点群に適用する。本手法では、奥行き値の差分を用いて特徴線を求めており、アルゴリズムが単純であるため、実装が容易である。
この手法は、位置合わせ処理を安定的に行うため、非特許文献3で得られた特徴線に追加する形で、同一の単位点群から稜線(内部特徴線)を抽出するものである。
この建造物(ここでの説明においても、計測用マーカと読み替えるものとする。)の稜線を表す特徴線の抽出法は、非特許文献3の手法で抽出した特徴線を用いて、測定点群を階層的に領域分割し、隣接する二つの領域の境界線として線分を生成することで、稜線を表す内部特徴線を抽出する。
モデリング生成部15の説明について、以下では非特許文献3と4の手法の一部を加えて説明するものとする。
各レーザ計測装置で計測された三次元座標の単位点群から、計測用マーカ16に相当する点群を切り出し、計測用マーカを表す複数の点群を位置合わせする。
計測用マーカ16を計測した単位点群からの特徴抽出法について述べる。
三方向に配置される各レーザ計測装置を基準にした座標系として得られる単位点群は、同一の三次元空間に位置合わせする必要がある。そこで、各単位点群から特徴線を抽出し、各特徴線を同一の三次元空間への位置合わせに利用する。
手順1. 隣接する点との奥行き値の差分を利用して、形状の輪郭線を表す点列を抽出する。
手順2. 平均方向ベクトルを用いて、角を表す部分を抽出し、輪郭線を表す点列をグループ化する。
手順3. グループ化した各点列を直線で補間する。その後、点列の端点を利用して、線分を生成する。ここで生成された線分が特徴線であり位置合わせに利用される。
手順4. グループ化した点列と隣接する点列を利用して、直線がのる平面を定義する。ここで定義された平面は、内部特徴線を抽出する際に利用される。
手順5. 手順3で抽出した線分に隣接する点群を開始点として、手順4で定義した平面にのる点群を探索する。
手順6. 隣接する平面同士の交線を算出して、交線の近傍の点群を交線に射影することで、線分を得る。ここで得られた線分は、内部特徴線となる。
計測した単位点群から対象物の特徴部分を表す点列を抽出するために、隣接する2点間で奥行き方向の差分が大きい点列を抽出する。図5は、抽出した輪郭線を構成する点列である。
端点間にある点列を線分化するために、グループ化した点列を直線で近似する。グループ化した点列からの距離が最短となる無限直線で近似し、線分を生成する。生成した線分を特徴線とし、位置合わせに利用する。
位置合わせの前処理として特徴線の近傍に無限平面を想定し、その無限平面の法線ベクトルを基に、特徴線上に局所的な座標軸を設定する。そこで、想定した平面の法線ベクトルと、探索する点の接平面の法線ベクトルのなす角度を比較し、特徴線を構成する点列を開始点として、平面にのる点群を探索する。
手順1. 図7に示すように、平面領域Aに属する単位点群のみを用いて、特徴線を算出する。
手順2. 平面領域Bに対しても、同様に特徴線を算出する。
手順3. 手順1、2で算出した二つの特徴線の長さを比較し、短い方を基準となる特徴線とする。
手順4. 図8に示すように、手順3で決定した基準となる特徴線を構成する点列Qjとの距離が、最短となる点列ペアを点列Piから選出し、特徴線を構成する点列に加える。図中の黒丸(●)が、ペアに選出された点列である。
計測用マーカの単位点群から特徴線を抽出し、特徴線がもっとも一致する姿勢を得る。図10は、計測手順を示す図である。
この図において単位点群は三つあるので、まず上から計測した第1の単位点群と第2の単位点群の位置合わせを行い、特徴線群(1,2)を出力する。
次に、第3の単位点群の特徴線群3を求めた後、特徴線群(1,2)と特徴線群3の位置合わせを行う。
このようにすることで、レーザ計測装置を増設した場合でも、同様の手順で単位点群を位置合わせすることが可能となる。
各レーザ計測装置から得られた単位点群を幾何変換することで、三方向から計測した単位点群を自動的に位置合わせすることが可能となる。ガラステーブル11に並べられた遺物を計測した単位点群は、遺物毎の単位点群として分離する必要がある。
単位点群には、遺物を表す単位点群、ガラステーブル上を計測したノイズ単位点群、計測範囲外を測ったときに出力されるレンジオーバー単位点群が含まれている。
まず、レンジオーバー単位点群の除去であるが、出力レンジは固定であるので、出力レンジ(本発明で用いたレーザ計測装置では0mm〜80mm)の範囲外のデータを除去することで実現できる。
次に、ノイズ単位点群の除去であるが、このノイズは遺物の表面積に比べて、より広い面積に及ぶことは無いので、非特許文献6に記載されている画像処理手法のラベリングを適用することで実現可能である。
上記実施形態の提案システムの効果を確認するために、ガラステーブル11の上に、図11に示す四つの石器R1〜R4(R1は右上のもの、R4は左下のもの。)と、計測用マーカ16を並べて計測した。計測ピッチは0.2mmとした。
図12に四つの石器R1〜R4についての計測結果のレリーフを示す。図12(a)はレーザ計測装置12で取得したレリーフ、図12(b)はレーザ計測装置13で取得したレリーフ、図12(c)はレーザ計測装置14で取得したレリーフを示す。
次に、この計測データから各石器の計測点群を抽出した。そして、抽出した石器のうち、図11の右上の石器R1について位置合わせを行った。
図13に位置合わせ結果を示す。図13(a)は、レーザ計測装置13で取得したレリーフを示す。図13(b)は、(a)のレリーフに対して、レーザ計測装置12で取得したレリーフを位置合わせして重ねたレリーフを示す。図13(c)は、(b)のレリーフにレーザ計測装置14で取得したレリーフを位置合わせして重ねたレリーフを示す。
11…ガラステーブル
12…第1のレーザ計測装置
13…第2のレーザ計測装置
14…第3のレーザ計測装置
15…モデリング生成部
16…計測用マーカ
17g…センサ支持用アーム
R1〜R4 石器(遺物:被計測物)
Claims (4)
- 水平に設置されたガラステーブルと、
上記ガラステーブルの上に載置される複数の被計測物及び計測用マーカに対し、上下方向からレーザを照射し上記複数の被計測物及び計測用マーカの三次元座標の計測データを取得する複数のレーザ計測装置と、
上記複数のレーザ計測装置でそれぞれ得られた電気信号を入力し演算してレーザ計測装置毎の複数の被計測物及び計測用マーカに関する対象物表面を覆う単位点群を取得し、計測用マーカの単位点群について各特徴線を抽出し、計測用マーカに関する特徴線について位置合わせを行い、幾何変換行列を獲得した後で、各レーザ計測装置から得られた単位点群を幾何変換して統合データを取得し、ラベリング技術を用いて被計測物毎の統合データに分離してメモリに記憶するモデリング生成部と、
を有してなることを特徴とする、レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム。 - 前記レーザ計測装置が、
上記ガラステーブルの上に載置される複数の被計測物及び計測用マーカに対しレーザを所定角度の斜め下向きに照射し複数の被計測物及び計測用マーカの三次元座標の計測データを取得する第1のレーザ計測装置と、
上記複数の被計測物及び計測用マーカに対しレーザを所定角度の斜め下向きにかつ上記第1のレーザ計測装置とは逆向きに照射し複数の被計測物及び計測用マーカの三次元座標の計測データを取得する第2のレーザ計測装置と、
上記複数の被計測物及び計測用マーカに対しレーザをガラステーブルの下側から垂直上向きに照射し複数の被計測物及び計測用マーカの三次元座標の計測データを取得する第3のレーザ計測装置と、
を有してなる請求項1に記載の、レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム。 - 前記第1〜第3のレーザ計測装置が、コ字形のセンサ支持用アームに位置及び姿勢を調整自在に支持され、上記センサ支持用アームが前記ガラステーブルを挟む位置に移動することにより、上記第1〜第3のレーザ計測装置が、前記ガラステーブルの上に載置される前記複数の被計測物及び前記計測用マーカに対して計測可能な位置に移動するように構成されている、請求項1又は2に記載のレーザ計測装置を用いて被計測物を複数方向から同時計測するシステム。
- 前記モデリング生成部が、位置合わせの前処理として、前記単位点群を複数の平面領域に分割し、無限直線を算出してから、内部特徴線を構成する点列を抽出するように構成されている、請求項1ないし3のいずれかに記載のレーザ計測装置を用いて被計測物を複数方向から同時計測するシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009129714A JP5316992B2 (ja) | 2009-05-28 | 2009-05-28 | レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009129714A JP5316992B2 (ja) | 2009-05-28 | 2009-05-28 | レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010276485A true JP2010276485A (ja) | 2010-12-09 |
JP5316992B2 JP5316992B2 (ja) | 2013-10-16 |
Family
ID=43423584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009129714A Active JP5316992B2 (ja) | 2009-05-28 | 2009-05-28 | レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5316992B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181022A (ja) * | 2011-02-28 | 2012-09-20 | Canon Inc | ラマン振動の強度分布情報と質量分布情報とを位置合わせする方法 |
WO2014033823A1 (ja) * | 2012-08-28 | 2014-03-06 | 株式会社日立製作所 | 計測システム、計測方法 |
JP2015208840A (ja) * | 2014-04-30 | 2015-11-24 | 株式会社荏原製作所 | 研磨装置、研磨パッドプロファイル計測用治具、及び、研磨パッドプロファイル計測方法 |
KR102051152B1 (ko) * | 2012-07-04 | 2020-01-09 | 후지필름 가부시키가이샤 | 표면 검사 장치 및 방법, 용액 제막 방법 및 설비 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63222209A (ja) * | 1987-03-12 | 1988-09-16 | Mitsubishi Electric Corp | 物体検出装置 |
JPH07248212A (ja) * | 1994-03-10 | 1995-09-26 | Fuji Electric Co Ltd | 三次元形状計測装置 |
JPH08247735A (ja) * | 1995-03-14 | 1996-09-27 | Adtec Eng:Kk | 電子部品の端子検査装置 |
JP2004012221A (ja) * | 2002-06-05 | 2004-01-15 | Hitachi Eng Co Ltd | 遺構遺物等の実測二次元図作成方法およびシステム |
JP2006275919A (ja) * | 2005-03-30 | 2006-10-12 | Jfe Steel Kk | 形鋼の寸法測定方法 |
JP2007121004A (ja) * | 2005-10-26 | 2007-05-17 | Jfe Steel Kk | レール寸法測定方法および装置 |
-
2009
- 2009-05-28 JP JP2009129714A patent/JP5316992B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63222209A (ja) * | 1987-03-12 | 1988-09-16 | Mitsubishi Electric Corp | 物体検出装置 |
JPH07248212A (ja) * | 1994-03-10 | 1995-09-26 | Fuji Electric Co Ltd | 三次元形状計測装置 |
JPH08247735A (ja) * | 1995-03-14 | 1996-09-27 | Adtec Eng:Kk | 電子部品の端子検査装置 |
JP2004012221A (ja) * | 2002-06-05 | 2004-01-15 | Hitachi Eng Co Ltd | 遺構遺物等の実測二次元図作成方法およびシステム |
JP2006275919A (ja) * | 2005-03-30 | 2006-10-12 | Jfe Steel Kk | 形鋼の寸法測定方法 |
JP2007121004A (ja) * | 2005-10-26 | 2007-05-17 | Jfe Steel Kk | レール寸法測定方法および装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181022A (ja) * | 2011-02-28 | 2012-09-20 | Canon Inc | ラマン振動の強度分布情報と質量分布情報とを位置合わせする方法 |
KR102051152B1 (ko) * | 2012-07-04 | 2020-01-09 | 후지필름 가부시키가이샤 | 표면 검사 장치 및 방법, 용액 제막 방법 및 설비 |
WO2014033823A1 (ja) * | 2012-08-28 | 2014-03-06 | 株式会社日立製作所 | 計測システム、計測方法 |
JPWO2014033823A1 (ja) * | 2012-08-28 | 2016-08-08 | 株式会社日立製作所 | 計測システム、計測方法 |
JP2015208840A (ja) * | 2014-04-30 | 2015-11-24 | 株式会社荏原製作所 | 研磨装置、研磨パッドプロファイル計測用治具、及び、研磨パッドプロファイル計測方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5316992B2 (ja) | 2013-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Concrete crack assessment using digital image processing and 3D scene reconstruction | |
Guidi et al. | High-accuracy 3D modeling of cultural heritage: the digitizing of Donatello's" Maddalena" | |
CN106780619B (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
Brutto et al. | Computer vision tools for 3D modelling in archaeology | |
Murphy et al. | Historic building information modelling (HBIM) | |
Pavlidis et al. | Methods for 3D digitization of cultural heritage | |
CN108151671A (zh) | 一种三维数字成像传感器、三维扫描系统及其扫描方法 | |
Shao et al. | Automated markerless registration of point clouds from TLS and structured light scanner for heritage documentation | |
CN109685886A (zh) | 一种基于混合现实技术的配网三维场景建模方法 | |
CN104266587A (zh) | 一种三维测量系统及获得真实3d纹理点云数据方法 | |
Erickson et al. | The accuracy of photo-based three-dimensional scanning for collision reconstruction using 123D catch | |
Sansoni et al. | 3-D optical measurements in the field of cultural heritage: the case of the Vittoria Alata of Brescia | |
JP5316992B2 (ja) | レーザ計測装置を用いて被計測物を複数方向から同時計測するシステム | |
Jiang et al. | Combined shape measurement based on locating and tracking of an optical scanner | |
CN111780678A (zh) | 一种轨道板预埋套管直径的测量方法 | |
Antinozzi et al. | Optimized configurations for micro-photogrammetric surveying adaptable to macro optics and digital microscope | |
Silvestre et al. | Cave chamber data modeling and 3D web visualization | |
Silvestre et al. | Framework for 3D data modeling and web visualization of underground caves using open source tools | |
Wang et al. | Implementation and experimental study on fast object modeling based on multiple structured stripes | |
Kochi et al. | Development of 3D image measurement system and stereo‐matching method, and its archaeological measurement | |
Habib et al. | Alternative approaches for utilizing lidar data as a source of control information for photogrammetric models | |
Tucci et al. | Photogrammetry and 3d scanning: Assessment of metric accuracy for the digital model of danatello’s maddalena | |
Cheng | The workflows of 3D digitizing heritage monuments | |
CN113432558A (zh) | 一种基于激光的不规则物体表面积的测量装置及方法 | |
KR100379948B1 (ko) | 3차원 형상 측정방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5316992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |