JP2014146356A - 表面再現方法及び表面再現プログラム - Google Patents

表面再現方法及び表面再現プログラム Download PDF

Info

Publication number
JP2014146356A
JP2014146356A JP2014061451A JP2014061451A JP2014146356A JP 2014146356 A JP2014146356 A JP 2014146356A JP 2014061451 A JP2014061451 A JP 2014061451A JP 2014061451 A JP2014061451 A JP 2014061451A JP 2014146356 A JP2014146356 A JP 2014146356A
Authority
JP
Japan
Prior art keywords
points
layers
reproduction
point group
contour extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014061451A
Other languages
English (en)
Other versions
JP5911114B2 (ja
Inventor
Akira Kato
顕 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba University NUC
Original Assignee
Chiba University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba University NUC filed Critical Chiba University NUC
Priority to JP2014061451A priority Critical patent/JP5911114B2/ja
Publication of JP2014146356A publication Critical patent/JP2014146356A/ja
Application granted granted Critical
Publication of JP5911114B2 publication Critical patent/JP5911114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】建物や樹木といった実際の地上の構造物を対象としても正確に表面を再現することのできる表面再現方法及び表面再生プログラムを提供する。
【解決手段】複数の点からなる点群を複数の層に分割しS2、複数の層における複数の点に対し輪郭抽出処理を行いS3、輪郭抽出処理により抽出された複数の層における複数の点からなる点群を結合しS4、表面再現処理を行うS5。
【選択図】図1

Description

本発明は、表面再現方法及び表面再現プログラムに関し、樹木や建物等の表面の再現により好適なものである。
従来、点群に対して表面再現を行なう際、Subdivision SurfaceやNon−Uniform Rational B−Spline(NURB) Surfaceといった手法が用いられてきた。これらの表面再現方法は、点群が規則的に並んでいる必要があるため、不規則に並んでいる点群に対しては、点を最適な規則的間隔に並べ直して用いなければならず、これには複雑な計算処理が必要で、メモリー容量等の物理的課題及び計算処理のための時間的課題が発生する。
これに対し、例えば下記非特許文献1に、Radial Basis Functionが提案されている。下記非特許文献1に記載の技術は、上記のように点を並び替える必要がなく、点群を正確にフィットすることができる表面再現方法である。
Carr,J.C.,Fright,W.R.,&Beatson,R.K.(1997).Surface interpolation with radial basis function for medical imaging,IEEE Transactions on Medical Imaging,16(1),96−107.
しかしながら、上記非特許文献1に記載の技術では、In situでスキャンされた小さい対象物の表面再現の方法であって、建物や樹木といった実際の地上の構造物を対象としたものではなく、そのまま用いたのでは、計算が複雑となり、更に、却って正確に表面を再現できなくなってしまうといった課題がある。
そこで、本発明は、建物や樹木といった実際の地上の構造物を対象としても正確に表面を再現することのできる表面再現方法及び表面再生プログラムを提供することを目的とする。
本発明者は、上記課題について鋭意検討を行なったところ、実際の地上の構造物では、複数の点からなる点群を求めようとする場合、再現したい最外表面だけでなく、構造物内部まで侵入して求められた点が存在することに想到し、この点を除去することでより正確に表面再現処理が行える点を発見し、本発明を完成させるに至った。
すなわち、本発明の一観点に係る表面再現方法は、複数の点からなる点群を複数の層に分割し、複数の層における複数の点に対し輪郭抽出処理を行い、輪郭抽出処理により抽出された前記複数の層における複数の点を結合し、表面再現処理を行うことを特徴の一つとする。
また本発明の他の一観点に係る表面再現プログラムは、コンピュータに、複数の点からなる点群を複数の層に分割し、複数の層における複数の点に対し輪郭抽出処理を行い、輪郭抽出処理により抽出された複数の層における複数の点を結合し、表面再現処理を行わせることを特徴の一つとする。
また、本発明の他の一観点にかかる表面再現方法は、複数の点からなる点群に対し輪郭抽出処理を行い、RadialBasisfunction及びIsosurfaceを用いて表面再現処理を行うことを特徴の一つとする。
また、本発明の他の一観点にかかる表面再現プログラムは、コンピュータに、複数の点からなる点群に対し輪郭抽出処理を行い、RadialBasisfunction及びIsosurfaceを用いて表面再現処理を行わせることを特徴の一つとする。
以上、本発明により、建物や樹木といった実際の地上の構造物を対象としても正確に表面を再現することのできる表面再現方法及び表面再生プログラムを提供することができる。
実施形態に係る表面再現方法の処理のフローを示す図である。 LiDARによる点群のイメージ図である。 高さ補正処理を行う場合のイメージ図である。 点群に対し層分割を行なう場合のイメージ図である。 輪郭抽出処理におけるイメージ図である。 (A)実施例1に係るPseudotsuga menziesiiの写真図である。(B)Pseudotsuga menziesiiの点群を示す図である。(C)実施例1により求められる樹木の再現表面を示す図である。 (A)実施例2に係るLiriodendron tulipiferaの写真図である。(B)Liriodendron tulipiferaの点群を示す図である。(C)実施例2により求められる樹木の再現表面を示す図である。
以下、本発明の実施形態について図面を参照しつつ説明する。ただし、本発明は多くの異なる態様で実施することが可能であり、以下に示す実施形態に限定されるものではない。
(実施形態1)
図1は、本実施形態に係る表面再現方法の処理のフローを示す図である。本図で示すように、本実施形態に係る表面再現方法は、複数の点からなる点群を、複数の面領域に分割し(S1)、面領域における点群を複数の層に分割し(S2)、複数の層における複数の点に対し輪郭抽出処理を行い(S3)、輪郭抽出処理により抽出された複数の層の点群を結合し(S4)、表面再現処理を行う(S5)。
まず、本実施形態に係る表面再現処理において、点群を構成する複数の点の各々は、少なくとも三次元的な位置情報(x、y、z)を含んでいることが必要である。三次元的な位置情報を含む点の集合を得る方法としては、限定されるわけではないが、レーザーセンサーでスキャンすることによりその位置情報を得る、いわゆるLiDAR(Light Detection and Ranging)(Lefsky,M.A.,Cohen,W.B.,Cohen,Parker,G.,&Inkinen,M.(2001).Efficiencies of traditional and digital measurement technologies for forest operations.Western Journal of Applied Forestry,20(2),138−143 及び Patenaude,G.,Hill,R.A.,Milne,R.,Gaveau,D.L.A.,Briggs,B.B.J.,&Dawson,T.P.(2004).Quantifying forest above ground carbon content using LIDAR remote sensing.Remote Sensing of Environment,93,368−380)を用いることができる。例えば図2に、実際の樹木をLiDARを用いて点群として表現した場合のイメージ図を示しておく。なお図中左側は測定対象となる構造物(樹木)の写真図を、右側はLiDARにより得られる点群を表す。
また、本実施形態において、点群の三次元的な位置情報に関しては、限定されるわけではないが、構造物が設置される地表の高さがほぼ平坦であると考えられる場合は、この地表の高さの主要な値(例えば平均の値や最頻出の値等)を0(z=0)として地表面(x、y)を設定することができる。ただし、山林等では通常構造物を支持する地表自体が傾いており、この場合であっても樹木等の構造物は重力に対し垂直に伸びているものが多く、実際の地表と構造物との間は必ずしも垂直ではなく、これに起因するSlope Effectを除去するため各点において高さ補正処理を行うことが好ましい一例である。高さ補正処理についても限定されないが、例えば、地表を形成する面を抽出及び推定し、各点の座標における高さから同じ(x,y)の位置にある面の高さを差し引くことが好ましい。このようにすることで、純粋に構造物のみ処理対象とすることができる。この場合の補正のイメージを図3に示しておく。
また、本実施形態に係る処理において、例えば樹木を測定対象とする場合、幹の部分は一度除外しておくことが好ましい。このようにすることで、樹木の枝や葉の表面をより正確に表現することができるようになる。
また、本方法は、複数の点からなる点群を、複数の面領域で分割する(S1)。この処理を行うことにより、存在する複数の構造物各々を分離し、そのそれぞれの構造物に対して表面再現処理を行うことができるようになる。ここで「面領域」とは、所定の面積を持った二次元の領域を意味し、具体的には所定のxの範囲、yの範囲によって区切られる領域いう。この面領域に存在するものであれば、各点の高さは関係なく抽出される。
この点群を複数の面領域に分割する方法としては、特に限定されるわけではないが、たとえばWatershed Segmentation(Chen,Q.,Baldocchi,D.,Gong,P.,&Maggi,K.(2006).Isolating Individual trees in a savanna woodland using small footprint LIDAR data.Photogrammetric Engineering and Remote Sensing,72(8),923−932 及び Sollie,P.(2003)Morphological image analysis principles and applications(pp.105−137).NY:Springer.)を好適に用いることができる。この方法を用いることで、点群に含まれる建築物や樹木を建物毎、固体毎に分けることが可能となり、正確な表面再現を行なうことができるようになるといった効果がある。なお層分割のイメージについて図4に示しておく。
次に、本方法は、各面領域において、複数の点からなる点群を、複数の層に分割する(S2)。層に分割し、後述の輪郭抽出処理と組み合わせることで、実物の構造物により近い形で表面再現を行なうことができるようになる。ここで層とは、所定の高さ(z方向)範囲にある複数の点の集合をいう。上記処理において複数の点が面領域に分割されている場合は、各面領域における点群各々において層に分割する処理が行われることが好ましい。層の数としては、複数の層に分割することができれば限定されないが、例えば各層において少なくとも3点以上、好ましくは5点以上点、更に好ましくは10点以上が存在していることが好ましい。3層より大きくすることで、輪郭抽出処理が可能となり、5点以上とすることで樹木等の構造物の複雑な形を十分に正確な表面を再現することができるようになるといった効果があり、10点以上とすることでこの効果がより顕著となる。なおこの場合、最も高い位置にある点を除外して複数の層に分割することが好ましい。最も高い位置は樹木の頂点で有ると考えることができ、後述の輪郭抽出処理により削除されるのを防止することができる。一方で、最も低い位置は樹木の枝等の下点であると考えられるため、上記最も高い位置にある点と同様に除外して複数の層に分割しておくことが好ましい。また、複数の層の分割の方法としては、特に限定されず、高い位置にある順で所定の数の点を順次層として分割していくことが好ましく、例えば高い点から順次10点ずつを選択し、層としていくことがこのましい。このようにすることで、点の密度にバラツキが生じていたとしても、同じ数の点を用いることで各層の制度を保つことができる。もちろん、低い位置の点から順次選択するようにしても良い。またもちろん、最高点と最低点の間の高さを均等に分割して、各分割した各領域内にある点を層として把握することも可能である。
また本法は、複数の層における複数の点に対し輪郭抽出処理を行う(S3)。本方法では、この処理を行うことで、再現したい最外表面以外のノイズとなる構造物内部に侵入して得られた点を効率的に除去することができ、正確に表面再現処理が行えるようになる。
本実施形態において輪郭抽出処理は、限定されるわけではないが、いわゆるConvex Hull(例えばFranco P.Preparata,S.J.Hong,Convex Hulls of Finite Sets of Points in Two and Three Dimensions,Commun.ACM,vol.20,No.2,pp.87−93,1977等参照)を用いることが好ましい。
また、本実施形態において、表面輪郭処理は、各層における点の高さを同じにする、すなわち二次元に圧縮して把握して処理することが好ましい。このようにすることで、構造物内部に存在しノイズとして扱われるべき点まで輪郭として抽出してしまわないようにすることができる点においてより有利である。この場合のイメージ図を図5に示しておく。なおこの処理を行った場合、表面輪郭処理の後、各点の高さ情報を元に戻しておくことが好ましい。
また本方法は、輪郭抽出処理により抽出された複数の層における複数の点を結合(S4)する。これにより再び点群となり処理することができるようになる。
また本方法は、結合された複数の点に対し表面再現処理を行う(S5)。この表面再現処理は、上記の各ステップにより求められた複数の点を表面に存在する点をラッピングするステップであって、限定されるわけではないがRadial Basis Function(例えば上記非特許文献1参照)とIsofurface(MathWork社製Matlab)を用いて行なうことが好ましい。具体的には、下記の手順で行うことが好ましい。
まず、(1)で示される式を設定する。
次に、距離−1、0、1の面を想定し、合計3Nの点と下記式(2)を用いてs(x)=0となるλiを求める。
そして、例えばMatlabのIsosurfaceを用いて表面をラッピングすることができる。
なお、この処理後、先ほど行った樹木の幹などの除外したデータの付加を行い、高さ補正について改めて補正しなおし、元の高さに戻す処理があることが好ましい。
また、本実施形態に係る表面再現方法では、複数の面領域のそれぞれに対し行なわれた表面再現処理に基づき作成される再現表面各々の表面積や体積、枝下高をもとめることができ、バイオマス資源の評価や、森林火災に関する評価など多種多様な評価が可能となる。また、これら再現された表面間の少なくともいずれか同士の距離を測定することができ、更に多様な評価が可能となる。
以上、本実施形態に係る表面再現方法によると、建物や樹木といった実際の地上の構造物を対象としても正確に表面を再現することができる。特に本実施形態に係る表面再現方法を用いると、体積や表面積を正確に測定することが可能となり、詳細な表面の凹凸まで正確に測定することが可能となる。
ここで、上記実施形態に係る表面再現方法の効果につき、実際に表面再現プログラムを作成し、その効果を確認した。
(実施例1)
まず、Pseudotsuga menziesii(オレゴンパイン)に対し行ったLiDAR結果により求められる三次元的情報を含む複数の点からなる点群を用いた。この樹木の写真図を図6(A)に、この点群の配置を示す図を図6(B)に示す。
次に、この点群に対し、高さ補正及び幹部分に対応する点を除外し、一番高い位置及び一番低い位置にある点を除外し、上から10%の数の点を1層とし、合計10層に分割した。そしてそのそれぞれに対し、Convex Hullを適用して輪郭を抽出し、その結果を再び合成し、抽出された輪郭を形成する点群を得た。
そして、この抽出された点群に対し、Radial Basis Function及びIsosurfaceを適用して表面を作成し、これに高さ補正を行い、表面を再現した。この結果を図6(C)に示す。
この結果、図6(A)で示す写真図と、再現した表面の図6(C)とを比べても特に違和感無く表面を的確に表現できていることを確認した。
(実施例2)
実施例1の樹木をLiriodendron tulipiferaに変えた以外は実施例1と同様の処理を行って再現表面を作成した。図7(A)に、Liriodendron tulipiferaの写真図を、図7(B)に、図7(A)に係るLiriodendron tulipiferaの点群を示す図を、図7(C)に、本実施例により求められる樹木の再現表面図を示す。
この結果によっても、上記実施例と同様、違和感無く表面を再現できていることを確認した。
(比較例)
一方、上記層分離処理及びConvex hullを適用しなかった場合、樹木内部からの反射等によるノイズが多すぎ、表面を再現することはできなかった。この結果、本実施例に係る表面再現方法が特に優れていることを確認した。
本発明は、表面再現方法及び表面再現プログラムとして産業上の利用可能性がある。

Claims (12)

  1. 複数の点からなる点群を複数の層に分割し、
    前記複数の層における複数の点に対し輪郭抽出処理を行い、
    前記輪郭抽出処理により抽出された前記複数の層における複数の点からなる点群を結合し、
    表面再現処理を行う、表面再現方法。
  2. 前記輪郭抽出処理は、Convex Hullを用いる請求項1記載の表面再現方法。
  3. 前記複数の点からなる点群を複数の層に分割する前に、
    前記複数の点からなる点群を、複数の面領域に分割する請求項1記載の表面再現方法。
  4. 前記複数の面領域のそれぞれに対し行なわれた表面再現処理に基づき作成される再現表面間の少なくともいずれか同士の距離を測定する請求項3記載の表面再現方法。
  5. 再現された表面は閉じた形状となっている請求項1記載の表面再現方法。
  6. コンピュータに、
    複数の点からなる点群を複数の層に分割し、
    前記複数の層における複数の点に対し輪郭抽出処理を行い、
    前記輪郭抽出処理により抽出された前記複数の層における複数の点からなる点群を結合し、
    表面再現処理を行わせるための表面再現プログラム。
  7. 前記輪郭抽出処理は、Convex Hullを用いる請求項6記載の表面再現プログラム。
  8. 前記複数の点からなる点群を複数の層に分割する前に、
    前記複数の点からなる点群を、複数の面領域に分割する請求項6記載の表面再現プログラム。
  9. 前記複数の面領域のそれぞれに対し行なわれた表面再現処理に基づき作成される再現表面間の少なくともいずれか同士の距離を測定する請求項8記載の表面再現プログラム。
  10. 再現された表面は閉じた形状となっている請求項6記載の表面再現プログラム。
  11. 複数の点からなる点群に対し輪郭抽出処理を行い、
    RadialBasisfunction及びIsosurfaceを用いて表面再現処理を行う、表面再現方法。
  12. コンピュータに、
    複数の点からなる点群に対し輪郭抽出処理を行い、
    RadialBasisfunction及びIsosurfaceを用いて表面再現処理を行わせるための表面再現プログラム。
JP2014061451A 2014-03-25 2014-03-25 表面再現方法及び表面再現プログラム Active JP5911114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014061451A JP5911114B2 (ja) 2014-03-25 2014-03-25 表面再現方法及び表面再現プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014061451A JP5911114B2 (ja) 2014-03-25 2014-03-25 表面再現方法及び表面再現プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009282331A Division JP5522367B2 (ja) 2009-12-13 2009-12-13 表面再現方法及び表面再現プログラム

Publications (2)

Publication Number Publication Date
JP2014146356A true JP2014146356A (ja) 2014-08-14
JP5911114B2 JP5911114B2 (ja) 2016-04-27

Family

ID=51426490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014061451A Active JP5911114B2 (ja) 2014-03-25 2014-03-25 表面再現方法及び表面再現プログラム

Country Status (1)

Country Link
JP (1) JP5911114B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005992A (ja) * 1999-06-21 2001-01-12 Monorisu:Kk ボリュームデータ表現方法および装置
JP2003346182A (ja) * 2002-05-28 2003-12-05 Nhk Engineering Services Inc 3次元ポリゴンデータ作成方法、作成装置および3次元ポリゴンデータ作成プログラム
JP2004240599A (ja) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、及びそのプログラムを記録した記録媒体
JP2006323608A (ja) * 2005-05-18 2006-11-30 Kozo Keikaku Engineering Inc 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
JP2007102394A (ja) * 2005-10-03 2007-04-19 Sony Corp 接触形状算出装置及び接触形状算出方法、並びにコンピュータ・プログラム
US20080260237A1 (en) * 2004-03-15 2008-10-23 Blom Kartta Oy Method for Determination of Stand Attributes and a Computer Program for Performing the Method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005992A (ja) * 1999-06-21 2001-01-12 Monorisu:Kk ボリュームデータ表現方法および装置
JP2003346182A (ja) * 2002-05-28 2003-12-05 Nhk Engineering Services Inc 3次元ポリゴンデータ作成方法、作成装置および3次元ポリゴンデータ作成プログラム
JP2004240599A (ja) * 2003-02-05 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 形状獲得方法、装置、プログラム、及びそのプログラムを記録した記録媒体
US20080260237A1 (en) * 2004-03-15 2008-10-23 Blom Kartta Oy Method for Determination of Stand Attributes and a Computer Program for Performing the Method
JP2006323608A (ja) * 2005-05-18 2006-11-30 Kozo Keikaku Engineering Inc 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
JP2007102394A (ja) * 2005-10-03 2007-04-19 Sony Corp 接触形状算出装置及び接触形状算出方法、並びにコンピュータ・プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAMID LAGA, 外2名: ""A Polygon-free based Approach for 3D Shape Transformation"", 電子情報通信学会2003年総合大会講演論文集 情報・システム2, JPN6013051257, 3 March 2003 (2003-03-03), pages 249, ISSN: 0003062726 *
川端聡, 外2名: ""複数の未校正カメラを用いた三次元侵入検知システム"", 電子情報通信学会論文誌, vol. 第J91−D巻, 第1号, JPN6015016903, 1 January 2008 (2008-01-01), JP, pages 110 - 119, ISSN: 0003062725 *
石川裕治, 外3名: ""MDL原理に基づく3次元点集合からの建物モデル復元"", 情報処理学会論文誌, vol. 第44巻, 第SIG9(CVIM7)号, JPN6015016905, 15 July 2003 (2003-07-15), JP, pages 64 - 74, ISSN: 0003062724 *

Also Published As

Publication number Publication date
JP5911114B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
Koreň et al. Accuracy of tree diameter estimation from terrestrial laser scanning by circle-fitting methods
US10510148B2 (en) Systems and methods for block based edgel detection with false edge elimination
KR101404655B1 (ko) 레이저 레이더의 3차원 원시 데이터의 고유값 비율을 이용한 송전선 추출 방법
Paris et al. A three-dimensional model-based approach to the estimation of the tree top height by fusing low-density LiDAR data and very high resolution optical images
CN110346808B (zh) 一种激光雷达的点云数据处理方法和系统
JP6347064B2 (ja) レーザー計測結果解析システム
Xu et al. Individual tree crown detection from high spatial resolution imagery using a revised local maximum filtering
KR101421128B1 (ko) 레이저 레이더 기반의 3차원 원시 데이터를 이용한 건물 영역 추출 방법
KR101549155B1 (ko) 라이다 자료를 활용한 구조물의 직선경계 추출방법
CN109934120B (zh) 一种基于空间密度和聚类的分步点云噪声去除方法
JP5522367B2 (ja) 表面再現方法及び表面再現プログラム
CN109187548B (zh) 一种岩体裂隙识别方法
CN114119902A (zh) 一种基于无人机倾斜三维模型的建筑物提取方法
Smits et al. Individual tree identification using different LIDAR and optical imagery data processing methods
JP5911114B2 (ja) 表面再現方法及び表面再現プログラム
JP2017156251A (ja) 地形変化点抽出システム、及び地形変化点抽出方法
Ullah et al. Comparing image-based point clouds and airborne laser scanning data for estimating forest heights
KR101255022B1 (ko) 점군자료를 활용한 구조물 균열 검출방법
JP6514901B2 (ja) 測量データ処理装置
Han et al. A non-destructive approach to estimate buttress volume using 3D point cloud data
JP2020113052A (ja) ひび線抽出装置、ひび線抽出方法、及び、ひび線抽出プログラム
Cui et al. A cluster-based morphological filter for geospatial data analysis
CN115115548A (zh) 一种点云修复方法、装置、电子设备和存储设备
JP5352303B2 (ja) 画像処理装置および方法ならびにプログラム
Tsai et al. Evaluations of three-dimensional building model reconstruction from LiDAR point clouds and single-view perspective imagery

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160107

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160324

R150 Certificate of patent or registration of utility model

Ref document number: 5911114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250