JP2015114762A - 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム - Google Patents
手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム Download PDFInfo
- Publication number
- JP2015114762A JP2015114762A JP2013255105A JP2013255105A JP2015114762A JP 2015114762 A JP2015114762 A JP 2015114762A JP 2013255105 A JP2013255105 A JP 2013255105A JP 2013255105 A JP2013255105 A JP 2013255105A JP 2015114762 A JP2015114762 A JP 2015114762A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- region
- information
- shape
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 120
- 238000012545 processing Methods 0.000 title claims description 101
- 238000000605 extraction Methods 0.000 claims description 114
- 238000000034 method Methods 0.000 claims description 81
- 230000005484 gravity Effects 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 33
- 230000005057 finger movement Effects 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 3
- 210000003811 finger Anatomy 0.000 description 236
- 230000036544 posture Effects 0.000 description 121
- 239000013598 vector Substances 0.000 description 69
- 238000002955 isolation Methods 0.000 description 41
- 210000003813 thumb Anatomy 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 19
- 210000000707 wrist Anatomy 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 210000005224 forefinger Anatomy 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、一実施形態に係る仮想3次元物体処理システム1のハードウェア構成図である。仮想3次元物体処理システム1は、例えば、CPU(Central Processing Unit)10と、ドライブ装置11と、補助記憶装置13と、メモリ装置14と、インターフェース装置20と、入力装置21と、ディスプレイ装置22と、画像入力インターフェース23と、深度センサ30とを備える。これらの構成要素は、バスやシリアル回線等を介して互いに接続される。
図2は、本実施形態の仮想3次元物体処理システム1の機能構成図である。仮想3次元物体処理システム1は、CPU10がプログラムを実行することにより機能する機能ブロックとして、手指動作検出装置部40と、仮想物体操作部50(仮想物体処理部)とを備える。手指動作検出装置部40は、画像取得部41と、フィルタ処理部42と、内部領域抽出部43と、つまみ動作検出部44(手指形状検出部)と、特徴点抽出部45と、パラメータ算出部46(手指動作検出部)とを含む。これらの各機能ブロックは、例えばメモリ装置14に対して各種情報(データ)を入出力する。そして、メモリ装置14は、各機能ブロックから出力された各種情報を記憶する。
[仮想3次元物体処理手法の概要]
次に、本実施形態における仮想3次元物体処理手法の内容を説明する。
本実施形態の手指動作検出手法では、まず、深度センサ30で得られた手指の深度分布情報を含む距離画像から、手指によるつまみ動作を検出する。次に、つまみ動作を行っている手指の指先の3次元空間上の位置、及び、つまみ動作を行っている手指の姿勢を推定する。この指先の3次元空間上の位置、及び、つまみ動作を行っている手指の姿勢の情報は、仮想3次元物体操作制御用のパラメータとして使用される。
次に、本実施形態の手指動作検出手法の具体的な内容について説明する。本実施形態の手指動作検出手法は、図2に示した手指動作検出装置部40を構成する各部によって実行される。よって、手指動作検出装置部40の各部で行われる処理を順に説明することにより、手指動作検出手法の具体的な内容を説明する。
画像取得部41は、深度センサ30(図1参照)から出力された深度情報を含む距離画像を取得する。深度センサ30から出力される深度情報には、深度センサ30によって撮影された手指の形状に対応する深度分布情報が含まれる。
フィルタ処理部42は、深度センサ30から出力された距離画像に所定のフィルタ処理を施して、距離画像に含まれるノイズを除去する。本実施形態では、フィルタ処理部42は、メディアンフィルタ及びガウシアンフィルタの2つのフィルタを使ってフィルタ処理を行う。メディアンフィルタは、距離画像において局所的に存在するショットノイズを除去する目的で使用し、ガウシアンフィルタは、距離画像全体を平滑化する目的で使用する。このフィルタ処理では、メディアンフィルタ及びガウシアンフィルタが、この順に使用される。
内部領域抽出部43は、フィルタ処理部42によってフィルタ処理が施された距離画像から、つまみ動作により生成される内部領域Ai(後述の図7参照)を抽出する。内部領域抽出部43は、内部領域Aiの抽出を行う際に、まず、距離画像から手指の輪郭に対応する領域を抽出する処理を行う。手指の輪郭に対応する領域の抽出は、距離画像を構成する各画素における、隣接画素に対する深度の勾配情報(深度の差に関する情報)を用いて行う。
つまみ動作検出部44は、内部領域抽出部43が抽出した内部領域Aiの面積の時間方向における増減の情報、及び増減の連続性の情報に基づいて、つまみ動作の有無を検出する。つまみ動作検出部44は、内部領域Ai内の画素数をカウントする処理を毎フレーム行い、カウントされた画素数を、現フレームと前フレームとで比較する処理を行う。つまみ動作検出部44は、内部領域Aiとしてカウントされた画素数が、前フレームのそれに対して一定数以上増えている場合には、つまみ動作が行われたと判断する。そして、つまみ動作検出部44は、つまみ動作検出時の手指の形状を、第1の形状として検出する。
特徴点抽出部45は、指先の接触点Pの3次元空間上の位置及び手指の姿勢を検出するために必要な、手指の特徴点を抽出する。手指の特徴点は、内部領域Ai周辺の手指領域Asを構成する複数の画素からなる点群を平面に近似することにより生成された、近似平面Pa上の点として取得される。
p=(px,py,pz)…(3)
d=(dx,dy,dz)…(4)
n=(nx,ny,nz)…(5)
次に、つまみ動作非検出時における特徴点抽出処理及びパラメータ算出処理について、図16〜図22を参照して説明する。つまみ動作非検出時には、手指によって閉領域が形成されないため、内部領域抽出部43により内部領域Aiが抽出されない。したがって、特徴点抽出部45は、距離画像から検出された手指の形状の情報に基づいて、内部領域Aiに相当する擬似内部領域Ai′を抽出し、この擬似内部領域Ai′の情報を用いて手指の位置及び姿勢を検出する。
次に、本実施形態の仮想3次元物体処理システム1により手指動作検出を行う際の処理手順を、図24を参照しながら説明する。図24は、本実施形態の仮想3次元物体処理システム1によって実行される手指動作検出手法の処理手順を示すフローチャートである。
次に、仮想物体操作部50(図2参照)の処理について説明する。仮想物体操作部50は、手指動作検出装置部40から出力された各種制御パラメータに基づいて、ディスプレイ装置22上において仮想3次元物体を生成したり、造形したり、操作したりする処理を行う。これらの処理は、手指動作検出装置部40で算出された手指の位置及び姿勢を、ディスプレイ装置22に表示される仮想空間上において、仮想3次元物体に対して所定の処理を施すツールの位置及び姿勢に置き換えることによって行われる。また、手指を使った実際のオン/オフ動作と、仮想空間上の仮想3次元物体に対するツール処理のオン/オフ操作との連動又は非連動は、トリガのオン/オフ(トリガ入力パラメータ)に基づいて切り替えられる。
続いて、上記実施形態の仮想3次元物体処理システム1を仮想造形システムに適用した例について、図25〜図30を参照して説明する。図25は、仮想3次元物体処理システム1の外観を示す図である。なお、図25には、説明を簡略化するため、仮想3次元物体処理システム1を構成する深度センサ30とディスプレイ装置22とを示し、他の構成部の図示を省略する。深度センサ30は、ユーザの手指を撮影することができるように、手指によるつまみ動作が行われる空間の上方に、不図示のレンズを下向きにして配置される。ディスプレイ装置22は、ユーザと対向する位置に配置される。また、ディスプレイ装置22は、ディスプレイ装置22とユーザとの間に、深度センサ30の手指の撮影領域(つまみ動作が行われる空間)が配置されるような位置に設けられる。図25には、深度センサ30の位置をパイプで固定した例を示したが、この固定方法に限定されるものではなく、他の方法で固定するようにしてもよい。
次に、上記実施形態の仮想3次元物体処理システム1(仮想造形システム)により仮想3次元物体の造形処理を行う際の処理手順を、図29を参照しながら説明する。図29は、上記実施形態の仮想3次元物体処理システム1(仮想造形システム)によって実行される仮想3次元物体の造形処理手法の処理手順を示すフローチャートである。
本発明に係る手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システムは、上記実施形態で説明した例に限定されない。特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の変形例も本発明に含まれる。例えば、次のような各種変形例及び応用例も本発明に含まれる。
Claims (12)
- 手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部とを備えた
手指動作検出装置。 - 前記手指の所定動作は、前記手指のつまみ動作である
請求項1に記載の手指動作検出装置。 - 前記画像取得部で取得された前記画像内において、つまみ動作に関与する2本の指により形成される手指領域に囲まれた内部領域を抽出する内部領域抽出部をさらに備え、
前記手指形状検出部は、前記内部領域抽出部で前記内部領域が検出された場合の前記画像内の手指の形状を前記第1の形状として検出し、前記内部領域抽出部で前記内部領域が検出されなかった場合の前記画像内の手指の形状を前記第2の形状として検出する
請求項2に記載の手指動作検出装置。 - 前記手指領域に含まれる複数の画素の情報に基づいて、前記手指領域の近似平面を抽出し、該近似平面内において、前記画像内の手指形状に関する少なくとも一つの特徴点を抽出する特徴点抽出部をさらに備え、
前記手指動作検出部は、前記特徴点抽出部により抽出された前記近似平面内の前記少なくとも一つの特徴点の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報を検出する
請求項3に記載の手指動作検出装置。 - つまみ動作時には、前記特徴点抽出部は、前記画像内における、つまみ動作に関与する2本の指の指先同士の接触点が前記近似平面に投影された点を、第1の特徴点として抽出し、前記手指動作検出部は、前記第1の特徴点を前記手指の3次元空間上の位置として検出し、
非つまみ動作には、前記特徴点抽出部は、前記画像内における、前記2本の指の指先間の中間点が前記近似平面に投影された点を、第2の特徴点として抽出し、前記手指動作検出部は、前記第2の特徴点を前記手指の3次元空間上の位置として検出する
請求項4に記載の手指動作検出装置。 - 前記特徴点抽出部は、前記内部領域に対応する凸包領域を生成し、該凸包領域の重心が前記近似平面に投影された点を、第3の特徴点として抽出し、
前記手指動作検出部は、前記特徴点抽出部により抽出された、前記第1の特徴点又は第2の特徴点の情報、前記第3の特徴点の情報、及び、前記近似平面に関する情報に基づいて、前記手指の姿勢を検出する
請求項5に記載の手指動作検出装置。 - 前記内部領域抽出部は、前記画像を構成する各画素において、隣接する画素との深度の差を算出して、前記算出した深度の差をその画素の勾配値とし、前記勾配値を所定の閾値を用いて2値化することにより前記手指の輪郭部分に対応する勾配領域を抽出し、該勾配領域の情報に基づいて、前記内部領域を抽出する
請求項3〜6のいずれか一項に記載の手指動作検出装置。 - 前記内部領域抽出部は、前記内部領域が抽出されなかった場合には、前記画像内において、前記手指の複数の指先の位置を検出し、該複数の指先の位置から、前記2本の指先の位置を特定し、該特定された前記2本の指先の位置及び前記勾配領域の情報に基づいて、前記内部領域に対応する擬似内部領域を抽出する
請求項7に記載の手指動作検出装置。 - 前記特徴点抽出部は、前記画像において、前記内部領域に対応する凸包領域を生成し、該凸包領域を所定の比率で膨張させて膨張凸包領域を生成し、該膨張凸包領域から該膨張凸包領域内の該凸包領域と重なる領域を除去した差分領域を生成し、該差分領域から該差分領域内の前記勾配領域と重なる領域を除去して前記手指領域を抽出する
請求項7又は8に記載の手指動作検出装置。 - 手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記検出結果に対応する情報とを検出する処理とを含む
手指動作検出方法。 - 手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記検出結果に対応する情報とを検出する処理とを、情報処理装置に実装して実行させる
手指動作検出プログラム。 - 手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部と、
処理対象となる仮想物体を表示するディスプレイ装置と、
前記手指動作検出部で検出された、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを用いて、前記ディスプレイ装置に表示された前記仮想物体に所定の処理を施す仮想物体処理部とを備えた
仮想物体処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013255105A JP6425299B2 (ja) | 2013-12-10 | 2013-12-10 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013255105A JP6425299B2 (ja) | 2013-12-10 | 2013-12-10 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015114762A true JP2015114762A (ja) | 2015-06-22 |
JP6425299B2 JP6425299B2 (ja) | 2018-11-21 |
Family
ID=53528536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013255105A Expired - Fee Related JP6425299B2 (ja) | 2013-12-10 | 2013-12-10 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6425299B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410051B2 (en) | 2015-11-30 | 2019-09-10 | Fujitsu Limited | Method of extracting a region in a distance image, storage medium, and head mounted display apparatus |
WO2020217878A1 (ja) * | 2019-04-26 | 2020-10-29 | オムロン株式会社 | 対象物の位置姿勢を検出する装置、方法およびプログラム |
WO2022196222A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 検出処理装置、検出処理方法、情報処理システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010098050A1 (ja) * | 2009-02-25 | 2010-09-02 | 日本電気株式会社 | 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
WO2012170359A2 (en) * | 2011-06-06 | 2012-12-13 | Microsoft Corporation | System for recognizing an open or closed hand |
WO2013121807A1 (ja) * | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
WO2014147863A1 (ja) * | 2013-03-21 | 2014-09-25 | 日本電気株式会社 | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム |
JP2014235634A (ja) * | 2013-06-04 | 2014-12-15 | 国立大学法人 筑波大学 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
-
2013
- 2013-12-10 JP JP2013255105A patent/JP6425299B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010098050A1 (ja) * | 2009-02-25 | 2010-09-02 | 日本電気株式会社 | 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム |
JP2012160051A (ja) * | 2011-02-01 | 2012-08-23 | Kddi Corp | 情報端末装置 |
WO2012170359A2 (en) * | 2011-06-06 | 2012-12-13 | Microsoft Corporation | System for recognizing an open or closed hand |
WO2013121807A1 (ja) * | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
WO2014147863A1 (ja) * | 2013-03-21 | 2014-09-25 | 日本電気株式会社 | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム |
JP2014235634A (ja) * | 2013-06-04 | 2014-12-15 | 国立大学法人 筑波大学 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410051B2 (en) | 2015-11-30 | 2019-09-10 | Fujitsu Limited | Method of extracting a region in a distance image, storage medium, and head mounted display apparatus |
WO2020217878A1 (ja) * | 2019-04-26 | 2020-10-29 | オムロン株式会社 | 対象物の位置姿勢を検出する装置、方法およびプログラム |
JP2020180914A (ja) * | 2019-04-26 | 2020-11-05 | オムロン株式会社 | 対象物の位置姿勢を検出する装置、方法およびプログラム |
WO2022196222A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 検出処理装置、検出処理方法、情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP6425299B2 (ja) | 2018-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11500473B2 (en) | User-defined virtual interaction space and manipulation of virtual cameras in the interaction space | |
JP2014235634A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
US10365713B2 (en) | Method and apparatus for providing interface recognizing movement in accordance with user's view | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
US9659403B1 (en) | Initializing orientation in space for predictive information for free space gesture control and communication | |
US9721383B1 (en) | Predictive information for free space gesture control and communication | |
JP5453246B2 (ja) | コンパクト・デバイスのためのカメラ・ベースのユーザ入力 | |
US20140123077A1 (en) | System and method for user interaction and control of electronic devices | |
US20150153835A1 (en) | Initializing predictive information for free space gesture control and communication | |
US20150058782A1 (en) | System and method for creating and interacting with a surface display | |
JP6487642B2 (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
JP6651388B2 (ja) | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム | |
WO2018004981A1 (en) | Feature characterization from infrared radiation | |
JP6425299B2 (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
Schröder et al. | Design and evaluation of reduced marker layouts for hand motion capture | |
Rodriguez et al. | Robust vision-based hand tracking using single camera for ubiquitous 3D gesture interaction | |
Cohen et al. | A 3d virtual sketching system using NURBS surfaces and leap motion controller | |
CN111445573A (zh) | 人手建模方法、系统、芯片、电子设备及介质 | |
Mishra et al. | Development and evaluation of a Kinect based Bin-Picking system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6425299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |