JP2016014954A - 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 - Google Patents
手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 Download PDFInfo
- Publication number
- JP2016014954A JP2016014954A JP2014135721A JP2014135721A JP2016014954A JP 2016014954 A JP2016014954 A JP 2016014954A JP 2014135721 A JP2014135721 A JP 2014135721A JP 2014135721 A JP2014135721 A JP 2014135721A JP 2016014954 A JP2016014954 A JP 2016014954A
- Authority
- JP
- Japan
- Prior art keywords
- image
- finger
- data
- shape
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 230000010365 information processing Effects 0.000 claims abstract description 24
- 238000009499 grossing Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 abstract description 24
- 230000001788 irregular Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 75
- 230000033001 locomotion Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010606 normalization Methods 0.000 description 11
- 238000011002 quantification Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 210000001145 finger joint Anatomy 0.000 description 9
- 102100028971 HLA class I histocompatibility antigen, C alpha chain Human genes 0.000 description 8
- 101100395312 Homo sapiens HLA-C gene Proteins 0.000 description 8
- 210000000245 forearm Anatomy 0.000 description 8
- 210000002287 horizontal cell Anatomy 0.000 description 8
- 230000032823 cell division Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 210000004460 N cell Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003706 image smoothing Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
(X)機器装着方式:使用者の腕や手指に、位置や加速度等のセンサー装置、又は、マーカー等の機器を装着(必要に応じてデータグローブ等の装着具形式として装着)し、その装着されたセンサー装置の出力、又は、装着されたマーカーをカメラ等の撮像装置で撮像した画像データを解析した結果から、手指形状を求めて、ジェスチャー入力動作を検出する。
(Y)画像処理方式:使用者の腕や手指への機器装着は不要で、腕や手指の撮像装置による撮像画像のみから手指形状のジェスチャー入力動作を検出する。
(a)手指は、多関節構造であるため形状変化が複雑である点。
(b)手指は、関節を曲げたり、握った場合に、輪郭線形状としては手指の甲や手指のひらに手指が隠れてしまう自己遮蔽が多い点。
(c)手指は、身体全体に対する部位の占める比率は小さいが、可動空間が広い点。
例えば、(A)握った状態の指と、(B)物を摘む時のように指の第1関節を屈曲させた状態の指と、を正面から撮像した場合等のように、手指画像の指の関節が屈曲状態である場合には、従来の輪郭線による(A)、(B)両者の照合は困難であり、特許文献2のような尾根線を用いても複数の指が密着している場合は、尾根線が各指毎には対応しないことになり(A)、(B)両者の照合は困難であった。つまり、従来の単眼カメラによる(Y2)の各形状推定では、同一輪郭線で異形状をどのように識別するかという課題を有していた。
上記したHLACによる手法やHoGによる手法では、各局所領域の内部で分割局所領域毎に緻密な特徴量化を行っており、例えば、指の太さ・厚み・長さなど人の手には様々な個人差があるため、同じ形状をしても、分割局所領域毎に緻密な特徴量化を行ってしまうと、指の各部の位置が別の分割局所領域内に含まれてしまう事態が発生し、局所領域としての特徴量としては大きく変わることになる。その場合個人差により輪郭の識別が困難になるという問題が生じていた。このように、従来の単眼カメラによる形状推定では、個人差をどのように抑制するかという課題も有していた。
同一輪郭線異形状の識別問題と個人差問題を解消するために、
図1の本実施形態に係る手指の形状を検出するシステムにおいては、情報処理装置1と撮像装置100と表示装置200とデータグローブ300とを含み、情報処理装置1は撮像装置100と表示装置200とデータグローブ300と通信接続される。
但し、
Rtall:縦長度
Lheight:下端から上端までの長さ[pixel]
Lwidth:左端から右端までの長さ[pixel]
但し、
Rtopheavy :上長度
Lupper:基準点から上端までの長さ[pixel]
Llower :基準点から下端までの長さ[pixel]
但し、
Rrightbased:右長度
Lright:基準点から右端までの長さ[pixel]
Lleft:基準点から左端までの長さ[pixel]
G(ω)=exp(−σ2ω2/2)=exp(−ω2/2(1/σ)2) ・・・(4)
G(u、v)=exp(−σ2(u2+v2)/2)=exp(−(u2+v2)/2(1/σ)2) ・・・(5)
但し、
θ(x,y):画素 (x,y) における勾配方向
fx(x,y):画素 (x,y) における横方向のソーベルフィルタSxによって得られた値
fy(x,y):画素 (x,y) における縦方向のソーベルフィルタSyによって得られた値
但し、
Df:画像特徴次元数
Cx:横方向セル分割数
Cy:縦方向セル分割数
Bx:横方向ブロック領域内セル数
By:縦方向ブロック領域内セル数
DivA:輝度勾配方向分割数
(Rcurrenttall- Rtall[i])2 +
(Rcurrenttopheavy- Rtopheavy[i])2 +
(Rcurrentrightbased- Rrightbased[i])2 ・・・(9)
但し、
Th:閾値
i:参照データセット番号
Rtall[i]:i番目のデータセットの縦長度
Rtopheavy[i] :i番目のデータセットの上長度
Rrightbased[i] :i番目のデータセットの右長度
Rcurrenttall:入力画像の縦長度
Rcurrenttopheavy:入力画像の縦長度
Rcurrentrightbased:入力画像の右長度
但し、
j:データセット番号
E[j]:j番目のデータセットとの類似度
x-currenth:入力画像特徴量
x-dataseth:j番目のデータセット画像特徴量
Df:特徴次元数
h:特徴量次元番号
本実施形態の方法で、特徴量化レベルでの個人差対応をするには、その特徴量化領域を精査する必要がある。そこで、複数の被験者において、指を左右に振るなどの、個人差の影響が生じやすい形状を入力し、その結果から最適なセル分割数と1ブロック領域内のセル数を検討する。今回実験に用いたCPUはIntel社製core i7 950 (3。07GHz)である。
11 画像データ記憶部、
12 手指領域検出部、
13 画像形状比率算出部、
14 手指画像領域正規化部、
15 輝度情報検出部、
16 輝度画像平滑化部、
17 輝度勾配方向算出部、
18 N×Nセル分割部、
19 M×Mセルブロック領域設定部、
20 輝度勾配方向ベクトル算出部、
21 ヒストグラム作成部、
22 ヒストグラム正規化部、
23 繰り返し判定部、
24 撮像画像特徴量生成部、
25 類似度照合部、
26 最類似手指形状記憶部、
27 エッジ検出部、
31 照合用手指データベース記憶部、
41 データグローブデータ記憶部、
71 各種設定値記憶部、
81 プログラム記憶部、
91 制御部、
100 撮像装置(カメラ)、
200 表示装置、
300 データグローブ。
Claims (9)
- 撮像装置で撮像された手指の撮像画像から、情報処理装置により手指形状の検出方法であって、
画像特徴抽出法として、Histogram of Oriented Gradients(HoG)法を用い、
前記情報処理装置が、前記撮像画像の画像特徴量データを生成する際に、前記撮像画像を正規化して正規化撮像画像とした後、さらにその正規化撮像画像の輝度の画像を平滑化した平滑化輝度画像としてから、その平滑化輝度画像の輝度勾配情報を画像特徴量として算出する工程、
を含むことを特徴とする手指形状の検出方法。 - 前記情報処理装置が、前記平滑化を、ガウス関数を利用したガウシアンフィルタで行う
ことを特徴とする請求項1に記載の手指形状の検出方法。 - 前記情報処理装置が、前記撮像画像の画像特徴を生成する際に、
機器装着方式のジェスチャー入力により形状が検出された複数の手指形状データのデータセットに、照合用の撮像画像から生成された照合用前記画像特徴量データとを含ませて照合用データベースを作成する工程と、
前記検出用の撮像画像から、検出用前記画像特徴量データを生成する工程と、
前記検出用画像特徴量データを、前記データセット中の前記照合用画像特徴量データと対比し、類似する前記照合用の画像特徴量データを含むデータセットを選択する工程と、
前記選択工程で選択されたデータセット中の手指形状データを手指形状の検出結果に含ませて出力する工程と、
を含むことを特徴とする請求項1又は2に記載の手指形状の検出方法。 - 前記照合用データベースを作成する工程では、さらに照合用の撮像画像から生成された照合用画像形状比率データを含ませて照合用データベースを作成し、
前記類似する照合用の画像特徴量データを含むデータセットを選択する工程では、
第1段階として、
前記検出用の撮像画像から、検出用画像形状比率データを生成し、
前記検出用画像形状比率データを、全ての前記データセット中の照合用画像形状比率データと対比し、類似する前記照合用画像形状比率データを含む複数のデータセットを選択し、
さらに第2段階として、
前記検出用画像特徴量データを、前記第1段階の選択工程で選択された前記データセット中の照合用画像特徴量データと対比し、最も類似する前記照合用画像特徴量データを含むデータセットを選択し、
前記手指形状データを検出結果に含ませて出力する工程では、
前記第2段階の選択工程で選択されたデータセット中の手指形状データを手指形状の検出結果に含ませて出力すること、
を含むことを特徴とする請求項3に記載の手指形状の検出方法。 - 前記照合用データベースを作成する工程が、
前記機器装着方式のジェスチャー入力により、複数の手指形状について、関節角度及び回旋角度を含む形状データを検出し、手指形状毎に検出された形状データを対応させて格納するデータセットを作成し、
前記照合用データベースが、前記データセット中の同種の手指形状の各データに対応させて、当該同種の手指形状に対応する各画像形状比率が含まれる第1段階照合用画像形状比率データを、前記照合用データベースの階層構造の上層に格納し、
前記同種の手指形状の各データの各々に対応させて、前記複数の手指形状を撮像装置により撮像した照合用の各撮像画像から前記HoG法により各々の画像特徴量を算出し、各々の手指形状に対応する画像特徴量が含まれる第2段階照合用特徴量データを、前記照合用データベースの階層構造の下層に格納する工程と、
を含む請求項1〜4の何れか1項に記載の手指形状の検出方法。 - 前記検出用画像形状比率データの生成が、
前記検出用の撮像画像から、手指画像の縦長度、上長度及び右長度を含んで全体形状の特徴を示す画像形状比率を算出する算出方法により、前記撮像画像の画像形状比率を画像形状比率データとして生成される、
請求項4に記載の手指形状の検出方法。 - 請求項1〜6の何れか一つの手指形状の検出方法における各工程を実施するプログラム。
- 請求項7のプログラムを記憶する記憶媒体。
- (a)手指の画像を撮像可能に設置された少なくとも1台の撮像装置と、
(b)前記撮像装置から入力する各手指形状を撮像した画像データから画像形状比率データ、輝度勾配方向ベクトルを含む画像特徴量データ、を算出し、前記両データを機器装着方式のジェスチャー入力により形状が検出された複数の手指形状のデータセットに対応させて照合用データベースに格納する情報処理装置と
を少なくとも含んで構成される手指の形状を検出するシステムであって、
前記情報処理装置が、
請求項7のプログラムを実行する
ことを特徴とするシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135721A JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135721A JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016014954A true JP2016014954A (ja) | 2016-01-28 |
JP6487642B2 JP6487642B2 (ja) | 2019-03-20 |
Family
ID=55231108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014135721A Active JP6487642B2 (ja) | 2014-07-01 | 2014-07-01 | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6487642B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017227687A (ja) * | 2016-06-20 | 2017-12-28 | 聖 星野 | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 |
CN109308442A (zh) * | 2017-07-26 | 2019-02-05 | 株式会社斯巴鲁 | 车外环境识别装置 |
JP2019519049A (ja) * | 2016-06-23 | 2019-07-04 | アリババ グループ ホウルディング リミテッド | 手検出及び追跡方法並びに装置 |
WO2019142787A1 (ja) * | 2018-01-16 | 2019-07-25 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 |
JP2022020704A (ja) * | 2017-10-24 | 2022-02-01 | マクセル株式会社 | 情報表示装置 |
US11327608B2 (en) | 2020-02-17 | 2022-05-10 | Seiko Epson Corporation | Two camera touch operation detection method, device, and system |
US11385742B2 (en) | 2020-02-17 | 2022-07-12 | Seiko Epson Corporation | Position detection method, position detection device, and position detection system |
US11700365B2 (en) | 2020-02-17 | 2023-07-11 | Seiko Epson Corporation | Position detection method, position detection device, and display device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009147904A1 (ja) * | 2008-06-04 | 2009-12-10 | 国立大学法人筑波大学 | 手指形状推定装置、手指形状の推定方法及びプログラム |
WO2011007390A1 (ja) * | 2009-07-15 | 2011-01-20 | 株式会社 東芝 | 画像処理装置、及びインターフェース装置 |
JP2013200859A (ja) * | 2012-02-23 | 2013-10-03 | Meidensha Corp | 画像特徴量抽出装置 |
-
2014
- 2014-07-01 JP JP2014135721A patent/JP6487642B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009147904A1 (ja) * | 2008-06-04 | 2009-12-10 | 国立大学法人筑波大学 | 手指形状推定装置、手指形状の推定方法及びプログラム |
WO2011007390A1 (ja) * | 2009-07-15 | 2011-01-20 | 株式会社 東芝 | 画像処理装置、及びインターフェース装置 |
JP2013200859A (ja) * | 2012-02-23 | 2013-10-03 | Meidensha Corp | 画像特徴量抽出装置 |
Non-Patent Citations (2)
Title |
---|
ARINDAM MISRA ET AL.: "Hand Gesture Recognition using Histogram of Oriented Gradients and Partial Least Squares Regression", MVA2011 IAPR CONFERENCE ON MACHINE VISION APPLICATIONS, JPN7018002276, 2011, pages 479 - 482, ISSN: 0003830340 * |
武藤 亮介 外2名: "SVMと逐次学習を併用したHOG特徴による手形状認識手法", 電子情報通信学会技術研究報告 VOL.109 NO.471 HIP2009−118−HIP2009−, vol. 第109巻 第471号, JPN6018025485, 8 March 2010 (2010-03-08), JP, pages 459 - 464, ISSN: 0003830339 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017227687A (ja) * | 2016-06-20 | 2017-12-28 | 聖 星野 | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 |
JP2019519049A (ja) * | 2016-06-23 | 2019-07-04 | アリババ グループ ホウルディング リミテッド | 手検出及び追跡方法並びに装置 |
US10885638B2 (en) | 2016-06-23 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Hand detection and tracking method and device |
US10885639B2 (en) | 2016-06-23 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Hand detection and tracking method and device |
CN109308442B (zh) * | 2017-07-26 | 2023-09-01 | 株式会社斯巴鲁 | 车外环境识别装置 |
CN109308442A (zh) * | 2017-07-26 | 2019-02-05 | 株式会社斯巴鲁 | 车外环境识别装置 |
US11878586B2 (en) | 2017-10-24 | 2024-01-23 | Maxell, Ltd. | Information display apparatus and spatial sensing apparatus |
JP2022020704A (ja) * | 2017-10-24 | 2022-02-01 | マクセル株式会社 | 情報表示装置 |
JP7360433B2 (ja) | 2017-10-24 | 2023-10-12 | マクセル株式会社 | 情報表示装置 |
JPWO2019142787A1 (ja) * | 2018-01-16 | 2021-01-07 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びプログラム |
WO2019142787A1 (ja) * | 2018-01-16 | 2019-07-25 | Necソリューションイノベータ株式会社 | 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 |
US11700365B2 (en) | 2020-02-17 | 2023-07-11 | Seiko Epson Corporation | Position detection method, position detection device, and display device |
US11385742B2 (en) | 2020-02-17 | 2022-07-12 | Seiko Epson Corporation | Position detection method, position detection device, and position detection system |
US11327608B2 (en) | 2020-02-17 | 2022-05-10 | Seiko Epson Corporation | Two camera touch operation detection method, device, and system |
Also Published As
Publication number | Publication date |
---|---|
JP6487642B2 (ja) | 2019-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Evaluating spatiotemporal interest point features for depth-based action recognition | |
Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
US9372546B2 (en) | Hand pointing estimation for human computer interaction | |
US9098740B2 (en) | Apparatus, method, and medium detecting object pose | |
US9417700B2 (en) | Gesture recognition systems and related methods | |
Feng et al. | Features extraction from hand images based on new detection operators | |
JP6571108B2 (ja) | モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム | |
Yao et al. | Real-time hand pose estimation from RGB-D sensor | |
CN108171133A (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
Wang et al. | Real-time hand posture recognition based on hand dominant line using kinect | |
KR20150127381A (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
CN107479693A (zh) | 基于rgb信息的实时手部识别方法、存储介质、电子设备 | |
CN110751097A (zh) | 一种半监督的三维点云手势关键点检测方法 | |
WO2014006786A1 (ja) | 特徴量抽出装置および特徴量抽出方法 | |
Kumar et al. | Early estimation model for 3D-discrete indian sign language recognition using graph matching | |
Xu et al. | A novel method for hand posture recognition based on depth information descriptor | |
Obukhov et al. | Organization of three-dimensional gesture control based on machine vision and learning technologies | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
Xu et al. | MultiView-based hand posture recognition method based on point cloud | |
Li | Badminton motion capture with visual image detection of picking robotics | |
Rong et al. | RGB-D hand pose estimation using fourier descriptor | |
Chen et al. | Accurate fingertip detection from binocular mask images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6487642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |