JP2016071546A - 情報処理装置とその制御方法、プログラム、記憶媒体 - Google Patents
情報処理装置とその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2016071546A JP2016071546A JP2014199181A JP2014199181A JP2016071546A JP 2016071546 A JP2016071546 A JP 2016071546A JP 2014199181 A JP2014199181 A JP 2014199181A JP 2014199181 A JP2014199181 A JP 2014199181A JP 2016071546 A JP2016071546 A JP 2016071546A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- image
- information processing
- hand
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】操作面上の空間を撮像した画像の情報を取得する画像取得部210と、取得された画像の情報に基づいて、操作入力に用いられる複数の物体のそれぞれが、空間に現れた位置を特定する位置特定部211と、複数の物体のそれぞれについて特定された位置に基づいて、複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定し、互いに対応付ける対応付け部212と、を備える。
【選択図】図2
Description
特許文献1では、タッチパネルに接触したユーザの指の面積および形状から推定される指の方向に基づいて、1人のユーザによる入力か、複数ユーザによる入力かを判別する。
本実施形態では、ジェスチャ操作やタッチ操作を認識する空間にユーザが手を侵入させた時点での位置を侵入位置として保持し、複数の手がある場合、侵入位置の位置関係に基づいて1人のユーザの手であるか、複数のユーザそれぞれの手であるかを区別する。そして、1人のユーザの手であると推定される複数の手を対応付けて、それらが協同する操作を認識する。対応付けられた複数の手が協同する操作とは、複数のタッチ位置に基づいてコマンドを入力するマルチタッチ操作や、複数の手の動きを組み合わせて入力するジェスチャ操作である。
第2の実施形態では、操作開始時の手位置の条件に基づいて対応付けられた手について、画像を比較して対応付けの妥当性を判定する処理を加える例を説明する。
(角度)=arctan{(y2−y1)/(x2−x1)}・・・(式1)
ステップS507では、画像比較部220が、対応付けられた組み合わせの手について、方向の角度差が所定の閾値Cより大きいかを判定する。閾値Cは、予め与えられるか、あるいは、対応付け処理を繰り返す中で学習してもよい。また、方向を算出する際に用いた基準点に応じて適切な値を設定する。対応付けられた手の方向の角度差が閾値Cより大きくないと判定された場合(ステップS507でNo)、ステップS508に進む。一方、方向の角度差が閾値Cより大きいと判定された場合(ステップS507でYes)、本実施形態では、対応付けが誤った可能性が認められるとみなされ、ステップS404に進む。
第1及び第2の実施形態では、検出された複数の手について、情報処理装置100が1人のユーザの両手であると推定可能な組み合わせを対応付ける処理であった。その変形例として、タッチ操作によって、ユーザから自発的に対応付けを指示することを可能とする例を説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
211 侵入位置特定部
212 対応付け部
213 指示位置検出部
214 タッチ判定部
215 認識部
216 出力制御部
Claims (18)
- 情報処理装置であって、
操作面上の空間を撮像した画像の情報を取得する画像取得手段と、
前記画像取得手段が取得した画像の情報に基づいて、操作入力に用いられる複数の物体のそれぞれが、前記空間に現れた位置を特定する特定手段と、
前記複数の物体のそれぞれについて特定された位置に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定し、互いに対応付ける対応付け手段と、
を備えることを特徴とする情報処理装置。 - さらに、前記対応付け手段によって対応付けられた物体によって指示される複数の位置情報に基づいて、前記複数の物体によって協同して入力される1つの指示に対応する操作を認識する認識手段、
を備えることを特徴とする請求項1に記載された情報処理装置。 - 前記認識手段が認識する、前記複数の物体によって協同して入力される1つの指示とは、前記複数の物体によって入力されるマルチタッチ操作に対応する指示であることを特徴とする請求項2に記載された情報処理装置。
- さらに、前記画像取得手段によって周期的に取得された画像から、前記操作入力に用いられる複数の物体が写る1以上の領域を抽出する抽出手段を備え、
前記特定手段は、前記抽出手段によって抽出された領域を識別し、各領域が初めに抽出された画像と、該領域とが交差する位置を、前記物体が前記空間に現れた位置として特定する
ことを特徴とする請求項1乃至3のいずれか1項に記載された情報処理装置。 - 前記操作入力に用いられる物体とは、ユーザである人物の片手であることを特徴とする請求項1乃至4のいずれか1項に記載された情報処理装置。
- 前記対応付け手段は、前記複数の物体のそれぞれについて特定された位置と、さらに前記画像取得手段によって取得された画像から得られる前記物体の特徴に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定する
ことを特徴とする請求項1乃至5のいずれか1項に記載された情報処理装置。 - 前記操作入力に用いられる物体とは、ユーザである人物の片手であって、
前記画像から得られる前記物体の特徴とは、前記手の大きさ、色、方向、最新の位置のうち、少なくともいずれかであることを特徴とする請求項6に記載された情報処理装置。 - 前記対応付け手段は、前記複数の物体のそれぞれについて特定された位置に基づいて対応付けられた手の組み合わせについて、さらに前記画像から取得される手の少なくとも一部の大きさを比較した結果に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定する
ことを特徴とする請求項6に記載された情報処理装置。 - 前記対応付け手段は、前記複数の物体のそれぞれについて特定された位置に基づいて対応付けられた手の組み合わせについて、さらに前記画像から取得される色情報を比較した結果に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定する
ことを特徴とする請求項6に記載された情報処理装置。 - 前記対応付け手段は、前記複数の物体のそれぞれについて特定された位置に基づいて対応付けられた手の組み合わせについて、さらに前記画像から取得される前記手の方向の角度差に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定する
ことを特徴とする請求項6に記載された情報処理装置。 - 前記対応付け手段は、前記複数の物体のそれぞれについて特定された位置の間の距離が、最も小さい組み合わせであって、かつ、所定の距離よりも小さい組み合わせを特定し、互いに対応付けることを特徴とする請求項1乃至10のいずれか1項に記載された情報処理装置。
- 情報処理装置の制御方法であって、
画像取得手段により、操作面上の空間を撮像した画像の情報を取得する画像取得工程と、
特定手段により、前記画像取得工程で取得した画像の情報に基づいて、操作入力に用いられる複数の物体のそれぞれが、前記空間に現れた位置を特定する特定工程と、
対応付け手段により、前記複数の物体のそれぞれについて特定された位置に基づいて、前記複数の物体のうち、協同して1つの指示を入力する複数の物体の組み合わせ特定し、互いに対応付ける対応付け工程と、
を有することを特徴とする情報処理装置の制御方法。 - コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項12に記載された情報処理装置の制御方法を実行させるプログラム。
- 請求項13に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
- 情報処理装置であって、
操作面上の空間を撮像した画像の情報を取得する画像取得手段と、
前記画像取得手段が取得した画像の情報に基づいて、操作入力に用いられる複数の物体のそれぞれが、前記空間に現れた位置を特定手段と、
前記特定手段によって、前記複数の物体のそれぞれについて特定された位置に基づいて、前記複数の物体のうち、1人のユーザの両手であると推定される物体を対応づける対応付け手段と、
前記対応付け手段によって対応付けられた物体によって入力される操作を認識する認識手段と、
を備えることを特徴とする情報処理装置。 - 情報処理装置の制御方法であって、
画像取得手段により、操作面上の空間を撮像した画像の情報を取得する画像取得工程と、
特定手段により、前記画像取得工程で取得した画像の情報に基づいて、操作入力に用いられる複数の物体のそれぞれが、前記空間に現れた位置を特定工程と、
対応付け手段により、前記特定工程において前記複数の物体のそれぞれについて特定された位置に基づいて、前記複数の物体のうち、1人のユーザの両手であると推定される物体を対応づける対応付け工程と、
認識手段により、前記対応付け工程において対応付けられた物体によって入力される操作を認識する認識工程と、
を備えることを特徴とする情報処理装置の制御方法。 - コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項16に記載された情報処理装置の制御方法を実行させるプログラム。
- 請求項17に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014199181A JP6452369B2 (ja) | 2014-09-29 | 2014-09-29 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
CN201510604295.8A CN105468189A (zh) | 2014-09-29 | 2015-09-21 | 识别多点触摸操作的信息处理装置及其控制方法 |
US14/866,633 US9715738B2 (en) | 2014-09-29 | 2015-09-25 | Information processing apparatus recognizing multi-touch operation, control method thereof, and storage medium |
EP15187422.9A EP3001350A1 (en) | 2014-09-29 | 2015-09-29 | Information processing apparatus recognizing multi-touch operation, control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014199181A JP6452369B2 (ja) | 2014-09-29 | 2014-09-29 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016071546A true JP2016071546A (ja) | 2016-05-09 |
JP6452369B2 JP6452369B2 (ja) | 2019-01-16 |
Family
ID=54293038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014199181A Active JP6452369B2 (ja) | 2014-09-29 | 2014-09-29 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9715738B2 (ja) |
EP (1) | EP3001350A1 (ja) |
JP (1) | JP6452369B2 (ja) |
CN (1) | CN105468189A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020170851A1 (ja) * | 2019-02-22 | 2020-08-27 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6723546B2 (ja) * | 2016-10-07 | 2020-07-15 | 株式会社ディー・ディー・エス | 情報処理プログラム及び情報処理装置 |
US10282859B2 (en) * | 2016-12-12 | 2019-05-07 | The Boeing Company | Intra-sensor relative positioning |
CN108227919B (zh) * | 2017-12-22 | 2021-07-09 | 潍坊歌尔电子有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN110163045B (zh) * | 2018-06-07 | 2024-08-09 | 腾讯科技(深圳)有限公司 | 一种手势动作的识别方法、装置以及设备 |
JP2021047757A (ja) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123360A (ja) * | 2006-11-14 | 2008-05-29 | Nippon Telegr & Teleph Corp <Ntt> | 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム |
JP2009282634A (ja) * | 2008-05-20 | 2009-12-03 | Canon Inc | 情報処理装置及びその制御方法、プログラム、記憶媒体 |
JP2012170049A (ja) * | 2011-12-27 | 2012-09-06 | Panasonic Corp | 画像処理装置およびこれを備えた原稿読取システム |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8194921B2 (en) | 2008-06-27 | 2012-06-05 | Nokia Corporation | Method, appartaus and computer program product for providing gesture analysis |
CA2814183C (en) * | 2010-10-12 | 2018-07-10 | New York University | Apparatus for sensing utilizing tiles, sensor having a set of plates, object identification for multi-touch surfaces, and method |
CN103460256B (zh) | 2011-03-29 | 2016-09-14 | 高通股份有限公司 | 在扩增现实系统中将虚拟图像锚定到真实世界表面 |
CN103164022B (zh) * | 2011-12-16 | 2016-03-16 | 国际商业机器公司 | 多指触摸方法和装置、便携式终端设备 |
JP5929572B2 (ja) | 2012-07-09 | 2016-06-08 | コニカミノルタ株式会社 | 操作表示装置およびプログラム |
JP5831764B2 (ja) * | 2012-10-26 | 2015-12-09 | カシオ計算機株式会社 | 画像表示装置及びプログラム |
-
2014
- 2014-09-29 JP JP2014199181A patent/JP6452369B2/ja active Active
-
2015
- 2015-09-21 CN CN201510604295.8A patent/CN105468189A/zh active Pending
- 2015-09-25 US US14/866,633 patent/US9715738B2/en active Active
- 2015-09-29 EP EP15187422.9A patent/EP3001350A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123360A (ja) * | 2006-11-14 | 2008-05-29 | Nippon Telegr & Teleph Corp <Ntt> | 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム |
JP2009282634A (ja) * | 2008-05-20 | 2009-12-03 | Canon Inc | 情報処理装置及びその制御方法、プログラム、記憶媒体 |
WO2012173001A1 (ja) * | 2011-06-13 | 2012-12-20 | シチズンホールディングス株式会社 | 情報入力装置 |
JP2012170049A (ja) * | 2011-12-27 | 2012-09-06 | Panasonic Corp | 画像処理装置およびこれを備えた原稿読取システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020170851A1 (ja) * | 2019-02-22 | 2020-08-27 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US11789543B2 (en) | 2019-02-22 | 2023-10-17 | Sony Group Corporation | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
EP3001350A1 (en) | 2016-03-30 |
CN105468189A (zh) | 2016-04-06 |
US20160093038A1 (en) | 2016-03-31 |
US9715738B2 (en) | 2017-07-25 |
JP6452369B2 (ja) | 2019-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6452369B2 (ja) | 情報処理装置とその制御方法、プログラム、記憶媒体 | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
US20130057469A1 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
US20120169671A1 (en) | Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor | |
JP6350772B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
WO2014106219A1 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
JP6711817B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2017199289A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2016018458A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2017084307A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP6555958B2 (ja) | 情報処理装置、その制御方法、プログラム、および記憶媒体 | |
JP5558899B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
Ukita et al. | Wearable virtual tablet: fingertip drawing on a portable plane-object using an active-infrared camera | |
JP6618301B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP6289655B2 (ja) | 画面操作装置及び画面操作方法 | |
JP2013134549A (ja) | データ入力装置およびデータ入力方法 | |
JP2018063555A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20130078496A (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
JP5456817B2 (ja) | 表示制御装置、表示制御方法、情報表示システム及びプログラム | |
TWI444875B (zh) | 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法 | |
JP2017228216A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
US20240070889A1 (en) | Detecting method, detecting device, and recording medium | |
US20240069647A1 (en) | Detecting method, detecting device, and recording medium | |
JP2018181169A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
US20220129109A1 (en) | Information processing apparatus, information processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180809 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181003 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181211 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6452369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |