JP2019168954A - 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム - Google Patents
視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム Download PDFInfo
- Publication number
- JP2019168954A JP2019168954A JP2018056627A JP2018056627A JP2019168954A JP 2019168954 A JP2019168954 A JP 2019168954A JP 2018056627 A JP2018056627 A JP 2018056627A JP 2018056627 A JP2018056627 A JP 2018056627A JP 2019168954 A JP2019168954 A JP 2019168954A
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- center position
- gaze direction
- apparent
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 67
- 230000000007 visual effect Effects 0.000 title abstract description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 140
- 210000001747 pupil Anatomy 0.000 claims abstract description 52
- 210000004087 cornea Anatomy 0.000 claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 17
- 239000013598 vector Substances 0.000 abstract description 94
- 210000001508 eye Anatomy 0.000 abstract description 38
- 238000012937 correction Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 49
- 238000009795 derivation Methods 0.000 description 46
- 238000012545 processing Methods 0.000 description 16
- 238000001028 reflection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
人物の眼球を含む頭部を撮影する撮影部と、
前記撮影部で撮影された撮影画像を用いて、前記眼球の中心位置を演算する眼球中心位置演算部と、
前記撮影部で撮影された撮影画像を用いて、前記眼球の瞳孔の中心位置に対応する眼球表面における見かけの瞳孔の中心位置を演算する瞳孔中心位置演算部と、
前記眼球中心の位置と、前記見かけの瞳孔中心の位置とを結ぶ方向の見かけの視線方向を導出する視線方向導出部と、
前記眼球中心の位置と前記瞳孔中心の位置とを結ぶ前記人物の視線方向と、前記見かけの視線方向と、が予め定められた対応関係を用いて、前記視線方向導出部で導出された前記見かけの視線方向に基づいて、前記人物の視線方向を推定する視線方向推定部と、
を備えている。
コンピュータが、
人物の眼球を含む頭部が撮影された撮影画像を用いて、前記眼球の中心位置を演算し、
前記撮影画像を用いて、前記眼球の瞳孔の中心位置に対応する眼球表面における見かけの瞳孔の中心位置を演算し、
前記眼球中心の位置と、前記見かけの瞳孔中心の位置とを結ぶ方向の見かけの視線方向を導出し、
前記眼球中心の位置と前記瞳孔中心の位置とを結ぶ前記人物の視線方向と、前記見かけの視線方向と、が予め定められた対応関係を用いて、前記見かけの視線方向に基づいて、前記人物の視線方向を推定する。
本実施形態は、人物の頭部を撮影した撮影画像を用いて人物の視線方向を推定する場合の一例を説明する。また、本実施形態では、人物の視線方向の一例として、移動体としての自動車等の車両の乗員の視線方向を、視線方向推定装置により推定する。
図2に示すように、車両には、視線方向推定装置10の装置本体12、乗員を照明する照明部14、乗員OPの頭部を撮影するカメラ16、及び距離センサ18が搭載されている。本実施形態の配置例では、ステアリング4を保持するコラム5の上部に照明部14及びカメラ16を設置し、下部に距離センサ18を設置した場合を示している。なお、図2には、乗員の視線方向を視線3として示している。
図5(B)に示すように、眼を撮影した撮影画像には、瞳孔22、及び、眼を特徴的に表す目尻及び目頭の特徴部位24が含まれている。第1導出方法では、撮影画像を用いて、角膜表面で観測された、見かけの瞳孔の中心位置Dを演算する。そして、特徴部位24の各々を特徴点として各々の位置を演算し、目尻及び目頭の特徴点に対して予め定めた標準の3次元眼球モデルをフィッティングする。図5(A)に示すように、フィッティングした3次元眼球モデルの中心位置を眼球2の中心位置Eとして推定し、眼球2の中心位置Eと見かけの瞳孔の中心位置Dを結ぶベクトルを視線ベクトルgeb、すなわち、見かけの視線方向とする。
図6(A)に示すように、人物の眼を撮影するカメラ16の近傍に配置されたLED等の照明部14から照射された近赤外光の反射光をカメラ16で撮影する。カメラ16では、角膜の曲率中心の位置Aと照明部14とを結ぶ直線と角膜との交点の位置Pに角膜における反射像が撮影される。すなわち、図6(B)に示すように、撮影画像には、瞳孔22の周辺(図6(B)に示す例では瞳孔22の右下方向の位置)に角膜における反射像が形成される。第2導出方法では、位置pとして角膜に映り込んだ角膜反射像と瞳孔22の中心位置Dとの関係に基づいて、角膜の曲率中心の位置Aから見かけの瞳孔の中心位置Dから求まる瞳孔の中心位置Bに向うベクトルを視線ベクトルgcr、として周知の方法により推定する。
図7では、モデル化した眼球2の実際の位置として、角膜の曲率の中心位置A、瞳孔の中心位置B、及び眼球の中心位置Eが示されている。また、見かけの位置として、角膜表面上における照明による反射像の位置p、及び角膜表面上で観測される見かけの瞳孔の中心位置Dが示されている。なお、位置Cはカメラの撮影素子の位置である。また、図7では、各位置を、位置Aと位置Bとの距離をs、位置Aと位置Eとの距離をu、位置Aと位置pとの距離をrで示している。また、位置Aから位置Dに向うベクトルと、位置Aから位置pに向うベクトルとの成す角度をθ、位置Eから位置Bに向うベクトルと、位置Eから位置Dに向うベクトルとの成す角度(視線誤差)をρ、位置Eから位置Dに向うベクトルと、位置Eから位置Cに向うベクトルとの成す角度をωで示している。
図8は、実際に人物の視線方向を変化させた場合に生じる視線誤差ρと、角度ωと相関関係を実験により導出したものである。図8に示すように、人物の視線方向がカメラに向かう場合には、実際の視線ベクトルと、視線ベクトルgebとは略一致するので、視線誤差ρと、角度ωとは零になる。また、視線方向がカメラに向かう方向から外れるに従って視線誤差ρ(絶対値)が大きくなる。
d=((Dx ,dz )/f,(Dy ,dz )/f,dz ) ・・・(1)
まず、ステップS110及びステップS112の処理により推定される実際の角度はω+ρになる。これらステップS110及びステップS112の処理により推定される実際の角度(ω+ρ)と、ステップS108で演算された見かけの視線ベクトルの角度とを用いて、実際の視線ベクトルを導出する。ここでは、実際の視線ベクトルを、g’eb=(g’eb_x,g’eb_y,g’eb_z)と表記する。g’ebは以下の計算で求められる。
ロドリゲスの回転公式は、「3次元単位ベクトルkを回転軸として、3次元ベクトルvを3次元単位ベクトルkの周りで角度θだけ回転したベクトルをvrot とすると、ベクトルvrot は次に示す(6)式で与えられる」というものである。ここで、角度θは右手系で定めるものとする。
実際の視線ベクトルg’ebは、ベクトルgebとベクトルECを含む平面上でベクトルgebを角度ρだけ回転したベクトルであるので、(6)式において、v=geb、vrot =g’eb、θ=ρとし、回転軸kをベクトルgebとベクトルECを含む平面の法線ベクトルとした場合になる。kは外積により次に示す(7)式で求められる(kは単位ベクトルである。)。
次に、第2実施形態を説明する。第2実施形態は、視線方向の導出に関して、第1導出方法による視線方向の導出と、第2導出方法による視線方向の導出とを切り替え可能な視線方向推定装置に開示の技術を適用したものである。なお、第2実施形態は、第1実施形態と略同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する。
装置本体12では、視線方向推定プログラム12PがROM12Cから読み出されてRAM12Bに展開され、RAM12Bに展開された視線方向推定プログラム12PをCPU12Aが実行する。なお、図11に示す処理の流れは、図9に示すステップS102の処理に代えて、ステップS101,S103,S105、S107,S109の処理を実行する。また、図9に示すステップS108の処理に代えてステップS108Aの処理を実行する。
12 装置本体
12P 視線方向推定プログラム
14 照明部
16 カメラ
18 距離センサ
22 瞳孔
24 特徴部位
101 撮影部
102 見かけの視線方向導出部(第1導出部)
102A 角膜反射法による導出部(第2導出部)
103 眼球中心演算部
103A 眼球中心演算部
104 見かけの瞳孔中心演算部
104A 瞳孔中心演算部
105 見かけの視線方向演算部
105A 視線方向演算部
106 補正量導出部
107 マップ
108 視線方向導出部
109 出力部
Claims (8)
- 人物の眼球を含む頭部を撮影する撮影部と、
前記撮影部で撮影された撮影画像に基づいて、前記眼球の中心位置と瞳孔の中心位置に対応する前記眼球の表面における見かけの瞳孔の中心位置とを結ぶ見かけの視線方向を導出する見かけの視線方向導出部と、
予め定められた実際の視線方向と前記見かけの視線方向との対応関係と、前記視線方向導出部で導出された前記見かけの視線方向とに基づいて、前記人物の実際の視線方向を推定する視線方向推定部と、
を備えた視線方向推定装置。 - 前記眼球の中心位置は、前記撮影画像における眼球周囲の顔の特徴点の位置に基づいて導出される
請求項1に記載の視線方向推定装置。 - 前記眼球の中心位置は、光照射部から照射されて前記眼球の表面で反射された反射光の位置に基づいて導出される
請求項1に記載の視線方向推定装置。 - 前記眼球の中心位置は、前記反射光の位置に基づいて、前記眼球の角膜の曲率の中心位置を導出する
請求項3に記載の視線方向推定装置。 - 前記見かけの視線方向導出部は、
前記眼球の中心位置として、予め導出されて記憶部に記憶された眼球の中心位置を用いて前記見かけの視線方向を導出する
請求項1から請求項4の何れか1項に記載の視線方向推定装置。 - 前記見かけの視線方向推定部は、
前記撮影画像に基づいて、前記眼球の中心位置を導出する眼球中心位置導出部と、
前記撮影画像に基づいて、前記眼球の瞳孔の中心位置に対応する眼球表面における見かけの瞳孔の中心位置を導出する見かけの瞳孔中心位置導出部と
を含む
請求項1から請求項5の何れか1項に記載の視線方向推定装置。 - コンピュータが、
人物の眼球を含む頭部を撮影された撮影画像に基づいて、前記眼球の中心位置と瞳孔の中心位置に対応する前記眼球の表面における見かけの瞳孔の中心位置とを結ぶ見かけの視線方向を導出し、
予め定められた実際の人物の視線方向と前記見かけの視線方向との対応関係と、導出された前記見かけの視線方向とに基づいて、前記人物の実際の視線方向を推定する
視線方向推定方法。 - コンピュータを、請求項1から請求項6の何れか1項に記載された視線方向推定装置として機能させるための視線方向推定プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056627A JP6840697B2 (ja) | 2018-03-23 | 2018-03-23 | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム |
US16/354,849 US11093032B2 (en) | 2018-03-23 | 2019-03-15 | Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program |
EP19164648.8A EP3545818B1 (en) | 2018-03-23 | 2019-03-22 | Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program |
CN201910222354.3A CN110310321A (zh) | 2018-03-23 | 2019-03-22 | 视线方向估算装置,视线方向估算方法和视线方向估算程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056627A JP6840697B2 (ja) | 2018-03-23 | 2018-03-23 | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168954A true JP2019168954A (ja) | 2019-10-03 |
JP6840697B2 JP6840697B2 (ja) | 2021-03-10 |
Family
ID=65910965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018056627A Active JP6840697B2 (ja) | 2018-03-23 | 2018-03-23 | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11093032B2 (ja) |
EP (1) | EP3545818B1 (ja) |
JP (1) | JP6840697B2 (ja) |
CN (1) | CN110310321A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7404282B2 (ja) | 2021-02-10 | 2023-12-25 | 株式会社豊田中央研究所 | 顔モデルパラメータ推定装置、顔モデルパラメータ推定方法及び顔モデルパラメータ推定プログラム |
JP7404137B2 (ja) | 2020-04-01 | 2023-12-25 | 株式会社豊田中央研究所 | 顔画像処理装置及び顔画像処理プログラム |
KR102681115B1 (ko) | 2020-05-28 | 2024-07-04 | 연세대학교 산학협력단 | 미생물 인터랙션 장치 및 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111208905A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种多模组视线追踪方法、系统和视线追踪设备 |
CN111353429A (zh) * | 2020-02-28 | 2020-06-30 | 深圳壹账通智能科技有限公司 | 基于眼球转向的感兴趣度方法与系统 |
CN112099622B (zh) * | 2020-08-13 | 2022-02-01 | 中国科学院深圳先进技术研究院 | 一种视线追踪方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061785A (ja) * | 1999-08-26 | 2001-03-13 | Shimadzu Corp | 視線検出方法及びその装置 |
WO2018030515A1 (ja) * | 2016-08-12 | 2018-02-15 | 国立大学法人静岡大学 | 視線検出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4692526B2 (ja) | 2006-07-18 | 2011-06-01 | 株式会社国際電気通信基礎技術研究所 | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP5560858B2 (ja) | 2010-04-02 | 2014-07-30 | 富士通株式会社 | 補正値算出装置、補正値算出方法および補正値算出プログラム |
CA2870751C (en) | 2012-07-31 | 2015-08-18 | Japan Science And Technology Agency | Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium |
WO2016013634A1 (ja) * | 2014-07-24 | 2016-01-28 | 国立研究開発法人科学技術振興機構 | 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム |
KR102442569B1 (ko) * | 2016-07-14 | 2022-09-08 | 매직 립, 인코포레이티드 | 각막 곡률을 이용한 홍채 경계 추정 |
EP3305176A1 (en) * | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
JP6800091B2 (ja) | 2017-06-09 | 2020-12-16 | 株式会社豊田中央研究所 | 視線計測装置及びプログラム |
-
2018
- 2018-03-23 JP JP2018056627A patent/JP6840697B2/ja active Active
-
2019
- 2019-03-15 US US16/354,849 patent/US11093032B2/en active Active
- 2019-03-22 CN CN201910222354.3A patent/CN110310321A/zh active Pending
- 2019-03-22 EP EP19164648.8A patent/EP3545818B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061785A (ja) * | 1999-08-26 | 2001-03-13 | Shimadzu Corp | 視線検出方法及びその装置 |
WO2018030515A1 (ja) * | 2016-08-12 | 2018-02-15 | 国立大学法人静岡大学 | 視線検出装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7404137B2 (ja) | 2020-04-01 | 2023-12-25 | 株式会社豊田中央研究所 | 顔画像処理装置及び顔画像処理プログラム |
KR102681115B1 (ko) | 2020-05-28 | 2024-07-04 | 연세대학교 산학협력단 | 미생물 인터랙션 장치 및 방법 |
JP7404282B2 (ja) | 2021-02-10 | 2023-12-25 | 株式会社豊田中央研究所 | 顔モデルパラメータ推定装置、顔モデルパラメータ推定方法及び顔モデルパラメータ推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110310321A (zh) | 2019-10-08 |
JP6840697B2 (ja) | 2021-03-10 |
US20190294240A1 (en) | 2019-09-26 |
EP3545818A1 (en) | 2019-10-02 |
US11093032B2 (en) | 2021-08-17 |
EP3545818B1 (en) | 2022-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
JP2019168954A (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
CN110320999B (zh) | 用于三维(3d)注视预测的深度学习的方法和系统 | |
US11301677B2 (en) | Deep learning for three dimensional (3D) gaze prediction | |
WO2010035472A1 (ja) | 視線方向判定装置及び視線方向判定方法 | |
JP2019519859A (ja) | 視線追跡を実行するシステム及び方法 | |
US10528802B2 (en) | Head pose and distraction estimation | |
JP2018532199A5 (ja) | ||
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
JP7198023B2 (ja) | 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム | |
KR101470243B1 (ko) | 시선 검출 장치 및 그 시선 검출 방법 | |
JP2008136789A (ja) | 眼球パラメータ推定装置及び方法 | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN111527374B (zh) | 视线方向校正装置、视线方向校正方法及视线方向校正程序 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
WO2019017224A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6906943B2 (ja) | 車載器 | |
JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
US20160092743A1 (en) | Apparatus and method for measuring a gaze | |
JP6572841B2 (ja) | 情報処理装置及びプログラム | |
CN118279966A (zh) | 一种视线追踪方法、装置、电子设备及存储介质 | |
JP2021163333A (ja) | 顔画像処理装置及び顔画像処理プログラム | |
TWI531494B (zh) | 調整後視鏡的方法及使用該方法的電子裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6840697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |