JP2022132349A - マルチモーダル眼追跡 - Google Patents
マルチモーダル眼追跡 Download PDFInfo
- Publication number
- JP2022132349A JP2022132349A JP2022109662A JP2022109662A JP2022132349A JP 2022132349 A JP2022132349 A JP 2022132349A JP 2022109662 A JP2022109662 A JP 2022109662A JP 2022109662 A JP2022109662 A JP 2022109662A JP 2022132349 A JP2022132349 A JP 2022132349A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- data
- sensor
- eog
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 abstract description 93
- 230000004044 response Effects 0.000 abstract description 23
- 230000002349 favourable effect Effects 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 358
- 230000003287 optical effect Effects 0.000 description 146
- 230000006399 behavior Effects 0.000 description 97
- 238000002570 electrooculography Methods 0.000 description 88
- 230000004424 eye movement Effects 0.000 description 72
- 238000005259 measurement Methods 0.000 description 66
- 230000033001 locomotion Effects 0.000 description 61
- 230000003190 augmentative effect Effects 0.000 description 30
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 210000003128 head Anatomy 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 17
- 230000001711 saccadic effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 13
- 210000001525 retina Anatomy 0.000 description 13
- 230000004886 head movement Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 230000001720 vestibular Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 206010029864 nystagmus Diseases 0.000 description 7
- 230000004434 saccadic eye movement Effects 0.000 description 6
- 206010053694 Saccadic eye movement Diseases 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 206010021567 Impulsive behaviour Diseases 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000002747 voluntary effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004466 optokinetic reflex Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000009017 pursuit movement Effects 0.000 description 2
- 108020003175 receptors Proteins 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 210000002480 semicircular canal Anatomy 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 206010068101 Vestibular nystagmus Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001775 bruch membrane Anatomy 0.000 description 1
- GTKRFUAGOKINCA-UHFFFAOYSA-M chlorosilver;silver Chemical compound [Ag].[Ag]Cl GTKRFUAGOKINCA-UHFFFAOYSA-M 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000037452 priming Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000004469 smooth pursuit movement Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Pathology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本願は、2017年4月14日に出願された米国特許出願第62/485,820号の35 U.S.C. § 119(e)のもとでの利益を主張するものであり、該米国特許出願の内容は、あらゆる目的のためにその全体が参照により本明細書中に援用される。
本明細書は、例えば、以下の項目も提供する。
(項目1)
方法であって、
第1の時間間隔において、眼の第1の位置を示すデータを出力するように構成される第1のセンサから、第1のデータを受信するステップと、
第2の時間間隔において、前記眼のデルタ位置を示すデータを出力するように構成される第2のセンサから、第2のデータを受信するステップと、
前記第1のデータに基づいて、前記眼の第1の位置を決定するステップと、
前記第2のデータに基づいて、前記眼のデルタ位置を決定するステップと、
前記眼の第1の位置および前記眼のデルタ位置を使用して、前記眼の第2の位置を決定するステップと、
前記眼の第2の位置を決定することに応答して、前記眼の第2の位置を示す出力信号を生成するステップと
を含む、方法。
(項目2)
前記第1のセンサは、光学センサを備える、項目1に記載の方法。
(項目3)
前記第2のセンサは、電気眼球図記録センサを備える、項目1に記載の方法。
(項目4)
前記第1の時間間隔は、前記第2の時間間隔を上回る、項目1に記載の方法。
(項目5)
前記第1のセンサは、前記第1の時間間隔中に低電力モードで動作する、項目1に記載の方法。
(項目6)
前記第2のセンサは、前記第2の時間間隔中に低電力モードで動作する、項目1に記載の方法。
(項目7)
前記眼の第2の位置を使用して、第1の眼移動挙動を決定するステップをさらに含む、項目1に記載の方法。
(項目8)
前記第1の眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目7に記載の方法。
(項目9)
前記第1の眼移動挙動を決定することに応答して、
前記第1のセンサからデータを受信する第3の時間間隔を決定するステップと、
前記第2のセンサからデータを受信する第4の時間間隔を決定するステップと
をさらに含む、項目7に記載の方法。
(項目10)
前記第1の眼移動挙動を決定するステップは、
前記第1の眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目7に記載の方法。
(項目11)
第3のセンサから第3のデータを受信するステップをさらに含み、前記第1の眼移動挙動は、前記第3のデータを使用して決定される、項目7に記載の方法。
(項目12)
前記第3のセンサは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備える、項目11に記載の方法。
(項目13)
前記第3のセンサは、GPSセンサを備える、項目11に記載の方法。
(項目14)
前記第3のセンサは、周囲光センサを備える、項目11に記載の方法。
(項目15)
前記第1の眼移動挙動は、ニューラルネットワークを使用して決定される、項目11に記載の方法。
(項目16)
前記第1のデータ、前記第2のデータ、前記第3のデータ、前記眼の第2の位置、または前記第1の眼移動挙動を備える、情報を使用して、ニューラルネットワークを訓練するステップをさらに含む、項目11に記載の方法。
(項目17)
前記ニューラルネットワークを使用して、第2の眼移動挙動を決定するステップをさらに含む、項目16に記載の方法。
(項目18)
前記第1のセンサおよび前記第2のセンサは、ディスプレイを備える頭部搭載型デバイスに取り付けられる、項目1に記載の方法。
(項目19)
前記眼の第2の位置を決定することに応答して、
前記眼の第2の位置に対応する前記ディスプレイの領域を決定するステップであって、前記領域は、第1の表示状態に等しい表示状態を有する、ステップと、
前記領域の表示状態を前記第1の表示状態から第2の表示状態に変化させるステップと
をさらに含む、項目18に記載の方法。
(項目20)
方法であって、
第1の時間間隔において、頭部搭載型ディスプレイを備える拡張現実システムのユーザと関連付けられるセンサから、第1のデータを受信するステップであって、前記第1のデータは、前記ユーザの眼の位置を示す、ステップと、
前記第1のデータおよび前記拡張現実システムの属性に基づいて、前記眼と関連付けられる眼移動挙動を決定するステップと、
前記眼と関連付けられる眼移動挙動を決定することに応答して、前記センサからデータを受信する第2の時間間隔を決定するステップと
を含む、方法。
(項目21)
前記眼移動挙動を決定するステップは、
前記眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目20に記載の方法。
(項目22)
前記拡張現実システムは、ソフトウェアアプリケーションを実行するように構成され、前記拡張現実システムの属性は、前記ソフトウェアアプリケーションの状態を示す、項目20に記載の方法。
(項目23)
前記センサは、前記第2の時間間隔中に低電力モードで動作する、項目20に記載の方法。
(項目24)
前記眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目20に記載の方法。
(項目25)
前記拡張現実システムは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備え、前記拡張現実システムの属性は、前記加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットの出力を備える、項目20に記載の方法。
(項目26)
前記拡張現実システムは、GPSセンサを備え、前記拡張現実システムの属性は、前記GPSセンサの出力を備える、項目20に記載の方法。
(項目27)
前記拡張現実システムは、周囲光センサを備え、前記拡張現実システムの属性は、前記周囲光センサの出力を備える、項目20に記載の方法。
(項目28)
前記眼移動挙動は、ニューラルネットワークを使用して決定される、項目20に記載の方法。
(項目29)
前記センサは、光学センサを備える、項目20に記載の方法。
(項目30)
前記センサは、電気眼球図記録センサを備える、項目20に記載の方法。
(項目31)
ウェアラブルコンピューティングシステムであって、
ユーザの頭部を中心として装着されるように構成されるフレームと、
感知回路であって、前記感知回路は、前記フレームに取り付けられる少なくとも1つの電極を備え、前記感知回路は、前記ユーザの眼の電位を測定するように構成される、感知回路と、
光学センサであって、前記光学センサは、前記フレームに取り付けられ、光学センサパラメータに従って前記ユーザの眼の画像を検出するように構成される、光学センサと、
前記感知回路および前記光学センサに動作可能に結合されるプロセッサであって、前記プロセッサは、
前記感知回路から、第1のデータを取得することであって、前記第1のデータは、前記ユーザの眼の電位を示す、ことと、
前記第1のデータに基づいて、前記光学センサパラメータを調節することと
を行うように構成される、プロセッサと
を備える、ウェアラブルコンピューティングシステム。
(項目32)
前記光学センサパラメータは、前記光学センサが前記眼の画像を検出するレートを決定する、項目31に記載のウェアラブルコンピューティングシステム。
(項目33)
前記光学センサパラメータは、前記光学センサの電力消費モードを決定する、項目31に記載のウェアラブルコンピューティングシステム。
(項目34)
前記プロセッサはさらに、前記第1のデータに基づいて、前記光学センサを選択的にアクティブ化および非アクティブ化するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目35)
前記プロセッサはさらに、前記光学センサによって検出される画像に基づいて、前記眼の位置を決定するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目36)
前記プロセッサはさらに、前記第1のデータに基づいて、前記眼の移動を検出するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目37)
前記プロセッサはさらに、前記検出された移動に基づいて、前記光学センサパラメータを調節するように構成される、項目36に記載のウェアラブルコンピューティングシステム。
(項目38)
前記プロセッサはさらに、前記眼が複数の所定の眼移動挙動のうちの眼移動挙動に関与するかどうかを決定するように構成され、前記決定は、少なくとも前記第1のデータに基づく、項目31に記載のウェアラブルコンピューティングシステム。
(項目39)
前記プロセッサはさらに、前記決定に基づいて、前記光学センサパラメータを調節するように構成される、項目38に記載のウェアラブルコンピューティングシステム。
(項目40)
前記感知回路は、感知回路パラメータに従って、前記ユーザの眼の電位を測定するように構成され、前記プロセッサはさらに、前記光学センサによって出力される前記眼の画像に基づいて、前記感知回路パラメータを調節するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目41)
前記感知回路パラメータは、前記感知回路が、前記眼の電位を示すデータを前記プロセッサに出力するレートを決定する、項目40に記載のウェアラブルコンピューティングシステム。
(項目42)
前記感知回路は、2つの電極と、前記2つの電極の間の電位差を測定するように構成される少なくとも1つの電気コンポーネントとを備える、項目31に記載のウェアラブルコンピューティングシステム。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762485820P | 2017-04-14 | 2017-04-14 | |
US62/485,820 | 2017-04-14 | ||
PCT/US2018/027679 WO2018191731A1 (en) | 2017-04-14 | 2018-04-13 | Multimodal eye tracking |
JP2019555584A JP7211966B2 (ja) | 2017-04-14 | 2018-04-13 | マルチモーダル眼追跡 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555584A Division JP7211966B2 (ja) | 2017-04-14 | 2018-04-13 | マルチモーダル眼追跡 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022132349A true JP2022132349A (ja) | 2022-09-08 |
JP7455905B2 JP7455905B2 (ja) | 2024-03-26 |
Family
ID=63789985
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555584A Active JP7211966B2 (ja) | 2017-04-14 | 2018-04-13 | マルチモーダル眼追跡 |
JP2022109662A Active JP7455905B2 (ja) | 2017-04-14 | 2022-07-07 | マルチモーダル眼追跡 |
JP2022184779A Active JP7291841B2 (ja) | 2017-04-14 | 2022-11-18 | マルチモーダル眼追跡 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555584A Active JP7211966B2 (ja) | 2017-04-14 | 2018-04-13 | マルチモーダル眼追跡 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022184779A Active JP7291841B2 (ja) | 2017-04-14 | 2022-11-18 | マルチモーダル眼追跡 |
Country Status (9)
Country | Link |
---|---|
US (4) | US11016561B2 (ja) |
EP (1) | EP3610359B1 (ja) |
JP (3) | JP7211966B2 (ja) |
KR (2) | KR20240014589A (ja) |
CN (2) | CN110520824B (ja) |
AU (1) | AU2018252665A1 (ja) |
CA (1) | CA3058669A1 (ja) |
IL (1) | IL269861B2 (ja) |
WO (1) | WO2018191731A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240014589A (ko) | 2017-04-14 | 2024-02-01 | 매직 립, 인코포레이티드 | 다중 모드 눈 추적 |
US10389989B2 (en) | 2017-09-27 | 2019-08-20 | University Of Miami | Vision defect determination and enhancement using a prediction model |
BR112020006142A2 (pt) | 2017-09-27 | 2020-11-24 | University Of Miami | óculos corretivos terapêuticos digitais |
US10742944B1 (en) | 2017-09-27 | 2020-08-11 | University Of Miami | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations |
US10409071B2 (en) | 2017-09-27 | 2019-09-10 | University Of Miami | Visual enhancement for dynamic vision defects |
US10531795B1 (en) | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
WO2020028193A1 (en) * | 2018-07-30 | 2020-02-06 | Hi Llc | Non-invasive systems and methods for detecting mental impairment |
RU2697646C1 (ru) * | 2018-10-26 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ биометрической аутентификации пользователя и вычислительное устройство, реализующее упомянутый способ |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
DE102019207803A1 (de) * | 2019-05-28 | 2020-12-03 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium |
CN110441912B (zh) * | 2019-08-27 | 2024-04-19 | 高维度(深圳)生物信息智能应用有限公司 | 一种便携眼镜智能穿戴设备及其控制方法 |
US11119580B2 (en) | 2019-10-08 | 2021-09-14 | Nextsense, Inc. | Head and eye-based gesture recognition |
US11768594B2 (en) | 2019-11-29 | 2023-09-26 | Electric Puppets Incorporated | System and method for virtual reality based human biological metrics collection and stimulus presentation |
CN113272709B (zh) * | 2019-11-29 | 2023-12-01 | 京东方科技集团股份有限公司 | 光开关及其控制方法、显示装置 |
US10860098B1 (en) | 2019-12-30 | 2020-12-08 | Hulu, LLC | Gesture-based eye tracking |
CN112168636B (zh) * | 2020-09-24 | 2023-02-03 | 华人运通(上海)云计算科技有限公司 | 车内视力改善装置、设备及系统 |
KR102434188B1 (ko) * | 2020-10-19 | 2022-08-19 | 부산대학교 산학협력단 | 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템 |
US11659266B2 (en) * | 2020-10-21 | 2023-05-23 | Qualcomm Incorporated | Power control based at least in part on user eye movement |
US11803237B2 (en) | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
CN113283354B (zh) * | 2021-05-31 | 2023-08-18 | 中国航天科工集团第二研究院 | 一种分析眼动信号行为的方法、系统及存储介质 |
WO2023278716A1 (en) * | 2021-07-01 | 2023-01-05 | Massachusetts Institute Of Technology | System and method for calibrating electrooculography signals based on head movement |
US20230065296A1 (en) * | 2021-08-30 | 2023-03-02 | Facebook Technologies, Llc | Eye-tracking using embedded electrodes in a wearable device |
US11914093B2 (en) * | 2021-12-07 | 2024-02-27 | Microsoft Technology Licensing, Llc | RF antenna scanning for human movement classification |
TWI844813B (zh) * | 2022-01-20 | 2024-06-11 | 黃鈞鼎 | 穿戴裝置及投影方法 |
US11806078B1 (en) | 2022-05-01 | 2023-11-07 | Globe Biomedical, Inc. | Tear meniscus detection and evaluation system |
US11994675B2 (en) * | 2022-05-16 | 2024-05-28 | Google Llc | Head-mounted device for tracking screen time |
WO2024006107A1 (en) * | 2022-06-28 | 2024-01-04 | Apple Inc. | Gaze behavior detection |
GB2627210A (en) * | 2023-02-15 | 2024-08-21 | Sony Interactive Entertainment Inc | Graphics rendering apparatus and method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007148465A1 (ja) * | 2006-06-21 | 2007-12-27 | Panasonic Corporation | 操作誘導装置及び操作誘導方法 |
JP2012085747A (ja) * | 2010-10-18 | 2012-05-10 | Panasonic Corp | 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置 |
WO2014084224A1 (ja) * | 2012-11-27 | 2014-06-05 | 京セラ株式会社 | 電子機器および視線入力方法 |
US8878749B1 (en) * | 2012-01-06 | 2014-11-04 | Google Inc. | Systems and methods for position estimation |
US20150126845A1 (en) * | 2013-11-05 | 2015-05-07 | The Research Foundation For The State University Of New York | Wearable head-mounted, glass-style computing devices with eog acquisition and analysis for human-computer interfaces |
US20150338915A1 (en) * | 2014-05-09 | 2015-11-26 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
WO2016072395A1 (ja) * | 2014-11-05 | 2016-05-12 | 株式会社ジェイアイエヌ | プログラム、情報処理装置、及びアイウエア |
US20160364881A1 (en) * | 2015-06-14 | 2016-12-15 | Sony Computer Entertainment Inc. | Apparatus and method for hybrid eye tracking |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4852988A (en) | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
US6491391B1 (en) | 1999-07-02 | 2002-12-10 | E-Vision Llc | System, apparatus, and method for reducing birefringence |
CA2316473A1 (en) | 1999-07-28 | 2001-01-28 | Steve Mann | Covert headworn information display or data display or viewfinder |
CA2362895A1 (en) | 2001-06-26 | 2002-12-26 | Steve Mann | Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license |
DE10132872B4 (de) | 2001-07-06 | 2018-10-11 | Volkswagen Ag | Kopfmontiertes optisches Durchsichtssystem |
US20030030597A1 (en) | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
CA2388766A1 (en) | 2002-06-17 | 2003-12-17 | Steve Mann | Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
US7500747B2 (en) | 2003-10-09 | 2009-03-10 | Ipventure, Inc. | Eyeglasses with electrical components |
RU2395228C2 (ru) | 2004-04-01 | 2010-07-27 | Уилльям С. ТОРЧ | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения |
WO2006119584A1 (en) * | 2005-05-13 | 2006-11-16 | Customvis Plc | Fast response eye tracking |
US9658473B2 (en) | 2005-10-07 | 2017-05-23 | Percept Technologies Inc | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US9344612B2 (en) * | 2006-02-15 | 2016-05-17 | Kenneth Ira Ritchey | Non-interference field-of-view support apparatus for a panoramic facial sensor |
CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
US8531355B2 (en) | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
EP2469654B1 (en) * | 2010-12-21 | 2014-08-27 | Siemens Aktiengesellschaft | Horn antenna for a radar device |
EP2499961B1 (en) * | 2011-03-18 | 2016-09-21 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Spectacle device with an adjustable field of view and method |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
US9274338B2 (en) | 2012-03-21 | 2016-03-01 | Microsoft Technology Licensing, Llc | Increasing field of view of reflective waveguide |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
JP5947170B2 (ja) * | 2012-09-14 | 2016-07-06 | 京セラ株式会社 | 表示装置ならびに視線入力制御プログラムおよび方法 |
EP2712541B1 (en) * | 2012-09-27 | 2015-12-30 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Tiled image based scanning for head and/or eye position for eye tracking |
KR102205374B1 (ko) | 2012-12-06 | 2021-01-21 | 아이플루언스, 인크. | 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들 |
CA2896985A1 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US20140195918A1 (en) | 2013-01-07 | 2014-07-10 | Steven Friedlander | Eye tracking user interface |
US10216266B2 (en) * | 2013-03-14 | 2019-02-26 | Qualcomm Incorporated | Systems and methods for device interaction based on a detected gaze |
US20190265802A1 (en) * | 2013-06-20 | 2019-08-29 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
WO2016017966A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method of displaying image via head mounted display device and head mounted display device therefor |
KR102244222B1 (ko) * | 2014-09-02 | 2021-04-26 | 삼성전자주식회사 | 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들 |
CN105574471B (zh) * | 2014-10-10 | 2019-02-05 | 中国移动通信集团公司 | 用户行为数据的上传方法、用户行为的识别方法及装置 |
NZ773847A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
US9910275B2 (en) * | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
KR102643105B1 (ko) * | 2016-05-09 | 2024-03-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
WO2017210419A1 (en) * | 2016-06-03 | 2017-12-07 | Magic Leaf, Inc. | Augmented reality identity verification |
EP3538946B1 (en) * | 2016-11-11 | 2023-02-15 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
KR20240014589A (ko) | 2017-04-14 | 2024-02-01 | 매직 립, 인코포레이티드 | 다중 모드 눈 추적 |
EP3407164A1 (en) * | 2017-05-23 | 2018-11-28 | Stichting IMEC Nederland | A method and a system for monitoring an eye position |
EP3417775B1 (en) * | 2017-06-22 | 2020-08-19 | Oticon A/s | A system for capturing electrooculography signals |
WO2019071166A1 (en) * | 2017-10-05 | 2019-04-11 | VRHealth Ltd | MULTIDISCIPLINARY CLINICAL EVALUATION IN VIRTUAL OR INCREASED REALITY |
US20190320891A1 (en) * | 2018-04-19 | 2019-10-24 | Stichting Imec Nederland | System, Device and Method for Eye Activity Monitoring |
US11176757B2 (en) * | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
-
2018
- 2018-04-13 KR KR1020247001766A patent/KR20240014589A/ko not_active Application Discontinuation
- 2018-04-13 JP JP2019555584A patent/JP7211966B2/ja active Active
- 2018-04-13 EP EP18784203.4A patent/EP3610359B1/en active Active
- 2018-04-13 CN CN201880024458.7A patent/CN110520824B/zh active Active
- 2018-04-13 CA CA3058669A patent/CA3058669A1/en active Pending
- 2018-04-13 CN CN202311570595.XA patent/CN117389420A/zh active Pending
- 2018-04-13 AU AU2018252665A patent/AU2018252665A1/en not_active Abandoned
- 2018-04-13 WO PCT/US2018/027679 patent/WO2018191731A1/en unknown
- 2018-04-13 KR KR1020197033452A patent/KR102627452B1/ko active IP Right Grant
- 2018-04-13 IL IL269861A patent/IL269861B2/en unknown
- 2018-04-14 US US15/953,432 patent/US11016561B2/en active Active
-
2021
- 2021-04-23 US US17/239,451 patent/US11294462B2/en active Active
-
2022
- 2022-02-23 US US17/678,314 patent/US11449140B2/en active Active
- 2022-07-07 JP JP2022109662A patent/JP7455905B2/ja active Active
- 2022-08-11 US US17/886,323 patent/US11561615B2/en active Active
- 2022-11-18 JP JP2022184779A patent/JP7291841B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007148465A1 (ja) * | 2006-06-21 | 2007-12-27 | Panasonic Corporation | 操作誘導装置及び操作誘導方法 |
JP2012085747A (ja) * | 2010-10-18 | 2012-05-10 | Panasonic Corp | 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置 |
US8878749B1 (en) * | 2012-01-06 | 2014-11-04 | Google Inc. | Systems and methods for position estimation |
WO2014084224A1 (ja) * | 2012-11-27 | 2014-06-05 | 京セラ株式会社 | 電子機器および視線入力方法 |
US20150126845A1 (en) * | 2013-11-05 | 2015-05-07 | The Research Foundation For The State University Of New York | Wearable head-mounted, glass-style computing devices with eog acquisition and analysis for human-computer interfaces |
US20150338915A1 (en) * | 2014-05-09 | 2015-11-26 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
WO2016072395A1 (ja) * | 2014-11-05 | 2016-05-12 | 株式会社ジェイアイエヌ | プログラム、情報処理装置、及びアイウエア |
US20160364881A1 (en) * | 2015-06-14 | 2016-12-15 | Sony Computer Entertainment Inc. | Apparatus and method for hybrid eye tracking |
Also Published As
Publication number | Publication date |
---|---|
WO2018191731A1 (en) | 2018-10-18 |
EP3610359A4 (en) | 2020-04-22 |
KR20190138852A (ko) | 2019-12-16 |
JP7455905B2 (ja) | 2024-03-26 |
CN110520824A (zh) | 2019-11-29 |
US11561615B2 (en) | 2023-01-24 |
CN110520824B (zh) | 2023-11-24 |
JP7211966B2 (ja) | 2023-01-24 |
CA3058669A1 (en) | 2018-10-18 |
JP7291841B2 (ja) | 2023-06-15 |
US20220382371A1 (en) | 2022-12-01 |
US11016561B2 (en) | 2021-05-25 |
EP3610359B1 (en) | 2023-09-20 |
EP3610359A1 (en) | 2020-02-19 |
KR20240014589A (ko) | 2024-02-01 |
CN117389420A (zh) | 2024-01-12 |
IL269861B2 (en) | 2023-11-01 |
US11449140B2 (en) | 2022-09-20 |
IL269861B1 (en) | 2023-07-01 |
US11294462B2 (en) | 2022-04-05 |
JP2020517012A (ja) | 2020-06-11 |
US20180299953A1 (en) | 2018-10-18 |
IL269861A (ja) | 2019-11-28 |
US20220179488A1 (en) | 2022-06-09 |
US20210333872A1 (en) | 2021-10-28 |
JP2023014151A (ja) | 2023-01-26 |
AU2018252665A1 (en) | 2019-10-17 |
KR102627452B1 (ko) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7291841B2 (ja) | マルチモーダル眼追跡 | |
Majaranta et al. | Eye tracking and eye-based human–computer interaction | |
US20220155860A1 (en) | Controlling an eye tracking camera according to eye movement velocity | |
US10860103B2 (en) | Enhancing virtual reality with physiological sensing | |
KR101638095B1 (ko) | 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체 | |
US20220293241A1 (en) | Systems and methods for signaling cognitive-state transitions | |
Hammoud et al. | Introduction to eye monitoring | |
US20230418372A1 (en) | Gaze behavior detection | |
Kharadea et al. | EyePhone Technology: A Smart Wearable Device | |
Chan | Development of a wearable eye tracker to control an autonomous wheelchair | |
CN116964545A (zh) | 用于信号传递认知状态转换的系统和方法 | |
WO2022192759A1 (en) | Systems and methods for signaling cognitive-state transitions | |
Sahu et al. | A Review on Human Eye Interfacing for Device Controlling Using Eye Movement | |
WO2023114079A1 (en) | User interactions and eye tracking with text embedded elements | |
CN116830064A (zh) | 用于预测交互意图的系统和方法 | |
Verma et al. | Pervasive and Wearable Computing and Networks Check for updates |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7455905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |