JP2019162251A - 眼球回転検出装置、電子機器及びシステム - Google Patents
眼球回転検出装置、電子機器及びシステム Download PDFInfo
- Publication number
- JP2019162251A JP2019162251A JP2018051471A JP2018051471A JP2019162251A JP 2019162251 A JP2019162251 A JP 2019162251A JP 2018051471 A JP2018051471 A JP 2018051471A JP 2018051471 A JP2018051471 A JP 2018051471A JP 2019162251 A JP2019162251 A JP 2019162251A
- Authority
- JP
- Japan
- Prior art keywords
- electrode
- eyeball
- rotation
- waveform
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 303
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 210000001508 eye Anatomy 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims description 49
- 239000011521 glass Substances 0.000 claims description 43
- 210000003128 head Anatomy 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 9
- 230000007935 neutral effect Effects 0.000 abstract description 34
- 230000002441 reversible effect Effects 0.000 abstract description 3
- 230000004424 eye movement Effects 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 26
- 238000013459 approach Methods 0.000 description 15
- 238000001356 surgical procedure Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 9
- 210000001061 forehead Anatomy 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 208000003464 asthenopia Diseases 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000002570 electrooculography Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000025679 Bell phenomenon Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 229910052770 Uranium Inorganic materials 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000007772 electrode material Substances 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
- 230000004599 slow eye movement Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0209—Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/30—Input circuits therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Eyeglasses (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1、図2、図3を参照して、実施形態に係る眼球回転検出装置の構成の一例を説明する。眼球回転検出装置の形態は種々あるが、ここでは、アイウェアの形態の眼球回転検出装置の例を示す。アイウェアとしては、ゴーグル、メガネ(サングラスはメガネと等価である)等があるが、ここではメガネ型眼球回転検出装置を説明する。図1はメガネ型眼球回転検出装置の一例を正面から見た図、図2はメガネ型眼球回転検出装置の一例を後ろ上方から見た図である。図3はメガネ型眼球回転検出装置の一例をかけたユーザを右前方から見た図である。
メガネは右フレーム12と、左フレーム14と、両フレーム12、14を繋ぐブリッジ26とを含む。この明細書で右、左はメガネを装着するユーザから見た右、左である。正面から見た図1では逆になっており、図1の右側のフレームが左フレーム14である。眼電位検出だけの装置であれば、右フレーム12と左フレーム14にはレンズやガラスを嵌め込まなくてもよいが、ユーザがメガネを常用する場合は、常用するメガネの代わりにユーザに合った度数のレンズが右フレーム12、左フレーム14に嵌め込まれてもよい。ユーザがメガネを常用しない場合は、単なるガラスが右フレーム12、左フレーム14に嵌め込まれてもよい。眼電位検出だけの装置ではなく、眼電位から視線移動又は輻輳角変化を検出し、その検出結果を応用する製品、例えばAR表示が可能なメガネ型ウェアラブル装置を構成する場合は、右フレーム12、左フレーム14の少なくとも一部にAR表示用の液晶パネルあるいは有機ELパネルが嵌め込まれてもよい。
図2に示すように、一方のテンプル、例えば右テンプル18のフレーム12に近い部分に眼電位の検出のための処理部30が内蔵あるいは外付けされている。他方のテンプル、例えば左テンプル20のフレーム12に近い部分に処理部30のためのバッテリ34が内蔵あるいは外付けされている。処理部30は単に眼電位検出だけではなく、AR表示が可能なメガネ型ウェアラブル装置においては、表示制御も行ってもよい。処理部30はメガネに内蔵するのではなく、メガネの外部に設け、無線又はワイヤでメガネと処理部30とを接続してもよい。その場合、バッテリ34は処理部30に内蔵してメガネの外部に設けることができる。また、処理部30の機能を2つに分けて、電極からの信号をセンスする第1処理部のみメガネに設け、センス信号から眼電位を検出したり、検出結果に応じて制御する第2処理部をメガネの外部に設けてもよい。スマートフォン等の携帯端末を第2処理部として使用することができる。第2処理部はメガネに直接接続される携帯端末等に限らず、ネットワークを介して接続されるサーバ等も含む。
図5、図6、図7は中性電極46の配置の変形例を示す。上記の説明では、左右別個のノーズパッド22、24が設けられているが、図5の変形例では、左右一体型の逆V字若しくは逆U字型のノーズパッド52が設けられる。ノーズパッド52の開いた両脇の右内側に右ノーズパッド電極42が設けられ、左内側に左ノーズパッド電極44が設けられ、V字若しくはU字の頂点部分の内側に中性電極46が設けられる。これにより、額パッド26を設けることなく、額に接する中性電極46を設けることができる。
図8〜図12を参照して、視線方向が正面方向を向いている状態から右眼球及び左眼球を左右回転した場合のA/Dコンバータ62から出力されるEOG信号ADC Ch0、A/Dコンバータ64から出力されるEOG信号ADC Ch1、A/Dコンバータ66から出力されるEOG信号ADC Ch2の波形の変化の一例を示す。
しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。
しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。
図15は第2実施形態に係るメガネ型眼電位検出装置100の一例を正面から見た図である。第1実施形態の検出装置と異なるのは、右フレーム12、左フレーム14の少なくとも一部にAR表示用のディスプレイ(例えば、有機ELパネル又は液晶パネル)102、104が嵌め込まれている点である。AR画像を3D表示しない場合は、右フレーム12、左フレーム14の一方にはディスプレイ102又は104が嵌め込まれていなくてもよい。ここでは、AR画像は3D表示されるとする。EOG電極の配置は第1実施形態と同じである。AR表示可能なメガネ型眼電位検出装置100の応用例は種々あるが、第2実施形態としては、手術支援システムを例に説明する。手術を執刀する医師や手術に関係するスタッフがメガネ型眼電位検出装置100をかける。
支援画像の表示位置(左右画像の輻輳角)を調整すると、眼精疲労が生じる可能性をさらに低くすることができる。
輻輳検出の他の応用例としては、作業手順の確認がある。図20はメガネ型眼電位検出装置を含む作業確認システムの電気的な構成の一例を示すブロック図である。作業確認にはAR表示は必須ではないが、確認結果を作業者に直ぐに伝えるためにAR表示を利用してもよい。処理部30は図16に示した第2実施形態と同じである。制御装置120の代わりに、図4に示す第1実施形態と同様に、スマートフォン等の携帯端末84を用いてもよい。制御装置120は視線移動判別部148、視線移動パターンメモリ142を含む。視線移動判別部148は眼動検出部75で検出された眼球回転の変化パターンから視線移動(視線方向右移動、視線方向左移動、視線方向交差(輻輳)を判別し、視線移動パターンを視線移動パターンメモリ142に格納する。視線移動パターンメモリ142のデータはネットワーク86を介してサーバ88にアップロードされる。
眼電図では、輻輳角の具体的な角度は得られず、輻輳状態となる眼球の回転方向だけが得られる。そのため、上記の実施形態では輻輳が検出され、応用例では、輻輳角自体には関わらず、輻輳の検出か否かの二値的な状態に基づいて制御が行われている。しかし、距離が既知の複数の目標物が存在する場合には、複数の目標物を見て、複数の距離に対する眼電図を定期的に測定することにより、既知の複数の距離に対する眼電位の値を求めることができ、3つ以上の輻輳状態を識別することがでる。例えば、遠方の目標物を見ている時はAR表示はオフで、中距離の目標物を見ている時は第1のAR画像を表示させ、近距離の目標物を見ている時は第2のAR画像を表示させてもよい。
上述した実施形態によれば、右眼球の左右回転と左眼球の左右回転を独立して検出することができるので、左右眼球の視線方向の交差である輻輳を検出することができる。輻輳は無意識には発生ぜず、被検者の意識的な眼球回転により発生する。そのため、輻輳の検出に応じた制御を行うことにより、被検者の意図に応じたハンズフリー制御を行うことができる。例えば、AR表示を行うメガネ型ウェアラブル端末において、寄り目とすることによりAR画像を表示開始させ、遠方の目標物を見ることによりAR画像を表示終了させることができる。
Claims (20)
- 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極と、
前記第1電極、前記第2電極、前記第3電極、前記第4電極及び前記第5電極に接続される検出回路と、
を具備する眼球回転検出装置であって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の左に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記検出回路は、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するものであって、
前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出し、
前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出し、
前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出し、
前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出する眼球回転検出装置。 - 前記検出回路は、前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するアナログ/デジタルコンバータを具備し、前記アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項1記載の眼球回転検出装置。
- 前記検出回路は、
前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項1記載の眼球回転検出装置。 - 前記検出回路は、
前記第1眼電位の波形が変化し、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化し、前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形の中の1つの波形の変化が、前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形の中の他の2つの波形の変化と逆相である場合、前記右眼球の右回転と前記左眼球の右回転又は前記右眼球の左回転と前記左眼球の左回転を検出する請求項1記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの右ノーズパッドに取り付けられ、
前記第4電極は前記メガネの左ノーズパッドに取り付けられ、
前記第5電極は前記メガネのブリッジに取り付けられる請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの一体型ノーズパッドの右部分に取り付けられ、
前記第4電極は前記一体型ノーズパッドの左部分に取り付けられ、
前記第5電極は前記一体型ノーズパッドの中央部分に取り付けられる請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの右ノーズパッドに取り付けられ、
前記第4電極は前記メガネの左ノーズパッドに取り付けられ、
前記第5電極は前記右ノーズパッドに取り付けられる第1サブ電極と前記左ノーズパッドに取り付けられる第2サブ電極とを具備し、
前記第1サブ電極と前記第2サブ電極は電気的に短絡されている請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記検出回路は、前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形に基づいて前記右眼球の上下回転と前記左眼球の上下回転をさらに検出する請求項4乃至請求項7のいずれか一項記載の眼球回転検出装置。
- 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極と、
前記第1電極、前記第2電極、前記第3電極、前記第4電極及び前記第5電極に接続される検出回路と、
前記頭部に設けられるディスプレイと、
を具備する電子機器であって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の左に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記検出回路は、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するものであって、
前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出し、
前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出し、
前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出し、
前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出し、
前記ディスプレイは前記検出回路が前記右眼球と前記左眼球が互いに反対向きに左右回転することを検出すると、表示が変化する電子機器。 - 前記検出回路は、前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するアナログ/デジタルコンバータを具備し、前記アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項9記載の電子機器。
- 前記検出回路は、
前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項9記載の電子機器。 - 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極と、
前記第1電極、前記第2電極、前記第3電極、前記第4電極及び前記第5電極に接続される検出回路と、
前記頭部に設けられるディスプレイと、を具備する電子機器と、
前記ディスプレイを制御するコントローラと、
を具備するシステムであって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の左に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記検出回路は、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するものであって、
前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出し、
前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出し、
前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出し、
前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出し、
前記コントローラは前記検出回路が前記右眼球と前記左眼球が互いに反対向きに左右方向で回転することを検出すると、前記ディスプレイの表示を変化させるシステム。 - 前記検出回路は、前記第1電極、前記第2電極、前記第3電極及び前記第4電極からの信号のレベルを検出するアナログ/デジタルコンバータを具備し、前記アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項12記載のシステム。
- 前記検出回路は、前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項12記載のシステム。
- 前記コントローラは、前記検出回路が前記右眼球の左回転と前記左眼球の右回転を検出すると、画像を前記ディスプレイに表示開始する請求項12記載のシステム。
- 前記コントローラは、前記検出回路が前記右眼球の右回転と前記左眼球の左回転を検出すると、前記画像の表示を停止する請求項15記載のシステム。
- 前記コントローラは、前記検出回路が前記右眼球の左回転と前記左眼球の右回転を検出すると、前記右眼球と前記左眼球の輻輳角に応じた輻輳角の3次元画像を前記ディスプレイに表示する請求項12記載のシステム。
- 前記コントローラは、
前記右眼球と前記左眼球の輻輳角の経時変化を示すデータを記憶する記憶手段と、
前記記憶手段に記憶されたデータと、前記右眼球と前記左眼球の輻輳角の標準変化を示すデータとを比較する手段と、
を具備する請求項15記載のシステム。 - 前記コントローラは、前記右眼球と前記左眼球の輻輳角が大きくなると、画像表示を開始し、前記輻輳角が小さくなると、前記画像表示を停止する請求項15記載のシステム。
- 前記コントローラは、前記右眼球と前記左眼球の輻輳角が小さくなると、画像表示を開始し、前記輻輳角が大きくなると、前記画像表示を停止する請求項15記載のシステム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018051471A JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
US16/004,851 US10466781B2 (en) | 2018-03-19 | 2018-06-11 | Eye movement detecting device, electronic device and system |
US16/568,340 US11054900B2 (en) | 2018-03-19 | 2019-09-12 | Eye movement detecting device, electronic device and system |
US16/568,333 US20200004334A1 (en) | 2018-03-19 | 2019-09-12 | Eye movement detecting device, electronic device and system |
US17/375,097 US11481028B2 (en) | 2018-03-19 | 2021-07-14 | Eye movement detecting device, electronic device and system |
US17/940,058 US11886635B2 (en) | 2018-03-19 | 2022-09-08 | Eye movement detecting device, electronic device and system |
US18/523,275 US20240094814A1 (en) | 2018-03-19 | 2023-11-29 | Eye movement detecting device, electronic device and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018051471A JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020166949A Division JP2021009719A (ja) | 2020-10-01 | 2020-10-01 | 電子機器及び表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019162251A true JP2019162251A (ja) | 2019-09-26 |
JP6774975B2 JP6774975B2 (ja) | 2020-10-28 |
Family
ID=67904042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018051471A Active JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
Country Status (2)
Country | Link |
---|---|
US (6) | US10466781B2 (ja) |
JP (1) | JP6774975B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201736A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2022214905A1 (ja) * | 2021-04-08 | 2022-10-13 | 株式会社半導体エネルギー研究所 | 電子機器 |
WO2024047993A1 (ja) * | 2022-09-02 | 2024-03-07 | キヤノン株式会社 | 情報処理装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112965252B (zh) * | 2021-03-16 | 2023-03-31 | 歌尔股份有限公司 | Ar显示模组和ar眼镜 |
WO2023110993A1 (de) | 2021-12-15 | 2023-06-22 | Volkswagen Aktiengesellschaft | Erstellen einer arbeitsanleitung |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5360971A (en) * | 1992-03-31 | 1994-11-01 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
JP2003533801A (ja) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 生物測定学的な身元確認方法及び認証方法 |
JP2011125693A (ja) * | 2009-11-18 | 2011-06-30 | Panasonic Corp | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
JP2013215356A (ja) * | 2012-04-06 | 2013-10-24 | Panasonic Corp | 眼疲労計測装置およびその方法 |
JP2013244370A (ja) * | 2012-05-29 | 2013-12-09 | Jin Co Ltd | アイウエア |
JP2015130173A (ja) * | 2014-01-03 | 2015-07-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ディスプレイ上の両眼転導検出 |
JP2017093984A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社東芝 | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム |
JP2017204094A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 視線特定プログラム、視線特定装置、及び視線特定方法 |
JP2017206067A (ja) * | 2016-05-16 | 2017-11-24 | 株式会社東芝 | 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
JP3717653B2 (ja) * | 1998-01-20 | 2005-11-16 | 株式会社リコー | 頭部搭載型画像表示装置 |
JP2000259336A (ja) | 1999-03-11 | 2000-09-22 | Funai Electric Co Ltd | 視点位置検出装置及びディスプレイ用ポインティング装置 |
JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
US10180572B2 (en) * | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
JP5790187B2 (ja) * | 2011-06-16 | 2015-10-07 | ソニー株式会社 | 表示装置 |
WO2012172719A1 (ja) * | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US20130083007A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Changing experience using personal a/v system |
JP5765740B2 (ja) | 2012-05-21 | 2015-08-19 | 国立大学法人東京工業大学 | 注意位置推定装置 |
JP5936155B2 (ja) * | 2012-07-27 | 2016-06-15 | Necソリューションイノベータ株式会社 | 3次元ユーザインタフェース装置及び3次元操作方法 |
WO2015034560A1 (en) * | 2013-09-03 | 2015-03-12 | Tobii Technology Ab | Portable eye tracking device |
US10451874B2 (en) * | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
US10405786B2 (en) * | 2013-10-09 | 2019-09-10 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
JP6252849B2 (ja) * | 2014-02-07 | 2017-12-27 | ソニー株式会社 | 撮像装置および方法 |
US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
US10162412B2 (en) * | 2015-03-27 | 2018-12-25 | Seiko Epson Corporation | Display, control method of display, and program |
JP2016212177A (ja) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
JP6407824B2 (ja) | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
US10772561B2 (en) * | 2016-04-01 | 2020-09-15 | Thomas Alan Donaldson | Sensors to determine neuronal activity of an organism to facilitate a human-machine interface |
JP6871104B2 (ja) | 2017-07-31 | 2021-05-12 | 株式会社東芝 | 帽子及びヘッドウェア |
-
2018
- 2018-03-19 JP JP2018051471A patent/JP6774975B2/ja active Active
- 2018-06-11 US US16/004,851 patent/US10466781B2/en active Active
-
2019
- 2019-09-12 US US16/568,333 patent/US20200004334A1/en not_active Abandoned
- 2019-09-12 US US16/568,340 patent/US11054900B2/en active Active
-
2021
- 2021-07-14 US US17/375,097 patent/US11481028B2/en active Active
-
2022
- 2022-09-08 US US17/940,058 patent/US11886635B2/en active Active
-
2023
- 2023-11-29 US US18/523,275 patent/US20240094814A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5360971A (en) * | 1992-03-31 | 1994-11-01 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
JP2003533801A (ja) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 生物測定学的な身元確認方法及び認証方法 |
JP2011125693A (ja) * | 2009-11-18 | 2011-06-30 | Panasonic Corp | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
JP2013215356A (ja) * | 2012-04-06 | 2013-10-24 | Panasonic Corp | 眼疲労計測装置およびその方法 |
JP2013244370A (ja) * | 2012-05-29 | 2013-12-09 | Jin Co Ltd | アイウエア |
JP2015130173A (ja) * | 2014-01-03 | 2015-07-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ディスプレイ上の両眼転導検出 |
JP2017093984A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社東芝 | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム |
JP2017204094A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 視線特定プログラム、視線特定装置、及び視線特定方法 |
JP2017206067A (ja) * | 2016-05-16 | 2017-11-24 | 株式会社東芝 | 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201736A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2022214905A1 (ja) * | 2021-04-08 | 2022-10-13 | 株式会社半導体エネルギー研究所 | 電子機器 |
WO2024047993A1 (ja) * | 2022-09-02 | 2024-03-07 | キヤノン株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US11054900B2 (en) | 2021-07-06 |
JP6774975B2 (ja) | 2020-10-28 |
US20200004334A1 (en) | 2020-01-02 |
US11481028B2 (en) | 2022-10-25 |
US20200004335A1 (en) | 2020-01-02 |
US20210342001A1 (en) | 2021-11-04 |
US20230004221A1 (en) | 2023-01-05 |
US20240094814A1 (en) | 2024-03-21 |
US20190286226A1 (en) | 2019-09-19 |
US11886635B2 (en) | 2024-01-30 |
US10466781B2 (en) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6774975B2 (ja) | 眼球回転検出装置、電子機器及びシステム | |
Cognolato et al. | Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances | |
US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
US9370302B2 (en) | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment | |
US9788714B2 (en) | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance | |
CN110520824B (zh) | 多模式眼睛跟踪 | |
Iskander et al. | A review on ocular biomechanic models for assessing visual fatigue in virtual reality | |
JP6426589B2 (ja) | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム | |
US20090295683A1 (en) | Head mounted display with variable focal length lens | |
US8845099B2 (en) | System and method for real time monitoring and dynamic treatment of oculomotor conditions | |
JPWO2018199196A1 (ja) | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム | |
JP6342440B2 (ja) | 眼球運動検出装置、眼球運動検出方法、およびアイウエア | |
JP2021009719A (ja) | 電子機器及び表示方法 | |
JP2023174820A (ja) | ウェアラブル機器及び表示方法 | |
JP2018136989A (ja) | 眼球運動検出装置及び眼球運動検出方法 | |
JP7309830B2 (ja) | 電子機器及び表示方法 | |
JPH1185384A (ja) | 角膜網膜電位を用いた視力入力方法及び装置 | |
KR101913934B1 (ko) | 가상현실기반 전정 재활 시스템 | |
CN110462494A (zh) | 被适配为由配戴者配戴的光学装置 | |
Bhatia et al. | A review on eye tracking technology | |
Schäfer et al. | Feasibility analysis of sensor modalities to control a robot with eye and head movements for assistive tasks | |
JP2019159335A (ja) | ウェアラブル機器及び表示方法 | |
WO2018231059A2 (en) | Wireless communication system for remote medical assistance | |
WO2018183000A1 (en) | Motion parallax in object recognition | |
JP7149658B2 (ja) | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201005 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6774975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |