JP2017157139A - 眼球運動検出装置、眼球運動検出方法、およびアイウエア - Google Patents
眼球運動検出装置、眼球運動検出方法、およびアイウエア Download PDFInfo
- Publication number
- JP2017157139A JP2017157139A JP2016042184A JP2016042184A JP2017157139A JP 2017157139 A JP2017157139 A JP 2017157139A JP 2016042184 A JP2016042184 A JP 2016042184A JP 2016042184 A JP2016042184 A JP 2016042184A JP 2017157139 A JP2017157139 A JP 2017157139A
- Authority
- JP
- Japan
- Prior art keywords
- eyewear
- head
- movement
- rotation
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【解決手段】一実施の形態に係る眼球運動検出装置は、アイウエア型のデバイス形態で用いられ、そのアイウエアのユーザの眼球回転を検出するEOG電極と、そのアイウエアの移動を検出する加速度センサと、そのアイウエアの回転を検出するジャイロセンサを備えている。このアイウエアを装着したユーザが現実世界の固定物を注視して歩行している際に、眼球回転の検出と同時に、ユーザ頭部の移動および回転を検出する。そして、ユーザの頭部が動いている状態で現実世界の固定物を注視している際に眼電位に混入するノイズを、加速度センサおよび/またはジャイロセンサによって検出した頭部の動きに対応する信号成分(混入ノイズに対して逆相となる成分)の合成によって、打ち消す(低減または排除する)。
【選択図】図17
Description
成人の眼球の直径は約25mm。生後は17mm程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約65mm。(一般市販のステレオカメラは65mmの間隔で作られている物が多い。)
成人女性の瞳孔間距離は男性に比べて数mm短い。
眼電位は数十mV。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μVの電位差として現れる。
<眼球運動(眼動)の種類>
(01)補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
物を見ようとして注視点を変えるときに発生する眼球運動(検出し易い)。
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動(検出し難い)。
(11)水平方向
左方向: 50°以下
右方向: 50°以下
(12)垂直方向
下方向: 50°以下
上方向: 30°以下
(自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。(閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。)
(13)その他
輻輳角: 20°以下。
図1は、前方を見ながら歩行中の人の頭部動揺(上下左右動による位置変化)を説明する図である。歩行時の下肢の動きによって、人の頭部は上下に位置変化する(図1(a))。一般的な大人の歩行周期(1歩行サイクル)は、例えば0.6秒位になる。同時に、この歩行において、人の頭部は左右にも位置変化する(図1(b))。この左右位置変化の周期は、歩行周期の2倍の1.2秒位になる。上下の位置変化幅および左右の位置変化幅は、それぞれ2〜3cm位ある。この上下左右動は略リニアで規則性があり、歩行周期と密接に関連した周期を持つ。
図3は、頭部が縦方向に前後屈変化をした場合の、視標距離(眼から注視対象までの距離)と眼球運動との関係を説明する図である。ここでは、頭部を固定した場合の視標位置をHFPとし、実際の視標がHFPよりも近い場合(Near Target)と遠い場合(Far Target)について、頭部の前後屈回転角(φh)と眼球の代償回転角(φen、φef)を例示している。
図4は、頭部前後屈の角度変化/速度変化と眼動の角度変化/速度変化との間の位相関係を例示する図である。図3に示す頭部の前後屈の角度(φh)は、アイウエアに取り付けられた3軸ジャイロ(図7の11e)によって検出できる。また図3に示す眼球の回転角度(φen、φef)は、眼球のEOGを利用した眼動検出部(図7の15)によって検出できる。
図7は、種々な実施の形態に取り付け可能な情報処理部11と、その周辺デバイスとの関係を説明する図である。図7の例では、情報処理部11は、プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11d、センサ部11eなどで構成されている。プロセッサ11aは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ11bに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ11cが提供する。
図7の眼動検出部15は、視線検出センサを構成する4つの眼動検出電極(151a,151b,152a,152b)と、これらの電極から眼動に対応したデジタル信号を取り出す3つのADC(1510、1520、1512)と、これらADCからの出力データをプロセッサ11a側に出力する回路を含んでいる。プロセッサ11aは、ユーザの種々な眼動(上下動、左右動、瞬目、眼瞑りなど)から、その眼動の種類に対応する指令を解釈し、その指令を実行することができる。
(1)歩行の周期(約0.6秒)に合わせて上下方向の眼球回転運動が確認できる(Ch1とCh2のEOG検出信号レベル参照)。
・左眼を瞑ると、+電極のプラス電位が減少するため凹波形。
(a)従来の視線検出技術には赤外線カメラを用いて画像処理にて視線方向を推定する方式があるが、必要となる装置の量(高輝度な赤外線LEDに加え、外部に見える眼球全体を撮影可能なカメラ、画像処理用の比較的高性能な演算装置、これらを動作させる電力供給装置)が大規模となる。そのため、従来の視線検出技術は据置タイプの装置では応用されているが、ウェアラブル機器への適用は進んでいない。
[1]一実施の形態に係る眼電位検出装置(図7の11:図17の処理を実行するプロセッサ11aを含む)は、アイウエア(100)を装着したユーザの眼電位(EOG)に基づいて前記ユーザの眼球回転を含む眼動(視線移動、瞬目など)を検出する眼動検出部(15;151a,151b,152a,152b)と、前記アイウエアの移動を検出する加速度センサ(11eの一部)と、前記アイウエアの回転を検出するジャイロセンサ(11eの一部)を備えている。この眼球運動検出装置は、前記眼電位(EOG)に基づいて前記眼動が検出される際に、前記加速度センサおよび/または前記ジャイロセンサにより前記アイウエアの移動および/または回転を検出する検出手段(ST12を実行する11a)と、前記アイウエアの移動および/または回転に起因して前記眼電位に混入するノイズ(頭部の動きを打ち消す方向に働く代償的眼球回転によって付加された眼電位成分)を、前記加速度センサおよび/または前記ジャイロセンサによって検出した信号成分(混入ノイズに対して逆相となる成分)の合成によって低減(最小化または打ち消し)するノイズ低減手段(ST14〜ST20を実行する11a)を具備している。
Claims (8)
- アイウエアを装着したユーザの眼電位に基づいて前記ユーザの眼球回転を含む眼動を検出する眼動検出部と、前記アイウエアの移動を検出する加速度センサと、前記アイウエアの回転を検出するジャイロセンサを備えた眼球運動検出装置であって、
前記眼電位に基づいて前記眼動が検出される際に、前記加速度センサおよび/または前記ジャイロセンサにより前記アイウエアの移動および/または回転を検出する検出手段と、
前記アイウエアの移動および/または回転に起因して前記眼電位に混入するノイズを、前記加速度センサおよび/または前記ジャイロセンサによって検出した信号成分の合成によって低減するノイズ低減手段
を具備した眼球運動検出装置。 - 前記低減手段による信号合成結果が減少に向かうように、前記加速度センサおよび/または前記ジャイロセンサによって検出した信号成分の位相を選択する位相選択手段をさらに具備した、請求項1の装置。
- 請求項1の装置が組み込まれるアイウエア。
- 前記アイウエアはディスプレイ部を持ち、前記ノイズ低減手段によりノイズが低減されたあとの前記眼電位に基づく表示を前記ディスプレイ部で行う表示手段を具備した、請求項3のアイウエア。
- 前記ユーザの頭部の前後屈変化に対応した回転を前記ジャイロセンサにより検出し、そのユーザの視線方向の変化を前記眼動検出部により検出し、前記前後屈変化の信号位相と前記視線方向変化の信号位相が同相か逆相かによって前記ユーザが見ている場所の遠近を識別する、請求項1の装置。
- 前記眼電位に基づいて前記眼動が検出される際に、前記加速度センサおよび/または前記ジャイロセンサにより検出された前記アイウエアの移動および/または回転が前記眼電位の変化に同期する場合は前記ユーザが現実世界を見ているものと判定する、請求項1の装置。
- アイウエアを装着したユーザの眼電位に基づいて前記ユーザの眼球回転を含む眼動を検出し、前記アイウエアを装着したユーザの頭部の移動を検出し、前記アイウエアを装着したユーザの頭部の回転を検出する処理を含む方法であって、
前記眼電位に基づいて前記眼動が検出される際に、前記アイウエアを装着したユーザの頭部の移動および/または回転を検出する工程と、
前記アイウエアを装着したユーザの頭部の移動および/または回転に起因して前記眼電位に混入するノイズを、前記アイウエアを装着したユーザの頭部の移動および/または回転に対応して検出した信号成分の合成によって低減する工程
を具備した眼球運動検出方法。 - 前記信号成分の合成結果が減少に向かうように、前記アイウエアを装着したユーザの頭部の移動および/または回転に対応して検出した信号成分の位相を選択する工程をさらに具備した、請求項7の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016042184A JP6342440B2 (ja) | 2016-03-04 | 2016-03-04 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016042184A JP6342440B2 (ja) | 2016-03-04 | 2016-03-04 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090396A Division JP6535123B2 (ja) | 2018-05-09 | 2018-05-09 | 眼球運動検出装置及び眼球運動検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017157139A true JP2017157139A (ja) | 2017-09-07 |
JP6342440B2 JP6342440B2 (ja) | 2018-06-13 |
Family
ID=59810336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016042184A Active JP6342440B2 (ja) | 2016-03-04 | 2016-03-04 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6342440B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019136187A (ja) * | 2018-02-07 | 2019-08-22 | 株式会社ジンズ | アイウエアセット及び信号処理ユニット |
WO2020017448A1 (ja) * | 2018-07-20 | 2020-01-23 | 国立研究開発法人産業技術総合研究所 | 生体電位を用いる入力装置 |
WO2020122318A1 (en) | 2018-12-10 | 2020-06-18 | Samsung Electronics Co., Ltd. | Compensating for a movement of a sensor attached to a body of a user |
JP2022059595A (ja) * | 2020-10-01 | 2022-04-13 | 株式会社東芝 | 電子機器及び表示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009288529A (ja) * | 2008-05-29 | 2009-12-10 | Keio Gijuku | 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム |
JP2011125691A (ja) * | 2009-11-19 | 2011-06-30 | Panasonic Corp | ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、ノイズ低減方法及びプログラム |
JP2013244370A (ja) * | 2012-05-29 | 2013-12-09 | Jin Co Ltd | アイウエア |
JP2015202199A (ja) * | 2014-04-14 | 2015-11-16 | 株式会社ジェイアイエヌ | 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム |
JP2015203957A (ja) * | 2014-04-14 | 2015-11-16 | 株式会社ジェイアイエヌ | 情報処理装置、情報処理システム、及びプログラム |
-
2016
- 2016-03-04 JP JP2016042184A patent/JP6342440B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009288529A (ja) * | 2008-05-29 | 2009-12-10 | Keio Gijuku | 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム |
JP2011125691A (ja) * | 2009-11-19 | 2011-06-30 | Panasonic Corp | ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、ノイズ低減方法及びプログラム |
JP2013244370A (ja) * | 2012-05-29 | 2013-12-09 | Jin Co Ltd | アイウエア |
JP2015202199A (ja) * | 2014-04-14 | 2015-11-16 | 株式会社ジェイアイエヌ | 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム |
JP2015203957A (ja) * | 2014-04-14 | 2015-11-16 | 株式会社ジェイアイエヌ | 情報処理装置、情報処理システム、及びプログラム |
Non-Patent Citations (1)
Title |
---|
平崎 鋭矢: "歩行中の視線安定を維持する頭部運動と眼球運動", 大阪大学大学院人間科学研究科紀要, vol. 第26巻, JPN6017045644, 31 March 2000 (2000-03-31), pages 177 - 193, ISSN: 0003690983 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019136187A (ja) * | 2018-02-07 | 2019-08-22 | 株式会社ジンズ | アイウエアセット及び信号処理ユニット |
US10441217B2 (en) * | 2018-02-07 | 2019-10-15 | Jins Holdings Inc. | Eyewear set and signal processing unit |
WO2020017448A1 (ja) * | 2018-07-20 | 2020-01-23 | 国立研究開発法人産業技術総合研究所 | 生体電位を用いる入力装置 |
JPWO2020017448A1 (ja) * | 2018-07-20 | 2021-06-24 | 国立研究開発法人産業技術総合研究所 | 入力装置、入力方法及び入力システム |
US11493994B2 (en) | 2018-07-20 | 2022-11-08 | National Institute Of Advanced Industrial Science And Technology | Input device using bioelectric potential |
WO2020122318A1 (en) | 2018-12-10 | 2020-06-18 | Samsung Electronics Co., Ltd. | Compensating for a movement of a sensor attached to a body of a user |
CN113164040A (zh) * | 2018-12-10 | 2021-07-23 | 三星电子株式会社 | 补偿附着在用户身体上的传感器的移动 |
EP3833245A4 (en) * | 2018-12-10 | 2021-10-06 | Samsung Electronics Co., Ltd. | COMPENSATION OF A MOVEMENT OF A SENSOR ATTACHED TO A USER'S BODY |
JP2022059595A (ja) * | 2020-10-01 | 2022-04-13 | 株式会社東芝 | 電子機器及び表示方法 |
JP7309830B2 (ja) | 2020-10-01 | 2023-07-18 | 株式会社東芝 | 電子機器及び表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6342440B2 (ja) | 2018-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110520824B (zh) | 多模式眼睛跟踪 | |
CN104866105B (zh) | 头显设备的眼动和头动交互方法 | |
US11273344B2 (en) | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders | |
JP6407824B2 (ja) | メガネ型ウエアラブル端末およびこの端末を用いる方法 | |
JP6426589B2 (ja) | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム | |
JP6342440B2 (ja) | 眼球運動検出装置、眼球運動検出方法、およびアイウエア | |
US10901505B1 (en) | Eye-based activation and tool selection systems and methods | |
US20180125423A1 (en) | System and method for activity monitoring eyewear and head apparel | |
JP2016502120A (ja) | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 | |
JP6535123B2 (ja) | 眼球運動検出装置及び眼球運動検出方法 | |
JP6774975B2 (ja) | 眼球回転検出装置、電子機器及びシステム | |
JP7455167B2 (ja) | ヘッドマウント情報処理装置 | |
JP2023174820A (ja) | ウェアラブル機器及び表示方法 | |
EP3697086A1 (en) | Information processing device, information processing method, and program | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
WO2021246134A1 (ja) | デバイス、制御方法及びプログラム | |
JP6500570B2 (ja) | 画像表示装置および画像表示方法 | |
JP6830981B2 (ja) | ウェアラブル機器及び表示方法 | |
US11988901B2 (en) | Two-eye tracking based on measurements from a pair of electronic contact lenses | |
CN111279410A (zh) | 显示设备和显示设备控制方法 | |
US11270451B2 (en) | Motion parallax in object recognition | |
JP2021009719A (ja) | 電子機器及び表示方法 | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
US11579690B2 (en) | Gaze tracking apparatus and systems | |
Vora et al. | Gaze-contingent Screen Adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180516 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6342440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |