JP2019082776A - 操作支援方法、操作支援プログラム及び頭部装着型表示装置 - Google Patents
操作支援方法、操作支援プログラム及び頭部装着型表示装置 Download PDFInfo
- Publication number
- JP2019082776A JP2019082776A JP2017208805A JP2017208805A JP2019082776A JP 2019082776 A JP2019082776 A JP 2019082776A JP 2017208805 A JP2017208805 A JP 2017208805A JP 2017208805 A JP2017208805 A JP 2017208805A JP 2019082776 A JP2019082776 A JP 2019082776A
- Authority
- JP
- Japan
- Prior art keywords
- user
- electrode
- potential
- potential difference
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は、本実施の形態のHMD装置100を斜め前方から見た場合の外観を示す図である。ゴーグル型の形状を有するフレーム110には、レンズ111が取り付けられており、さらにレンズ111が取り付けられている側の反対側にはパッド113が取り付けられている。パッド113は、HMD装置100がユーザに装着された状態においてユーザの顔に押し当てられる。パッド113の素材は、例えばスポンジのような弾力性を有する素材である。また、フレーム110にはベルト112が取り付けられている。ベルト112の素材は伸縮可能な素材(例えばゴム)であり、ユーザはベルト112を使用してHMD装置100を頭部に装着する。
第1の実施の形態においては、危険モードについての条件および通常モードについての条件が予め定められており、これらの条件に従ってモードの判定が実行される。これに対して第2の実施の形態においては、視線の状態及び脳波の状態とモードとの関係についての学習モデル(例えばニューラルネットワークによるモデル)が予め生成されており、学習モデルの出力に従ってモードの判定が実行される。
第3の実施の形態においては、各モードの設定がユーザからの入力及び指定等に基づき生成される。
第1の実施の形態においては、危険モードについての条件および通常モードについての条件のいずれも満たされない場合には、設定の切替が行われない。これに対して第4の実施の形態においては、危険モードについての条件および通常モードについての条件のいずれも満たされない場合には、中間モードの設定が適用される。
プロセッサに、
ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得し、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差と、前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、
前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定し、
前記第3電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行させる操作支援プログラム。
前記操作についての設定を切り替える処理において、
前記切替回数が所定数以上であり且つ前記脳波の状態がベータ波が支配的な状態であるという条件が満たされない場合、前記操作についての設定を第1設定に切り替え、
前記条件が満たされる場合、前記操作についての設定を、前記第1設定に切り替えられた場合より速く前記ユーザが操作を行えるようにするための第2設定に切り替える、
付記1記載の操作支援プログラム。
前記操作についての設定が、前記ユーザの両目の前に配置された表示部上に表示されるカーソルの移動速度についての設定と、前記カーソルを特定の構成要素上へ強制的に移動させる範囲についての設定と、前記表示部上に表示されるコンテンツのスクロール速度についての設定との少なくともいずれかを含む、
付記1記載の操作支援プログラム。
前記プロセッサに、
前記第1電位差と前記第2電位差とに基づき特定される視線方向に、前記ユーザの両目の前に配置された表示部上のカーソルを移動する、
処理をさらに実行させる付記1乃至3のいずれか1つ記載の操作支援プログラム。
前記プロセッサに、
前記第1電位差と前記第2電位差とに基づき特定される視線方向が一定である状態において、前記第3電位差に基づき特定される前記脳波の状態がアルファ波が支配的な状態であるか否かに基づき、前記ユーザにより確定操作が行われたか否かを判定する、
処理をさらに実行させる付記4記載の操作支援プログラム。
前記操作についての設定を切り替える処理において、
特定された前記視線方向及び前記脳波の状態と前記第1電位差及び前記第2電位差に基づき特定される瞬きの回数とを入力とし且つ予め生成された学習モデルの出力に応じて、前記操作についての設定を切り替える、
付記1記載の操作支援プログラム。
前記ユーザの視線方向を特定する処理において、
前記第1電位差の絶対値及び前記第2電位差の絶対値と閾値との比較、および、前記第1電位差の符号及び前記第2電位差の符号に基づき、前記ユーザの視線方向を特定する、
付記1乃至6のいずれか1つ記載の操作支援プログラム。
前記ユーザの脳波の状態を特定する処理において、
前記第3電位差に対する周波数分析に基づき、前記ユーザの脳波の状態を特定する、
付記1乃至7のいずれか1つ記載の操作支援プログラム。
前記プロセッサに、
前記ユーザにより入力され又は指定された、操作についての1又は複数の設定に基づき、前記第1設定及び前記第2設定の少なくともいずれかを生成する、
処理をさらに実行させる付記2記載の制御プログラム。
プロセッサが、
ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得し、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差と、前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、
前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定し、
前記第3電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行する操作支援方法。
ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得する取得部と、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差とを算出し、算出された前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定する第1特定部と、
前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、算出された前記第3電位差に基づき、前記ユーザの脳波の状態を特定する第2特定部と、
前記第1特定部により特定された前記視線方向の切替回数と、前記第2特定部により特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える切替部と、
を有する頭部装着型表示装置。
111 レンズ 112 ベルト
113 パッド
120R、120L 表示部 150 制御部
170 バッテリ ER、EL、EM 電極
151 プロセッサ 152 メモリ
1501 電位取得部 1502 方向特定部
1503 脳波特定部 1504 モード切替部
1505 表示制御部 1506 確定処理実行部
1507 モード生成部 1511 電位データ格納部
1512 管理データ格納部 1513 モード設定格納部
1514 設定情報格納部
Claims (10)
- プロセッサに、
ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得し、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差と、前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、
前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定し、
前記第3電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行させる操作支援プログラム。 - 前記操作についての設定を切り替える処理において、
前記切替回数が所定数以上であり且つ前記脳波の状態がベータ波が支配的な状態であるという条件が満たされない場合、前記操作についての設定を第1設定に切り替え、
前記条件が満たされる場合、前記操作についての設定を、前記第1設定に切り替えられた場合より速く前記ユーザが操作を行えるようにするための第2設定に切り替える、
請求項1記載の操作支援プログラム。 - 前記操作についての設定が、前記ユーザの両目の前に配置された表示部上に表示されるカーソルの移動速度についての設定と、前記カーソルを特定の構成要素上へ強制的に移動させる範囲についての設定と、前記表示部上に表示されるコンテンツのスクロール速度についての設定との少なくともいずれかを含む、
請求項1記載の操作支援プログラム。 - 前記プロセッサに、
前記第1電位差と前記第2電位差とに基づき特定される視線方向に、前記ユーザの両目の前に配置された表示部上のカーソルを移動する、
処理をさらに実行させる請求項1乃至3のいずれか1つ記載の操作支援プログラム。 - 前記プロセッサに、
前記第1電位差と前記第2電位差とに基づき特定される視線方向が一定である状態において、前記第3電位差に基づき特定される前記脳波の状態がアルファ波が支配的な状態であるか否かに基づき、前記ユーザにより確定操作が行われたか否かを判定する、
処理をさらに実行させる請求項4記載の操作支援プログラム。 - 前記操作についての設定を切り替える処理において、
特定された前記視線方向及び前記脳波の状態と前記第1電位差及び前記第2電位差に基づき特定される瞬きの回数とを入力とし且つ予め生成された学習モデルの出力に応じて、前記操作についての設定を切り替える、
請求項1記載の操作支援プログラム。 - 前記ユーザの視線方向を特定する処理において、
前記第1電位差の絶対値及び前記第2電位差の絶対値と閾値との比較、および、前記第1電位差の符号及び前記第2電位差の符号に基づき、前記ユーザの視線方向を特定する、
請求項1乃至6のいずれか1つ記載の操作支援プログラム。 - 前記ユーザの脳波の状態を特定する処理において、
前記第3電位差に対する周波数分析に基づき、前記ユーザの脳波の状態を特定する、
請求項1乃至7のいずれか1つ記載の操作支援プログラム。 - プロセッサが、
ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得し、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差と、前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、
前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定し、
前記第3電位差に基づき、前記ユーザの脳波の状態を特定し、
特定された前記視線方向の切替回数と、特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える、
処理を実行する操作支援方法。 - ユーザの右目上方の部位に当接する第1電極で測定された電位と、前記ユーザの左目上方の部位に当接する第2電極で測定された電位と、前記ユーザの鼻根に当接する第3電極で測定された電位とを取得する取得部と、
前記第1電極で測定された電位と前記第3電極で測定された電位との差である第1電位差と、前記第2電極で測定された電位と前記第3電極で測定された電位との差である第2電位差とを算出し、算出された前記第1電位差と前記第2電位差とに基づき、前記ユーザの視線方向を特定する第1特定部と、
前記第1電極で測定された電位と前記第2電極で測定された電位との差である第3電位差とを算出し、算出された前記第3電位差に基づき、前記ユーザの脳波の状態を特定する第2特定部と、
前記第1特定部により特定された前記視線方向の切替回数と、前記第2特定部により特定された前記脳波の状態とに基づき、前記ユーザが視線の移動により行う操作についての設定を切り替える切替部と、
を有する頭部装着型表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017208805A JP6904215B2 (ja) | 2017-10-30 | 2017-10-30 | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017208805A JP6904215B2 (ja) | 2017-10-30 | 2017-10-30 | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019082776A true JP2019082776A (ja) | 2019-05-30 |
JP6904215B2 JP6904215B2 (ja) | 2021-07-14 |
Family
ID=66671145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017208805A Active JP6904215B2 (ja) | 2017-10-30 | 2017-10-30 | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6904215B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089544A (ja) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
CN115067944A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市心流科技有限公司 | 一种眼动状态评估方法、装置、终端设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202882A (ja) * | 2006-02-03 | 2007-08-16 | Advanced Telecommunication Research Institute International | 活動補助システム |
JP2007312824A (ja) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
WO2010004698A1 (ja) * | 2008-07-11 | 2010-01-14 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2010205099A (ja) * | 2009-03-05 | 2010-09-16 | Univ Of Miyazaki | 眼電位を用いたマウスカーソル制御システム |
WO2011055505A1 (ja) * | 2009-11-09 | 2011-05-12 | パナソニック株式会社 | 注意状態判定装置、方法およびプログラム |
JP2015213734A (ja) * | 2014-04-21 | 2015-12-03 | 株式会社ジェイアイエヌ | プログラム、情報処理装置、及びアイウエア |
WO2016158574A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社ジェイアイエヌ | 視線移動検出方法、プログラム、情報処理装置及びアイウエア |
JP2017049775A (ja) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP2017070602A (ja) * | 2015-10-08 | 2017-04-13 | 株式会社ジェイアイエヌ | 情報処理方法、情報処理装置及びプログラム |
-
2017
- 2017-10-30 JP JP2017208805A patent/JP6904215B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202882A (ja) * | 2006-02-03 | 2007-08-16 | Advanced Telecommunication Research Institute International | 活動補助システム |
JP2007312824A (ja) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
WO2010004698A1 (ja) * | 2008-07-11 | 2010-01-14 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2010205099A (ja) * | 2009-03-05 | 2010-09-16 | Univ Of Miyazaki | 眼電位を用いたマウスカーソル制御システム |
WO2011055505A1 (ja) * | 2009-11-09 | 2011-05-12 | パナソニック株式会社 | 注意状態判定装置、方法およびプログラム |
JP2015213734A (ja) * | 2014-04-21 | 2015-12-03 | 株式会社ジェイアイエヌ | プログラム、情報処理装置、及びアイウエア |
WO2016158574A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社ジェイアイエヌ | 視線移動検出方法、プログラム、情報処理装置及びアイウエア |
JP2017049775A (ja) * | 2015-09-01 | 2017-03-09 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP2017070602A (ja) * | 2015-10-08 | 2017-04-13 | 株式会社ジェイアイエヌ | 情報処理方法、情報処理装置及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089544A (ja) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
JP7320261B2 (ja) | 2019-12-03 | 2023-08-03 | 株式会社Agama-X | 情報処理システム、方法、及びプログラム |
CN115067944A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市心流科技有限公司 | 一种眼动状态评估方法、装置、终端设备及存储介质 |
CN115067944B (zh) * | 2022-08-22 | 2022-11-11 | 深圳市心流科技有限公司 | 一种眼动状态评估方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6904215B2 (ja) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10955919B2 (en) | Wearable device and method of operating the same | |
CN110352033B (zh) | 用眼睛追踪装置确定眼睛睁开度 | |
US8730332B2 (en) | Systems and methods for ergonomic measurement | |
CN104391574A (zh) | 视线处理方法、系统、终端设备及穿戴式设备 | |
US20130110004A1 (en) | User posture detection | |
Uema et al. | JINS MEME algorithm for estimation and tracking of concentration of users | |
CN103941854A (zh) | 眼镜型操作器件、眼镜型操作系统和电子设备 | |
EP3203464A1 (en) | Control device, control method, and program | |
JP2019082776A (ja) | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 | |
JP2012216123A (ja) | ヘッドマウントディスプレイ及びこれに用いられるプログラム | |
CN105700140A (zh) | 瞳距可调的沉浸式视频系统 | |
CN104635357A (zh) | 一种智能眼镜 | |
CN110262074A (zh) | 一种智能护眼仪 | |
Min et al. | Tiger: Wearable glasses for the 20-20-20 rule to alleviate computer vision syndrome | |
US11137600B2 (en) | Display device, display control method, and display system | |
CN106959836A (zh) | 一种控制方法及装置 | |
JP2016200753A (ja) | 画像表示装置 | |
CN111708166A (zh) | 一种度数调节方法、装置和头戴显示设备 | |
JP2015202197A (ja) | 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム | |
WO2015159850A1 (ja) | 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム | |
JP2015202183A (ja) | 検出制御装置、装着具、眼電位情報処理システム、及びプログラム | |
US11409369B2 (en) | Wearable user interface control system, information processing system using same, and control program | |
JP2018018163A (ja) | 入力装置 | |
KR101297330B1 (ko) | 기준전압 피드백 기반 안구전도 신호를 이용한 안구 운동 측정 방법 | |
WO2016051429A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |