JP2021506052A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2021506052A5 JP2021506052A5 JP2020550959A JP2020550959A JP2021506052A5 JP 2021506052 A5 JP2021506052 A5 JP 2021506052A5 JP 2020550959 A JP2020550959 A JP 2020550959A JP 2020550959 A JP2020550959 A JP 2020550959A JP 2021506052 A5 JP2021506052 A5 JP 2021506052A5
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- gesture
- data
- control system
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 Pupil Anatomy 0.000 claims 11
- 210000000744 Eyelids Anatomy 0.000 claims 8
- 238000000034 method Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 claims 2
- 210000003205 Muscles Anatomy 0.000 claims 1
- 210000003491 Skin Anatomy 0.000 claims 1
- 230000004397 blinking Effects 0.000 claims 1
- 230000000875 corresponding Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 claims 1
- 230000000241 respiratory Effects 0.000 claims 1
Claims (13)
- コンピュータを操作するための制御システムであって、
ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
第1の出力モジュールと、
前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
(i)前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
(ii)階層的なユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
(iii)ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
前記第1の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、所定のジェスチャを有する項目を選択できるように構成され、
第1のメニュー項目が時間t 1 でアナウンスされ、第2のメニュー項目が時間t 3 でアナウンスされ、前記所定のジェスチャがt 1 <t<t 2 で行われる場合に前記第1のメニュー項目が選択され、前記所定のジェスチャがt 3 <t<t 4 で行われる場合に前記第2のメニュー項目が選択される、ことを特徴とする制御システム。 - 請求項1に記載の制御システムにおいて、
前記分類は機械学習技術を使用することを特徴とする制御システム。 - 請求項1または2に記載の制御システムにおいて、
前記制御ユニットは、
生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。 - 請求項1〜3のいずれか一項に記載の制御システムにおいて、
前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むことを特徴とする制御システム。 - 請求項1〜4のいずれか一項に記載の制御システムにおいて、
前記制御ユニットは、少なくとも1つの生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、前記制御ユニットは、
少なくとも1つの生理学的データを受信して処理し、それを少なくとも1つのコマンドに分類し、前記少なくとも1つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。 - 請求項5に記載の制御システムにおいて、前記センサは、脳波記録(EEG)デバイスであることを特徴とする制御システム。
- 請求項1〜6のいずれか一項に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
- 請求項1〜7のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
- 請求項1〜8のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の2回以上のまぶたの瞬きを含むことを特徴とするシステム。
- 請求項1〜9のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力する前記出力モジュールを駆動するよう構成されていることを特徴とするシステム。
- 眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
前記制御ユニットが、
(i)前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
(ii)階層的なユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
(iii)第1の出力モジュールを駆動して、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、所定のジェスチャを有する項目を選択できる、ように動作可能であり、
第1のメニュー項目が時間t 1 でアナウンスされ、第2のメニュー項目が時間t 3 でアナウンスされ、前記所定のジェスチャがt 1 <t<t 2 で行われる場合に前記第1のメニュー項目が選択され、前記所定のジェスチャがt 3 <t<t 4 で行われる場合に前記第2のメニュー項目が選択される、ことを特徴とする制御ユニット。 - 請求項11に記載の制御ユニットにおいて、
前記制御ユニットが、生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御することを特徴とする制御ユニット。 - 請求項11または12に記載の制御ユニットにおいて、
前記ジェスチャは、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1つ以上を含み、ジェスチャデータ生成することを特徴とする制御ユニット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023188271A JP2024012497A (ja) | 2017-12-07 | 2023-11-02 | コミュニケーション方法及びシステム |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762595694P | 2017-12-07 | 2017-12-07 | |
US62/595,694 | 2017-12-07 | ||
US201862642048P | 2018-03-13 | 2018-03-13 | |
US62/642,048 | 2018-03-13 | ||
US201862755680P | 2018-11-05 | 2018-11-05 | |
US62/755,680 | 2018-11-05 | ||
PCT/IL2018/051335 WO2019111257A1 (en) | 2017-12-07 | 2018-12-06 | Communication methods and systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188271A Division JP2024012497A (ja) | 2017-12-07 | 2023-11-02 | コミュニケーション方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021506052A JP2021506052A (ja) | 2021-02-18 |
JP2021506052A5 true JP2021506052A5 (ja) | 2022-01-11 |
Family
ID=64665588
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550959A Pending JP2021506052A (ja) | 2017-12-07 | 2018-12-06 | コミュニケーション方法及びシステム |
JP2023188271A Pending JP2024012497A (ja) | 2017-12-07 | 2023-11-02 | コミュニケーション方法及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023188271A Pending JP2024012497A (ja) | 2017-12-07 | 2023-11-02 | コミュニケーション方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11612342B2 (ja) |
EP (1) | EP3721320B1 (ja) |
JP (2) | JP2021506052A (ja) |
CN (1) | CN111656304B (ja) |
IL (1) | IL275071B2 (ja) |
WO (1) | WO2019111257A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11457860B2 (en) * | 2018-07-09 | 2022-10-04 | Cheng Qian | Human-computer interactive device and method |
WO2020018938A1 (en) * | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
WO2021156753A1 (en) * | 2020-02-04 | 2021-08-12 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for determining the intention of performing a voluntary action |
IL285071B2 (en) * | 2021-07-22 | 2023-05-01 | Eyefree Assisting Communication Ltd | A system and method for monitoring the cognitive state of a patient based on eye and brain activity |
EP4373388A1 (en) | 2021-07-22 | 2024-05-29 | Eyefree Assisting Communication Ltd. | A system for communication with a patient based on the determined sedation state |
US20240019930A1 (en) * | 2021-10-28 | 2024-01-18 | Lifedrive Llc | Drive Manager For Power Wheelchair And Related Methods |
CN117519487B (zh) * | 2024-01-05 | 2024-03-22 | 安徽建筑大学 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4836670A (en) | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
US4973149A (en) | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
US4950069A (en) | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
JPH0749744A (ja) | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
US5912721A (en) | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
JPH10187334A (ja) * | 1996-12-26 | 1998-07-14 | Canon Inc | 情報入力方法および情報入力装置と情報入力用記憶媒体 |
US6351273B1 (en) | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
JP2000137789A (ja) | 1998-10-29 | 2000-05-16 | Sharp Corp | 画像処理装置 |
US6456262B1 (en) | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
JP3673834B2 (ja) | 2003-08-18 | 2005-07-20 | 国立大学法人山口大学 | 眼球運動を用いた視線入力コミュニケーション方法 |
US20110077548A1 (en) * | 2004-04-01 | 2011-03-31 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US7488294B2 (en) | 2004-04-01 | 2009-02-10 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
JP4654434B2 (ja) | 2004-11-24 | 2011-03-23 | 国立大学法人佐賀大学 | 視線方向特定システム |
EP1943583B1 (en) | 2005-10-28 | 2019-04-10 | Tobii AB | Eye tracker with visual feedback |
CN101336089A (zh) | 2006-01-26 | 2008-12-31 | 诺基亚公司 | 眼睛跟踪器设备 |
JP5167545B2 (ja) | 2006-03-31 | 2013-03-21 | 国立大学法人静岡大学 | 視点検出装置 |
JP4685708B2 (ja) | 2006-05-22 | 2011-05-18 | 富士通株式会社 | 携帯端末装置 |
CN101681201B (zh) * | 2008-01-25 | 2012-10-17 | 松下电器产业株式会社 | 脑波接口系统、脑波接口装置、方法 |
US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
WO2010083853A1 (en) * | 2009-01-26 | 2010-07-29 | Tobii Technology Ab | Detection of gaze point assisted by optical reference signals |
US10019634B2 (en) * | 2010-06-04 | 2018-07-10 | Masoud Vaziri | Method and apparatus for an eye tracking wearable computer |
CN101893934A (zh) | 2010-06-25 | 2010-11-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种智能调整屏幕显示的方法和装置 |
US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
JP2012048358A (ja) | 2010-08-25 | 2012-03-08 | Sony Corp | 閲覧機器、情報処理方法およびプログラム |
WO2012083415A1 (en) | 2010-11-15 | 2012-06-28 | Tandemlaunch Technologies Inc. | System and method for interacting with and analyzing media on a display using eye gaze tracking |
US8888287B2 (en) | 2010-12-13 | 2014-11-18 | Microsoft Corporation | Human-computer interface system having a 3D gaze tracker |
US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US20130022947A1 (en) * | 2011-07-22 | 2013-01-24 | Muniz Simas Fernando Moreira | Method and system for generating behavioral studies of an individual |
KR101355895B1 (ko) | 2011-10-20 | 2014-02-05 | 경북대학교 산학협력단 | 사용자 의도 판단 장치 및 그 방법 |
US8955973B2 (en) * | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
US9171198B1 (en) | 2012-04-02 | 2015-10-27 | Google Inc. | Image capture technique |
KR101850035B1 (ko) * | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9823742B2 (en) | 2012-05-18 | 2017-11-21 | Microsoft Technology Licensing, Llc | Interaction and management of devices using gaze detection |
US10444836B2 (en) | 2012-06-07 | 2019-10-15 | Nook Digital, Llc | Accessibility aids for users of electronic devices |
TWI471808B (zh) * | 2012-07-20 | 2015-02-01 | Pixart Imaging Inc | 瞳孔偵測裝置 |
US9380287B2 (en) * | 2012-09-03 | 2016-06-28 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Head mounted system and method to compute and render a stream of digital images using a head mounted display |
US9007301B1 (en) * | 2012-10-11 | 2015-04-14 | Google Inc. | User interface |
JP6195462B2 (ja) | 2013-04-01 | 2017-09-13 | 矢崎総業株式会社 | ヒューズユニット |
KR102163996B1 (ko) | 2013-04-03 | 2020-10-13 | 삼성전자 주식회사 | 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치 |
KR102181897B1 (ko) | 2013-05-09 | 2020-11-23 | 에스케이플래닛 주식회사 | 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 |
US20140368442A1 (en) | 2013-06-13 | 2014-12-18 | Nokia Corporation | Apparatus and associated methods for touch user input |
US20140375541A1 (en) | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
WO2015044851A2 (en) * | 2013-09-25 | 2015-04-02 | Mindmaze Sa | Physiological parameter measurement and feedback system |
CN104679226B (zh) * | 2013-11-29 | 2019-06-25 | 上海西门子医疗器械有限公司 | 非接触式医疗控制系统、方法及医疗设备 |
KR101549645B1 (ko) * | 2014-01-28 | 2015-09-03 | 영남대학교 산학협력단 | 표정 동작사전을 이용한 표정인식 방법 및 장치 |
EP3228983A1 (en) * | 2014-05-05 | 2017-10-11 | Hexagon Technology Center GmbH | Surveying system |
US9411417B2 (en) * | 2014-07-07 | 2016-08-09 | Logitech Europe S.A. | Eye gaze tracking system and method |
EP3809241B1 (en) * | 2015-03-10 | 2023-12-13 | Eyefree Assisting Communication Ltd. | System and method for enabling communication through eye feedback |
US20170115742A1 (en) * | 2015-08-01 | 2017-04-27 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
NZ740299A (en) * | 2015-08-21 | 2019-08-30 | Magic Leap Inc | Eyelid shape estimation using eye pose measurement |
US10976813B2 (en) | 2016-06-13 | 2021-04-13 | Apple Inc. | Interactive motion-based eye tracking calibration |
-
2018
- 2018-12-06 EP EP18819473.2A patent/EP3721320B1/en active Active
- 2018-12-06 CN CN201880088114.2A patent/CN111656304B/zh active Active
- 2018-12-06 JP JP2020550959A patent/JP2021506052A/ja active Pending
- 2018-12-06 WO PCT/IL2018/051335 patent/WO2019111257A1/en active Search and Examination
- 2018-12-06 US US16/770,592 patent/US11612342B2/en active Active
- 2018-12-06 IL IL275071A patent/IL275071B2/en unknown
-
2023
- 2023-11-02 JP JP2023188271A patent/JP2024012497A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021506052A5 (ja) | ||
JP7492951B2 (ja) | ユーザ相互作用の高速且つ正確な追跡を使用する人間/コンピュータインターフェース | |
JP6929366B2 (ja) | ドライバ監視及び応答システム | |
US12001602B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
JP6815486B2 (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
US20200310541A1 (en) | Systems and methods for control schemes based on neuromuscular data | |
CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
JP2024075573A (ja) | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース | |
CN110968189B (zh) | 作为认知控制信号的瞳孔调制 | |
JP2024012497A (ja) | コミュニケーション方法及びシステム | |
CN110023816A (zh) | 辨别情绪或心理状态的系统 | |
US20230147864A1 (en) | Voice-based control of sexual stimulation devices | |
Dietrich et al. | Towards EEG-based eye-tracking for interaction design in head-mounted devices | |
CN116133594A (zh) | 基于声音的注意力状态评价 | |
CN115698989A (zh) | 用于认证头戴式显示器的用户的系统和方法 | |
US11771618B2 (en) | Adaptive speech and biofeedback control of sexual stimulation devices | |
US20220331196A1 (en) | Biofeedback-based control of sexual stimulation devices | |
CN112970056B (zh) | 使用高速和精确的用户交互跟踪的人类-计算机接口 | |
US20230418372A1 (en) | Gaze behavior detection | |
D'Adamo et al. | Novel BCI paradigm for ALS patients based on EEG and Pupillary Accommodative Response | |
CN116964545A (zh) | 用于信号传递认知状态转换的系统和方法 | |
WO2024054329A1 (en) | Inertial sensing of tongue gestures | |
AU2022293326A1 (en) | Virtual reality techniques for characterizing visual capabilities |