JP2021506052A5 - - Google Patents

Download PDF

Info

Publication number
JP2021506052A5
JP2021506052A5 JP2020550959A JP2020550959A JP2021506052A5 JP 2021506052 A5 JP2021506052 A5 JP 2021506052A5 JP 2020550959 A JP2020550959 A JP 2020550959A JP 2020550959 A JP2020550959 A JP 2020550959A JP 2021506052 A5 JP2021506052 A5 JP 2021506052A5
Authority
JP
Japan
Prior art keywords
control unit
gesture
data
control system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020550959A
Other languages
English (en)
Other versions
JP2021506052A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/IL2018/051335 external-priority patent/WO2019111257A1/en
Publication of JP2021506052A publication Critical patent/JP2021506052A/ja
Publication of JP2021506052A5 publication Critical patent/JP2021506052A5/ja
Priority to JP2023188271A priority Critical patent/JP2024012497A/ja
Pending legal-status Critical Current

Links

Claims (13)

  1. コンピュータを操作するための制御システムであって、
    ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
    第1の出力モジュールと、
    前記カメラおよび前記コンピュータとデータ通信する制御ユニットであって、
    (i)前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
    (ii)階層的なユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
    (iii)ユーザに前記メニュー項目を提示するように前記第1の出力モジュールを駆動する、ように動作可能な制御ユニットと、を具え、
    前記第1の出力モジュールは、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、所定のジェスチャを有する項目を選択できるように構成され、
    第1のメニュー項目が時間t でアナウンスされ、第2のメニュー項目が時間t でアナウンスされ、前記所定のジェスチャがt <t<t で行われる場合に前記第1のメニュー項目が選択され、前記所定のジェスチャがt <t<t で行われる場合に前記第2のメニュー項目が選択される、ことを特徴とする制御システム。
  2. 請求項1に記載の制御システムにおいて、
    前記分類は機械学習技術を使用することを特徴とする制御システム。
  3. 請求項1または2に記載の制御システムにおいて、
    前記制御ユニットは、
    生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
    前記少なくとも1つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
  4. 請求項1〜3のいずれか一項に記載の制御システムにおいて、
    前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むことを特徴とする制御システム。
  5. 請求項1〜4のいずれか一項に記載の制御システムにおいて、
    前記制御ユニットは、少なくとも1つの生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、前記制御ユニットは、
    少なくとも1つの生理学的データを受信して処理し、それを少なくとも1つのコマンドに分類し、前記少なくとも1つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
    前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
  6. 請求項5に記載の制御システムにおいて、前記センサは、脳波記録(EEG)デバイスであることを特徴とする制御システム。
  7. 請求項1〜6のいずれか一項に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
  8. 請求項1〜7のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
  9. 請求項1〜8のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の2回以上のまぶたの瞬きを含むことを特徴とするシステム。
  10. 請求項1〜9のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力する前記出力モジュールを駆動するよう構成されていることを特徴とするシステム。
  11. 眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
    前記制御ユニットが、
    (i)前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらを瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの1つまたは複数を含むジェスチャに分類し、ジェスチャデータを生成し、
    (ii)階層的なユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
    (iii)第1の出力モジュールを駆動して、時間ベースのプロンプトメニューの音声的提示をユーザに提供して、所定のジェスチャを有する項目を選択できる、ように動作可能であり、
    第1のメニュー項目が時間t でアナウンスされ、第2のメニュー項目が時間t でアナウンスされ、前記所定のジェスチャがt <t<t で行われる場合に前記第1のメニュー項目が選択され、前記所定のジェスチャがt <t<t で行われる場合に前記第2のメニュー項目が選択される、ことを特徴とする制御ユニット。
  12. 請求項11に記載の制御ユニットにおいて、
    前記制御ユニットが、生理学的パラメータを測定するための少なくとも1つのセンサとデータ通信し、
    前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御することを特徴とする制御ユニット。
  13. 請求項11または12に記載の制御ユニットにおいて、
    前記ジェスチャは、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの1つ以上を含み、ジェスチャデータ生成することを特徴とする制御ユニット。
JP2020550959A 2017-12-07 2018-12-06 コミュニケーション方法及びシステム Pending JP2021506052A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023188271A JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762595694P 2017-12-07 2017-12-07
US62/595,694 2017-12-07
US201862642048P 2018-03-13 2018-03-13
US62/642,048 2018-03-13
US201862755680P 2018-11-05 2018-11-05
US62/755,680 2018-11-05
PCT/IL2018/051335 WO2019111257A1 (en) 2017-12-07 2018-12-06 Communication methods and systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023188271A Division JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Publications (2)

Publication Number Publication Date
JP2021506052A JP2021506052A (ja) 2021-02-18
JP2021506052A5 true JP2021506052A5 (ja) 2022-01-11

Family

ID=64665588

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020550959A Pending JP2021506052A (ja) 2017-12-07 2018-12-06 コミュニケーション方法及びシステム
JP2023188271A Pending JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023188271A Pending JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Country Status (6)

Country Link
US (1) US11612342B2 (ja)
EP (1) EP3721320B1 (ja)
JP (2) JP2021506052A (ja)
CN (1) CN111656304B (ja)
IL (1) IL275071B2 (ja)
WO (1) WO2019111257A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457860B2 (en) * 2018-07-09 2022-10-04 Cheng Qian Human-computer interactive device and method
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2021156753A1 (en) * 2020-02-04 2021-08-12 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for determining the intention of performing a voluntary action
IL285071B2 (en) * 2021-07-22 2023-05-01 Eyefree Assisting Communication Ltd A system and method for monitoring the cognitive state of a patient based on eye and brain activity
EP4373388A1 (en) 2021-07-22 2024-05-29 Eyefree Assisting Communication Ltd. A system for communication with a patient based on the determined sedation state
US20240019930A1 (en) * 2021-10-28 2024-01-18 Lifedrive Llc Drive Manager For Power Wheelchair And Related Methods
CN117519487B (zh) * 2024-01-05 2024-03-22 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JPH10187334A (ja) * 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP2000137789A (ja) 1998-10-29 2000-05-16 Sharp Corp 画像処理装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP3673834B2 (ja) 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7488294B2 (en) 2004-04-01 2009-02-10 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP4654434B2 (ja) 2004-11-24 2011-03-23 国立大学法人佐賀大学 視線方向特定システム
EP1943583B1 (en) 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
CN101336089A (zh) 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
JP5167545B2 (ja) 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
JP4685708B2 (ja) 2006-05-22 2011-05-18 富士通株式会社 携帯端末装置
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
CN101893934A (zh) 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP2012048358A (ja) 2010-08-25 2012-03-08 Sony Corp 閲覧機器、情報処理方法およびプログラム
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
KR101355895B1 (ko) 2011-10-20 2014-02-05 경북대학교 산학협력단 사용자 의도 판단 장치 및 그 방법
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US9171198B1 (en) 2012-04-02 2015-10-27 Google Inc. Image capture technique
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
JP6195462B2 (ja) 2013-04-01 2017-09-13 矢崎総業株式会社 ヒューズユニット
KR102163996B1 (ko) 2013-04-03 2020-10-13 삼성전자 주식회사 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
KR102181897B1 (ko) 2013-05-09 2020-11-23 에스케이플래닛 주식회사 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
US20140368442A1 (en) 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US20140375541A1 (en) 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
KR101549645B1 (ko) * 2014-01-28 2015-09-03 영남대학교 산학협력단 표정 동작사전을 이용한 표정인식 방법 및 장치
EP3228983A1 (en) * 2014-05-05 2017-10-11 Hexagon Technology Center GmbH Surveying system
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
EP3809241B1 (en) * 2015-03-10 2023-12-13 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
NZ740299A (en) * 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation using eye pose measurement
US10976813B2 (en) 2016-06-13 2021-04-13 Apple Inc. Interactive motion-based eye tracking calibration

Similar Documents

Publication Publication Date Title
JP2021506052A5 (ja)
JP7492951B2 (ja) ユーザ相互作用の高速且つ正確な追跡を使用する人間/コンピュータインターフェース
JP6929366B2 (ja) ドライバ監視及び応答システム
US12001602B2 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP6815486B2 (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
US20200310541A1 (en) Systems and methods for control schemes based on neuromuscular data
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
JP2024075573A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース
CN110968189B (zh) 作为认知控制信号的瞳孔调制
JP2024012497A (ja) コミュニケーション方法及びシステム
CN110023816A (zh) 辨别情绪或心理状态的系统
US20230147864A1 (en) Voice-based control of sexual stimulation devices
Dietrich et al. Towards EEG-based eye-tracking for interaction design in head-mounted devices
CN116133594A (zh) 基于声音的注意力状态评价
CN115698989A (zh) 用于认证头戴式显示器的用户的系统和方法
US11771618B2 (en) Adaptive speech and biofeedback control of sexual stimulation devices
US20220331196A1 (en) Biofeedback-based control of sexual stimulation devices
CN112970056B (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
US20230418372A1 (en) Gaze behavior detection
D'Adamo et al. Novel BCI paradigm for ALS patients based on EEG and Pupillary Accommodative Response
CN116964545A (zh) 用于信号传递认知状态转换的系统和方法
WO2024054329A1 (en) Inertial sensing of tongue gestures
AU2022293326A1 (en) Virtual reality techniques for characterizing visual capabilities