JP2021506052A - コミュニケーション方法及びシステム - Google Patents

コミュニケーション方法及びシステム Download PDF

Info

Publication number
JP2021506052A
JP2021506052A JP2020550959A JP2020550959A JP2021506052A JP 2021506052 A JP2021506052 A JP 2021506052A JP 2020550959 A JP2020550959 A JP 2020550959A JP 2020550959 A JP2020550959 A JP 2020550959A JP 2021506052 A JP2021506052 A JP 2021506052A
Authority
JP
Japan
Prior art keywords
control unit
user
data
gesture
output module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020550959A
Other languages
English (en)
Other versions
JP2021506052A5 (ja
Inventor
コーンベルグ，イタイ
レズキン，オル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyefree Assisting Communication Ltd
Original Assignee
Eyefree Assisting Communication Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyefree Assisting Communication Ltd filed Critical Eyefree Assisting Communication Ltd
Publication of JP2021506052A publication Critical patent/JP2021506052A/ja
Publication of JP2021506052A5 publication Critical patent/JP2021506052A5/ja
Priority to JP2023188271A priority Critical patent/JP2024012497A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本開示は、眼をトラッキングすること、および／または個人によって生成された他の生理学的信号をトラッキングすることを通して個人とインタフェースする制御システムを提供する。本システムは、取り込まれた眼の画像をジェスチャに分類するよう構成されており、ジェスチャはコンピュータのジョイスティックのような制御を模倣する。これらのジェスチャにより、ユーザは、たとえばメニュー項目を備えたコンピュータまたはシステムを操作できる。【選択図】図１Ｂ

Description

本開示は、個人が、個人の眼または他の生理学的パラメータのいずれか１つまたは組み合わせをトラッキングすることにより、コミュニケーションモジュールまたは他のユーティリティを操作することを可能にするシステムに関する。
ユーザの眼をトラッキングすることによってユーザとコミュニケーションを可能にするシステムおよび方法は既知である。
ＷＯ２０１６１４２９３３は、一連のコミュニケーションオプションをユーザに選択的に提示する選択インタフェースを備えたそのようなシステムを開示している。光センサが、ユーザの眼から反射した光を検出して相関信号を提供し、この相関信号は、ユーザの頭に対する相対的な眼の向きを判断するために処理される。判断された相対的な眼の向きに基づいて、選択されたコミュニケーションオプションが決定され、実装される。
本開示は、眼をトラッキングすることによって、および／または個人によって生成された他の生理学的信号をトラッキングすることによって個人とインタフェースするコンピュータ化されたシステムに関する。換言すれば、それは、眼および／またはまぶたの動きをトラッキングするように構成されたカメラに関連付けられた制御ユニットを有するユーティリティを含み、別の生理学的パラメータをトラッキングするように構成されたユーティリティをさらに含み得るシステムである。本システムは、一実施形態によれば、捕捉された眼の画像をジェスチャに分類するように構成され、ジェスチャは、瞳孔位置または視線方向、一連の方向性眼球運動、まぶたのまばたきなどである。これらのジェスチャユーザが操作できるようにする。たとえば、メニュー項目のあるコンピュータまたはシステムである。このようにして、眼の動きは、例えば、ユーザがメニューをナビゲートしたり、画面上のカーソルを眼の動きで動かしたり、所定の時間に特定の位置に眼を固定したり、またはシステムは、他の生理学的データを分類し、それらをコンピュータで読み取り可能なコマンドに変換したり、１つまたは複数の周辺機器を操作するように構成したりすることもできる。例えば、本システムは、定義された眼のジェスチャを実行するか、所定の呼吸パターンを実行するか、身体の一部を移動することによって画面上のカーソルを移動するか、呼吸動作によって項目を選択するか、または電気生理学的一般に、本開示のシステムは、ユーザがジョイスティックの方法に似た方法でコンピュータを操作することを可能にする。本開示のジョイスティックのようなアプローチによって、唯一の基準点は眼の画像をキャプチャするカメラであり、ユーザが見ている、または角膜反射での正確な位置または位置を検出する必要がない。また、本開示によれば、通常、使用前に画面を使用する較正手順は必要ない（実際、システムを使用してコミュニケーションするために画面を使用する必要はない）。
一部の実施形態によれば、メニューは画面上でユーザに提示されず、メニューおよび項目選択を介したユーザのナビゲーションは、（例えば、所定の、または以前にユーザに紹介または提示されたメニューに基づいて）画面なしで実行される。
いくつかの実施形態によれば、メニューは、例えば、フィードバックまたは指示がユーザに提供される最初の導入段階の間だけ、画面上でユーザに提示される。前記段階は、分、時間、週および月のスケールでの任意の時間枠である。
一部の実施形態によれば、ユーザがコンピュータを操作することを可能にするジェスチャは、ユーザが特定の場所を見ているジェスチャ（視線）ではなく、定義された方向での一般的な表示（アイジェスチャ）である。例えば、ユーザが特定の物理的または仮想オブジェクトに視線を向けていなくても、一般的な左凝視はジェスチャとして機能する。
通常、本開示のシステムの動作は、照明条件に依存しない。
一部の実施形態によれば、ジェスチャの分類は、機械学習技術の使用に基づく。具体的には、機械学習モデルは、複数の線形変換層とそれに続く要素ごとの非線形性で構成されるニューラルネットワークモデルである。分類は、個々のユーザまたはユーザ全体の眼の特徴付けを含むことができる。いくつかの実施形態によって、分類は眼の動きの範囲を推定する。
一実施形態により、本システムは、本システム（本明細書では「ユーザ」）を使用する個人が、ユーザに提示されるメニューをナビゲートすることを可能にする。メニューの提示は、（スピーカ、イヤホン、ヘッドホン、埋め込み型可聴装置などによる）可聴提示、または（画面上のディスプレイ、個人の目の前の小さなディスプレイなどによる）視覚提示である。メニューは階層的であり、すなわち、メニュー項目を選択すると、他の下位階層の選択可能なオプションが開く。例として、選択可能なメニュー項目のより高い階層により、ユーザはいくつかの文字グループ（たとえば、文字Ａ〜Ｆから成る１つのグループ、文字Ｇ〜Ｍの２番目のグループなど）の１つを選択でき、一度選択すると、ユーザには別の文字グループの１つを選択する機能が表示される（例えば、最初のグループが選択されている場合、ユーザはＡ、Ｂ、Ｃ、またはＤ〜Ｆから選択するオプションを与えており、Ｄ〜Ｆが選択されている場合、ユーザは、その人の選択のために個々の文字が表示される）。しかしながら、選択はまた、プロンプト駆動とすることができ、すなわち、ユーザは、特定の選択のために特定の方向に眼を動かすように促される。
いくつかの実施形態によって、メニュー項目またはその一部は、特定のニーズに合わせてカスタマイズすることができる。これは、例えばユーザまたは介護者インタフェースを介して、局所的に達成され、または、例えばリモートサーバによってリモートで達成される。
メニュー項目またはその一部は、システムまたは制御ユニットによってユーザに提案され得る。メニュー項目またはその一部は、周囲環境から受け取った入力に基づいて、ユーザに提案したり、ユーザに提示したりすることもできる。
いくつかの実施形態では、制御ユニットは、（例えば、自然言語処理によって）音声データを受信して処理する。例えば、ユーザが他の人、例えば介護者に質問されると、制御ユニットが、医師の発話を受信して処理し、他の人の発話の文脈分析に基づいて応答を提案する。本開示のシステムは、他の方法ではコミュニケーションできない麻痺した個人が、介護者や、警報システム、視聴覚システム、コンピュータなどの周辺機器を含む彼らの周囲環境とコミュニケーションすることを許可するのに有用である。個人の１つのターゲットとするグループはＡＬＳの患者であり、彼らの病気が進行すると、手足や他の筋肉を動かす能力や、音声を話したり表示したりする能力が失われる。本システムは、集中治療室の患者、一時的または永続的な呼吸補助を受けている患者など、一時的なコミュニケーション障害のある個人にも役立つ。
本開示の実施形態によって提供されるのは、コンピュータを操作するための制御システムであり、それは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように構成されたカメラと、カメラおよびコンピュータとデータ通信する制御ユニットとを具える。制御ユニットは、画像データを受信および処理し、これらを、コンピュータのジョイスティックのような制御を模倣することを目的とするジェスチャに分類するように動作可能である。
本明細書で説明するジョイスティックのような制御という用語は、瞳孔領域の位置をトラッキングすることを含むジェスチャの分類を指す。
本開示の文脈における瞳孔領域は、瞳孔を示すものとして識別される瞳孔またはその任意の部分である。
いくつかの実施形態では、瞳孔領域の位置は、ラベル付けされたジェスチャを伴う画像データを含むデータベースに基づいて決定される。前記画像データは、ユーザ自身または他のユーザまたはユーザのグループから取得される。いくつかの実施形態では、前記ラベル付けされたデータベースに基づく瞳孔領域の位置は、機械学習技術、例えば、特定のジェスチャに対応する所定の画像データの可能性を考慮したモデルを利用することによって決定される。
いくつかの実施形態によって、瞳孔領域の位置は、閾値マップ内のその位置に基づいて決定され、特定の位置は、瞳孔領域が閾値マップの境界または境界の接線に接するときはいつでも決定される。例えば、瞳孔領域が閾値マップの上部境界に接すると、画像データは「アップ」ジェスチャとして分類され、または、瞳孔領域が閾値マップの境界に触れない場合、画像データは「まっすぐ」なジェスチャとして分類される。閾値マップは、瞳孔領域の運動範囲内にある領域を含む位置マップから導出され得る。一例として、位置マップは、瞳孔領域の上部、下部、左端、および右端の位置によって定義される長方形として定義される。いくつかの実施形態では、閾値マップは、位置マップの中心から少なくとも２０％、４０％、６０％、８０％、９０％、９５％離れている境界によって制限されたエリアをカバーする。閾値マップは通常、位置マップの中心から少なくとも８０％離れている。位置マップは、ユーザの画像データ、または、ラベル付きのジェスチャ付きまたは無しの画像データを含むデータベースに基づいて取得され得る。任意選択的に、位置マップは、眼の解剖学的特徴またはその周囲に基づいて定義された、より大きな関心領域（ＲＯＩ）内にある。
いくつかの実施形態によって、本システムは、ユーザが他のジェスチャの間にまっすぐなジェスチャを実行することを要求する。
いくつかの実施形態によって、瞬きジェスチャは暗いピクセルの領域として識別される。
いくつかの実施形態によって、少なくとも０．０５、０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、１、２、４、８、１０秒の間、瞳孔領域が閾値マップの境界または境界の接線に接すると、ジェスチャが分類される。
いくつかの実施形態では、カメラは赤外線カメラである。
さらに、制御ユニットは、他の生理学的測定を検出するための１つまたは複数のセンサとリンクされ、そのようなデバイスまたはセンサによって取得された生理学的信号を受信および処理し、これらをコンピュータ化されたコマンドに分類するように動作できる。
たとえば、（眼窩に対する瞳孔の位置によってトラッキングされる）眼の動きと、任意選択的にまぶたの瞬きとを介して、ユーザは選択可能なオプションをナビゲートし、それらを自由に選択することができる。これには、メニュー項目のナビゲーションと選択、ハイパーリンクのナビゲーションと選択などが含まれる。特定の非限定的な一実施形態によれば、瞳孔の方向性のある動きまたは位置は、所定の方向にカーソルを向けることができ、例えば、瞳孔の上向きの位置は、画面上のカーソルを上方向に、右の位置は右方向に、といったように動かすことができ、または代替的に、システムが定義する方向だけでなく、そのようなカーソルの移動方向をユーザが定義することができる。非限定的な実施形態として、ユーザの瞬き（またはユーザによって定義された他のジェスチャまたは生理学的パラメータ）は、カメラの動作を開始させ、その後の瞬きは、ユーザが選択可能なオプションを閲覧し、そのような瞬きによってオプションを選択できるようにする。別の例によれば、メニュー項目はユーザに音声で出力され、所望のメニュー項目が音声で出力されると、ユーザは瞬きして所望の項目を選択する。別の非限定的な実施形態によれば、能力が制限されたユーザは、自身の定義に基づいて、例えば「左」ジェスチャのみの単一のジェスチャを使用して本システムを操作することができる。また、例示的且つ非限定的な実施形態として、ユーザは、音声または視覚出力によって、例えば、ある選択では「アップ」（つまり上向き）、別の選択では「ダウン」といった、いくつかのオプションから選択するように促される。さらなる例示的且つ非限定的な実施形態により、ユーザは、（例えば、音声の読み出しを通じて）オプションを提示され、それにより、特定の選択肢が提示された場合、所定の時間、特定または非特定の方向を凝視し、一連の瞬きをし、まぶたを閉じるようにユーザに促す。後者は、例えば、文章を書くための文字をすばやく選択する場合に有用である。
いくつかの実施形態によって、ジェスチャのタイプ、ジェスチャの数、ジェスチャ持続時間、および対応するコマンドのいずれかが、ユーザまたは介護者によって定義される。
一部の実施形態では、一連の１、２、３または５回の瞬きにより、「助けを求める」項目を選択することができる。
いくつかの実施形態では、最大３０秒以内の一連の最大１０回の瞬きが項目を選択する。
いくつかの実施形態では、１、２、３、４、５、６、７、８、９、１０、３０秒間目を閉じると、本システムが休止モードになる。
制御ユニットは、本開示の実施形態によれば、（ｉ）前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、これらをジェスチャに分類するように構成されており、ジェスチャは、例えば瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンス、及びジェスチャデータの生成の１又はそれ以上を含み、（ｉｉ）ジェスチャデータを利用してコンピュータを動作させるよう構成されている。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。いくつかの実施形態では、音声出力モジュールは骨伝導補聴器である。
さらに、制御ユニットは、（ｉ）生理学的データを受信および処理し、これらをコマンドに分類し、コマンドは、例えば、（例えば、脳波記録（ＥＥＧ）装置を介して記録される）任意の電気生理学的マーカ、体性感覚、呼吸、声、動きのジェスチャまたはそれらの任意の組み合わせを含み、（ｉｉ）生理学的コマンドを利用してコンピュータを動作させるよう構成される。一実施形態により、前記制御システムにリンクされたコンピュータは、視覚または音声出力モジュールを動作させる。前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にする。
例えば、ＥＥＧ信号を、ＥＥＧコマンドが時間依存メニューでナビゲーションを開始するように記録することが可能であり、ナビゲーションメニューが所望のメニュー項目に到達すると、ユーザは、メニュー項目を選択する追加のＥＥＧコマンドを生成し得る。別の例によれば、ＥＥＧコマンドはシステムの開始をトリガーする。
本開示の別の実施形態によって提供されるのは、生理学的パラメータを測定するための少なくとも１つのセンサおよびコンピュータとのデータ通信用に構成された制御ユニットであり、制御ユニットは、前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらを分類してコマンドに変換し、対応するコマンドをコンピュータに送信するように動作可能であり、これにより、コンピュータの動作を制御する。
本開示の別の実施形態によって提供されるのは、カメラ、第１の出力モジュール、および典型的にはコンピュータまたはプロセッサを含む制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。制御ユニットは、カメラおよび第１出力モジュールとデータ通信し、（ｉ）瞳孔位置とまぶたの動きの少なくとも一方を特定し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１又はそれ以上を含むジェスチャに分類するために、上記の画像データを受信して処理し、ジェスチャデータを生成し、（ｉｉ）ユーザが前記ジェスチャデータによってナビゲートしてメニュー項目を選択できるようにする階層的なユーザ選択可能なメニュー項目を操作し、（ｉｉｉ）第１の出力モジュールを駆動してメニュー項目をユーザに提示するよう構成される。また任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信するよう構成される。制御ユニットはさらに、（ｉ）前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、（ｉｉ）ユーザが前記コマンドによってメニュー項目をナビゲートおよび選択できるように階層的なユーザ選択可能メニュー項目を操作し、（ｉｉｉ）最初の出力モジュールを駆動してユーザにメニュー項目を表示するよう構成される。第１の出力モジュールは、メニュー項目の視覚的提示または音声提示の一方または双方をユーザに提供するよう構成される。いくつかの実施形態では、音声提示モジュールは骨伝導補聴器である。
別の実施形態によって提供されるのは、上記段落で説明した実施形態のものと同様に、カメラ、第１の出力モジュール、および制御ユニットを含む、アイトラッキングベースのシステムである。カメラは、ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。コントロールユニットは、カメラおよび第１出力モジュールとデータ通信する。これは、カメラから受信した画像データに応答して画像データを処理し、瞳孔位置とまぶたの動きの少なくとも一方を識別し、これらを瞳孔位置、瞳孔の位置のシーケンス、まぶたのまばたきのシーケンスの１又はそれ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成され動作可能なデータプロセッサを含む。またそれは、前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され且つ動作可能なメニュージェネレータモジュールを含む。さらに、システムは、第１の出力モジュールを駆動して、メニュー項目の視覚または音声提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目をナビゲート且つ選択できるよう構成された第１のアクチュエータモジュールを具える。
任意選択的に、制御ユニットは、生理学的パラメータを測定するためのセンサとデータ通信し、センサから受信した生理学的データに応答し、前記生理学的データを処理してコマンドに分類するよう構成され且つ動作可能なデータプロセッサを具える。
前記ジェスチャは、瞳孔および瞬きの直線、中央、右、左、上および下の位置を含む。任意選択的に、ジェスチャは、２回以上のまぶたの瞬きのシーケンスを含む。例えば、瞳孔の正しい位置は、「入力」コマンドに分類できる。
ジェスチャは、当技術分野で知られている眼のジェスチャのいずれかまたは組み合わせから選択することができ、例えば、ジェスチャは、凝視（静止凝視）または一連の凝視、及びそれらの持続時間、凝視点及びクラスター並びにそれらの分布である。
（上記実施形態のいずれかの）システムは、警報信号（通常、音声信号および視覚信号の一方または双方）を出力するよう構成された出力モジュールを駆動するように動作可能である。
カメラは、ユーザの頭に取り付け可能なホルダに取り付けることができる。しかしながら、カメラはまた、ベッドのフレーム、医療器具を運ぶフレーム等のユーザの近くのフレームに取り付け得る。
前記メニュー項目は、階層的な方法で配置される。それらは、例えば、第１のメニュー項目の選択により、ユーザがその後、第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置され得る。このような「層」はそれぞれ、通常、最大５つの選択可能な項目であって、瞳孔の中央、右、左、上、下の位置によって選択可能な項目を含む。
追加または代替として、メニュー項目はプロンプトベースのシステムを介して選択され、例えば、ユーザは、視覚または音声プロンプトを通して、１つのメニュー項目の選択のために特定の方向を注視し、２番目の項目のために別の方向を注視するといったように指示される。
いくつかの実施形態では、メニュー項目はユーザ定義可能である。
システムは、第２の出力モジュール用のドライバを含む。そのようなモジュールは、アラートを生成するよう構成されたものであり、または、例えば、仮想アシスタント、スマートホームデバイス、家庭用空調システム、テレビ、音楽プレーヤ、通信デバイス、車椅子、タブレット、スマートフォン、ゲームアクセサリー等の周辺システムを操作するように構成されたものである。システムは、システム定義またはユーザ定義の特定のジェスチャ、例えば定義された瞬きのシーケンスを通じて、このような第２の出力モジュールを操作するよう構成される。
前記生理学的測定または生理学的データは、ユーザの神経、体性感覚、声、および呼吸器系ならびに選択された筋肉の動きから取得される任意の信号を含む、ユーザの身体から取得され得る任意の信号を指す。
生理学的パラメータを測定するためのこのようなセンサは、任意のセンサユーティリティまたは測定デバイス、マイク、肺活量計、電気皮膚反応（ＧＳＲ）デバイス、タッチまたは圧力プローブ、皮膚電気反応プローブ（皮膚コンダクタンスプローブ）、脳波（ＥＥＧ）デバイス、脳波検査（ＥＣｏＧ）デバイス、筋電図検査（ＥＭＧ）、心電図検査（ＥＯＧ）、および心電図用のデバイスである。センサによって記録されたデータは、コマンドに分類される。
前記コマンドは、任意の身体部分の動き（例えば、指のタップまたは応答ボタンの押下）、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力のいずれか１つまたはそれらの組み合わせである。
前記神経出力は、例えば、測定された誘発反応電位、または測定されたデータの時間または頻度に関連する任意のマーカである。
本開示のシステムのユーザは、ＡＬＳ患者、集中治療室の患者、閉じ込められた患者、口頭でコミュニケーションする能力のない患者といった必要とする個人である。
本明細書に開示される主題をよりよく理解し、それが実際にどのように実行され得るかを例示するために、実施形態は、添付の図面を参照して、非限定的な例としてのみここで説明される。
図１Ａは、本開示の実施形態によるシステムの概略ブロック図である。 図１Ｂは、本開示の実施形態によるシステムの概略ブロック図である。 図２は、本開示の別の実施形態によるシステムの概略ブロック図である。 図３Ａは、本開示の一態様による制御ユニットの概略ブロック図である。 図３Ｂは、本開示の一態様による制御ユニットの概略ブロック図である。 図４は、本開示の実施形態によるメニュー層の概略的な視覚的表現である。 図５は、本開示の別の実施形態によるメニュー層の概略的な視覚的表現である。 図６は、本開示の別の実施形態によるメニュー層の概略的な視覚的表現である。 図７は、本開示の実施形態による項目の選択のための時間ベースのプロンプトメニューの概略図である。 図８は、カメラ、骨伝導スピーカおよび制御ユニットを含む、アイトラッキングベースのシステムの一実施形態の概略図である。 図９は、瞳孔領域の位置が閾値マップ（最も内側の正方形）、位置マップ（中央の正方形）およびＲＯＩマップ（最も外側の正方形）に基づいて決定される、ジョイスティックのようなジェスチャ分類の一実施形態の概略図である。 図１０は、単一のジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。 図１１は、２つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。 図１２は、３つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の説明図である。 図１３は、４つのジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングの一実施形態の図である。 図１４は、５つのジェスチャ操作モードにおける眼のジェスチャとコマンドの間のマッピングの一実施形態の図である。
まず、本開示の実施形態によるシステムの概略ブロック図を示す図１Ａおよび１Ｂを参照する。アイトラッキングベースのシステム１００は、フレームに取り付けられた、またはユーザの頭に取り付けられたホルダに搭載されたカメラ１０２を具える。カメラ１０２は、ユーザの眼およびまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能である。システム１００は、典型的には第１の出力モジュール１０６を駆動するアクチュエータモジュール１０８を介して、カメラ１０２および第１の出力モジュール１０６とデータ通信する制御ユニット１０４を含む。出力モジュール１０６は、例えば、デジタル画面といった視覚表示装置、又は例えば、スピーカ、ヘッドフォン等の可聴デバイスである。
また、制御ユニット１０４は、カメラ１０２から画像データを受信および処理し、瞳孔位置およびまぶたの動きの少なくとも１つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されるプロセッサ１１０を含む。また、プロセッサ１１０は、アクチュエータモジュール１０８の動作を通じて、ユーザへのメニューの提示を駆動するメニュージェネレータ１１２を駆動するように構成される。これにより、ユーザは、上記のジェスチャデータによってメニュー項目を検索して選択できる。
図１Ｂは、本開示のシステムのブロック図を示しており、このシステムは、生理学的パラメータを測定するためのセンサ１１５（例えば、ＥＥＧ、筋電図（ＥＭＧ）、または頭部運動測定デバイス）とやりとりする。具体的には、デバイス１１５は、検出されたユーザの生理学的信号に基づいてコマンドを伝えるよう構成されている制御ユニット１０４とデータ通信する。生理学的信号は、分析し、システムの起動、検索プロセスの開始、メニュー項目の選択など、システム１００のコマンドに変換できる。
図２〜３では、図１Ａ及び１Ｂと同じ要素に、１００だけシフトされた参照番号が与えられた。例えば、図２の要素２０４は、図１Ａおよび図１Ｂの要素１０４と同じ機能を果たす。したがって、読者は、図１Ａ及び１Ｂの記載を参照して、それらの意味と機能を理解する。
図２のシステムは、図１Ａおよび図１Ｂのシステムとは異なっており、前者は、システムの一部である第２の出力ユニット２１６を駆動するように動作可能である第２のアクチュエータモジュール２１４も含んでおり、又は、警告デバイス、表示画面、ユーザの近くにある（カーテン、音楽プレーヤ、ライトなどの）デバイスを操作するためのユーティリティといった外部要素を含んでいる。換言すれば、第２の出力ユニット２１６は、他のデバイスへの有線（例えば、赤外線）または無線接続、クラウドサーバへの接続、またはユーザの周囲とのコミュニケーション手段への接続によって、システムの環境への接続を確立する。例えば、本システムは、システム２００を使用するユーザのジェスチャによって動作可能なスマートホームデバイスに、例えば、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈによって、ワイヤレスで接続できる。本システムは、特定の既定されたジェスチャによって、または、選択可能なメニュー項目を通じて、第２の出力ユニットを駆動するよう構成され得る。このような特定のジェスチャは、予め規定されているか、ユーザが選択可能である。
ここで、本開示の２つの態様による制御ユニットの概略ブロック図を示す図３を参照する。制御ユニット３０４は、眼の連続画像を取り込むカメラ３０２（図３Ａ）とデータ通信する、又は生理学的パラメータを測定するためのセンサ３０１（図３Ｂ）とデータ通信するデータ入力ユーティリティ３０３を有している。データ入力ユーティリティ３０３によって受信されたデータは、プロセッサ３１０によって処理され、処理されたデータは、分類器３０５によってジェスチャに分類される。次に、分類されたジェスチャは、データ通信モジュール３０９によって制御ユニットとデータ通信しているコンピュータ３０７に送信され、これにより、コンピュータ３０７の動作を制御する。
ここで、本開示の実施形態によるメニュー層の概略的視覚描写である図４を参照する。理解できるように、メニュー層はいくつかのメニュー項目を有し、それらのそれぞれは異なるジェスチャによって選択される。例えば、アップジェスチャＵＧ、すなわち、瞳孔の上位置は、音楽を再生する選択を駆動する。それに応じて、左ジェスチャＬＧは介護者メニューとのコミュニケーションを駆動し、中央ジェスチャＣＧはテレビを見ること、右ジェスチャＲＧは本を聞き、ダウンジェスチャＤＧは無料のテキストメッセージメニューを開く。一部のメニュー項目は、ＢｌｕｅｔｏｏｔｈやＷｉ−Ｆｉネットワークによるテレビとシステムの間といった、ワイヤレス接続によって有効になる一方、本を聞いたり音楽を再生したりする場合などの他のメニュー項目は、クラウドサーバへの接続によって有効になる。音楽の再生や本の聞き取りは、データをローカルメモリに保存しなくても、クラウドサーバから直接行うことができる。クラウドとのデータ交換は、データをクラウドからシステムにダウンロードし、データをシステムからクラウドにアップロードするといった、双方の方法で機能することに留意されたい。
いつでも、メニューの任意の層で、ユーザが、所定のジェスチャシーケンスＰＧＳを作成すると、例えば、スピーカを介した音声アラート、モバイルデバイスへのテキストアラート、医療センターへのアラート、またはそれらの組み合わせといった、介護者に対する緊急アラートの出力など、所定のアクションがトリガーされる。所定のジェスチャシーケンスＰＧＳは、ユーザの意思に従って構成でき、例えば、３回または４回の瞬きのシーケンス、アップジェスチャＵＧ、ダウンジェスチャＤＧ、アップジェスチャＵＧおよびダウンジェスチャＤＧのシーケンス、または他の所望のシーケンスにすることができる。
図５〜７は、本開示の別の実施形態によるメニュー層の概略的な視覚的描写であり、フリーテキストの方法による項目メニューの選択の独特の方法を例示している。文字は、例えば、各グループに４、５、または６文字といった、文字のグループにクラスター化される。ユーザは、適切なタイミングで特定のジェスチャを行うことにより、グループ間を検索し、グループ内の特定の文字を選択できる。図５では、システムは文字Ａ、Ｂ、Ｃ、Ｄ、Ｅのグループを表示している。ユーザは、アップジェスチャＵＧを作成してグループＶ、Ｗ、Ｘ、Ｙ、Ｚにナビゲートするか、又は、ダウンジェスチャＤＧを作成して、グループＦ、Ｇ、Ｈ、Ｉ、Ｊにナビゲートできる。他のジェスチャは、文字の削除、バックスペースキーの使用、前のメニューに戻るといった、他のコマンドをトリガーするために行うことができ、例としてのみ表示される。これらのコマンドは、他の適切なコマンドで置き換えることや、削除できることに留意されたい。図６は、文字Ｆ、Ｇ、Ｈ、Ｉ、Ｊのグループを含むメニュー項目をトリガーした図５のメニュー層におけるダウンジェスチャＤＧのユーザ選択を例示している。システムは、図７に例示されているように、スピーカまたはヘッドフォンを介して、他の文字との時間差で各文字の名前をアナウンスするなど、グループ内の文字の自動出力セッションをトリガーすることができる。理解できるように、Ｆは時間ｔ１でアナウンスされ、文字Ｇは時間ｔ２でアナウンスされるなどである。特定の所定のジェスチャＰＧが作成されると、たとえば１回または２回瞬きして、文字が選択される。例えば、所定のジェスチャＰＧが時間ｔ１＜ｔ＜ｔ２で行われる場合、文字Ｆが選択され、所定のジェスチャＰＧが時間ｔ３＜ｔ＜ｔ４で行われる場合、文字Ｈが選択される。システムの別の実施形態では、グループ内の文字の出力セッションは、所定のジェスチャＰＧによるユーザの要求に従ってトリガーされる。これは、システムを使用している被験者が、左、右、アップ、またはダウンのジェスチャなど、一部のジェスチャを実行する能力に欠けている場合に関連性がある。このシナリオでは、システム内の検索は、第１の所定のジェスチャＰＧ１によって開始され、項目メニューが、第２の所定のジェスチャＰＧ２によって選択でき、第１および第２の所定のジェスチャは、異なっていても同一でもよい。例えば、システムが図６の状態にあるとき、ユーザは、眼を閉じてグループ内の文字の出力セッションをトリガーし、所望の文字が聞こえたとき、ユーザは眼を開いて文字を選択することができる。図６に示すように、アップまたはダウンのジェスチャＵＧ、ＤＧを行うことにより、システムは他の文字グループにナビゲートすることに留意されたい。
ジェスチャの分類を改善するために、システムは、機械／深層学習アルゴリズムによって訓練され得る。最初に、初期のデータセットを収集するために、ラベルが付けられたジェスチャ画像（瞬き、中央、アップ、ダウン、右、左）とともにシステムが受信される。次に、システムは一連のトレーニング画像とともにトレーニングセッションを実行する。このトレーニングセッション中に、システム、つまりシステムのニューラルネットワークは、ラベル付けされた画像の各カテゴリを認識する方法を学習する。現在のモデルが誤りを犯した場合、それはそれ自体を修正して改善する。ネットワークのトレーニングセッションが終了すると、画像のテストセットがシステムによって受信および処理され、新しい分類モデルをチェックする。システムによって行われた分類は、テストセットのグラウンドトゥルースラベルと比較され、正しい分類の数が計算され、このようなネットワークのパフォーマンスを定量化するために使用される精度、再現率、およびｆメジャーの値が得られる。
コミュニケーション支援のアイトラッキングベースのシステムの概略図を図８に示す。このシステムは、（家族、介護者、またはユーザ自身がユーザの頭に装着する）軽量ヘッドマウント（８００）に取り付けられたカメラ（８０２）、骨伝導スピーカ／ヘッドフォン（８０４）、および制御ユニット（図示せず）を具える。
本出願の発明者らによって実施された臨床試験において、数分間の短い試験の後、患者がシステムを快適に制御することができたことが実証された。非限定的な例を以下の表１に示すように、イスラエルのランベム病院で行われた臨床試験では、「助けを求める」機能の学習には１．１２分の平均トレーニング時間を要し、事前に決められた一連の文を伝えるための学習には平均６．４４分のトレーニング時間を要し、モバイル画面を使用したフリーテキストの文字ごとのコミュニケーションには、平均１１．０８分のトレーニング時間を要した。
Figure 2021506052
ジョイスティックのようなジェスチャの分類の非限定的な実施形態を図９に示す。分類は、瞳孔領域の位置を見つけることに基づいている。それは、閾値マップ（最も内側の正方形）に基づいて取得される。具体的には、特定の位置が、瞳孔領域が閾値マップの境界または接線に接する度に決定される。例えば、瞳孔領域が閾値マップの上部境界に触れると、画像データが「アップ」ジェスチャとして分類される。閾値マップは、位置マップ（中央の四角）から導出でき、例えば、位置マップの中心から少なくとも８０％離れており、任意選択的に、位置マップは、眼またはその周囲の解剖学的特徴に基づいて定義された、より大きな関心領域（ＲＯＩ）内にある。
図１０〜１４は、単一のジェスチャ操作モード、２、３、４、５個のジェスチャ操作モードにおける眼のジェスチャとコマンドとの間のマッピングのいくつかの実施形態の図を提供する。図１０に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することにより、スキャンセッションを開始し、項目を選択する。図１１に示すマッピングによれば、ユーザは、瞬きジェスチャを実行することによって、スキャンセッションを開始し、項目を選択し、「右」ジェスチャを実行することによって戻るコマンドを選択する。図１２に示すマッピングによれば、ユーザは、２つのジェスチャ（「右」および「左」）でメニュー項目をトラバースし、第３の瞬きジェスチャを実行することによって項目を選択する。図１３に示すマッピングによれば、ユーザは、３つのジェスチャ（「右」、「左」、「アップ」）でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。図１４に示されるマッピングによれば、ユーザは、４つのジェスチャ（「右」、「左」、「アップ」、「ダウン」）でメニュー項目をトラバースし、瞬きジェスチャを実行することによって項目を選択する。

Claims (50)

  1. コンピュータを操作するための制御システムであって、
    ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成されたカメラと、
    前記カメラおよび前記コンピュータとデータ通信する制御ユニットと、
    を具えており、
    前記制御ユニットは、前記画像データを受信および処理し、これらを、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに分類するように動作可能であることを特徴とする制御システム。
  2. 請求項１に記載の制御システムにおいて、
    前記制御ユニットは、
    生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
    前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、前記コンピュータを操作するためのコマンドに前記データを分類するように動作可能であることを特徴とする制御システム。
  3. 請求項１または２に記載の制御システムにおいて、
    前記制御ユニットは、
    前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、ジェスチャデータを生成し、
    前記ジェスチャデータを利用して、前記コンピュータを操作することを特徴とする制御システム。
  4. 請求項３に記載の制御システムにおいて、
    前記ジェスチャが、瞳孔位置、瞳孔位置のシーケンス、及びまぶたの瞬きのシーケンスのうちの１つまたは複数を含むことを特徴とする制御システム。
  5. 請求項１〜４のいずれか一項に記載の制御システムにおいて、
    前記制御ユニットは、少なくとも１つの生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
    前記少なくとも１つの生理学的データを受信して処理し、それを少なくとも１つのコマンドに分類し、前記少なくとも１つのコマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、神経出力、またはそれらの任意の組み合わせを含んでおり、
    前記コマンドを使用して前記コンピュータを操作することを特徴とする制御システム。
  6. 請求項５に記載の制御システムにおいて、前記センサは、脳波記録（ＥＥＧ）デバイスであることを特徴とする制御システム。
  7. 請求項１〜６のいずれか一項に記載のシステムにおいて、前記コンピュータは、視覚または音声出力モジュールを動作させることを特徴とするシステム。
  8. 請求項７に記載のシステムにおいて、前記出力モジュールは、ユーザが他の個人とコミュニケーションすることを可能にすることを特徴とするシステム。
  9. 請求項１〜８のいずれか一項に記載のシステムにおいて、前記ジェスチャは、眼の瞳孔の中央、右、左、上および下の位置を含むことを特徴とするシステム。
  10. 請求項１〜９のいずれか一項に記載のシステムにおいて、前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
  11. 請求項１〜１０のいずれか一項に記載のシステムにおいて、前記コンピュータは、警報を出力するように構成された出力モジュールを駆動するよう構成されていることを特徴とするシステム。
  12. 請求項１〜１１のいずれか一項に記載のシステムにおいて、前記分類が機械学習技術を使用することを特徴とするシステム。
  13. 眼の連続画像を取り込むカメラおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
    前記制御ユニットは、前記カメラによって取り込まれた画像を表す画像データを受信および処理し、前記コンピュータのジョイスティックのような制御を模倣するジェスチャに前記画像データを分類し、前記コンピュータに対応する制御データを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
  14. 請求項１３に記載の制御ユニットにおいて、
    生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、
    前記制御ユニットは、前記センサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
  15. 生理学的パラメータを測定するための少なくとも１つのセンサおよびコンピュータとデータ通信するよう構成された制御ユニットであって、
    前記制御ユニットは、前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類し、前記コンピュータに対応するコマンドを送信することにより、前記コンピュータの動作を制御するように動作可能であることを特徴とする制御ユニット。
  16. 請求項１４または１５に記載の制御ユニットにおいて、
    前記少なくとも１つのセンサが脳波記録（ＥＥＧ）であることを特徴とする制御ユニット。
  17. 請求項１３または１４に記載の制御ユニットにおいて、
    前記画像データを受信および処理して、瞳孔位置およびまぶたの動きのうちの少なくとも一方を識別し、これらをジェスチャに分類し、前記ジェスチャは、例えば、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含み、ジェスチャデータ生成し、
    前記ジェスチャデータを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
  18. 請求項１４〜１６のいずれか一項に記載の制御ユニットにおいて、
    前記制御ユニットは、生理学的データを受信および処理し、これらをコマンドに分類し、前記コマンドは、例えば、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含んでおり、前記コマンドを利用して前記コンピュータを操作するよう構成されていることを特徴とする制御ユニット。
  19. アイトラッキングベースのシステムであって、
    ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するように動作可能なカメラと、
    通常はコンピュータ化されまたはプロセス駆動型のモジュールである第１の出力モジュールと、
    前記カメラおよび前記第１の出力モジュールとデータ通信する制御ユニットと、
    を具えており、前記制御ユニットは、
    前記画像データを受信および処理して、瞳孔位置とまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
    ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
    よう構成されており、
    前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されることを特徴とするアイトラッキングベースのシステム。
  20. 請求項１９に記載のシステムにおいて、
    前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
    前記センサから生理学的データを受信および処理し、これらをコマンドに分類し、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、
    ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動する、
    よう構成されており、
    前記第１の出力モジュールは、前記メニュー項目の視覚的または音声的提示の一方または双方をユーザに提供するよう構成されていることを特徴とするシステム。
  21. 請求項１９または２０に記載のシステムにおいて、
    前記カメラは、前記ユーザの頭に取り付け可能なホルダに搭載されることを特徴とするシステム。
  22. 請求項１９〜２１のいずれか一項に記載のシステムにおいて、
    前記ジェスチャは、瞳孔の中心、右、左、上および下の位置を含むことを特徴とするシステム。
  23. 請求項１９〜２２のいずれか一項に記載のシステムにおいて、
    前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
  24. 請求項２０〜２３のいずれか一項に記載のシステムにおいて、
    前記コマンドは、任意の身体部分の動き、呼吸パターン、嗅ぎ、音声出力、筋緊張の変化、皮膚コンダクタンス、または神経出力、またはそれらの任意の組み合わせを含むことを特徴とするシステム。
  25. 請求項１９〜２４のいずれか一項に記載のシステムにおいて、前記メニュー項目が階層的に配置されていることを特徴とするシステム。
  26. 請求項２５に記載のシステムにおいて、前記メニュー項目は、第１のメニュー項目の選択により、ユーザが続いて前記第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
  27. 請求項２６に記載のシステムにおおて、前記メニュー項目の各層が最大５つの選択可能な項目を含むことを特徴とするシステム。
  28. 請求項１９〜２７のいずれか一項に記載のシステムにおいて、選択された項目を表すデータを出力するための第２の出力モジュールのためのドライバを含むことを特徴とするシステム。
  29. 請求項２８に記載のシステムにおいて、前記第２の出力モジュールは、警報を出力するよう構成されることを特徴とするシステム。
  30. 請求項２９に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
  31. 請求項３０に記載のシステムにおいて、前記ジェスチャの前記少なくとも１つは、規定された瞬きのシーケンスであることを特徴とするシステム。
  32. アイトラッキングベースのシステムであって、
    ユーザの眼とまぶたの一方または双方の画像を連続的に取り込み、それを表す画像データを生成するよう構成され、動作可能なカメラと、
    前記カメラおよび第１の出力モジュールとデータ通信する制御ユニットと、
    を具えており、前記制御ユニットは、
    前記カメラから受信した前記画像データに応答し、前記画像データを処理して瞳孔位置およびまぶたの動きの少なくとも１つを識別し、これらを瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスのうちの１つ以上を含むジェスチャに分類し、ジェスチャデータを生成するよう構成されおよび動作可能なデータプロセッサと、
    前記ジェスチャデータを利用して、階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
    前記第１の出力モジュールを駆動して、メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるようにする第１のアクチュエータモジュールと、
    を具えることを特徴とするシステム。
  33. 請求項３２に記載のシステムにおいて、
    前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信し、前記制御ユニットは、
    前記少なくとも１つのセンサによって取得された生理学的データに応答し、これらをコマンドに分類するよう構成され、動作可能なデータプロセッサと、
    前記コマンドを利用して階層的でユーザ選択可能なメニュー項目を操作するよう構成され、動作可能なメニュージェネレータモジュールと、
    前記第１の出力モジュールを駆動して、前記メニュー項目の視覚的または音声的提示の一方または双方を介してユーザにメニュー項目を提示し、これにより、ユーザがメニュー項目を検索および選択できるよう構成された第１のアクチュエータモジュールと、
    を具えることを特徴とするシステム。
  34. 請求項３２または３３に記載のシステムにおいて、前記カメラは、ユーザの頭に取り付け可能なホルダに搭載されていることを特徴とするシステム。
  35. 請求項３２〜３４のいずれか一項に記載のシステムにおいて、
    前記ジェスチャは、瞳孔の右、左、上、および下の位置を含むことを特徴とするシステム。
  36. 請求項３２〜３５のいずれか一項に記載のシステムにおいて、
    前記ジェスチャは、一連の２回以上のまぶたの瞬きを含むことを特徴とするシステム。
  37. 請求項３２〜３６のいずれか一項に記載のシステムにおいて、
    前記メニュー項目は階層的に配置されることを特徴とするシステム。
  38. 請求項３７に記載のシステムにおいて、
    前記メニュー項目は、前記第１のメニュー項目の選択により、ユーザが続いて前記第１のメニュー項目に従属する層で第２のメニュー項目を選択できるように、連続的な階層の層に配置されることを特徴とするシステム。
  39. 請求項３８に記載のシステムにおいて、
    前記メニュー項目の各層は、最大５つの選択可能な項目を含むことを特徴とするシステム。
  40. 請求項３２〜３９のいずれか一項に記載のシステムにおいて、
    選択された項目を表すデータを出力するための第２の出力モジュールのためのドライバを含むことを特徴とするシステム。
  41. 請求項４０に記載のシステムにおいて、前記第２の出力モジュールは、介護者に警報を出力するよう構成されることを特徴とするシステム。
  42. 請求項４１に記載のシステムにおいて、前記ジェスチャまたはコマンドの少なくとも一方が前記警報をトリガーすることを特徴とするシステム。
  43. 請求項４２に記載のシステムにおいて、前記ジェスチャの前記少なくとも１つは、規定された瞬きのシーケンスであることを特徴とするシステム。
  44. 眼の連続的な画像を取り込むカメラおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットが、
    瞳孔位置とまぶたの動きの少なくとも一方を識別するために画像データを受信および処理し、瞳孔位置、瞳孔位置のシーケンス、まぶたの瞬きのシーケンスの１つ以上を含むジェスチャにこれらを分類して、ジェスチャデータを生成するよう動作可能であり、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動することを特徴とする制御ユニット。
  45. 請求項４４に記載の制御ユニットにおいて、
    生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、
    前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータとコマンドのいずれか１つまたは組み合わせによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように前記第１出力モジュールを駆動することを特徴とする制御ユニット。
  46. 請求項１８〜３０のいずれか一項に記載のシステムで使用するための、請求項４４または４５に記載の制御ユニット。
  47. 眼の連続的な画像を取り込むカメラおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットにおいて、前記制御ユニットは、
    前記画像データを受信および処理して、瞳孔位置およびまぶたの動きの少なくとも一方を識別し、瞳孔位置、瞳孔位置のシーケンス、およびまぶた瞬きのシーケンスのうちの１つ以上を含むジェスチャにこれらを分類し、ジェスチャデータを生成し、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータによってメニュー項目を検索および選択できるようにし、
    ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するように構成され、動作可能であることを特徴とする制御ユニット。
  48. 請求項４７に記載の制御ユニットにおいて、
    前記制御ユニットは、生理学的パラメータを測定するための少なくとも１つのセンサとデータ通信するよう構成され、前記制御ユニットは、前記センサからの生理学的データを受信および処理し、これらをコマンドに分類し、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記ジェスチャデータおよびコマンドによってメニュー項目を検索および選択できるようにし、
    ユーザに前記メニュー項目を提示するように前記第１の出力モジュールを駆動するよう構成され、動作可能であることを特徴とする制御ユニット。
  49. 請求項３２〜４３のいずれか一項に記載のシステムで使用するための、請求項４７または４８に記載の制御ユニット。
  50. 生理学的パラメータを測定するための少なくとも１つのセンサおよび第１の出力モジュールとデータ通信するよう構成された制御ユニットであって、前記制御ユニットは、
    前記少なくとも１つのセンサによって取得された生理学的データを受信および処理し、これらをコマンドに分類するように動作可能であり、
    階層的でユーザ選択可能なメニュー項目を操作して、ユーザが前記コマンドによってメニュー項目を検索および選択できるようにし、ユーザに前記メニュー項目を提示するように第１の出力モジュールを駆動することを特徴とする制御ユニット。
JP2020550959A 2017-12-07 2018-12-06 コミュニケーション方法及びシステム Pending JP2021506052A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023188271A JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762595694P 2017-12-07 2017-12-07
US62/595,694 2017-12-07
US201862642048P 2018-03-13 2018-03-13
US62/642,048 2018-03-13
US201862755680P 2018-11-05 2018-11-05
US62/755,680 2018-11-05
PCT/IL2018/051335 WO2019111257A1 (en) 2017-12-07 2018-12-06 Communication methods and systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023188271A Division JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Publications (2)

Publication Number Publication Date
JP2021506052A true JP2021506052A (ja) 2021-02-18
JP2021506052A5 JP2021506052A5 (ja) 2022-01-11

Family

ID=64665588

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020550959A Pending JP2021506052A (ja) 2017-12-07 2018-12-06 コミュニケーション方法及びシステム
JP2023188271A Pending JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023188271A Pending JP2024012497A (ja) 2017-12-07 2023-11-02 コミュニケーション方法及びシステム

Country Status (6)

Country Link
US (1) US11612342B2 (ja)
EP (1) EP3721320B1 (ja)
JP (2) JP2021506052A (ja)
CN (1) CN111656304B (ja)
IL (1) IL275071B2 (ja)
WO (1) WO2019111257A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457860B2 (en) * 2018-07-09 2022-10-04 Cheng Qian Human-computer interactive device and method
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2021156753A1 (en) * 2020-02-04 2021-08-12 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for determining the intention of performing a voluntary action
IL285071B2 (en) * 2021-07-22 2023-05-01 Eyefree Assisting Communication Ltd A system and method for monitoring the cognitive state of a patient based on eye and brain activity
EP4373388A1 (en) 2021-07-22 2024-05-29 Eyefree Assisting Communication Ltd. A system for communication with a patient based on the determined sedation state
US20240019930A1 (en) * 2021-10-28 2024-01-18 Lifedrive Llc Drive Manager For Power Wheelchair And Related Methods
CN117519487B (zh) * 2024-01-05 2024-03-22 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187334A (ja) * 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
WO2016142933A1 (en) * 2015-03-10 2016-09-15 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4950069A (en) 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP2000137789A (ja) 1998-10-29 2000-05-16 Sharp Corp 画像処理装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP3673834B2 (ja) 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7488294B2 (en) 2004-04-01 2009-02-10 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP4654434B2 (ja) 2004-11-24 2011-03-23 国立大学法人佐賀大学 視線方向特定システム
EP1943583B1 (en) 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
CN101336089A (zh) 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
JP5167545B2 (ja) 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
JP4685708B2 (ja) 2006-05-22 2011-05-18 富士通株式会社 携帯端末装置
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
CN101893934A (zh) 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
JP2012048358A (ja) 2010-08-25 2012-03-08 Sony Corp 閲覧機器、情報処理方法およびプログラム
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
KR101355895B1 (ko) 2011-10-20 2014-02-05 경북대학교 산학협력단 사용자 의도 판단 장치 및 그 방법
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US9171198B1 (en) 2012-04-02 2015-10-27 Google Inc. Image capture technique
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
JP6195462B2 (ja) 2013-04-01 2017-09-13 矢崎総業株式会社 ヒューズユニット
KR102163996B1 (ko) 2013-04-03 2020-10-13 삼성전자 주식회사 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
KR102181897B1 (ko) 2013-05-09 2020-11-23 에스케이플래닛 주식회사 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
US20140368442A1 (en) 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
US20140375541A1 (en) 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
KR101549645B1 (ko) * 2014-01-28 2015-09-03 영남대학교 산학협력단 표정 동작사전을 이용한 표정인식 방법 및 장치
EP3228983A1 (en) * 2014-05-05 2017-10-11 Hexagon Technology Center GmbH Surveying system
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
NZ740299A (en) * 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation using eye pose measurement
US10976813B2 (en) 2016-06-13 2021-04-13 Apple Inc. Interactive motion-based eye tracking calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187334A (ja) * 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
WO2016142933A1 (en) * 2015-03-10 2016-09-15 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback

Also Published As

Publication number Publication date
CN111656304B (zh) 2023-10-17
EP3721320B1 (en) 2022-02-23
CN111656304A (zh) 2020-09-11
EP3721320A1 (en) 2020-10-14
US11612342B2 (en) 2023-03-28
IL275071B1 (en) 2024-02-01
IL275071B2 (en) 2024-06-01
WO2019111257A1 (en) 2019-06-13
IL275071A (en) 2020-07-30
US20210259601A1 (en) 2021-08-26
JP2024012497A (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111656304B (zh) 通信方法及系统
US11237635B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US11284844B2 (en) Electromyography (EMG) assistive communications device with context-sensitive user interface
CN111542800A (zh) 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
JP2021511567A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース
JP2004527815A (ja) 感知電気生理学的データに基づく活動開始方法及びシステム
AU2022268375B2 (en) Multiple switching electromyography (emg) assistive communications device
US20220280085A1 (en) System and Method for Patient Monitoring
Pomboza-Junez et al. Toward the gestural interface: comparative analysis between touch user interfaces versus gesture-based user interfaces on mobile devices
Perrin et al. A comparative psychophysical and EEG study of different feedback modalities for HRI
Rania et al. EOG Based Text and Voice Controlled Remote Interpreter for Quadriplegic Patients
Vishnubhotla Examining current and future BCI applications for people with disabilities
Połok et al. A low cost depth sensor-based computer control system for the disabled people
Guerreiro Myographic Mobile Accessibility for Tetraplegics
Guerreiro Assistive technologies for spinal cord injured individuals: a survey
Strzelecki System Sensor: a Practical Human-Computer Interface for People with Disabilities
Dollman Comparing Brain-Computer Interfaces across varying technology access levels
Yılmaz Using sensors and embedded image processing for impaired users' computer interaction
Graça Ambient Control for Tetraplegics

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704