JP2019506691A - アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス - Google Patents

アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス Download PDF

Info

Publication number
JP2019506691A
JP2019506691A JP2018551726A JP2018551726A JP2019506691A JP 2019506691 A JP2019506691 A JP 2019506691A JP 2018551726 A JP2018551726 A JP 2018551726A JP 2018551726 A JP2018551726 A JP 2018551726A JP 2019506691 A JP2019506691 A JP 2019506691A
Authority
JP
Japan
Prior art keywords
user
sight
line
frequency
cognitive state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018551726A
Other languages
English (en)
Other versions
JP6664512B2 (ja
Inventor
ウク チェ，ヨン
ウク チェ，ヨン
Original Assignee
ルキシド ラブズ インコーポレイテッド
ルキシド ラブズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルキシド ラブズ インコーポレイテッド, ルキシド ラブズ インコーポレイテッド filed Critical ルキシド ラブズ インコーポレイテッド
Publication of JP2019506691A publication Critical patent/JP2019506691A/ja
Application granted granted Critical
Publication of JP6664512B2 publication Critical patent/JP6664512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】 ＥＢＩシステムにおいて、脳波と視線を同時にキャリブレーションする方法を提供する。
【解決手段】 視線（ｅｙｅ）及び脳波に基づいて制御されるＥＢＩ（Ｅｙｅ−Ｂｒａｉｎ Ｉｎｔｅｒｆａｃｅ）システムのキャリブレーション方法において、視線及び脳波を共にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供するステップと、ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザにビジュアルオブジェクトを特定認知状態で凝視することを指示し、ＥＢＣインターフェースに含まれたビジュアルオブジェクトに対するユーザの視線及び脳波を獲得するステップと、ビジュアルオブジェクトとユーザの視線をマッピングするステップと、ユーザに指示した特定認知状態とユーザの脳波をマッピングするステップと、を含むことを特徴とする。
【選択図】 図１

Description

本発明は、ユーザの視線及び脳波によって制御するアイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイスに係り、より詳細には、アイブレインインターフェースシステムのキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）方法に関する。
脳は、刺激の処理と加工を担当する中枢神経系であって、記憶、判断等、精神的な活動の中枢の役割だけでなく、運動機能、感情反応等を担当する役割を果たしている。特に、前頭葉領域は、大脳の前方部分に位置し、考え、計画、判断による身体の動きを担当する役割を果たす。前頭葉には、ブローカ野という重要な機能をするニューロン集団があるため、他の大脳部に比べて複雑な機能を果たす。また、前頭葉の最も広い部位である前頭前皮質は、ヒトを他の動物と区分する部位であって、感覚系の情報を総合させ、高次元の精神活動を誘発する部位として知られている。前頭葉部の重要性が浮上するにつれ、前頭葉の機能や疾病、障害等に関連した基礎脳科学及び前頭葉から抽出された脳波を用いた治療法、Ｂｒａｉｎ Ｆｉｔｎｅｓｓ、Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ（ＢＣＩ）技術開発研究もまた盛んに進行している。
ＢＣＩ技術は、１９７３年、米国のＵＣＬＡ研究所で初めて概念を言及し、２０００年代半ばまでは、研究開発及び試験適用段階に留まっていた。しかし、Ｅｍｏｔｉｖ社のＥＰＯＣ、Ｉｎｔｅｒｅｘｏｎ社のＭｕｓｅ、ＮｅｕｒｏＳｋｙ社のＭｉｎｄＷａｖｅ等、様々なヘッドセット形態の脳波測定装備が発売されるにつれ、ＢＣＩもまた速く発展すると同時に実用化されている。
本発明は、ＥＢＩシステムにおいて、脳波と視線を同時にキャリブレーションする方法を提供する。
また、本発明は、ＥＢＩシステムにおいて、脳波と視線をより正確、かつ効率よくキャリブレーションする方法を提供する。
また、本発明は、視線追跡キャリブレーション過程で虹彩パターンを獲得する方法を提供する。
また、本発明は、ユーザのストレス指数を測定してリキャリブレーションする方法を提供する。
また、本発明は、キャリブレーションした結果に基づいて、ユーザの脳波及び視線に基づくＥＢＩシステムの制御方法を提供する。
本発明の一実施例に係る視線（ｅｙｅ）及び脳波に基づいて制御されるＥＢＩ（Ｅｙｅ−Ｂｒａｉｎ Ｉｎｔｅｒｆａｃｅ）システムのキャリブレーション方法において、前記視線及び脳波を共にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供するステップと、前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、前記ＥＢＣインターフェースに含まれたビジュアルオブジェクトに対する前記ユーザの視線及び脳波を獲得するステップと、前記ビジュアルオブジェクトと前記ユーザの視線をマッピングするステップと、前記ユーザに指示した特定認知状態と前記ユーザの脳波をマッピングするステップと、を含む。
また、前記ユーザの視線をマッピングするステップは、前記ビジュアルオブジェクトの画面上の位置座標と前記ユーザの視線の位置座標を相互マッピングするステップであってよい。
また、前記ＥＢＣインターフェースは、第１認知状態を指示する第１ビジュアルオブジェクト、及び第２認知状態を指示する第２ビジュアルオブジェクトを順次に、及び／または、交互に提供できる。
また、前記第１認知状態は、集中及び選択の少なくとも一つを含む認知状態であり、前記第２認知状態は、休息及び探索の少なくとも一つを含む認知状態であってよい。
また、前記ＥＢＩユーザの脳波をマッピングするステップは、前記第１認知状態での脳波に対する第１ローデータ（Ｒａｗ ｄａｔａ）及び前記第２認知状態での脳波に対する第２ローデータを獲得するステップと、前記第１及び第２ローデータを周波数変換するステップと、前記周波数変換された第１及び第２ローデータの周波数特性に基づいて前記第１及び第２認知状態の分類基準を設定するステップと、を含む。
また、前記第１及び第２認知状態の分類基準を設定するステップは、前記周波数変換された第１及び第２ローデータから既設定された範囲の周波数帯域別の周波数大きさ（ａｍｐｌｉｔｕｄｅ）を抽出するステップと、前記抽出した周波数大きさを利用して前記周波数帯域別のフィッシャー比（Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏ）を獲得するステップと、最上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第１周波数帯域及び次上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第２周波数帯域を選択するステップと、前記第１及び第２周波数帯域を前記第１及び第２認知状態の分類基準に設定するステップと、を含む。
また、前記Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏは、前記周波数変換された第１ローデータでの前記周波数大きさの平均及び分散、及び前記周波数変換された第２ローデータでの前記周波数大きさの平均及び分散に基づいて算出される値であってよい。
また、前記既設定された範囲の周波数帯域は、脳波のδ波帯域、θ波帯域、α波帯域、またはβ波帯域に該当する。
また、前記ＥＢＣインターフェースは、前記ビジュアルオブジェクトがちらつく周波数を調節することで前記ユーザの脳波を特定周波数帯域に誘導できる。
また、前記ＥＢＣインターフェースは、前記ビジュアルオブジェクトがちらつく周波数を約８乃至１３Ｈｚの範囲に調整することで前記ユーザの脳波をアルファ波の範囲に誘導し、前記ビジュアルオブジェクトがちらつく周波数を約１３乃至３０Ｈｚの範囲に調整することで前記ユーザの脳波をベータ波の範囲に誘導できる。
また、前記ユーザの視線から虹彩イメージを獲得するステップと、前記虹彩イメージをコード化するステップと、をさらに含む。
また、前記虹彩イメージをコード化するステップは、前記獲得した虹彩イメージを複数のイメージに分離するステップと、前記分離した複数のイメージを一方向に並べるステップと、前記一方向に並んだイメージを一つの二次元イメージに転換するステップと、を含む。
また、本発明の他の実施例に係る視線（ｅｙｅ）及び脳波を測定するスレーブデバイスにおいて、ユーザの視線を追跡する視線追跡ユニットと、前記ユーザの脳波をセンシングする脳波センシングユニットと、ホストデバイスと通信を遂行する通信ユニットと、前記視線追跡ユニット、脳波センシングユニット及び通信ユニットを制御するプロセッサと、を含み、前記ホストデバイスは、前記視線及び脳波を同時にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供するデバイスであって、前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、前記プロセッサは、前記ホストデバイスからキャリブレーション開始信号を受信した場合、前記ユーザの視線及び脳波を共に獲得し、前記ユーザの視線及び脳波を前記ホストデバイスに伝送する。
また、本発明の他の実施例に係る視線及び脳波に基づいて制御されるホストデバイスにおいて、イメージをディスプレイするディスプレイユニットと、スレーブデバイスと通信を遂行する通信ユニットと、前記ディスプレイユニット及び通信ユニットを制御するプロセッサと、を含み、前記プロセッサは、前記視線及び脳波を同時にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供し、前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、前記スレーブデバイスから前記ユーザの視線及び脳波を要請及び受信し、前記ビジュアルオブジェクトと前記ユーザの視線をマッピングし、及び前記ユーザに指示した特定認知状態と前記ユーザの脳波をマッピングできる。
また、前記プロセッサは、前記ユーザの視線をマッピングする場合、前記ビジュアルオブジェクトの画面上の位置座標と前記ユーザの視線の位置座標を相互マッピングできる。
また、前記ＥＢＣインターフェースは、第１認知状態を指示する第１ビジュアルオブジェクト、及び第２認知状態を指示する第２ビジュアルオブジェクトを順次に、及び／または、交互に提供できる。
また、前記第１認知状態は、集中または選択の認知状態であり、前記第２認知状態は、休息または探索の認知状態であってよい。
また、前記プロセッサは、前記ユーザの脳波をマッピングする場合、前記第１認知状態での脳波に対する第１ローデータ（Ｒａｗ ｄａｔａ）及び前記第２認知状態での脳波に対する第２ローデータを獲得し、前記第１及び第２ローデータを周波数変換し、前記周波数変換された第１及び第２ローデータから既設定された範囲の周波数帯域別の周波数大きさを抽出し、前記抽出した周波数大きさを利用して前記周波数帯域別のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを獲得し、最上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第１周波数帯域及び次上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第２周波数帯域を選択し、前記第１及び第２周波数帯域を前記第１及び第２認知状態の分類基準に設定し得る。
また、前記プロセッサは、前記ユーザの脳波をリアルタイムで獲得し、前記リアルタイムで獲得したユーザの脳波を前記分類基準によってリアルタイムで分類できる。
また、前記ＥＢＣインターフェースは、前記ビジュアルオブジェクトがちらつく周波数を調節することで前記ユーザの脳波を特定周波数帯域に誘導できる。
本明細書の一実施例によれば、脳波と視線を同時にキャリブレーションできるＥＢＣインターフェースを提供するので、ユーザは、より簡便かつ速く脳波と視線を同時にキャリブレーションできるという効果を有する。
また、本発明の他の実施例によれば、脳波の周波数特性を利用して脳波の認知状態を区分するので、脳波の認知状態をより正確に区別できるという効果を有する。
また、本発明の他の実施例によれば、虹彩パターンをユーザ認証情報として活用できる。
また、本発明の他の実施例によれば、キャリブレーションの結果、ユーザの脳波及び視線を正確にマッピング／分類できるので、ユーザの意図に合うように動作するＥＢＩシステムを提供できるという効果を有する。
この他に、本発明の実施例に係る様々な効果は、以下、図面を参照して詳細に後述する。
本発明の一実施例に係るアイブレインインターフェースシステムを示した図である。 本発明の一実施例に係るホストデバイス及びスレーブデバイスのブロック図である。 スレーブデバイスの様々な実施例を示した図である。 本発明の一実施例に係るアイブレインインターフェース（ＥＢＩ）デバイスを示した図である。 本発明の一実施例に係るＥＢＩデバイスのブロック図である。 ＥＢＣインターフェースの実施例を示した図である。 本発明の一実施例に係るＥＢＣインターフェースによって獲得するデータに関する実施例を示した図である。 本発明の一実施例によって視線キャリブレーションを遂行するＥＢＩシステムを示した図である。 本発明の一実施例によってユーザの虹彩パターンを獲得するＥＢＩシステムを示した図である。 本発明の一実施例によってユーザの脳波を分類するＥＢＩシステムのフローチャートを示した図である。 本フローチャートの特定ステップの遂行により獲得したデータである。 本フローチャートの特定ステップの遂行により獲得したデータである。 本フローチャートの特定ステップの遂行により獲得したデータである。 本発明の一実施例に係るＥＢＩシステムの様々な適用例を示した図である。 本発明の一実施例に係るＥＢＩシステムの制御方法に関するフローチャートである。
本明細書において用いる用語は、本明細書での機能を考慮しながら可能な限り現在広く用いられる一般的な用語を選択したが、これは、当分野に従事する技術者の意図、慣例または新たな技術の出現等によって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する実施例の説明部分でその意味を記載する。従って、本明細書において用いる用語は、単純な用語の名称ではなく、その用語ではなく、実質的な意味と本明細書の全般にわたった内容に基づいて解釈されるべきであることを明らかにしたい。
さらに、以下、添付の図面及び添付の図面に記載の内容を参照して実施例を詳細に説明するが、実施例によって制限または限定されるものではない。
以下、添付の図面を参照して、本発明の好ましい実施例をより詳細に説明する。
図１は、本発明の一実施例に係るアイブレインインターフェースシステムを示した図である。図２は、本発明の一実施例に係るホストデバイス及びスレーブデバイスのブロック図である。
図１を参照すると、本発明の一実施例に係るアイブレインインターフェース（Ｅｙｅ Ｂｒａｉｎ Ｉｎｔｅｒｆａｃｅ：ＥＢＩ）システムは、ホストデバイス１５０と、スレーブデバイス１００とを含む。
スレーブデバイス１００は、ユーザが着用可能な様々な形態のウェアラブル（ｗｅａｒａｂｌｅ）デバイスを示す。例えば、スレーブデバイス１００は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ヘッドセット、スマートリング、スマートウォッチ、イヤセット、イヤホン等、ユーザの身体の一部に接触／着用されるデバイスを示す。スレーブデバイス１００は、少なくとも一つのセンサを含み、ユーザの身体の一部を通したユーザの生体信号をセンシングできる。ここで、生体信号は、ユーザの脈拍、血圧、脳波等、ユーザの意識的及び／または無意識的（例えば、呼吸、心臓拍動、新陳代謝等）な行動によってユーザの身体から発生する様々な信号を示す。特に、本明細書において、スレーブデバイス１００は、ユーザの生体信号としてユーザの脳波をセンシングし、センシング結果をホストデバイス１５０に伝送する。
ホストデバイス１５０は、スレーブデバイス１００から受信した生体信号のセンシング結果に基づいて動作するデバイスを示す。より詳細には、ホストデバイス１５０は、スレーブデバイス１００からユーザの生体信号センシング結果を受信し、受信したセンシング結果に基づいて様々な動作を遂行する様々な電子デバイスであってよい。ホストデバイス１５０は、例えば、ＴＶ、スマートフォン、タブレットＰＣ、スマートカー、ＰＣ、ノートパソコン等の様々な電子デバイスであってよい。
ＥＢＩシステムは、スレーブデバイス１００とホストデバイス１５０とを含み、ユーザの生体信号に基づく制御方式を提供する。従って、ユーザは、システムに対して意図した別途の入力を遂行しなくても、システムがユーザの生体信号をセンシングすることでユーザの意図を直接把握し、それによって制御する。その結果、ＥＢＩシステムは、ユーザにより便利で意図に合う制御方式を提供する。以下においては、このようなスレーブデバイス１００とホストデバイス１５０の構成についてより詳細に検討する。
図１及び図２を参照すると、スレーブデバイス１００は、ポジションマーカーユニット１２０、視線追跡ユニット１３０、脳波センシングユニット１１０、センサユニット２６０、通信ユニット２５０、及びプロセッサ２４０を含む。
ポジションマーカーユニット１２０は、光を発光する少なくとも一つの発光素子（例えば、赤外線ＬＥＤ等）を含む。ホストデバイス１５０は、スレーブデバイス１００のポジションマーカーユニット１２０をリアルタイムで追跡でき、これによって、スレーブデバイス１００を着用したユーザの位置、ポジション、ホストデバイス１５０とユーザとの距離、及び相対的な位置等（以下、「ユーザのポジション」）を検出できる。
ポジションマーカーユニット１２０が複数の発光素子を含む場合、複数の発光素子は、既設定された距離だけ離隔してポジションマーカーユニット１２０に位置する。この場合、ホストデバイス１５０は、各ポジションマーカーユニット１２０の発光素子を追跡し、発光素子間の離隔距離をリアルタイムで測定することでホストデバイス１５０とユーザとの間の相対的な距離を検出できる。例えば、ポジションマーカーユニット１２０がホストデバイス１５０から離れる場合、ホストデバイス１５０で測定される発光素子間の離隔距離は減少し、ポジションマーカーユニット１２０がホストデバイス１５０と近くなる場合、ホストデバイス１５０で測定される発光素子間の離隔距離は増加する。これに基づいて、ホストデバイス１５０は、リアルタイムで測定した発光素子間の離隔距離と実際の発光素子間の既設定された離隔距離との間の比率を計算し、これを通してホストデバイス１５０とユーザとの間の相対的な距離を算出する。
この他にも、ユーザのポジションを追跡するためのポジションマーカーユニット１２０は、様々な形態でスレーブデバイス１００に含まれ、ホストデバイス１５０は、このようなポジションマーカーユニット１２０の位置、大きさ、含んでいる発光素子の個数、位置、離隔距離等に基づいてユーザのポジションを検出できる。
視線追跡ユニット１３０は、ユーザの視線を追跡できる。視線追跡ユニット１３０は、ユーザの視線（目の動き）をリアルタイムで追跡するために、ユーザの目の周りに位置するようにスレーブデバイス１００に備えられる。
視線追跡ユニット１３０は、光を発光する発光素子（例えば、赤外線ＬＥＤ）及び発光素子から発光された光を収容（またはセンシング）するカメラセンサを含む。視線追跡ユニット１３０は、ユーザの目から反射した光をカメラセンサで撮影し、撮影されたイメージをプロセッサ２４０に伝送する（ビデオ分析方式）。以下においては、説明の便宜のために、ビデオ分析方式が適用された視線追跡ユニット１３０を基準に説明するが、これに限定されるものではなく、視線追跡ユニット１３０は、上述のビデオ分析方式の他にも、コンタクトレンズ方式（鏡内蔵コンタクトレンズの反射した光や、コイル内蔵コンタクトレンズの磁場を利用する視線追跡方式）またはセンサ付き方式（目の周りにセンサをつけて目の動きによる電場を利用する視線追跡方式）等を利用してユーザの視線を追跡できる。
脳波センシングユニット１１０は、ユーザの脳波をセンシングできる。脳波センシングユニット１１０は、少なくとも一つのＥＥＧ（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ及び／またはＭＥＧ（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、ＮＩＲＳ（Ｎｅａｒ−Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｍｅｔｅｒ）を含む。脳波センシングユニット１１０は、ユーザがスレーブデバイス１００の着用の際、ユーザの脳波が測定され得る身体（例えば、頭）接触位置に備えられ、ユーザの脳波を測定できる。脳波センシングユニット１１０は、接触したユーザの身体部位から発生する様々な周波数の脳波あるいは脳の活性化状態によって変わる電気的／光学的周波数を測定する。
脳波は、生体信号であるため、ユーザ毎に差が存在する。従って、同じ認知状態（例えば、集中／非集中／選択／探索等）でもユーザ別に互いに異なるパターンの脳波が抽出される。その結果、単にユーザの脳波を抽出し、それを一律な基準で分析することは、ユーザの現在の認知状態を区別するのに正確度が落ちる。従って、脳波に基づいてユーザの認知状態を正確に測定するために、本発明は、ユーザ別の現在の認知状態による脳波のキャリブレーション方法を提供する。これに関するより詳細な説明は、図１１乃至図１４と関連して以下に後述する。
センサユニット２６０は、少なくとも一つのセンシング手段を含み、それを利用してデバイス１００の周囲環境をセンシングできる。また、センサユニット２６０は、センシング結果をプロセッサに伝達できる。特に、本明細書において、センサユニットは、スレーブデバイス１００の動き、移動等をセンシングし、センシング結果をプロセッサ２４０に伝達できる。
センサユニット２６０は、センシング手段として、ＩＭＵ（Ｉｎｅｒｔｉａ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサ、重力（ｇｒａｖｉｔｙ）センサ、地磁気センサ、モーションセンサ、ジャイロセンサ、アクセレロメーター（Ａｃｃｅｌｅｒｏｍｅｔｅｒ）、マグネットメーター（Ｍａｇｎｅｔｏｍｅｔｅｒ）、加速度センサ、赤外線センサ、傾き（ｉｎｃｌｉｎａｔｉｏｎ）センサ、高度センサ、赤外線センサ、照度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等を含む。センサユニット２６０は、上述の様々なセンシング手段を通称するものであり、ユーザの様々な入力及びデバイスの環境をセンシングして、プロセッサがそれによる作動を遂行できるようにセンシング結果を伝達できる。上述のセンシング手段は、別途のエレメントでスレーブデバイス１００に含まれるか、または少なくとも一つ以上のエレメントに統合されて含まれる。
通信ユニット２５０は、外部デバイスと様々なプロトコルを用いて通信を遂行し、それを通してデータを送／受信する。通信ユニット２５０は、有線または無線でネットワークに接続し、様々な信号及び／またはデータを送／受信する。スレーブデバイス１００は、通信ユニット２５０を用いてホストデバイス１５０とペアリングを遂行する。また、スレーブデバイス１００は、通信ユニット２５０を利用してホストデバイス１５０と様々な信号／データを送受信する。
プロセッサ２４０は、ポジションマーカーユニット１２０、視線追跡ユニット１３０、脳波センシングユニット１１０、センサユニット２６０、及び通信ユニット２５０を制御できる。プロセッサ２４０は、上述のユニット間の信号（またはデータ）の送／受信を制御することもできる。
特に、本明細書において、プロセッサ２４０は、スレーブデバイス１００に備えられた少なくとも一つのセンサから受信したセンシング結果をホストデバイス１５０に伝送できる。本明細書において、センシング結果は、スレーブデバイス１００に備えられた少なくとも一つのセンサを利用して獲得されたローデータ（ｒａｗ ｄａｔａ）またはローデータが既設定されたアルゴリズムを通してプロセシングされたデータを意味する。
この他にも、プロセッサ２４０は、ユーザの視線及び脳波をキャリブレーションするための様々な動作を遂行するが、これに関連しては、図６乃至図１３において詳細に後述する。
以上、本発明の一実施例によってスレーブデバイス１００に含まれた構成ユニットについて検討した。スレーブデバイス１００は、図１及び図２に示した構成ユニットのうち一部を選択的に含み、この他にも、メモリユニット、カメラユニット、電力供給ユニット等、デバイスの使用目的及び動作のために必要とする様々なユニットがさらに含まれる。
ホストデバイス１５０は、カメラユニット１４０、ディスプレイユニット２１０、通信ユニット２３０、及びプロセッサ２２０を含む。
カメラユニット１４０は、スレーブデバイス１００のポジションマーカーユニット１２０を撮影できる。より詳細には、カメラユニット１４０は、スレーブデバイス１００のポジションマーカーユニット１２０を撮影してポジションマーカーユニット１２０に対する撮影イメージを獲得できる。カメラユニット１４０は、獲得した撮影イメージをプロセッサ２２０に伝送でき、プロセッサ２２０は、撮影イメージをプロセシングしてスレーブデバイス１００を着用したユーザのポジションを獲得できる。この場合、プロセッサ２２０は、ポジションマーカーユニット１２０の位置、大きさ、含んでいる発光素子の個数、位置、離隔距離等を分析してユーザのポジションを獲得できる。
カメラユニット１４０は、画角が約６０度以上である広角カメラで構成される。カメラユニット１４０が一般のカメラ（画角が６０度未満であるカメラ）で構成される場合、ホストデバイス１５０の前方約６０度の左右角、スレーブデバイス１００とホストデバイス１５０との間の約６０乃至９０ｃｍの範囲でユーザのポジショント追跡が可能である。しかし、カメラユニット１４０が広角カメラ（画角が６０度以上であるカメラ）で構成される場合は、ホストデバイス１５０の前方約１７０度の左右角、及びスレーブデバイス１００とホストデバイス１５０との間の距離約３ｍの範囲までもユーザのポジション追跡が可能である。従って、本発明のカメラユニット１４０は、より正確なユーザのポジションデータを獲得するために広角カメラとして構成される。
ディスプレイユニット２１０は、イメージをディスプレイする。ここで、イメージとは、画面上にディスプレイされ得る停止映像、動画、テキスト、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）イメージ、ＡＲ（Ａｕｇｍｅｎｔ Ｒｅａｌｉｔｙ）イメージまたはこれらを含むその他の様々な視覚的表現を示す。ディスプレイユニット２１０は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ；ＯＬＥＤ）、三次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、透明有機発光ダイオード（Ｔｒａｎｓｐａｒｅｎｔ ＯＬＥＤ；ＴＯＬＥＤ）の中の少なくとも一つを含む。また、ディスプレイユニット２１０は、メタルホイル（ｍｅｔａｌ ｈｏｉｌ）、薄型ガラス（ｖｅｒｙ ｔｈｉｎ ｇｒａｓｓ）またはプラスチック基板で製造される。特に、プラスチック基板の場合、ＰＣ基板、ＰＥＴ基板、ＰＥＳ基板、ＰＩ基板、ＰＥＮ基板、ＡｒｙＬｉｔｅ基板等が用いられる。
通信ユニット２３０は、外部デバイスと様々なプロトコルを用いて通信を遂行し、それを通してデータを送／受信する。通信ユニット２３０は、有線または無線でネットワークに接続し、様々な信号及び／またはデータを送／受信する。ホストデバイス１５０は、通信ユニット２３０を用いてスレーブデバイス１００とペアリングを遂行する。また、ホストデバイス１５０は、通信ユニット２３０を利用してスレーブデバイス１００と様々な信号／データを送受信する。
プロセッサ２２０は、カメラユニット１４０、ディスプレイユニット２１０、及び通信ユニット２３０を制御できる。プロセッサ２２０は、上述のユニット間の信号（またはデータ）の送／受信を制御することもできる。
特に、本明細書において、プロセッサ２２０は、スレーブデバイス１００から受信したセンシング結果に対応する様々なコマンド（または動作）を遂行する。例えば、センシング結果としてユーザの視線座標が受信された場合、プロセッサ２２０は、該当視線座標とマッピングされるディスプレイユニット２１０上の特定位置のビジュアルオブジェクト（例えば、アイコン）を選択するコマンドを遂行する。さらに、センシング結果として「集中」状態に該当するユーザ脳波データが受信された場合、プロセッサ２２０は、選択されたビジュアルオブジェクトを実行（例えば、選択されたアイコンと対応するアプリケーションを実行）するコマンドを遂行する。
ただし、この場合、プロセッサ２２０が受信したユーザの視線座標がディスプレイユニット２１０上のどの地点とマッピングされるかを知るためには、ユーザの特定視線座標とディスプレイユニット２１０上の特定座標を相互マッピングさせる視線キャリブレーションが先行される必要がある。また、先に言及したように、ユーザ毎に認知状態による脳波パターンが異なるので、ユーザの特定認知状態と特定周波数の脳波を相互マッピングさせる脳波キャリブレーションもまた先行される必要がある。そこで、本発明は、ユーザの視線と脳波を同時にキャリブレーションするＥＢＣ（Ｅｙｅ Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供でき、これに関しては、図６乃至図１３に関連して以下に詳細に後述する。
以上、本発明の一実施例によってホストデバイス１５０に含まれた構成ユニットについて検討した。ホストデバイス１５０は、図１及び図２に示した構成ユニットのうち一部を選択的に含み、この他にも、センサユニット、メモリユニット、電力供給ユニット等、デバイスの使用目的及び動作のために必要とする様々なユニットがさらに含まれる。
また、本ブロック図においては、説明の便宜のために、ホストデバイス１５０とスレーブデバイス１００に含まれる各ユニットを区分して示したが、スレーブデバイス１００のユニットは、ホストデバイス１５０に含まれてもよく、ホストデバイス１５０のユニットは、スレーブデバイス１００に含まれてもよい。例えば、スレーブデバイス１００の視線追跡ユニットは、実施例によってスレーブデバイス１００ではなく、ホストデバイス１５０に含まれてもよい。
一方、上述のプロセッサ２２０、２４０は、（スレーブまたはホスト）デバイスの内に内蔵されるか、またはデバイスの外部に独立した形態で具現される（図示しない）。独立した形態（外装型）で具現される場合、プロセッサ２２０、２４０は、ユーザにより携帯が簡便な外装型プロセッサの形態で存在する。この場合、ユーザは、必要に応じて外装型プロセッサ２２０、２４０を特定デバイスに連結させ、外装型プロセッサ２２０、２４０が連結されたデバイスは、スレーブまたはホストデバイス１００、１５０となり得る。この場合、外装型プロセッサ２２０、２４０は、連結されたデバイスがスレーブまたはホストデバイス１００、１５０の機能を果たすように、様々なデータ（特に、ユーザの生体信号に関するデータ）を既設定されたアルゴリズムによりプロセシングできる。ただし、外装型プロセッサ２２０、２４０と連結された機器がスレーブデバイス１００の機能を果たすためには、連結されたデバイスがユーザの生体信号をセンシングできるユニットを備えていなければならない。
以下においては、説明の便宜のために、プロセッサとスレーブ／ホストデバイス１００、１５０を同一視して説明することがある。また、図２に示したブロック図は、一実施例に係るブロック図であって、分離して表示したブロックは、スレーブ／ホストデバイス１００、１５０のハードウェア的なエレメントを論理的に区別して示したものである。従って、上述のスレーブ／ホストデバイス１００、１５０のエレメントは、各デバイスの設計によって一つのチップでまたは複数のチップで取り付けられる。
図３は、スレーブデバイスの様々な実施例を示した図である。
スレーブデバイスは、様々なフォームファクタ（Ｆｏｒｍ Ｆａｃｔｏｒ）として具現される。
図３（ａ）を参照すると、スレーブデバイス１００−１は、ヘッドセット形態で具現される。スレーブデバイス１００−１の脳波センシングユニット１１０−１は、ユーザの頭及び／または額の接触部分に位置し、頭及び／または額からユーザの脳波をセンシングできる。また、視線追跡ユニット１３０は、ユーザの目の周りに位置し、ユーザの視線をリアルタイムで追跡できる。また、センサユニット１１０−２は、スレーブデバイス１００−１の本体に位置し、ユーザのヘッドポジション（移動、動き等）をリアルタイムで追跡できる。この他に、スレーブデバイス１００−１に含まれる構成ユニットは、スレーブデバイス１００−１の本体に含まれていてよい。
図３（ｂ）を参照すると、スレーブデバイス１００−２は、イヤセット形態で具現される。この場合、スレーブデバイス１００−２の脳波センシングユニット１１０−１は、ユーザの耳の中（例えば、内耳、または中耳等）に挿入される部分に位置し、ユーザの耳の中で脳波をセンシングできる。このとき、音を出力するスピーカユニット（図示しない）も脳波センシングユニット１１０−１と共にユーザの耳の中に挿入される部分に位置する。また、視線追跡ユニット１３０は、ユーザの目の周りに位置し、ユーザの視線をリアルタイムで追跡できる。この他に、スレーブデバイス１００−２に含まれる構成ユニットは、スレーブデバイス１００−２の本体に含まれていてよい。
この他にも、スレーブデバイス１００は、ユーザの視線／脳波をセンシングできるように様々なフォームファクタとして具現され、本図面に示した実施例に限定されない。
図４は、本発明の一実施例に係るアイブレインインターフェース（ＥＢＩ）デバイスを示した図である。図５は、本発明の一実施例に係るＥＢＩデバイスのブロック図である。
本明細書において、ＥＢＩデバイス４００は、図１乃至図３と関連して上述したスレーブデバイス１００とホストデバイス１５０が一つのデバイスに統合された形態のデバイスを示す。従って、ＥＢＩデバイス４００は、生体信号を直接センシングし、センシング結果に基づいて様々な動作を遂行できる。
図４及び図５を参照すると、ＥＢＩデバイス４００は、ユーザの身体に着用可能なウェアラブルデバイス形態で構成される。ＥＢＩデバイス４００は、脳波センシングユニット５００、視線追跡ユニット５１０、通信ユニット５３０、ディスプレイユニット５４０及びプロセッサ５２０を含む。ＥＢＩデバイス４００に含まれたユニットに関する説明は、図２において上述した説明と重複するので、以下においては、相違点を中心に説明する。
脳波センシングユニット５００は、ユーザの脳波をセンシングできる。脳波センシングユニット５００は、少なくとも一つのＥＥＧ（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ及び／またはＭＥＧ（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）を含む。脳波センシングユニット５００は、ユーザがＥＢＩデバイスの着用の際、ユーザの脳波が測定される身体（例えば、頭）接触位置に備えられ、ユーザの脳波を測定できる。
視線追跡ユニット５１０は、ユーザの視線を追跡できる。視線追跡ユニット５１０は、ユーザの視線（目の動き）をリアルタイムで追跡するために、ユーザの目の周りに位置するようにＥＢＩデバイス４００に備えられる。視線追跡ユニット５１０は、光を発光する発光素子（例えば、赤外線ＬＥＤ）及び発光素子から発光された光を収容（またはセンシング）するカメラセンサを含む。
通信ユニット５３０は、外部デバイスと様々なプロトコルを用いて通信を遂行し、それを通してデータを送／受信する。通信ユニット５３０は、有線または無線でネットワークに接続し、様々な信号及び／またはデータを送／受信する。
ディスプレイユニット５４０は、イメージをディスプレイする。ここで、イメージとは、画面上にディスプレイされる停止映像、動画、テキスト、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）イメージ、ＡＲ（Ａｕｇｍｅｎｔ Ｒｅａｌｉｔｙ）イメージまたはこれらを含むその他の様々な視覚的表現を示す。
プロセッサ５２０は、脳波センシングユニット５００、視線追跡ユニット５１０、通信ユニット５３０、ディスプレイユニット５４０、及び通信ユニット５３０を制御できる。プロセッサ５２０は、上述のユニット間の信号（またはデータ）の送／受信を制御することもできる。プロセッサ５２０は、脳波センシングユニット５００及び／または視線追跡ユニット５１０から受信したセンシング結果に対応する様々な動作を遂行する。
以上、本発明の一実施例によってＥＢＩデバイス４００に含まれた構成ユニットについて検討した。ＥＢＩデバイス４００は、図５に示した構成ユニットのうち一部を選択的に含み、この他にも、センサユニット、メモリユニット、電力供給ユニット等、デバイス４００の使用目的及び動作のために必要とする様々なユニットがさらに含まれる。
以下においては、説明の便宜のために、プロセッサ５２０とＥＢＩデバイス４００を同一視して説明することがある。また、図５に示したブロック図は、一実施例に係るブロック図であって、分離して表示したブロックは、ＥＢＩデバイス４００のハードウェア的なエレメントを論理的に区別して示したものである。従って、上述のＥＢＩデバイス４００のエレメントは、各デバイスの設計によって一つのチップでまたは複数のチップで取り付けられる。
先に詳述したように、ＥＢＩシステムにおいて、ユーザの視線座標がディスプレイユニット上のどの地点とマッピングされるかを知るためには、ユーザの特定視線座標とディスプレイユニット上の特定座標を相互マッピングさせる視線キャリブレーションが先行される必要がある。また、ユーザの特定周波数の脳波がどの認知状態とマッピングされるかを知るためには、特定周波数の脳波と特定認知状態を相互マッピングさせる脳波キャリブレーションもまた先行される必要がある。そこで、ＥＢＩシステムは、ユーザの視線と脳波をキャリブレーションするためのＥＢＣ（Ｅｙｅ Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースをユーザに提供でき、このようなＥＢＣインターフェースを通してユーザの視線及び脳波を同時にキャリブレーションする。ただし、これに限定されるものではなく、実施例によって、ＥＢＩシステムは、ＥＢＣインターフェースを通してユーザの脳波及び視線のいずれか一つに対してのみキャリブレーションを遂行することもできる。
以下においては、説明の便宜のために、スレーブ／ホストデバイス及びＥＢＩデバイスを通称してＥＢＩシステムと称する。従って、以下におけるＥＢＩシステムに関する説明は、ＥＢＩシステムがスレーブ及びホストデバイスを含む場合、スレーブ及びホストデバイスに適用され、ＥＢＩシステムがＥＢＩデバイスを含む場合、ＥＢＩデバイスに適用される。
図６は、ＥＢＣインターフェースの実施例を示した図である。
本発明の一実施例に係るＥＢＩシステムは、ＥＢＣインターフェースを通してユーザの視線及び脳波に対するキャリブレーションを同時に遂行する。このために、ＥＢＩシステムは、ユーザに特定認知状態を誘導すると同時に画面上の特定地点に対する視線の動きもまた同時に誘導するためのＥＢＣインターフェースをユーザに提供できる。
一実施例として、図６（ａ）を参照すると、ＥＢＩシステムは、ＥＢＣインターフェースとして互いに異なる地点に位置した複数個のビジュアルオブジェクトを順次にディスプレイし、ユーザにディスプレイされた複数個のビジュアルオブジェクトを順次に凝視するように指示する。このとき、ＥＢＩシステムは、ユーザに特定ビジュアルオブジェクトに対しては集中の認知状態を持って凝視するように指示し、他のビジュアルオブジェクトを眺める時は休息（または単純凝視／非集中）の認知状態を持って凝視するように指示する。これを指示するために、ＥＢＩシステムは、互いに異なる視覚的効果（例えば、色、大きさ、模様、明暗、ちらつき等）を有する複数個のビジュアルオブジェクトを交互にディスプレイする。例えば、ＥＢＩシステムは、赤色オブジェクトと青色ビジュアルオブジェクトを交互に及び順次にディスプレイし、ユーザに赤色オブジェクトは集中の認知状態で凝視するように指示し、青色オブジェクトは休息の認知状態で凝視するように指示する。
また、ＥＢＩシステムは、ユーザが特定ビジュアルオブジェクトから次のビジュアルオブジェクトに視線を移す場合は、検索（または探索）の認知状態を持って凝視するように指示する。この場合、ＥＢＩシステムは、特定ビジュアルオブジェクトから次のビジュアルオブジェクトに移動する視線経路を直接ガイド（またはディスプレイ）するか、またはガイドしなくてもよい。
このとき、ＥＢＩシステムは、特定ビジュアルオブジェクトに対するユーザの視線座標を獲得すると同時に、該当ビジュアルオブジェクトを眺めているユーザの脳波を獲得する。仮に、ビジュアルオブジェクト間の視線経路をガイドする場合、ＥＢＩシステムは、視線経路について行くユーザの視線座標を獲得すると同時に、視線経路を眺めているユーザの脳波もまた獲得する。逆に、ビジュアルオブジェクト間の視線経路をガイドしない場合に、ＥＢＩシステムは、ユーザの脳波だけを獲得できる。
次に、ＥＢＩシステムは、特定ビジュアルオブジェクトの画面上の座標と獲得したユーザの視線座標を互いにマッピングさせる。また、ＥＢＩシステムは、特定ビジュアルオブジェクトに対してユーザに指示した認知状態を、獲得したユーザの脳波と互いにマッピングさせる。これによって、ＥＢＩシステムは、一つのインターフェースを通してより容易で効率よく視線及び脳波を同時にキャリブレーションする方法を提供する。
このようなＥＢＣインターフェースは、上述の実施例の他にも様々な実施例で具現される。例えば、図６（ａ）乃至図６（ｃ）に示したように、ＥＢＣインターフェースは、複数個のビジュアルオブジェクトを特定形態（例えば、多角形、円形等）で、または不特定形態で（ランダムに）一つずつ（または既設定された個数だけ）順次にディスプレイし、互いに異なる視覚的効果（例えば、色、模様、大きさ、形態、ちらつき、明暗等）を有するビジュアルオブジェクトを交互にディスプレイする。または、ＥＢＣインターフェースは、複数のビジュアルオブジェクトを同時にディスプレイした後、特定ビジュアルオブジェクトに視覚的効果を与えることでユーザが凝視すべきビジュアルオブジェクトを順次に指示する。併せて、ＥＢＣインターフェースは、該当ビジュアルオブジェクトに与える視覚的効果を通してユーザの認知状態もまた共に指示する。
ヒトの場合、視覚的に認識される周波数と脳波の周波数が互いに同期化されると知られている。従って、ビジュアルオブジェクトに視覚的効果としてちらつき効果を適用する場合、ＥＢＣインターフェースは、ビジュアルオブジェクトがちらつく周波数を調節してユーザの脳を特定認知状態に誘導することもできる。
例えば、約８乃至１２Ｈｚの周波数は、脳波を休息（または探索）状態に対応するアルファ（α）波領域に誘導するのに役立つと知られている。従って、ＥＢＣインターフェースは、「休息」認知状態を誘導するために、特定ビジュアルオブジェクトが約８乃至１３Ｈｚの周波数でちらつくように視覚的効果を与える。従って、ユーザは、該当ビジュアルオブジェクトを単に凝視するだけで「休息」状態に誘導され、ＥＢＩインターフェースは、ユーザの脳波を抽出して休息の認知状態とマッピングさせる。また、約１３乃至３０Ｈｚの周波数は、脳波を集中（または覚醒、選択等）状態に対応するベータ（β）波領域に誘導するのに役立つと知られている。従って、ＥＢＣインターフェースは、「集中」認知状態を誘導するために、特定ビジュアルオブジェクトが約１３乃至３０Ｈｚの周波数でちらつくように視覚的効果を与える。従って、ユーザは、該当ビジュアルオブジェクトを単に凝視するだけで「集中」状態に誘導され、ＥＢＩインターフェースは、ユーザの脳波を抽出して集中の認知状態とマッピングさせる。
この他にも、ＥＢＣインターフェースは、様々な方式で画面上の特定地点に対するユーザの凝視及び特定認知状態を誘導し、ユーザの視線及び脳波を同時にキャリブレーションする。併せて、ＥＢＣインターフェースは、視線をキャリブレーションする場合、ユーザの虹彩パターンも共に獲得できる。このような虹彩パターンは、指紋のようにユーザ別に異なるので、ユーザ認証情報として有用に用いられる。このように、視線／脳波のキャリブレーションを完了したＥＢＩシステムは、ユーザの脳波をユーザの実行命令に関する制御情報として用い、ユーザの視線をユーザの実行命令位置に関する制御情報として用いる。例えば、ユーザが特定アイコンを凝視した後に集中した場合、ＥＢＩシステムは、ユーザが凝視したアイコンを実行する命令を遂行する。
図７は、本発明の一実施例に係るＥＢＣインターフェースによって獲得するデータに関する実施例を示した図である。
図７を参照すると、ＥＢＩシステムは、ＥＢＣインターフェースを通してユーザの視線及び脳波に関するデータを同時に獲得できる。併せて、ＥＢＩシステムは、ＥＢＣインターフェースを提供する間、ユーザの虹彩に関するデータもさらに獲得できる。
このように獲得されたデータは、一定のアルゴリズムによりプロセシングされる。特に、脳波の場合、ユーザ別に集中／非集中／探索等の認知状態による脳波パターンが異なるので、各認知状態による脳波をより明確に区別するために、特定アルゴリズムを通してデータをプロセシングする必要がある。
従って、ユーザの視線をプロセシングする方法に関しては図８と関連して、ユーザの虹彩をプロセシングする方法は図９と関連して、ユーザの脳波をプロセシングする方法は図１０乃至図１３と関連して、以下において詳細に後述する。
図８は、本発明の一実施例によって視線キャリブレーションを遂行するＥＢＩシステムを示した図である。
図８を参照すると、ＥＢＩシステムは、ユーザが画面上の特定地点（Ｘｐ、Ｙｐ）を眺めるとき、目の瞳孔が特定座標（Ｘｓ、Ｙｓ）に位置すると仮定して、二つの空間の間の関連関係を重回帰（ｍｕｌｔｉｖａｒｉａｔｅ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）等を通して類推できる。
より詳細には、ＥＢＩシステムは、ＥＢＣインターフェースを通してユーザが画面上の特定地点（Ｘｐ、Ｙｐ）を眺めるように指示する。このとき、ＥＢＩシステムは、視線追跡ユニットを通してユーザの視線撮影イメージを獲得し、撮影イメージからユーザの視線座標（Ｘｓ、Ｙｓ）を獲得できる。このとき、ユーザの視線座標は、目の中心（または目の瞳孔）を基準にして決定された相対的な座標であってよい。次に、ＥＢＩシステムは、画面上の特定地点とユーザの視線座標を相互マッピングさせる。このとき、ＥＢＩシステムは、下記の数１を利用して視線座標と画面上の特定地点をマッピングする。
Figure 2019506691
ただし、上述の数１の他にも、視線をキャリブレーションするためのＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ、Ｍｕｌｔｉ−Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ等の他の数式も適用され得る。
ＥＢＩシステムは、より正確なユーザの視線座標を獲得するために、ユーザのヘッドポジションに関するデータをさらに利用できる（ポジションマーカーユニット、カメラユニット及び／またはセンサユニットを利用して）。一般に、ユーザは、特定位置を眺めるとき、視線だけを移動させるのではなく、頭もまた特定位置に向かうように自然に動くようになる。このような点に基づいて、ＥＢＩシステムは、ユーザの視線位置をより正確に検出するために、ユーザのヘッドポジションに関するデータをさらに獲得でき、これをユーザの視線を正確に追跡するのに追加データとして用いる。
上記においては、ビデオ分析方式を適用した視線追跡ユニットを基準に説明したが、これに限定されるものではなく、ユーザの視線をトラッキングするための様々な視線トラッキング技術が視線追跡ユニットに適用され得る。
ＥＢＩシステムは、ユーザの視線をトラッキングすると同時にユーザの虹彩パターンデータもさらに獲得できるが、これと関連しては、図９と関連して以下に説明する。
図９は、本発明の一実施例によってユーザの虹彩パターンを獲得するＥＢＩシステムを示した図である。
図９を参照すると、ＥＢＩシステムは、視線追跡ユニットを通してユーザの視線をリアルタイムで追跡するだけではなく、ユーザの虹彩パターンを獲得できる。指紋のように、虹彩パターンもユーザ別に異なるので、ＥＢＩシステムは、虹彩パターンをユーザ認証情報として有用に活用できる。例えば、ＥＢＩシステムは、虹彩パターンをユーザログイン認証情報、決済認証情報、保安情報等、様々なユーザ認証情報として活用できる。
このために、ＥＢＩシステムは、視線追跡ユニットを利用して獲得したユーザの目に対する赤外線イメージのうち虹彩領域のイメージをＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に設定し、これを別に分離できる。次に、ＥＢＩシステムは、分離したＲＯＩイメージを複数のイメージに分離した後、分離された複数のイメージを一方向に並べる。最後に、ＥＢＩシステムは、一方向に並んだイメージを一つの二次元イメージ（例えば、二次元バーコードまたはＱＲコード（登録商標））に転換するコード化作業を遂行し、ユーザ別の特有の虹彩パターンを獲得できる。
このとき、ＥＢＩシステムは、一つの赤外線イメージを利用して虹彩パターンを獲得できるが、より正確なユーザの虹彩パターンを獲得するために、様々な方向を眺める視線に対する赤外線イメージを組み合わせて一つの虹彩パターンを獲得できる。ユーザの虹彩パターンは、目蓋、目の角度及び光の反射等により隠される領域が多くなるほど正確度が落ちるようになる。従って、ＥＢＩシステムは、様々な視線方向に対するユーザの目の赤外線イメージを獲得し、各イメージから虹彩パターンを獲得し、獲得した虹彩パターンを組み合わせて一つの虹彩パターンを獲得できる。従って、ユーザがどの方向を眺めても（または目蓋により瞳孔が隠されるとしても）、ＥＢＩシステムは、高い確率でユーザの虹彩パターンを区別できる。
図１０は、本発明の一実施例によってユーザの脳波を分類するＥＢＩシステムのフローチャートを示した図である。図１１乃至図１３は、本フローチャートの特定ステップの遂行により獲得したデータである。
図１０を参照すると、先ず、ＥＢＩシステムは、脳波センシングユニットを利用してユーザの脳波に関するローデータ（ｒａｗ ｄａｔａ）を獲得できる（Ｓ１０１０）。特に、ＥＢＩシステムは、上述のＥＢＣインターフェースを通してユーザに様々な認知状態（例えば、選択／探索／集中／休息）をそれぞれ指示し、各認知状態の脳波をセンシングして、ローデータを獲得できる。
同じユーザに同じ環境でＥＢＣインターフェースを通して選択／探索／集中／休息の認知状態をそれぞれ指示した結果、選択／探索の認知状態に関する脳波のローデータは図１１（ａ）のようであり、集中／休息の認知状態に関する脳波のローデータは図１２（ａ）のようであった。
図１１（ａ）を参照すると、探索状態の脳波は、選択状態の脳波より急激な変化を有する。また、図１２（ａ）を参照すると、休息状態の脳波と集中状態の脳波は、目視で明確に区別することが難しい。
脳波は、様々なＳｉｎ波形態の信号が合わせられて作られた信号であり、周波数帯域で特定認知状態によって区別される特徴を有する。従って、脳波を認知状態によってより明確に区別するために、ローデータに対するＦＦＴ変換を遂行することができる（Ｓ１０２０）。このとき、下記の数２が用いられ得る。
Figure 2019506691
ローデータがＦＦＴ変換されたグラフは、図１１（ｂ）及び図１２（ｂ）のようである。図１１（ｂ）を参照すると、探索及び選択状態の脳波は、約０乃至１０Ｈｚの周波数帯域で大きな差を見せ、図１２（ｂ）を参照すると、集中及び休息状態の脳波は、約１０乃至２０Ｈｚの周波数帯域で大きな差を見せる。
ＥＢＩシステムは、周波数ドメイン領域に変換されたサンプルデータから脳波の周波数帯域別に周波数大きさ（ａｍｐｌｉｔｕｄｅ）を抽出する（Ｓ１０３０）。抽出可能な周波数帯域は、δ波（０乃至４Ｈｚ）、θ波（４乃至８Ｈｚ）、α波（８乃至１３Ｈｚ）、β波（１３乃至３０Ｈｚ）と大きく計４つの帯域であり、α波とβ波はまたＬｏｗ α（８乃至１０Ｈｚ）、Ｈｉｇｈ α（１０乃至１３Ｈｚ）、Ｌｏｗ β（１３乃至２０Ｈｚ）、Ｈｉｇｈ β（２０乃至３０Ｈｚ）に分けられる。このように分けられた各帯域別に周波数大きさが抽出され、帯域別の周波数大きさを脳波の特徴を抽出するためのアルゴリズムに適用できる。
脳波は、同じ刺激に対してユーザ別に互いに異なるパターンを示す。従って、脳波データをユーザ別に正確に処理するためには、ユーザ別の脳波のキャリブレーション過程が必要である。このとき、ユーザ別の認知状態による脳波の周波数特徴を抽出するためのアルゴリズム（または脳波の認知状態を分類するための基準を設定するアルゴリズム）を適用できるが、本発明においては、Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏを利用している。ここで、Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏは、データ集団間の分類可能性（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｐｏｗｅｒ）を測定する方式であり、これを求める式は、下記の数３のようである。
Figure 2019506691
ここで、ｍ１は、二つの集団のうち一つのデータ集団の平均、ｍ２は、残りのデータ集団の平均、ｖ１は、一つのデータ集団の分散、ｖ２は、残りのデータ集団の分散を示す。ここで、平均と分散は、先に周波数帯域別に抽出した周波数大きさを利用して算出される。従って、ｍ１及びｖ１は、探索（または集中）状態のローデータをＦＦＴ変換した場合、ＦＦＴ変換されたローデータの周波数大きさの平均及び分散にそれぞれ該当し、ｍ２及びｖ２は、集中（または休息）状態のローデータをＦＦＴ変換した場合、ＦＦＴ変換されたローデータの周波数大きさの平均及び分散にそれぞれ該当する。数３を通して各認知状態による周波数係数のフィッシャー比（Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏ）を求める（Ｓ１０４０）。Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏを通して二つの標準分布の間の分類可能性（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｐｏｗｅｒ）を測定できる。より詳細には、Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏを利用して各周波数帯域でユーザの特定認知状態（例えば、選択／集中／休息／探索等）で示された周波数大きさ（ａｍｐｌｉｔｕｄｅ）が最も極大化する周波数帯域を見つけることで、ユーザ別の特定認知状態を区別するための最適な周波数帯域を見つけることができる。
周波数帯域別に脳波のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを比較し、そのうち最も高いＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する脳波の周波数帯域大きさ二つ（最上位及び次上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏ）を認知状態を区別するための特徴周波数帯域として選択できる（Ｓ１０５０）。Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏを通して各認知状態に大きな影響を与える二つの特徴周波数帯域を抽出でき、Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏの大きさが大きいほど各認知状態を区分するのに正確度が高い。
図１１（ｃ）は、選択／探索状態の脳波から算出したＦｉｓｈｅｒ’ｓ Ｒａｔｉｏであり、図１２（ｃ）は、集中／休息状態の脳波から算出したＦｉｓｈｅｒ’ｓ Ｒａｔｉｏである。図１１（ｃ）を参照すると、選択／探索状態は、約０乃至誌５Ｈｚの周波数帯域と約５乃至１０Ｈｚの周波数帯域で相互区分される特徴を有する。図１２（ｃ）を参照すると、集中／休息状態は、約０乃至５Ｈｚの周波数帯域と約１０乃至２０Ｈｚの周波数帯域で相互区分される特徴を有する。
図１１（ｄ）及び図１２（ｄ）は、選択／探索／集中／休息認知状態でＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを通して抽出された特徴周波数帯域の大きさを二次元領域で表現したグラフである。図１１（ｄ）及び図１２（ｄ）を参照すると、同じ認知状態のデータは、特定位置に集まっていることを確認できた。
このように、Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏを利用して認知状態を区別するための特徴周波数帯域を抽出するようになれば、脳波のキャリブレーション作業は完了する。
次に、ＥＢＩシステムは、新たに獲得されるデータがどの集団に属するかを判断できる分類モデルを適用できる（Ｓ１０６０）。即ち、ＥＢＩシステムは、新たに獲得された脳波がどの認知状態に属する脳波であるかを判断できる分類モデルを適用できる。このとき、ＥＢＩシステムは、分類モデルとしてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を適用できる。ＳＶＭは、他の分類モデルより一般化能力と性能が良いものと評価されている。ＥＢＩシステムは、先にＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを利用して獲得した特徴を基準に新たに獲得した脳波データを認知状態別にＳＶＭを通してリアルタイムで区別（または分類）できる（Ｓ１０７０）。
このように、周波数帯域の特徴を抽出するＦｉｓｈｅｒ’ｓ ＲａｔｉｏとＳＶＭ技法を通して約８０％以上の正確度で脳波の認知状態を区別できた。既存には、ユーザの脳波をキャリブレーションする方法に対する具体的な基準及び方式が確立されず、ユーザの脳波だけでデバイスを制御するのに正確度が落ちていた。これに対し、本発明が提示するキャリブレーション方法を通してユーザの脳波の認知状態をより正確に区別できるので、ユーザは、脳波だけでユーザの意図に合うようにデバイスを正確に制御できるようになる。
図１０のフローチャートの各ステップは、ＥＢＩシステムに含まれた少なくとも一つのデバイスによりそれぞれ遂行される。例えば、ＥＢＩシステムが一つのＥＢＩデバイスを含む場合、図１０のフローチャートのステップは、ＥＢＩデバイスにより遂行される。または、ＥＢＩシステムがスレーブデバイス及びホストデバイスを含む場合、図１０のフローチャートのステップのうち一部のステップはスレーブデバイス、残りのステップはホストデバイスにより遂行される。
図１３は、本発明の一実施例に係るリキャリブレーション方法に関する実施例を示した図である。
ＥＢＣインターフェースを通したキャリブレーションが完了すれば、ＥＢＩシステムは、キャリブレーション結果を基準に新たに獲得した視線及び脳波に関するデータをマッピング／分類し、マッピング／分類状態と対応する様々なコマンドを遂行する。例えば、ＥＢＩシステムは、キャリブレーション結果を基準にユーザの視線と画面上の特定アイコンをマッピングさせる。さらに、ＥＢＩシステムは、該当アイコンを眺めた状態で集中（または選択）状態に分類される脳波データをさらに獲得した場合、該当アイコンを選択及び実行するコマンドを遂行する。
即ち、ＥＢＩシステムは、キャリブレーション結果を基準に新たに獲得したデータのマッピング／分類作業を遂行し、マッピング／分類されたデータに該当するコマンドを遂行することとなる。ただし、キャリブレーションが完了した後にも、キャリブレーション当時の環境と現在の環境が異なるとか、ユーザあるいはユーザの環境が変更されてキャリブレーション結果の正確度が落ちる場合が発生し得る。この場合、ＥＢＩシステムは、キャリブレーションを再び遂行（リキャリブレーション、「Ｒｅｃａｌｉｂｒａｔｉｏｎ」）する必要がある。
ＥＢＩシステムのリキャリブレーションのきっかけは、様々である。
一実施例として、ＥＢＩシステムのリキャリブレーションは、ユーザにより直接なされる。例えば、ＥＢＩシステムは、リキャリブレーションを命令するユーザ入力を受信した場合、リキャリブレーションを遂行する。このとき、ユーザ入力は、ユーザの音声、タッチ、ジェスチャー、モーション、動作等、様々な形態の入力を示す。
他の実施例として、図１３を参照すると、ＥＢＩシステムのリキャリブレーションは、ユーザのストレス指数を測定することで自動的になされる。脳波及び視線によってユーザの意図と合わないようにデバイスが動作する場合（誤動作する場合）、ユーザのストレス指数は上がる。従って、ＥＢＩシステムは、ユーザのストレス指数が既設定された閾値（ＴＨ）の範囲を外れる場合、リキャリブレーションが必要であると判断してリキャリブレーションを遂行する。
ユーザの脳波のうちベータ波とガンマ波は、ストレス指数と関連のあるものと知られている。従って、ＥＢＩシステムは、ユーザの脳波のガンマ波とベータ波をリアルタイムで測定し、特定波が既設定された閾値の範囲を外れる場合、リキャリブレーションを遂行する。
この他にも、ＥＢＩシステムは、ストレス指数と関連のあるものと知られた生体信号、例えば、心拍数、血圧等をリアルタイムで測定し、測定結果に基づいてリキャリブレーションをなすことができる。
ＥＢＩシステムは、リキャリブレーションの遂行のためにユーザにＥＢＣインターフェースを再び提供する。
図１４は、本発明の一実施例に係るＥＢＩシステムの様々な適用例を示した図である。
図１４を参照すると、ＥＢＩシステムは、ドローンコントロール技術分野、ホームネットワーク技術分野、教育分野、携帯用デバイス技術分野、ビークル（ｖｅｈｉｃｌｅ）コントロール技術分野、エンターテインメント分野等の様々な技術分野に適用され得る。
ＥＢＩシステムがドローンコントロール技術分野に適用される場合、ホストデバイスは、ドローン１４０−１であってよく、スレーブデバイスは、ウェアラブルデバイス１００であってよい。ユーザは、スレーブデバイスを着用した状態で、脳波及び視線を通してドローンを制御する。
例えば、ウェアラブルデバイス１００がユーザの頭に着用可能なヘッドセット形態である場合、ユーザは、頭のポジションを通してドローン１４０−１の動きを制御する。ユーザが頭を前／後／左／右に動かす場合、ドローンもまたユーザの頭の動きによって前／後／左／右に動く。また、ユーザがウェアラブルデバイス１００を着用した状態でドローン１４０−１を眺めて集中する場合、ドローン１４０−１の移動速度は増加し、ユーザがドローン１４０−１を眺めて休息する場合、ドローン１４０−１は移動せず一つの地点に止まっていてよい。この他に、ドローン１４０−１は、ユーザの様々な生体信号に基づいて動作できる。
ドローンコントロール技術分野と類似するように、ＥＢＩシステムは、ビークルコントロール技術分野に適用され得る。例えば、ＥＢＩシステムは、自動車、飛行機、自転車等、様々なビークルをコントロールする技術分野に適用され、この場合、ビークル１４０−４は、ホストデバイスとなり、ユーザの身体に着用したウェアラブルデバイス１００は、スレーブデバイスとなる。
ＥＢＩシステムがホームネットワーク技術分野に適用される場合、ホーム内に位置する様々なホームデバイス１４０−２は、ホストデバイスとなり、ユーザの身体に着用可能なウェアラブルデバイスは、スレーブデバイスとなる。この場合、ユーザは、ウェアラブルデバイスを着用した状態で特定ホーム機器を眺め、脳波を通して特定命令を下すことによりホームデバイスを簡便に制御できる。例えば、ユーザは、ウェアラブルデバイス１００を着用した状態で電球をみつめて「集中」状態を維持する場合、該当電球は、ついたり又は消えたりする。
ＥＢＩシステムが教育分野に適用される場合、様々な教育用機器１４０−３は、ホストデバイスとなり、ユーザの身体に着用可能なウェアラブルデバイス１００は、スレーブデバイスとなる。ＥＢＩシステムは、ユーザの集中状態を測定できるので、ユーザが現在どれほど集中しているか、集中度をリアルタイムで追跡できる。このとき、ＥＢＩシステムは、集中力が多少落ちた時間に学習された部分は、今後、再び学習することを勧めることで学習効率を向上させるのに役立つ。
この他にも、ＥＢＩシステムは、様々な技術分野に適用され、特に、ユーザの生体信号を用いた制御技術が適用可能な様々な分野に適用され、上述の実施例に限定されない。
仮に、ＥＢＩシステムが適用される技術分野によって、制御信号として脳波及び視線のいずれか一つだけを要求する場合、ＥＢＩシステムは、要求される脳波または視線に対してのみキャリブレーションを遂行する。即ち、実施例によって、ＥＢＩシステムは、脳波及び視線を同時にキャリブレーションするか、または脳波及び視線のいずれか一つに対してのみキャリブレーションを遂行することもできる。
図１５は、本発明の一実施例に係るＥＢＩシステムの制御方法に関するフローチャートである。本フローチャートと関連して、上述の実施例の説明が同様に適用される。従って、以下においては、上述の内容と重複する説明は省略する。
先ず、ＥＢＩシステムは、ＥＢＣインターフェースを提供できる（Ｓ１５１０）。より詳細には、ＥＢＩシステムは、ユーザの視線及び脳波を同時にキャリブレーションするためのＥＢＣインターフェースを提供できる。このとき、ＥＢＣインターフェースは、少なくとも一つのビジュアルオブジェクトを含み、ユーザが該当ビジュアルオブジェクトに対して特定認知状態を持って凝視するように指示する。ＥＢＣインターフェースは、様々な実施例としてユーザに提供され、これについては、図６と関連して上述したとおりである。
次に、ＥＢＩシステムは、ユーザの視線及び脳波を獲得できる（Ｓ１５２０）。より詳細には、ＥＢＩシステムは、脳波センシングユニット及び視線追跡ユニットを利用してＥＢＣインターフェースに対するユーザの視線及び脳波を獲得できる。
次に、ＥＢＩシステムは、ＥＢＣインターフェースが提供するビジュアルオブジェクトとユーザの視線をマッピングできる（Ｓ１５３０）。この場合、ＥＢＩシステムは、ビジュアルオブジェクトの位置座標及びユーザの視線座標を相互マッピングできる。このとき、ＥＢＩシステムは、ｍｕｌｔｉｖａｒｉａｔｅ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ等を通してビジュアルオブジェクトの位置とユーザの視線を相互マッピングでき、これについては、図８と関連して上述したとおりである。
最後に、ＥＢＩシステムは、ＥＢＣインターフェースが指示する特定認知状態とユーザの脳波をマッピングできる（Ｓ１５４０）。この場合、ＥＢＩシステムは、特定認知状態に対するローデータを獲得し、獲得したデータを既設定されたアルゴリズムを通してプロセシングすることで特定認知状態を分類するための分類基準を設定できる。分類基準を設定するための既設定されたアルゴリズムの実施例は、図１０と関連して上述したとおりである。
本フローチャートにおいて、Ｓ１５３０とＳ１５４０ステップの順序は変更され得、実施例によって新たなステップが加えられるか、または一部のステップが削除されてもよい。
一方、本フローチャートには示していないが、ＥＢＩシステムは、ユーザの視線から虹彩イメージを獲得でき、獲得した虹彩イメージをコード化してユーザ認証情報として用いることができる。これについては、図９と関連して上述したとおりである。
本フローチャートの各ステップは、ＥＢＩシステムに含まれた少なくとも一つのデバイスにより遂行される。仮に、ＥＢＩシステムが一つのＥＢＩデバイスを含む場合、本フローチャートに示したステップは、一つのＥＢＩデバイスにより遂行される。仮に、ＥＢＩシステムがスレーブデバイス及びホストデバイスを含む場合、本フローチャートに示されたステップの一部はスレーブデバイス、残りはホストデバイスにより遂行される。
例えば、Ｓ１５１０、Ｓ１５３０、及びＳ１５４０ステップは、ホストデバイスにより遂行され、Ｓ１５２０ステップは、スレーブデバイスにより遂行される。この場合、ホストデバイスは、スレーブデバイスからＳ１５２０ステップを遂行した結果データを受信（または要請して受信）し、受信したデータに基づいてＳ１５３０及びＳ１５４０ステップを遂行する。
この他に、ＥＢＩシステムに含まれたデバイスの個数及び各デバイスの構成ユニット、設計目的等によって、本フローチャートの各ステップを遂行する主体は流動的に変更され、各ステップを遂行するために、デバイス間にデータまたは信号が送／受信される。従って、本明細書においては、ＥＢＩシステムが複数のデバイスで構成される場合、重複して説明しなくても、特定ステップを遂行するために要求されるデータがデバイス間に送／受信される内容が含まれているものと見なされる。
説明の便宜のために、各図面を分けて説明したが、各図面に述べられている実施例を併合して新たな実施例を具現するように設計することも可能である。また、表示装置は、上述したように説明した実施例の構成と方法が限定されて適用されるものではなく、上述の実施例は、様々な変形がなされるように各実施例の全部または一部が選択的に組み合わされて構成されてもよい。
以上においては、好ましい実施例について図示して説明したが、本明細書は、上述の特定の実施例に限定されず、請求の範囲において請求する要旨を外れることなく当該明細書の属する技術の分野における通常の知識を有する者によって様々な変形実施が可能であることはもちろん、このような変形実施は、本明細書の技術的思想や展望から個別的に理解されてはならない。
様々な実施例を本発明を実施するための最善の形態により説明した。
本発明のユーザの脳波及び視線を用いた様々な制御システムで用いられる。
１００、１００−１、１００−２ スレーブデバイス、ウェアラブルデバイス
１１０、１１０−１、５００ 脳波センシングユニット
１１０−２、２６０ センサユニット
１２０ ポジションマーカーユニット
１３０、５１０ 視線追跡ユニット
１４０ カメラユニット
１４０−１ ドローン
１４０−２ ホームデバイス
１４０−３ 教育用機器
１４０−４ ビークル
１５０ ホストデバイス
２１０ ディスプレイユニット
２２０、２４０、５２０ プロセッサ
２３０、２５０、５３０ 通信ユニット
４００ ＥＢＩデバイス
５４０ ディスプレイユニット

Claims (20)

  1. 視線（ｅｙｅ）及び脳波に基づいて制御されるＥＢＩ（Ｅｙｅ−Ｂｒａｉｎ Ｉｎｔｅｒｆａｃｅ）システムのキャリブレーションする方法において、
    前記視線及び脳波を共にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供するステップと、
    前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、前記ＥＢＣインターフェースに含まれたビジュアルオブジェクトに対する前記ユーザの視線及び脳波を獲得するステップと、
    前記ビジュアルオブジェクトと前記ユーザの視線をマッピングするステップと、
    前記ユーザに指示した特定認知状態と前記ユーザの脳波をマッピングするステップと、を含む、ことを特徴とするＥＢＩシステムのキャリブレーション方法。
  2. 前記ユーザの視線をマッピングするステップは、
    前記ビジュアルオブジェクトの画面上の位置座標と前記ユーザの視線の位置座標を相互マッピングするステップである、ことを特徴とする請求項１に記載のＥＢＩシステムのキャリブレーション方法。
  3. 前記ＥＢＣインターフェースは、第１認知状態を指示する第１ビジュアルオブジェクト、及び第２認知状態を指示する第２ビジュアルオブジェクトを順次に、及び／または、交互に提供する、ことを特徴とする請求項１に記載のＥＢＩシステムのキャリブレーション方法。
  4. 前記第１認知状態は、集中及び選択の少なくとも一つを含む認知状態であり、前記第２認知状態は、休息及び探索の少なくとも一つを含む認知状態であることを特徴とする、請求項３に記載のＥＢＩシステムのキャリブレーション方法。
  5. 前記ユーザの脳波をマッピングするステップは、
    前記第１認知状態での脳波に対する第１ローデータ（Ｒａｗ ｄａｔａ）及び前記第２認知状態での脳波に対する第２ローデータを獲得するステップと、
    前記第１及び第２ローデータを周波数変換するステップと、
    前記周波数変換された第１及び第２ローデータの周波数特性に基づいて前記第１及び第２認知状態の分類基準を設定するステップと、を含む、ことを特徴とする請求項３に記載のＥＢＩシステムのキャリブレーション方法。
  6. 前記第１及び第２認知状態の分類基準を設定するステップは、
    前記周波数変換された第１及び第２ローデータから既設定された範囲の周波数帯域別の周波数大きさ（ａｍｐｌｉｔｕｄｅ）を抽出するステップと、
    前記抽出した周波数大きさを利用して前記周波数帯域別のフィッシャー比（Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏ）を獲得するステップと、
    最上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第１周波数帯域及び次上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第２周波数帯域を選択するステップと、
    前記第１及び第２周波数帯域を前記第１及び第２認知状態の分類基準に設定するステップと、を含む、ことを特徴とする請求項５に記載のＥＢＩシステムのキャリブレーション方法。
  7. 前記Ｆｉｓｈｅｒ’ｓ Ｒａｔｉｏは、
    前記周波数変換された第１ローデータでの前記周波数大きさの平均及び分散、及び前記周波数変換された第２ローデータでの前記周波数大きさの平均及び分散に基づいて算出される値である、ことを特徴とする請求項６に記載のＥＢＩシステムのキャリブレーション方法。
  8. 前記既設定された範囲の周波数帯域は、脳波のδ波帯域、θ波帯域、α波帯域、またはβ波帯域に該当する、ことを特徴とする請求項５に記載のＥＢＩシステムのキャリブレーション方法。
  9. 前記ＥＢＣインターフェースは、前記ビジュアルオブジェクトがちらつく周波数を調節することで前記ユーザの脳波を特定周波数帯域に誘導する、ことを特徴とする請求項１に記載のＥＢＩシステムのキャリブレーション方法。
  10. 前記ＥＢＣインターフェースは、
    前記ビジュアルオブジェクトがちらつく周波数を約８乃至１３Ｈｚの範囲に調整することで前記ユーザの脳波をアルファ波の範囲に誘導し、
    前記ビジュアルオブジェクトがちらつく周波数を約１３乃至３０Ｈｚの範囲に調整することで前記ユーザの脳波をベータ波の範囲に誘導する、ことを特徴とする請求項９に記載のＥＢＩシステムのキャリブレーション方法。
  11. 前記ユーザの視線から虹彩イメージを獲得するステップと、
    前記虹彩イメージをコード化するステップと、をさらに含む、ことを特徴とする請求項１に記載のＥＢＩシステムのキャリブレーション方法。
  12. 前記虹彩イメージをコード化するステップは、
    前記獲得した虹彩イメージを複数のイメージに分離するステップと、
    前記分離した複数のイメージを一方向に並べるステップと、
    前記一方向に並んだイメージを一つの二次元イメージに転換するステップと、を含む、ことを特徴とする請求項１１に記載のＥＢＩシステムのキャリブレーション方法。
  13. 視線（ｅｙｅ）及び脳波を測定するスレーブデバイスにおいて、
    ユーザの視線を追跡する視線追跡ユニットと、
    前記ユーザの脳波をセンシングする脳波センシングユニットと、
    ホストデバイスと通信を遂行する通信ユニットと、
    前記視線追跡ユニット、脳波センシングユニット及び通信ユニットを制御するプロセッサと、を含み、
    前記ホストデバイスは、前記視線及び脳波を同時にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供するデバイスであって、前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、
    前記プロセッサは、
    前記ホストデバイスからキャリブレーション開始信号を受信した場合、前記ユーザの視線及び脳波を共に獲得し、
    前記ユーザの視線及び脳波を前記ホストデバイスに伝送する、ことを特徴とするスレーブデバイス。
  14. 視線及び脳波に基づいて制御されるホストデバイスにおいて、
    イメージをディスプレイするディスプレイユニットと
    スレーブデバイスと通信を遂行する通信ユニットと、
    前記ディスプレイユニット及び通信ユニットを制御するプロセッサと、を含み、
    前記プロセッサは、
    前記視線及び脳波を同時にキャリブレーションするためのＥＢＣ（Ｅｙｅ−Ｂｒａｉｎ Ｃａｌｉｂｒａｔｉｏｎ）インターフェースを提供し、
    前記ＥＢＣインターフェースは、ビジュアルオブジェクトを含み、ユーザに前記ビジュアルオブジェクトを特定認知状態で凝視することを指示し、
    前記スレーブデバイスから前記ユーザの視線及び脳波を要請及び受信し、
    前記ビジュアルオブジェクトと前記ユーザの視線をマッピングし、
    前記ユーザに指示した特定認知状態と前記ユーザの脳波をマッピングする、ことを特徴とするホストデバイス。
  15. 前記プロセッサは、
    前記ユーザの視線をマッピングする場合、
    前記ビジュアルオブジェクトの画面上の位置座標と前記ユーザの視線の位置座標を相互マッピングする、ことを特徴とする請求項１４に記載のホストデバイス。
  16. 前記ＥＢＣインターフェースは、第１認知状態を指示する第１ビジュアルオブジェクト、及び第２認知状態を指示する第２ビジュアルオブジェクトを順次に、及び／または、交互に提供する、ことを特徴とする請求項１４に記載のホストデバイス。
  17. 前記第１認知状態は、集中または選択の認知状態であり、前記第２認知状態は、休息または探索の認知状態である、ことを特徴とする請求項１６に記載のホストデバイス。
  18. 前記プロセッサは、
    前記ユーザの脳波をマッピングする場合、
    前記第１認知状態での脳波に対する第１ローデータ（Ｒａｗ ｄａｔａ）及び前記第２認知状態での脳波に対する第２ローデータを獲得し、
    前記第１及び第２ローデータを周波数変換し、
    前記周波数変換された第１及び第２ローデータから既設定された範囲の周波数帯域別の周波数大きさを抽出し、
    前記抽出した周波数大きさを利用して前記周波数帯域別のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを獲得し、
    最上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第１周波数帯域及び次上位のＦｉｓｈｅｒ’ｓ Ｒａｔｉｏを有する第２周波数帯域を選択し、
    前記第１及び第２周波数帯域を前記第１及び第２認知状態の分類基準に設定する、ことを特徴とする請求項１６に記載のホストデバイス。
  19. 前記プロセッサは、
    前記ユーザの脳波をリアルタイムで獲得し、
    前記リアルタイムで獲得したユーザの脳波を前記分類基準によってリアルタイムで分類する、ことを特徴とする請求項１８に記載のホストデバイス。
  20. 前記ＥＢＣインターフェースは、前記ビジュアルオブジェクトがちらつく周波数を調節することで前記ユーザの脳波を特定周波数帯域に誘導する、ことを特徴とする請求項１４に記載のホストデバイス。
JP2018551726A 2015-12-17 2015-12-17 アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス Expired - Fee Related JP6664512B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/013894 WO2017104869A1 (ko) 2015-12-17 2015-12-17 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
JP2019506691A true JP2019506691A (ja) 2019-03-07
JP6664512B2 JP6664512B2 (ja) 2020-03-13

Family

ID=59056842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551726A Expired - Fee Related JP6664512B2 (ja) 2015-12-17 2015-12-17 アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス

Country Status (5)

Country Link
US (2) US10481683B2 (ja)
EP (1) EP3392739B1 (ja)
JP (1) JP6664512B2 (ja)
CN (1) CN108700931A (ja)
WO (1) WO2017104869A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
US9958939B2 (en) 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
JP6525010B2 (ja) * 2014-08-05 2019-06-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
CN108700931A (zh) 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
US10921888B2 (en) * 2017-03-07 2021-02-16 Cornell University Sensory evoked response based attention evaluation systems and methods
US10877647B2 (en) * 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
CN108733203A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
CN107105369A (zh) * 2017-06-29 2017-08-29 京东方科技集团股份有限公司 声音定向切换装置及显示系统
EP3672478A4 (en) 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
EP3682313A1 (en) * 2017-09-13 2020-07-22 Sandeep Kumar Chintala System and method for contact less control of an appliance technical field
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle
JP7496776B2 (ja) * 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
CN109938727A (zh) * 2017-12-20 2019-06-28 中国科学院深圳先进技术研究院 非人灵长类动物三维视觉刺激实验系统和方法
JP7141680B2 (ja) * 2018-01-29 2022-09-26 株式会社Agama-X 情報処理装置、情報処理システム及びプログラム
JP7141681B2 (ja) 2018-01-29 2022-09-26 株式会社Agama-X 情報処理装置、情報処理システム及びプログラム
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US20190388732A1 (en) * 2018-06-21 2019-12-26 International Business Machines Corporation Virtual Environment for Physical Therapy
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN109846477B (zh) * 2019-01-29 2021-08-06 北京工业大学 一种基于频带注意力残差网络的脑电分类方法
USD927005S1 (en) * 2019-02-28 2021-08-03 Helius Medical, Inc Non-invasive neurostimulation device
USD916300S1 (en) * 2019-02-28 2021-04-13 Helius Medical, Inc Non-invasive neurostimulation device
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US10854012B1 (en) * 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20220236801A1 (en) * 2019-06-28 2022-07-28 Sony Group Corporation Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
CN111290580B (zh) * 2020-02-13 2022-05-31 Oppo广东移动通信有限公司 基于视线追踪的校准方法及相关装置
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
WO2024040360A1 (zh) * 2022-08-26 2024-02-29 吕馨 Brain reality

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152046A (ja) * 2002-10-31 2004-05-27 Oki Electric Ind Co Ltd 利用者認証方法および生体情報記録装置、利用者認証装置、利用者認証システム並びにチケット発行装置
JP2006136464A (ja) * 2004-11-11 2006-06-01 Nec Commun Syst Ltd 携帯電話機及び携帯電話機用プログラム
JP2007025963A (ja) * 2005-07-14 2007-02-01 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
WO2008056492A1 (fr) * 2006-11-06 2008-05-15 Panasonic Corporation Dispositif de réglage d'un procédé d'identification d'ondes cérébrales et procédé
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2012133185A1 (ja) * 2011-03-31 2012-10-04 独立行政法人理化学研究所 脳波解析装置、脳波解析方法、プログラム、及び記録媒体
JP2012221498A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
EP2685351A1 (en) * 2012-07-10 2014-01-15 Thomson Licensing Method for calibration free gaze tracking using low cost camera

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
CN102542243A (zh) * 2010-12-17 2012-07-04 北京理工大学 一种基于lbp图像和分块编码的虹膜特征提取方法
KR101247748B1 (ko) 2011-05-04 2013-03-26 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR101272811B1 (ko) 2011-08-03 2013-06-10 동국대학교 산학협력단 인터페이스 시스템 및 방법
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
KR102333704B1 (ko) 2013-09-30 2021-12-01 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
CN108700931A (zh) 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152046A (ja) * 2002-10-31 2004-05-27 Oki Electric Ind Co Ltd 利用者認証方法および生体情報記録装置、利用者認証装置、利用者認証システム並びにチケット発行装置
JP2006136464A (ja) * 2004-11-11 2006-06-01 Nec Commun Syst Ltd 携帯電話機及び携帯電話機用プログラム
JP2007025963A (ja) * 2005-07-14 2007-02-01 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
WO2008056492A1 (fr) * 2006-11-06 2008-05-15 Panasonic Corporation Dispositif de réglage d'un procédé d'identification d'ondes cérébrales et procédé
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2012133185A1 (ja) * 2011-03-31 2012-10-04 独立行政法人理化学研究所 脳波解析装置、脳波解析方法、プログラム、及び記録媒体
JP2012221498A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
EP2685351A1 (en) * 2012-07-10 2014-01-15 Thomson Licensing Method for calibration free gaze tracking using low cost camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
日高 智貴: "脳波分析による意図および気分抽出に基づく制御システムの提案", 第６回データ工学と情報マネジメントに関するフォーラム （第１２回日本データベース学会年次大会） ［Ｏ, JPN6019023563, 30 May 2014 (2014-05-30), JP, ISSN: 0004061315 *
銭智定 銭智定: "ブレイン・マシン・インタフェースに関する研究−脳波を用いた上下運動の識別−", 第３１回日本ロボット学会学術講演会 ２０１３年 ＴＨＥ ３１ＳＴ ＡＮＮＵＡＬ ＣＯＮＦＥＲＥＮＣＥ, JPN6019023567, 20 December 2013 (2013-12-20), ISSN: 0004061316 *

Also Published As

Publication number Publication date
US10481683B2 (en) 2019-11-19
JP6664512B2 (ja) 2020-03-13
EP3392739A4 (en) 2019-08-28
WO2017104869A1 (ko) 2017-06-22
US20200057495A1 (en) 2020-02-20
EP3392739B1 (en) 2022-04-20
EP3392739A1 (en) 2018-10-24
US20180196511A1 (en) 2018-07-12
US10860097B2 (en) 2020-12-08
CN108700931A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
JP6929644B2 (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
JP6184989B2 (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
CN109997174B (zh) 可穿戴光谱检查系统
KR101723841B1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
US20160103487A1 (en) Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
CN112181152A (zh) 基于mr眼镜的广告推送管理方法、设备及应用
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10387719B2 (en) Biometric based false input detection for a wearable computing device
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
CN114730214A (zh) 人机接口设备
CN114902161A (zh) 人机接口系统
KR20190107738A (ko) 이미지 처리 장치 및 방법
KR102564202B1 (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities
EP4305511A1 (en) Systems and methods for signaling cognitive-state transitions
JP2024523315A (ja) 視覚能力を特徴付けるための仮想現実技術
Schiavone et al. Calibration of a multimodal head-mounted device for ecological assessment of social orienting behavior in children

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R150 Certificate of patent or registration of utility model

Ref document number: 6664512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees