JP2021121930A - ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム - Google Patents

ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム Download PDF

Info

Publication number
JP2021121930A
JP2021121930A JP2021068786A JP2021068786A JP2021121930A JP 2021121930 A JP2021121930 A JP 2021121930A JP 2021068786 A JP2021068786 A JP 2021068786A JP 2021068786 A JP2021068786 A JP 2021068786A JP 2021121930 A JP2021121930 A JP 2021121930A
Authority
JP
Japan
Prior art keywords
user
stimulus
time
neural signal
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021068786A
Other languages
English (en)
Other versions
JP7365373B2 (ja
Inventor
ダニエル ファーマン
Furman Daniel
ダニエル ファーマン
エイタン クウォルワッサー
Kwalwasser Eitan
エイタン クウォルワッサー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arctop Ltd
Original Assignee
Arctop Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arctop Ltd filed Critical Arctop Ltd
Publication of JP2021121930A publication Critical patent/JP2021121930A/ja
Priority to JP2023108375A priority Critical patent/JP2023145442A/ja
Application granted granted Critical
Publication of JP7365373B2 publication Critical patent/JP7365373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2139Recurrent verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149Restricted operating environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Abstract

【課題】ブレイン・コンピュータ・インターフェースを提供するための新規の有用なシステム及び方法を提供する。【解決手段】ブレイン・コンピュータ・インターフェースを提供するための方法であって、時間ロック(time-locked)構成要素および自発的構成要素を有する較正セッションに応答したユーザの神経信号を検出する工程と、神経信号に基づいてユーザ固有の較正モデルを生成する工程;時間ロック構成要素及び自発的構成要素を有する検証セッションを受けるようユーザに促す工程と、検証セッションの送達と同時に神経信号を検出する工程と、神経信号からユーザ固有の較正モデルの出力を生成する工程と、処理された出力間の比較操作に基づいて、ユーザの認証ステータスを決定する工程と、認証された動作を行う工程と、を含む。【選択図】図1A

Description

関連出願の相互参照
本出願は、各々その全体が本参照により本明細書に組み入れられる、2016年9月1日に出願された米国仮特許出願第62/382,445号、2016年9月1日に出願された米国仮特許出願第62/382,433号、および2016年7月11日に出願された米国仮特許出願第62/360,640号の優先権の恩典を主張する。
技術分野
本発明は一般に神経信号処理の分野に関し、より詳細には、神経信号処理の分野におけるユーザプロフィールの認証、認可、および継続的評価のための改善されたシステムおよび方法に関する。
背景
ブレイン・コンピュータ・インターフェース(BCI)のシステムおよび方法を使用して、ユーザをユーザの環境とシームレスに繋ぎ、デジタル世界におけるユーザ体験を向上させることができる。そのようなBCIシステムを使用して、1人または複数のユーザをデジタルユニバースに接続し、機密情報のアクセスに関連したセキュリティ(例えば、認証、認可)のための機構、および/または任意の他の適切な目的のための機構を提供することができる。特に、サイバーセキュリティシステムは、機密情報の保護、ユーザ認証、およびユーザ認可に不可欠であり、外部および内部の攻撃に対してロバストでなければならない。現在のサイバーセキュリティシステムは、多要素認証および/または特定のバイオメトリックシグネチャタイプの使用に重点を置いている。しかしながら、そのようなシステムはますますハッキングを受けやすくなりつつあり、侵入を許さない強化されたセキュリティソリューションを提供する新しいシステムおよび方法が開発される必要がある。
よって、ブレイン・コンピュータ・インターフェースを提供するための新規の有用なシステムおよび方法を生み出す必要がある。本発明は、そのような新規の有用なシステムおよび方法をもたらす。
[本発明1001]
・第1の時間窓内で、第1の時間ロック(time-locked)構成要素および第1の自発的構成要素のうちの少なくとも1つを有する較正セッションに応答したユーザの第1の神経信号を検出する工程であって、前記第1の時間ロック構成要素が第1のランダム化因子を含む、工程;
・前記第1の神経信号に基づいてユーザ固有の較正モデルを生成する工程;
・第2の時間窓内の、第2の時間ロック構成要素および第2の自発的構成要素のうちの少なくとも1つを有する検証セッションを受けるよう前記ユーザに促す工程であって、前記第2の時間ロック構成要素が第2のランダム化因子を含む、工程;
・前記検証セッションの送達と同時に第2の神経信号を検出する工程;
・前記第2の神経信号から前記ユーザ固有の較正モデルの出力を生成する工程;
・前記第2の神経信号の処理された出力と前記ユーザ固有の較正モデルの出力との比較操作に基づいて、前記ユーザの認証ステータスを決定する工程;ならびに
・前記認証ステータスに基づいて、認証された動作を行う工程
を含む、ブレイン・コンピュータ・インターフェースを提供するための方法。
[本発明1002]
前記第1の時間ロック構成要素が第1の音刺激を含み、前記第2の時間ロック構成要素が第2の音刺激を含み、前記第1および第2の音刺激が実質的に同一である、本発明1001の方法。
[本発明1003]
前記第1の時間窓内で補助生体計測信号を検出する工程、および前記第1の神経信号と前記補助生体計測信号とに基づいて前記ユーザ固有の較正モデルを生成する工程をさらに含む、本発明1001の方法。
[本発明1004]
前記第1の自発的構成要素が、前記ユーザに刺激を想像するよう促すことを含み、前記第2の自発的構成要素が、前記ユーザに前記刺激を想像するよう促すことを含む、本発明1001の方法。
[本発明1005]
前記ユーザの前記認証ステータスに基づいてデータベースからユーザ選好を検索する工程をさらに含み、前記認証された動作を行う工程が、前記検索したユーザ選好に従って、前記ユーザと関連付けられた物理環境の環境パラメータを調整する工程を含む、本発明1001の方法。
[本発明1006]
前記認証された動作を行う工程が、前記ユーザがコンピューティングシステムにアクセスすることを認可する工程を含む、本発明1001の方法。
[本発明1007]
前記認証された動作を行う工程が、前記ユーザがブレイン・コンピュータ・インターフェースデバイスとの通信においてユーザ固有の動作を行うことによって相互作用する物理的対象と関連付けられたデジタルコンテンツを検索する工程を含む、本発明1001の方法。
[本発明1008]
前記認証された動作を行う工程が、前記ユーザとデジタル入力装置との間の相互作用を特徴付ける前記ユーザの神経学的信号のモデルを検索する工程を含む、本発明1009の方法。
[本発明1009]
・第1の時間窓内で、時間ロック構成要素および自発的構成要素のうちの少なくとも1つを有する較正セッションに応答したユーザの第1の神経信号を検出する工程;
・前記第1の神経信号に基づいてユーザ固有の較正モデルを生成する工程;
・第2の時間窓内の検証セッションを受けるよう前記ユーザに促す工程;
・前記検証セッションの送達と同時に第2の神経信号を検出する工程;
・前記第2の神経信号の処理された出力と前記ユーザ固有の較正モデルの処理された出力との比較操作に基づいて、前記ユーザの認証ステータスを決定する工程;ならびに
・前記認証ステータスに基づいて、認証された動作を行う工程
を含む、ブレイン・コンピュータ・インターフェースを提供するための方法。
[本発明1010]
前記第1の神経信号を検出する工程が、前記ユーザに近接したブレイン・コンピュータ・インターフェースデバイスの脳活動センサから信号を取得する工程を含む、本発明1009の方法。
[本発明1011]
前記較正セッションの前記時間ロック構成要素が、前記第1の時間窓内の一連の時点で前記ユーザに提供される刺激を含み、前記第1の神経信号を検出する工程が前記一連の時点と時間的に同期される、本発明1009の方法。
[本発明1012]
前記刺激が、音刺激、視覚刺激、嗅覚刺激、および触覚刺激のうちの少なくとも1つを含む、本発明1011の方法。
[本発明1013]
前記時間ロック構成要素が、前記刺激の所定の割合を占めるランダム化因子を含む、本発明1011の方法。
[本発明1014]
前記ユーザに刺激を想像するよう促す工程をさらに含み、前記セッションの前記自発的構成要素が前記ユーザによる前記刺激の想像を含む、本発明1009の方法。
[本発明1015]
前記検証セッションを受けるよう前記ユーザに促す工程が、前記ユーザに前記刺激を想像するよう促す工程を含み、前記比較操作が、前記第1の神経信号に基づいて生成された前記ユーザ固有の較正モデルの第1の出力を、前記第2の神経信号に基づいて生成された前記ユーザ固有の較正モデルの第2の出力と比較することを含む、本発明1014の方法。
[本発明1016]
前記第1の時間窓内で補助生体計測信号を検出する工程、および前記第1の神経信号と前記補助生体計測信号とに基づいて前記ユーザ固有の較正モデルを生成する工程をさらに含む、本発明1009の方法。
[本発明1017]
前記認証された動作を行う工程が、前記ユーザと関連付けられたコンピューティングデバイスのディスプレイにレンダリングされた入力領域に1組の文字を読み込む工程を含む、本発明1009の方法。
[本発明1018]
前記ユーザの前記認証ステータスを決定する工程が、前記ユーザの警戒レベル、前記ユーザの飲酒状態、前記ユーザの気分、および前記ユーザの不快レベルのうちの少なくとも1つを含む前記ユーザの状態を決定する工程を含み、前記認証された動作を行う工程が、前記ユーザの前記状態に基づいて、前記ユーザと関連付けられた車両のステアリングコラムのロック解除を可能にする工程を含む、本発明1009の方法。
[本発明1019]
前記ユーザの前記認証ステータスに基づいてデータベースからユーザ選好を検索する工程をさらに含み、前記認証された動作を行う工程が、前記検索したユーザ選好に従って、前記ユーザと関連付けられた物理環境および仮想環境のうちの少なくとも1つの環境パラメータを調整する工程を含む、本発明1009の方法。
[本発明1020]
前記認証ステータスが前記ユーザの認知状態を含み、前記認証された動作を行う工程が、前記ユーザと関連付けられた実体に前記ユーザの前記認知状態を警告する工程を含む、本発明1009の方法。
ブレイン・コンピュータ・インターフェースを提供するための方法の態様、変形形態、および例を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための方法の態様、変形形態、および例を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための方法の態様、変形形態、および例を示す図である。 図2A〜2Bは、ブレイン・コンピュータ・インターフェースを提供するためのシステムの態様を示す図である。 図3A〜3Bは、ブレイン・コンピュータ・インターフェースを提供するための耳装着型(ear-coupled)システムの態様を示す図である。 図4A〜4Bは、ブレイン・コンピュータ・インターフェースを提供するためのシステムの変形形態の構成要素を示す図である。 ブレイン・コンピュータ・インターフェースを提供するためのシステムの特定の使用事例を示す図である。 ブレイン・コンピュータ・インターフェースを提供するためのシステムの構成要素の変形形態を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための耳装着型システムの変形形態を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための耳装着型システムの変形形態を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための耳装着型システムの変形形態を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための耳装着型システムの変形形態を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステムの使用の応用例を示す図である。 図9A〜9Bは、ブレイン・コンピュータ・インターフェースを提供するためのアイウェアシステムの変形形態を示す図である。 図10A〜10Cは、ブレイン・コンピュータ・インターフェースを提供するための方法の変形形態を示す流れ図である。 ユーザ固有の較正モデルを生成すること、ならびに神経信号およびユーザ固有の較正モデルに基づいてユーザを認証することと関連付けられる、神経信号パターンの例を示す図である。 ブレイン・コンピュータ・インターフェースを提供するための方法におけるデータフローの例を示す図である。 図13A〜13Bは、ブレイン・コンピュータ・インターフェースを提供するための方法の例示的な認証された動作を示す図である。
好ましい態様の説明
本発明の好ましい態様の以下の説明は、本発明をこれらの好ましい態様に限定するためのものではなく、むしろ当業者が本発明を製造および使用することを可能にするためのものである。
1. 概要
図1A〜1Cに示すように、ブレイン・コンピュータ・インターフェースを提供する方法100は、以下の工程を含む:第1の時間窓内で、第1の時間ロック(time-locked)構成要素および第1の自発的構成要素のうちの少なくとも1つを有する較正セッションに応答したユーザの第1の神経信号を収集する工程S110;第1の神経信号に基づいてユーザ固有の較正モデルを生成する工程S115;第2の時間窓内の検証セッションを受けるようユーザに促す工程S120;検証セッションの送達と同時に第2の神経信号を収集する工程S130;第2の神経信号からユーザ固有の較正モデルの出力を生成する工程S135;第2の神経信号の処理された出力とユーザ固有の較正モデルの出力との比較操作に基づいて、ユーザの認証ステータスを決定する工程S140;ならびに認証ステータスに基づいて、認証された動作を行う工程S150。
方法100は、図10Aに一例として示すように、ユーザの脳とコンピューティングシステムとの間のデータ転送、制御、および全般的なインターフェースを提供するように機能する。方法100はまた、サイバーセキュリティおよび他のソリューション(例えば、電子コンテンツ/デジタルコンテンツのユニバースにアクセスする、デジタルアシスタントから支援を受けるなど)のための神経信号解析システムを実装するように機能することもでき、特定の態様では、本明細書に記載される発明は、図10Bおよび図10Cに例として示すように、ユーザ同一性および脳由来の動作情報を、脳活動の測定および解析から評価および推論するためのシステム、方法およびプロトコルを提供する。本発明は、個人および個人のグループを特徴付けかつ区別する神経信号パラメータを較正するためのシステムと、神経信号評価に基づく認可および許可を付与するソフトウェアシステムの両方に関する。本発明において定義され組み合わされるように、これら新規のシステムおよび方法は、広範囲の用途および環境内で有用性を有しうる。
より詳細には、方法100は、ユーザから信号を受信し、脳活動を分類するように構成されたアルゴリズムを実施することができ、そのため神経信号を、単一の認証要素として使用しかつ/またはより広範な多要素認証プラットフォームに統合させることができる。一例として図11に示すように、様々なユーザの信号は可変特徴および不変特徴を有することができ、所与のユーザの可変特徴および/または不変特徴はユーザ間で異なりうる。よって、本明細書に記載される方法を使用して(例えば図12に示すように)脳活動の特異的かつ非常に多様な特徴を理解し、これらの特徴を、既存のソリューションよりも高い信頼度でユーザ同一性を検証する分類選別システムへの入力として使用することができる。方法100に関連して、多要素認証プラットフォームの他の要素には以下のうちの1つまたは複数が含まれうる:英数字パスワード入力(例えば文字など)、トークン、指紋入力(例えば、指紋の形状および特徴)、手入力(例えば、手形の形状および特徴)、抹消かん流測定関連入力、虹彩パターン入力(例えば、虹彩特徴など)、顔の特徴、声の特徴、歩行の特徴、他のバイオメトリック特徴、キーストローク、コンピュータ使用状況ログ、デジタルオブジェクトへの入力、および/または他の現在もしくは将来の考えられる識別用観測物。
方法100は、ユーザの脳活動を評価することによってユーザを認証するのに役立つブレイン・コンピュータ・インターフェースベースの本人確認技術を提供するために、少なくとも部分的に、ブレイン・コンピュータ・インターフェース(BCI)デバイス200を使用して実装されることができる。図2A〜2B、図3A〜3B、図7A〜7D、および図9A〜9Bに示すように、BCIは、以下のフォームファクタのうちの少なくとも1つを有しうる:ヘッドセット、ヘッドマウント・ウェアラブルデバイス、イヤホン、イヤマウント・ウェアラブルデバイス、顔面装着型ウェアラブルデバイス、局所環境装置(ユーザの頭部から電磁活動を検出できる磁気コイルを備えた部屋など)、およびブレイン・コンピュータ・インターフェースを生成することができる任意の他の適切な装置。変形形態では、図3A〜3Bおよび図7A〜7Dに示すように、BCIは耳装着型フォームファクタを有することができ、他の変形形態では、図9A〜9Bに示すように、BCIはアイウェアフォームファクタを有することができる。しかしながら、さらに別の変形形態では、BCIは、耳装着型の局面と目に装着される局面との複合ファクタ、および/または任意の他の適切なフォームファクタを有することができる。
BCIは、図2A〜2B、図4A〜4B、図5、および図6に示すように、方法100を用いて相互作用するユーザと関連付けられた装置の装置状態に作用するために、周辺装置201(例えば、ユーザ固有の較正モデル(複数可)が読み込まれ、コマンドを出力するように構成された、USB接続装置、Bluetooth接続装置)とインターフェースすることができる。
さらに、BCI/周辺装置は、命令(すなわち、上述した方法の一部分または複数部分と関連付けられたコンピュータ実行可能命令)を符号化および/または記憶するように構成された、コンピュータまたはプロセッサの非一時的可読媒体、コンピュータまたはプロセッサの非一時的記憶媒体(例えば、メモリ、ディスクドライブ、フラッシュメモリ)のうちの少なくとも1つを含むコンピューティングシステムを含むか、またはその他の方法で該コンピューティングシステムと通信することができる。
加えてまたは代替として、システムの各部分は、センサ210、感覚刺激送達システム220(例えば、図3A〜3Bおよび図7A〜7Dに示す音刺激提供システム、図9A〜9Bに示す映像刺激提供システム、触覚刺激提供システム、嗅覚刺激提供システム、味覚刺激提供システム)、ならびに関連付けられた組み込みソフトウェア(もしくはファームウェア)モジュール、アルゴリズム、および/またはプロシージャ230のうちの1つまたは複数を含むか、またはこれと協働することができる。
よって、開発されたシステム要素および/または方法は、脳活動を検出し、各ユーザに関して独特かつ有益な活動特徴および特性を抽出し、各ユーザのモデルを(例えば、集団規模の様式で、ユーザ固有の様式で)定義し、独特な各ユーザが別個の高度に識別可能なプロフィールを有するようにモデル(複数可)を改良し、次いで将来の同一性主張を前記モデルと比較するように構成された処理パイプラインとして協働することができる。システム要素および/または方法はその場合、ユーザが自分の環境および/またはデジタルコンテンツとより高度な方法で相互作用することを可能にするように動作可能でありうる。よって、システム構成要素は、ソフトウェアに実装される新規のアルゴリズムと組み合わさって、以下のうちの1つまたは複数として動作することができる:神経信号スキャナ、ニューロバイオメトリック(neurobiometric)シグネチャモジュール、神経インクデコーダ(例えば、コマンドに基づいて脳活動を暗号化しかつ/または復号するための透かしを入れる場合の)、電気生理学的波評価エンジン、電気生理学的識別器、生体磁気シグネチャ解析器、思考プリント(thought-print)スキャナ、個人識別生理学的数値生成器、および原型的トポロジ(archetypal topology)解析器。
2. 利益
本方法および/または関連システム、ならびにそれらの変形形態は、いくつかの利益および/または利点を与えることができる。
第1に、本方法の変形形態は、神経信号の監視による現実世界からのメタデータ抽出、および抽出されたメタデータに基づく動作の実行を可能にすることができる。例えば、ユーザは庭を歩いて、各植物に関する情報を思い起こすことを想像することができる。ユーザに提供される情報は、ユーザが神経信号ベースの入力を提供する(例えば、「休止」を想像する、スプレッドシートを想像する)まで詳細さを増すことができ、入力を提供すると、情報と関連付けられたデータが、ユーザが後で見ることができる電子文書(スプレッドシートなど)に移動される。別の例では、ユーザは食料品店内の物理的商品を見つめ、その物理的商品を購入することを想像することができ、それに応答して、物理的商品のデジタルインジケータをユーザと関連付けられた仮想ショッピングカートに追加することができる。別の例では、ユーザは現実世界の物理的対象と相互作用することができ、ユーザの物理的対象との相互作用と関連付けられた神経信号の監視に応答して、(例えば、頭部装着型ウェアラブルディスプレイを用いて)仮想世界においてデジタルオブジェクトを操作することができる。
第2に、本方法の変形形態は、精神-物理データリンクの反復的改善を可能にすることができる。例えば、ユーザは現実世界の物理的対象と相互作用することができ、ユーザの物理的対象との相互作用と関連付けられた神経信号の監視に応答して、仮想世界においてデジタルオブジェクトを操作することができ、デジタルオブジェクトの操作に対するユーザの精神的反応を監視して、デジタル表現の質を評価することができる(例えば、ユーザの精神状態を、その仮想表現に満足している、または不満であると評価することができる)。ユーザの身体挙動と、ユーザの身体挙動の仮想表現と、仮想表現に対するユーザの精神的反応と間のフィードバックループを何度も反復して、(例えば、ユーザの喜びおよび/または満足の状態が一貫して判断されるまで)ユーザの身体挙動の仮想表現を改善することができる。一例では、図13Aに示すように、拡張現実ヘッドセットを装着しているユーザは、所望の実体と話すことと関連付けられた神経シグネチャのユーザ固有モデルに従って、実体と話す必要を想像することによってその実体とのビデオ通話を自動的に開始することができる。
第3に、本方法の変形形態は、本方法が神経信号を介してユーザの内部精神状態を監視することを含むので、外部から観察可能なユーザの動作(ジェスチャ、眼球運動など)に頼らずにユーザの欲求を監視し、そのような欲求に対処することを可能にする。ユーザの脳自体が、動作が明示的にかつ/または身体的に行われなくても(例えば、運動野、視覚野、言語中枢などを介して)ユーザの欲求の命令および/または指示を提供することができる。例えば、図13Bに示すように、ユーザがブレイン・コンピュータ・インターフェースを介して選択ボックスを選択することができる。
第4に、本方法の変形形態は、専用ハードウェアおよび非専用ハードウェアの性能を向上させることができる。例えば、本方法の変形形態は、ユーザ同一性を認証し、それに応答して装置をロック解除することによって、ユーザがブレイン・コンピュータ・インターフェースを介して自分のモバイルデバイスをロック解除することを可能にしうる。この例では、ユーザは、不正アクセスに対する安全なセーフガードを維持しながら、より迅速かつ効率的に自分のモバイルデバイスを利用することができる。別の例では、さもなければブレイン・コンピュータ・インターフェースデバイスの有効性を低下させる可能性のあるユーザ間の差異を説明するユーザ固有の較正モデルを生成することによって、ブレイン・コンピュータ・インターフェースデバイスの性能を改善することができる。
第5に、本方法の変形形態は、コンピュータおよび機械技術に根ざした問題を解決することができる。例えば、本方法は、神経信号内に存在する可変特徴および不変特徴のデコンボリューションを可能にしうる。不変特徴は、ユーザの認証ステータスを決定するために使用することができ、可変特徴は、ユーザの情緒的状態(複数可)、意図、欲求などを決定する方法のいくつかの実装態様を介して解読することができる。よって、本方法の変形形態は、コンピュータおよび機械技術に根ざした問題である、同時に行われるユーザの認証と神経信号評価の問題を解決することができる。
しかしながら、本明細書の方法および/またはシステムは、任意の他の適切な利益および/または利点を与えることができる。
3.1 方法-較正
ブロックS110は、第1の時間窓内で、時間ロック構成要素および自発的構成要素を有するセッションに応答して受信されるユーザからの神経較正信号データセットを用いて較正操作を行うことを含む。ブロックS110は、ユーザ本人確認に使用することができる脳活動のユーザ固有モデルを較正するために、単一環境または様々な環境でデータを記録し処理するように機能する。ユーザ固有モデルは、(ユーザからの、または他のユーザからの)新しい脳活動信号サンプルに関する推論を行うために使用することができる。加えてまたは代替として、ユーザ固有モデルは、個人をグループ化すること、人格特性を特徴付けること、および/または任意の他の適切な目的のための情報源として使用することができる。
ブロックS110は、好ましくは、ユーザ(複数可)の脳活動を示す生体電気信号を受信することを含み、生体電気信号は、ユーザに結合された適切なBCIを使用して較正セッション中に収集された脳波(EEG)信号を含む。しかしながら、生体電気信号(またはブロックS110およびブロックS130で受信される他の信号)は、加えてまたは代替として、以下のうちの任意の1つまたは複数を含むことができる:脳磁図(MEG)、インピーダンス信号、電気皮膚反応(GSR)信号、心電図(ECG)信号、心拍変動(HRV)信号、電気眼振図(EOG)信号、筋電図(EMG)信号、および/または脳活動を示すことができるもしくは脳活動由来の信号を使用したユーザ検証のためのプロトコルを補足することができる任意の信号。さらに、ブロックS110は、加えてまたは代替として、ユーザの生物学的組織または生物学的過程およびユーザの環境から取得されるかまたはそれらに関連した、他の生体信号データを収集することを含むことができる。
ブロックS110は、現実の物理環境および/または(例えば、仮想現実装置を使用して)シミュレートされた物理環境で実施することができる。一変形形態では、ブロックS110は、認証/認可システムの使用事例と関連付けられた物理環境またはシミュレートされた環境(例えば、オフィス、部屋、駐車場、サーバルーム、戦闘区域、託児所、機械工場、試験施設など)で信号を受信することを含みうる。現実環境および/またはシミュレートされた環境は、電気的雑音、聴覚性雑音、および/または信号取得と関連付けられる任意の他の適切なタイプの雑音に関連して、それらの環境と関連付けられた任意の適切な雑音指数を有することができ、そのため、ブロックS110で生成され検証される較正モデル(複数可)は、様々な雑音プロファイルまたはその他のプロファイルを有する様々な環境において実質的に適応的/不変的であり、ロバストであり、かつ機能的である。
同様に、ブロックS110は、様々な精神状態と関連付けられる環境と関連付けて実施することができる。変形形態では、ユーザ(複数可)のそのような精神状態を、以下のうちの1つまたは複数と関連付けることができる:集中と関連付けられた精神状態(例えば、集中した精神状態、気が散った精神状態)、情緒的/情動的状態(例えば、幸せな状態、悲しい状態、おびえた状態、リラックスした状態、怒った状態など)、認知状態(例えば、認知的負荷が高い状態、認知的負荷が低い状態など)、および/または任意の他の適切な精神状態。よって、様々な精神的環境における較正モデルの生成において、ブロックS110で生成され検証される較正モデル(複数可)は、様々なユーザ精神状態に関連して実質的に適応的/不変的であり、ロバストであり、かつ機能的でありうる。
しかしながら、実質的に適応的/不変的であり、ロバストであり、かつ機能的なユーザモデルを生成するために、多種多様な他の変数を考慮した方法で較正を行うことができる。例えば、ブロックS110における信号取得は、ユーザの様々な生理学的状態(例えば、ユーザの代謝状態、ユーザの睡眠状態、心臓血管系ストレスと関連付けられたユーザの状態、別の生理的状態と関連付けられたユーザの状態など)に関連して実行することができる。加えてまたは代替として、ブロックS110における信号取得は、(例えば、使用されるBCIのセンサに関連した)様々な環境条件に関連して実行することができる。そのような環境条件は、以下のうちの1つまたは複数を含むことができる:様々な環境温度状態、様々な環境圧力状態、様々な環境湿度状態、ならびに/またはセンサ性能および/もしくは上述の方法(複数可)を実装するシステム(複数可)と関連付けられた任意の他の適切なハードウェア構成要素の性能に影響を及ぼしうる、任意の他の適切な環境状態。
さらに、様々な環境/状態における信号取得に関連して、そのような環境を、具体的に設計/考案して、ブロックS130の較正セッション中に提供することができ、あるいは較正中にそのような環境に対して自発的に応答がなされ、様々な環境/状態の条件が信号収集中に記録されることができる。
ブロックS110の較正操作は、一回実行することができ、あるいは繰り返すことができる。較正操作が繰り返される変形形態では、特定のトリガ事象(例えば、時刻、ユーザによるトリガ、システムの管理者によるトリガ、システムのオペレータによるトリガ、環境事象に応答したトリガなど)に関連して、任意の適切な回数、任意の適切な頻度で反復を行うことができる。具体例では、較正操作は、ユーザがシステムにユーザの特定の精神現象のモデルを学習させたいときにいつでも実行することができ、そのためユーザの特定の精神現象が発生したときにいつでも較正操作が実行される。
前述したように、ブロックS110の較正セッションは時間ロック構成要素を有することができ、時間ロック信号は、提供された刺激に応答して収集される。好ましくは、較正セッションの時間ロック構成要素は、時間窓内でユーザに提供される刺激(例えば、時間窓内の一連の時点、時間窓内の単一の時点、時間窓内で絶え間なくなど)を含み、時間ロック構成要素に関連して取得された信号は時間的に同期されている(例えば、神経信号に対してロックされている)。あるいは、時間ロック構成要素は、信号取得に関連して任意の適切な時間的特性(例えば、非同期である、所定の時間シフトだけ遅延されたなど)を有することができる。変形形態では、時間ロック構成要素の刺激は、以下のうちの1つまたは複数を含むことができる:オーディオ出力装置(例えば、EEG信号取得システムおよび/または他のセンサシステムと統合されたまたは通信している、オーディオ出力装置)によって提供される聴覚刺激(音刺激など)、ディスプレイ(例えば、EEG信号取得システムおよび/または他のセンサシステムと統合されたまたは通信している、ディスプレイ)によって提供される視覚刺激、触覚的物体/触覚システムによって提供される触覚刺激、嗅覚刺激、味覚刺激、ならびに任意の他の適切な刺激。具体例では、時間ロック構成要素の刺激は、音刺激(例えば、音楽サンプル、発話サンプル、耳障りな音のサンプルなど)を含むことができる。加えてまたは代替として、別の具体例では、時間ロック構成要素の刺激は視覚刺激(例えば一連の画像、ビデオなど)を含むことができる。
較正セッションの時間ロック構成要素は、時間ロック刺激の任意の所望の部分(例えば、所定の割合)を占めるランダム化因子を有しうる。より詳細には、ランダム化因子は、ユーザプロフィールの生成と関連付けられる環境因子と精神因子の切り離しに寄与しうる。具体例では、ランダム化因子は刺激の1%〜50%を占めうる。しかしながら、具体例の変形形態では、ランダム化因子は刺激の任意の他の適切な部分(例えば、0%〜100%)を占めることができる。一例では、音刺激は、(その音サンプルの無修正バージョンと比較して)5%〜30%のランダム化因子を含む音サンプルであることができる。別の例では、可読刺激は、(その書面サンプルの無修正バージョンと比較して)5%〜30%のランダム化因子を含む書面サンプルであることができる。例えば、無修正の書面サンプルには「男は彼の正面にあるドアを開錠した」と記載し、ランダム化バージョンには「男は彼の象を開錠した」と記載することができる。次いで、刺激のランダム化バージョン/部分に対する応答および無修正の刺激に対する応答を処理して、特徴を抽出することができ、これを方法100の他のブロックで使用される脳活動シグネチャに関して解析することができる。
前述したように、ブロックS110の較正セッションは自発的構成要素を有することができ、ここでは自由形式の事象に応答して信号が収集される。具体例では、自由形式の事象は、想像された音(例えば、ユーザによって想像された音刺激、そのため自発的構成要素は、ユーザが特定の音サンプルを聴いていることを想像するセッションを含む)、想像された臭い(例えば、ユーザによって想像された嗅覚刺激、そのため自発的構成要素は、ユーザが特定の臭いを嗅いでいることを想像するセッションを含む)、想像された味(例えば、ユーザによって想像された味覚刺激、そのため自発的構成要素は、ユーザが特定の消耗品を味わっていることを想像するセッションを含む)、ユーザの記憶(例えば、そのため自発的構成要素は、ユーザに記憶を想起するよう促すことを含む)、および/または任意の他の適切な自由形式の事象を含むことができる。
さらに、較正セッションは、較正が行われていることをユーザが気付いている状態で実行することができ、あるいはユーザが気付くことなしに実行することができる。例えば、視覚刺激を無意識的に提供することができ(ビデオフレーム間に継ぎ合わされた画像など)、かつ/または音刺激を無意識的に提供することができ(例えば、知覚可能な範囲外の周波数でなど)、かつ/またはデータを遡及的に解析することができ(事後など)、そのため新しいモデルは、ユーザが気付いていた較正セッション以外で得られたデータに基づいて較正される。しかしながら、促すことおよび信号取得は、任意の他の適切な方法で較正セッションにおいて行われうる。
時間ロック構成要素と自発的構成要素の両方を含むブロックS110の変形形態が上述されているが、ブロックS110の変形形態は、代替として、時間ロック構成要素を有するセッションを省略するか、または自発的構成要素を有するセッションを省略することができる。
ブロックS110の具体例では、自発的構成要素は、ユーザが刺激(例えば、針刺激、特定の人との握手、落下する感覚など)を想像し、ユーザが刺激を想像したことに応答した信号を収集するセッションを含む。関連した例では、自発的構成要素は、ユーザが針刺激(または他の刺激)を自由に想像し、次いで後で、先の時点で針刺激(または他の刺激)を想像したことをログ記録するセッションを含むことができる。しかしながら、自発的構成要素の変形形態は、任意の他の適切な方法で構成することができる。
さらに、較正に関連して、較正プロセスは、システムの意図しない使用を防ぐことができるように、所望の解析範囲および任意の他の適切な境界条件によって管理されることができる。例えば、政府使用の特定の用途では、脳の健康の評価に深く(すなわち、健康に関連したプライバシー法を危うくするような方法で)入り込まずに個人の同一性の評価を行うことができる。さらに、そのような較正モデルを、業界で容認されているプロトコルに従って暗号化することができ、かつ/またはプライベートで安全な記憶手段で匿名にすることができる。
3.1.1 較正-モデル生成
本方法は、好ましくはブロックS115を含み、ブロックS115は、第1の神経信号に基づいてユーザ固有の較正モデルを生成することを含む。ブロックS115は、時間ロック刺激および/または自発的な事象もしくは自由形式の事象に応答した受信信号(例えば、EEG信号、脳活動または他の活動を反映する信号)に関して、評価されたユーザ(複数可)の較正モデルを生成するように機能する。
較正モデルを生成することでは、ブロックS110で受信された訓練データからユーザ固有のモデルおよび/または集団規模のモデルを生成するように、より具体的には、特定の融合のためのコーディングと自動化された組み合わせ技法の使用とによってデータ特徴と訓練された分類器とを融合するように構成された機械学習(ML)アルゴリズムを、実施することができる。一変形形態では、ブロックS110の較正モデルを生成することでは、ブロックS110の較正操作で受信された神経信号(および他のデータ)から導出された特定のデータ特徴(不変特徴、可変特徴など)について訓練されたサポート・ベクトル・マシン(SVM)分類器を実施することができる。別の変形形態では、1つまたは複数の人工ニューラルネットワーク、自然ニューラルネットワーク、および/または他のディープ・ラーニング・アーキテクチャ/学習システム(例えば、非線形学習システム)への入力として特徴を使用することによって、受信データを、特定の設定で理解され適用されるように処理することができる。次いで、出力にメタヒューリスティックアルゴリズムを適用して、これら特定の設定に対してさらに一層正確で、信頼性が高く、ロバストなモデルを生成することができる。しかしながら、較正モデルは、任意の他の適切な方法で生成および/または改良することができる。
変形形態では、この段階で適用されるメタヒューリスティックアルゴリズムは、以下のうちの1つまたは複数に従って分類されることができる:局所探索戦略、大域探索戦略、単一ソリューションの手法、集団ベースの手法、ハイブリダイゼーションアルゴリズムの手法、ミーメティックアルゴリズムの手法、並列メタヒューリスティック法、自然からインスパイアされたメタヒューリスティック法、および任意の他の適切な手法。具体例では、受信較正データに適用されるメタヒューリスティックアルゴリズムは、遺伝的アルゴリズム(例えば、遺伝的適応アルゴリズム)を含むことができるが、任意の他の適切な手法を使用することができる。加えてまたは代替として、非メタヒューリスティックアルゴリズム(例えば、最適化アルゴリズム、反復法)を使用することができる。
ブロックS110で較正モデルを生成することに関連して、融合データは、ユーザ脳活動から導出されたデータ、および他の供給源からのデータ(例えば、非脳由来の供給源、補助生体計測信号、補助データなど)を含むことができる。
変形形態では、モデルを生成するために使用される脳活動由来の特徴は、以下のうちの1つまたは複数から導出することができる:事象関連電位データ(例えば、電圧/時間の値など)、安静状態/自発的活動データ(例えば、電圧/時間の値など)、異なる事象への応答(例えば、タイプ、タイミング、カテゴリの異なる事象に応答して取得された事象関連電位間の差など)、異なる時間スケール(例えば、1秒未満、秒、分、時間、日、月、年、1年超など)での特徴を表す多くの原子単位に細分された(例えば、確率的に、系統的に)時間領域信号、スペクトルの様相(例えば、最小値、最大値、正のピーク、負のピーク、極性または他のピークと関連付けられる時点、ピークの振幅、ピークで計算された算術的関係など)、定義された「最大-最小スペクトル」と予め計算されたテンプレートとの間の類似性尺度(例えば、コサイン類似度、様々なカーネルなど)、生の時間領域信号の様々な等価な原子単位間の類似性尺度、特徴の組み合わせに適用される類似性尺度、特徴のクラスタ化(ソフト/ファジークラスタリング、ハードクラスタリングなど)から導出された尺度、フィルタリングされた信号(2次パラメータに基づいて適応的にフィルタリングされた信号、各帯域における分散/自己相関を計算し、帯域にまたがる相互相関/共分散を用いて離散周波数帯域にフィルタリングされた信号など)、選択行列間の距離メトリック(リーマン距離など)、(例えば、リーマン幾何学を用いた)反復行列操作由来の特徴、特徴内、特徴間、および異なるユーザの全特徴セット間のエントロピー測定値、部分空間解析(信号を固定発生源と非固定発生源とに分離する固定部分空間解析など)、様々な時間セグメントの再帰定量化解析、追加の特徴(形状、エッジ、コーナ、テクスチャなど)を抽出する畳み込みニューラルネットワークによって処理された再帰プロット、主成分分析から導出された特徴、独立成分分析から導出された特徴、因子分析から導出された特徴、経験的モード分解から導出された特徴、主要測地線分析から導出された特徴、(例えば、隠れマルコフモデルによって、ビタビアルゴリズムの適用によって、テンプレートとの推定パスの比較によってなど)シーケンス確率から導出された特徴、(例えば、複製に対して異なる歪みの適用ありまたはなしでの)単一チャネル複製から導出された特徴、不変特徴、可変特徴、および任意の他の適切な脳活動由来の特徴。
変形形態では、非脳活動由来の特徴は、以下のうちの1つまたは複数から導出することができる:個人情報(例えば、ユーザ名、ユーザ識別コード、生年月日、所在地、関係、家族歴、宗教など)、身体的属性(例えば、身長、体重、目の色、髪の色、民族、靴のサイズなど)、生体認証識別子(例えば、指紋、虹彩スキャンデータ、手のスキャンデータ、掌紋、声紋、表皮の特徴、臭い、ゲノム情報、血液型、エンドフェノタイプ情報、表現型情報、遺伝子型情報など)、(例えば、脳波記録データ、心電図データ、皮膚電位反応データ、血液脈から導出されたデータ、近赤外分光法データ、筋電図データ、瞳孔測定データ、ヘモエンセファログラフィ(hemoencephalography)データ、心拍導出データ、電気皮膚反応データ、電気眼振図データなど)他のセンサから導出された生体計測データ、他のセンサ/エミッタから導出されたデータ(例えば、ジャイロスコープデータ、カメラデータ、マイクロホンデータ、Wi-Fiブロードキャストデータ、ラジオ放送データ、Bluetoothデータ、GPSデータ、RFIDデータ、アクセス制御ログデータ、エレベータ・ログ・データなど)、装置と相互作用するユーザ挙動(例えば、キー入力、マウス動態、タッチパッド動態、ジョイスティック動態、反応時間など)、ユーザ調査から得られたデータ、環境情報(周囲環境のコンピュータビジョンベースのログから導出された生の/処理されたデータ)、拡張現実場面または仮想現実場面で配信された映像から導出されたデータ(例えば、タイミング、タイプ、場所、属性など)、ユーザ装置から導出されたデータ(例えば、アプリケーション導出情報、デジタルサービス導出情報、デバイス状態情報、デバイスセンサ導出情報)、ソーシャル・ネットワーキング・アプリケーションからのデータ、生産性アプリケーションからのデータ(例えば、電子メール、カレンダ、アポイントメント、メモなど)、他のユーザからのデータ、機関(銀行、病院、行政、学校、会社など)からのデータ、ネットワーク導出データ(例えば、トラフィックプロパティ、ファイアウォールログ、ファイルメタデータ、社内サーバの他のサーバとの通信、メールルーム活動ログ、ポート開、ポート閉、ユーザIPとのタイミング相関、ユーザ探索語など)、および任意の他の適切なデータ。
様々なアルゴリズムが上述されているが、ブロックS110で生成される較正モデルは、加えてまたは代替として、以下のうちのいずれか1つまたは複数を含む学習スタイルを特徴とするアルゴリズムに基づくことができる:教師あり学習(例えば、ロジスティック回帰を使用したもの、バック・プロパゲーション・ニューラル・ネットワークを使用したもの)、教師なし学習(例えば、先験的アルゴリズムを使用したもの、K平均クラスタリングを使用したもの)、半教師つき学習、強化学習(例えば、Q学習アルゴリズムを使用したもの、時間差分学習を使用したもの)、および任意の他の適切な学習スタイル。さらに、機械学習アルゴリズムは、以下のうちの任意の1つまたは複数を実施することができる:回帰アルゴリズム(例えば、最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所推定散布図平滑化(locally estimated scatterplot smoothing)など)、インスタンスベースの方法(例えば、k-最近傍、学習ベクトル量子化、自己組織化写像など)、正則化法(例えば、リッジ回帰、最小絶対収縮と選択演算子、弾性ネットなど)、決定木学習法(例えば、分類および回帰木、ID3(iterative dichotomiser 3)、C4.5、CHAID(Chi-squared Automatic Interaction Detection)、決定株、ランダムフォレスト、多変量適応回帰スプライン、勾配ブースティングマシンなど)、ベイズ法(例えば、ナイーブベイズ、AODE(Averaged One-Dependence Estimators)、ベイジアン信念ネットワークなど)、カーネル法(例えば、サポート・ベクトル・マシン、放射基底関数、線形判別分析など)、クラスタリング法(例えば、K平均クラスタリング、期待値最大化など)、関連規則学習アルゴリズム(例えば、Aprioriアルゴリズム、Eclatアルゴリズムなど)、人工ニューラル・ネットワーク・モデル(例えば、パーセプトロン法、バックプロパゲーション法、ホップフィールドネットワーク法、自己組織化写像法、学習ベクトル量子化法など)、ディープ・ラーニング・アルゴリズム(例えば、制限ボルツマンマシン、深層信念ネットワーク法、畳み込みネットワーク法、積層オートエンコーダ法など)、次元削減法(例えば、主成分分析、部分最小二乗回帰、ラプラシアン固有写像、イソマッピング(isomapping)、ウェーブレット閾値化、サモンマップ、多次元尺度法、射影追跡など)、アンサンブル法(例えば、ブースティング、ブーストラップドアグリゲーション(boostrapped aggregation)、エイダブースト(AdaBoost)、積み重ね一般化、勾配ブースティングマシン法、ランダムフォレスト法など)、および任意の適切な形態の機械学習アルゴリズム。
3.2 方法-ユーザを促すことおよび信号収集
ブロックS120は、ユーザに、第2の時間窓内の検証セッションを受けるよう促すことを含み、これは、次の時点でユーザの同一性を評価するように機能する。促すことは、好ましくは、短期間(例えば、1分未満の長さ)のエクササイズでユーザに促すことを含むが、代替として任意のエクササイズ期間でユーザに促すことを含むこともできる。前のブロックと同様に、促しは、ユーザが促しを知覚した状態でまたは知覚することなしに行うことができる。
ブロックS120における促しは、好ましくは、システム100と関連付けられた電子促し装置において実装され、促し装置は特定の使用用途とさらに関連付けられる。変形形態では、コンピューティングデバイスにインストールされたアプリケーション内、モバイルコンピューティングデバイス上で実行中のアプリケーション内、ウェアラブルコンピューティングデバイス上で実行中のアプリケーション(例えば、ヘッドマウント・ウェアラブルコンピューティングデバイス、手首装着型ウェアラブルコンピューティングデバイス)内、ウェブサイト内、および/または任意の他の適切な電子環境内で促すことができる。ブロックS120における促しは、視覚的に、聴覚的に、触覚的に、および任意の他の適切な方法のうちの1つまたは複数で行うことができる。促しは、知覚的に(例えば、ユーザとの関わりを介して)または知覚されずに(例えば、意識的に知覚可能な刺激の範囲外にある刺激を提供することができる)行うことができる。さらに、ブロックS120における促しの変形形態は、装置による促しなしで行うことができ、代わりにユーザを促すために人間の指示に依拠することができる。
ブロックS110と同様に、ブロックS120における促しは、任意の適切な頻度で、かつ/または任意の適切なトリガ事象に応答して生じさせることができる。よって、変形形態では、ユーザが特定の使用用途に対して認証または認可される必要があるときはいつでも、ブロックS110で促しが行われることができる。加えてまたは代替として、変形形態では、定期的に、または任意の頻度で不定期に(例えば、再認可、再認証に関連して)複数回促しを生じさせることができる。加えてまたは代替として、変形形態では、トリガ事象(例えば、非活動期間、別の場所にアクセスしようとする試み、別のコンテンツにアクセスしようとする試みなど)に関連して促しを生じさせることができる。
ブロックS120における促しと関連付けられるエクササイズは、好ましくは、S110の較正セッションのエクササイズと関連付けられるが、それらの任意の組み合わせまたはサブセットを含むことができる。例えば、いくつかの変形形態では、ブロックS120は、時間ロック構成要素および/または自発的構成要素の組み合わせで促すことを含むことができる。あるいは、ブロックS120は、時間ロック構成要素のみを用いて促すことを含むことができる。さらに代替として、ブロックS120は、自発的構成要素のみを用いて促すことを含むことができる。さらに代替として、ブロックS120は、モデル化されていないエクササイズを用いて促すことを含むことができ、そのため、これらの以前にモデル化されていないエクササイズに対する脳活動反応をブロックS110の改良された較正モデルに組み込むことができる。具体例では、ブロックS120における促しは、それぞれ短期間である2つの時間ロックセッションを分離する、自発的セッションを含むことができる。さらに、上述したランダム化因子に関連して、ブロックS120における促しの任意の構成要素は、セキュリティおよび/またはユーザ同一性の信頼性の強化を促進する、アルゴリズムで選択されたランダム化因子を含むことができる。
さらに、ブロックS110の較正セッション(複数可)と同様に、ブロックS120の促しは、ユーザが気付いている状態で行うことができ、あるいはユーザが気付かない方法で行うことができる。
ブロックS130は、ブロックS120の検証セッションの送達と協調して神経信号データセットを収集することを含み、ブロックS110から出力された較正モデルに従って試験することができるユーザの脳活動(および他の)反応を収集するように機能する。
ブロックS110と同様に、ブロックS130は、好ましくは、ユーザ(複数可)の脳活動を示す生体電気信号を受信することを含み、生体電気信号は、ユーザに結合された適切なBCIデバイスを使用して較正セッション中に収集された脳信号(例えば、EEGまたは他の信号)を含む。しかしながら、生体電気信号(またはブロックS110およびブロックS130で受信される他の信号)は、加えてまたは代替として、以下のうちの任意の1つまたは複数を含むことができる:脳磁図(MEG)インピーダンス信号、電気皮膚反応(GSR)信号、心電図(ECG)信号、心拍変動(HRV)信号、電気眼振図(EOG)信号、脊髄電図(EMG)信号、筋電図信号、および/または脳活動を示すことができるもしくは脳活動由来の信号を使用したユーザ検証のためのプロトコルを補足することができる任意の信号。しかしながら、較正モデルの非脳活動由来信号に関連して、ブロックS130は、加えてまたは代替として、ユーザの生物学的組織または生物学的過程、ならびにユーザの環境、ユーザと関連付けられた装置、ネットワーク局面、および/または任意の他の適切な供給源から取得されるかまたはそれらに関連した、他の生体信号データを収集することを含むことができる。
ブロックS110およびブロックS130において受信される神経信号データセットに関連して、任意の適切な信号処理操作を行うことができる。例えば、雑音除去モデルを適用して、ユーザ固有のインピーダンス、運動アーチファクト、環境アーチファクト、および/または任意の他の適切な雑音の影響を軽減または除去することができる。加えてまたは代替として、信号処理は、ブロックS110およびブロックS130で受信された神経信号データ(および/または他のデータ)に対する、フィルタリング、平滑化、クリッピング/ウィンザライジング(winsorizing)、逆畳み込み、標準化、トレンド除去、再サンプリング、および任意の他の適切なデータ調整プロセスの実行を含むことができる。
3.3 方法-ユーザ認証
ブロックS140は、第2の神経信号の処理された出力とユーザ固有の較正モデルの処理された出力との比較操作に基づいて、ユーザの認証ステータスを決定することを含む。ブロックS140は、多要素認証プロトコルと統合することができる認証方式でユーザの同一性を認証するように機能する。ブロックS140における認証は、(例えば、ユーザ挙動と関連付けられた神経学的信号に関連してユーザがデジタルコンテンツとどのように相互作用するかの)ユーザ固有モデルを抽出するために使用することができる。ブロックS140における認証は、加えてまたは代替として、鍵管理、長いパスワード、および/または不十分な多要素認証アプローチ(例えば、Yubikey)に対するソリューションとして機能しうる、企業(例えば、セキュリティが高い企業)における高セキュリティサービスとして行うことができる。よって、方法100と関連付けられるアルゴリズムの一部分または複数部分を、本明細書に記載されるような時間特異的認証を可能にするために第三者サービス提供ソフトウェアと統合することができる。
ブロックS140で、認証ステータスは、好ましくは、ユーザの同一性の肯定的検証、ユーザの同一性の否定的検証、またはユーザの同一性の不確定な検証を含む。しかしながら、認証ステータスは、加えてまたは代替として、ユーザの同一性の解析における信頼度パーセントおよび/またはユーザの同一性の任意の他の適切な特性を含むことができる。認証は、好ましくは、検証セッション中に受信された信号のモデルと較正モデルとの間の比較を含む。さらに、認証は、好ましくは、ブロックS120の促しで提供された時間ロック構成要素内のランダム化因子を説明する。認証プロセスを実行すると、ブロックS140は次いで、認証証明書をターゲット(例えば、サーバ、デバイスなど)に送信することを含むことができ、認証証明書の品質により次の動作がトリガされるかまたはその発生が妨げられる。しかしながら、認証は、ブロックS140において任意の他の適切な方法で実施されることができる。
ユーザの同一性の肯定的な識別に関連して、ブロックS140は、統合されたプラットフォーム/装置に関連した様々な応答を推し進めることができる。第1の変形形態では、ブロックS140は、BCIデバイスまたは他のインターフェースデバイスを使用して、ユーザが電子コンテンツと相互作用することと関連付けられたデジタルボタンをどのように「クリック」するかのユーザモデルを自動的に抽出することを含むことができる。別の変形形態では、ブロックS140は、ユーザがパスワードを思い出すまたはトークンを求めて別の装置をチェックする必要がないように、ユーザの肯定的な識別に応答して(例えば入力ボックスで)パスワードを自動的に読み込むことを含みことができる。具体例では、(例えば、オペレーティングシステムのログインページ、またはウェブサイト、またはアプリケーションなどの)入力ボックス、および/またはコンピューティングデバイス(例えば、パーソナルコンピュータ、モバイルデバイス、ウェアラブルコンピューティングデバイスなど)のクリップボードにパスワードを読み込むことができる。この具体例では、コードが予めインストールされており、ブレイン・コンピュータ・インターフェース識別システムおよび/またはコンピューティングシステムのうちの少なくとも1つと通信し、ユーザの肯定的な検証の際に命令を実行するように構成されている、図6に示すような周辺装置(例えば、ユーザ固有の較正モデル(複数可)が読み込まれ、コンピューティングデバイスのキー入力モジュールをまねるように構成されたUSB接続装置、Bluetooth接続装置)を実装することができる。そのような周辺装置はさらに、ユーザがアクセスを試みている様々なコンピュータ/ワークステーション間で移行可能であることができる。
ブロックS140の別の具体例では、プロフェッショナル用アプリケーション(例えば、ビデオ編集ソフトウェア、オーディオ編集ソフトウェア、設計ソフトウェアなど)および/またはシステム(例えば、自動車、他の輸送手段、ロボットエージェントなど)のコピーを保護する周辺装置を実装することもできる。そのようなソフトウェアおよび/またはシステムは、特定のユーザまたは多数のユーザへのアクセスを分離する周辺装置と共にパッケージ化することができる。これらの具体例では、周辺装置は、アクセスされているアプリケーション(例えばソフトウェアアプリケーション)またはシステムと直接通信することができる。さらに、これらの具体例では、周辺装置は、使用システム(複数可)と互換性のある言語(複数可)でロジックを実装することで、ホストへのエージェントのインストールを容易にすることができる。
別の具体例では、ブロックS140は、(例えば、銀行システム、医療システムなどの)ウェブアプリケーションプラットフォーム内で認証動作を行うことを含むことができる。この例では、肯定的な識別により、認証されたユーザをコンテンツにアクセスさせるために、プロバイダのウェブサービスとの直接通信またはウェブブラウザを介した通信を推し進めることができる。前の例と同様に、この例では、使用システム(複数可)と互換性のある言語(複数可)でロジックを実装することでホストへのエージェントのインストールを容易にする周辺装置を、実装することができる。加えてまたは代替として、ブロックS140は、ユーザが任意の適切なコンピューティングシステム(例えば、ユーザと関連付けられたモバイルデバイス、ユーザと関連付けられたパーソナルコンピュータなど)にアクセスすることを認可することを含むことができる。
別の具体例では、ブロックS140は、ユーザ固有の較正モデルの第1の出力をユーザ固有の較正モデルの第2の出力と比較することを含むことができる。この例では、第1の出力は、(例えば、較正セッション中に収集された)第1の神経信号に基づくモデルによって生成され、第2の出力は、(例えば、検証セッション中に収集された)第2の神経信号に基づくモデルによって生成される。
しかしながら、ブロック140は、加えてまたは代替として、任意の他の適切な方法で実行することができる。
3.4 方法-認証された動作
ブロックS150は、認証ステータスに基づいて、認証された動作を行うことを含む。ブロックS150は、認証ステータス決定の出力を利用してユーザの認証ステータスに関連した動作を行うように機能する。ブロックS150はまた、ユーザの認証ステータスに基づいて任意の適切な出力を生成するようにも機能することができる。いくつかの動作は、それらを行うためにユーザが認証されることを必要とすることができ(例えば、認可動作)、加えてまたは代替として、認証された動作は、ユーザにパーソナライズされたあるいは認証ステータスを動作の実行の基礎とすることによって改善される動作(例えば、ユーザが認証されたことに基づいて決定されるユーザ選好に従ってユーザに近接した環境アクチュエータを調整すること)を含むことができる。しかしながら、認証されるものは、任意の他の適切な動作および/または出力であることができる。
認証された動作は、(例えば、BCIおよび/または関連した構成要素と通信可能に結合されている)任意の適切なハードウェアおよび/またはソフトウェアモジュールによって行われることができる。第1の変形形態では、認証された動作を行うことは、認証ステータスの決定に応答して、ユーザが着用する仮想ヘッドアップディスプレイにおいてグラフィックをレンダリングすること(例えば、図13Bに示すように、オプションが選択されたことを示すグラフィックをレンダリングすること)を含むことができ、この変形形態では、認証ステータスを決定することは、ユーザがデジタル環境においてオブジェクトをどのように選択するかのユーザ固有モデルに従って(例えば、ボタンクリックなどで)ユーザがオプションを選択したと決定することを含む。より詳細には、この例では、選択は、入力機能を備えたヘッドマウントディスプレイによってサポートされているデジタル環境における電話を介した通信と関連付けることができる。第2の変形形態では、認証された動作を行うことは、物理的対象を操作すること(例えば、ユーザが通過したいドアの電子錠を開錠すること)を含むことができる。第3の変形形態では、認証された動作を行うことは、接続された環境パラメータアクチュエータ(例えば、サーモスタット、接続された照明スイッチまたは照明コントローラ、車両コンピュータなど)を介して、ユーザと関連付けられた物理環境に対応する環境パラメータ(例えば、室温、照明レベル、車両空調ファン速度など)を調整することを含むことができる。
第1の特定の実施態様では、ブロックS150は、ユーザの認証ステータスに基づいて1組の車両設定パラメータを調整することを含む。車両設定パラメータには、ラジオ局プリセットおよびユーザの音の選好に関連した他の設定、コックピット設定パラメータ(例えば、座席位置、ハンドル位置、バックミラー位置など)、環境設定パラメータ(例えば、空調温度、ファン速度、窓位置など)、運転設定パラメータ(例えば、サスペンション設定、ハンドリング応答性設定、加速度感度設定、衝突回避オーバーライド感度設定など)、および任意の他の適切な車両関連設定を含むことができる。この特定の実装態様では、ユーザの認証ステータスを決定することは、ユーザを識別すること(またはユーザの主張された同一性を検証すること)および識別されたユーザと関連付けられたユーザ選好を決定することを含む。ユーザ選好を決定することは、データベースからユーザ選好を検索すること、刺激および/または他の事象に対するユーザの反応を動的に監視すること(例えば、ユーザの喜びおよび/または失望を監視すること)、あるいはその他の方法でユーザ選好を適切に決定することを含むことができる。
別の特定の実装態様では、ブロックS150は、認証ステータスに基づいて、ユーザの活動と関連付けられた認可動作を行うことを含む。よって、ブロックS150は、本明細書に記載される方法およびシステムと関連付けられるアプリケーションによって定義された1つまたは複数の基準または規則に基づいてユーザに許可を与えるように機能することができる。ブロックS150のこの特定の実装態様において、認可の基準は、ユーザの脳活動が基準と一致する場合にのみユーザに動作を行う認可が与えられるように、ユーザの脳活動の解析に基づくことができる。
脳活動の解析に関連して、ブロックS150は、様々な脳状態と関連付けられた様々な領域の活動状態を決定するために、ユーザの様々な脳領域と関連付けられた様々な電極チャネルから、活動(例えば、スペクトル成分に関連した、神経振動に関連した、誘発電位に関連した、事象関連電位に関連した、活動の様々な周波数帯域に関連した、活動の組み合わせに関連したなど)を決定することを含むことができる。変形形態では、解析される様々な脳状態には、以下のうちの1つまたは複数を含むことができる:警戒状態(例えば、睡眠状態、警戒レベル)、集中の状態(例えば、集中している、気が散っているなど)、情緒的状態(例えば、幸せである、怒っている、悲しい、怖がっている、落ち着いている、驚いているなど)、精神的健康状態(例えば、鬱状態、精神病状態、精神的健康条件のマニュアルで特徴付けられる状態など)、神経学的健康状態(例えば、てんかん発作、片頭痛、脳卒中、認知症など)、飲酒の状態、顕在的/潜在的注意の状態、感覚刺激に対する反応の状態、認知的負荷の状態、心像の状態(例えば、運動動作、情景、音、手順などの心像)、記憶機能状態、および/または任意の他の適切な脳活動状態。
加えてまたは代替として、認証された動作は、非脳活動状態(例えば、補助生体計測信号、補助データ、コンテキストデータなど)に基づいて行うことができる。例えば、環境因子(例えば、環境脅威の解析)および/または装置状態(例えば、ユーザのデバイスが無線で接続されているか、またはそれ以外の方法でネットワークに接続されている)により、ブロックS150における認証された動作の実行を管理することができる。
しかしながら、加えてまたは代替として、ブロックS150における任意の動作を任意の他の適切な方法で実施および/または実行することができる。
3.5 方法-具体例
本方法の変形形態は、較正セッション、検証セッション、その両方、または任意の他の適切な神経信号解析セッションに複数の時間ロック構成要素を含めることができる。いくつかの例では、複数の時間ロック構成要素は実質的に同一でありうる(例えば、同一の音刺激、同一の視覚刺激など)。他の例では、時間ロック構成要素は関連するが同一ではなくてもよい(例えば、異なる順序で類似した音を有する音刺激、異なる色相パレットの類似した画像を有する視覚刺激など)。さらに別の例では、時間ロック構成要素は完全に異なりうる(例えば、音刺激に続く音のない映像刺激)。しかしながら、本方法は、任意の適切な相対関係を有する任意の他の適切な時間ロック構成要素を含むことができる。
例において、本方法は、ユーザの情緒的状態を決定すること、およびユーザと関連付けられた実体にユーザの情緒的状態を警告することを含むことができる。具体例では、本方法は、ユーザが落ち込んでいると決定すること、およびユーザが落ち込んでいることを精神衛生専門家に自動的に警告することを含むことができる。
別の具体例では、ブレイン・コンピュータ・インターフェースを提供するための方法は、以下の工程を含む:第1の時間窓内で、第1の時間ロック構成要素および第1の自発的構成要素を有する較正セッションに応答したユーザの第1の神経信号を検出する工程であって、第1の時間ロック構成要素が第1のランダム化因子を含む、工程;第1の神経信号に基づいてユーザ固有の較正モデルを生成する工程;第2の時間窓内の、第2の時間ロック構成要素および第2の自発的構成要素を有する検証セッションを受けるようユーザに促す工程であって、第2の時間ロック構成要素が第2のランダム化因子を含む、工程;検証セッションの送達と同時に第2の神経信号を検出する工程;第2の神経信号からユーザ固有の較正モデルの出力を生成する工程;第2の神経信号の処理された出力とユーザ固有の較正モデルの出力との比較操作に基づいて、ユーザの認証ステータスを決定する工程;ならびに認証ステータスに基づいて、認証された動作を行う工程。
別の具体例では、ブレイン・コンピュータ・インターフェースを提供するための方法は、以下の工程を含む:第1の時間窓内で、時間ロック構成要素および自発的構成要素のうちの少なくとも1つを有する較正セッションに応答したユーザの第1の神経信号を検出する工程;第1の神経信号に基づいてユーザ固有の較正モデルを生成する工程;第2の時間窓内の検証セッションを受けるようユーザに促す工程;検証セッションの送達と同時に第2の神経信号を検出する工程;第2の神経信号の処理された出力とユーザ固有の較正モデルの出力との比較操作に基づいて、ユーザの認証ステータスを決定する工程;ならびに認証ステータスに基づいて、認証された動作を行う工程。
好ましい態様の方法100および/またはシステム、ならびにそれらの変形形態は、コンピュータ可読命令を記憶するコンピュータ可読媒体を受け入れるように構成された機械として少なくとも部分的に具体化されかつ/または実装されることができる。命令は、好ましくはシステムならびにプロセッサおよび/またはコントローラのうちの一部分または複数部分と統合されたコンピュータ実行可能コンポーネントによって実行されることが好ましい。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光学装置(CDまたはDVD)、ハードドライブ、フロッピードライブ、または任意の適切なフォーマットの任意の適切な装置などの任意の適切なコンピュータ可読媒体に記憶されることができる。コンピュータ実行可能コンポーネントは、好ましくは、一般的なプロセッサまたは特定用途向けプロセッサであるが、代替としてまたは加えて、任意の適切な専用ハードウェアまたはハードウェア/ファームウェア組み合わせ装置が命令を実行することができる。
各図には、好ましい態様、構成例、ならびにそれらの変形形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装態様のアーキテクチャ、機能、および操作が示されている。これに関して、流れ図またはブロック図の各ブロックは、指定された論理機能(複数可)を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコード部分を表すことができる。また、いくつかの代替の実装態様では、ブロックに示されている機能は、各図に示されている順序と異なる順序で行われうることにも留意されたい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行することができ、あるいはそれらのブロックは、関与する機能によっては、逆の順序で実行されうる場合もある。ブロック図および/または流れ図の各ブロック、ならびにブロック図および/または流れ図内のブロックの組み合わせは、特定の機能または動作を行う専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組み合わせによって実装することができることにも留意されたい。
当業者であれば、以上の詳細な説明ならびに図面および特許請求の範囲を読めば理解するように、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく、本発明の好ましい態様に対して修正および変更を加えることができる。

Claims (21)

  1. ・第1の時間窓内で、第1の時間ロック(time-locked)構成要素を有する較正セッションに応答したユーザの第1の神経信号を検出する工程であって、前記第1の時間ロック構成要素が、前記較正セッションの第1の刺激の第1のパーセンテージに対する予期しない修正と関連付けられる第1のランダム化因子を含み、前記第1の刺激が前記ユーザにより事前に選択されたものではない、工程;
    ・前記第1の神経信号中に捕捉された、前記第1の刺激に対する前記予期しない修正への前記ユーザの応答に基づいてユーザ固有の較正モデルを生成する工程;
    ・第2の時間窓内の、第2の時間ロック構成要素を有する検証セッションを受けるよう前記ユーザに促す工程であって、前記第2の時間ロック構成要素が前記検証セッションの第2の刺激の第2のパーセンテージを占める第2のランダム化因子を含み、前記第2の刺激が前記ユーザにより事前に選択されたものではない、工程;
    ・前記検証セッションの送達と同時に第2の神経信号を検出する工程;
    ・前記第2の神経信号から前記ユーザ固有の較正モデルの出力を生成する工程;
    ・前記第2の神経信号の処理された出力と前記ユーザ固有の較正モデルの出力との比較操作に基づいて、前記ユーザの認証ステータスを決定する工程;ならびに
    ・前記認証ステータスに基づいて、認証された動作を行う工程
    を含む、ブレイン・コンピュータ・インターフェースを提供するための方法。
  2. 前記第1の時間ロック構成要素が第1の音刺激を含み、前記第2の時間ロック構成要素が第2の音刺激を含み、前記第1および第2の音刺激が実質的に同一である、請求項1記載の方法。
  3. 前記第1の時間窓内で補助生体計測信号を検出する工程、および前記第1の神経信号と前記補助生体計測信号とに基づいて前記ユーザ固有の較正モデルを生成する工程をさらに含む、請求項1記載の方法。
  4. 前記較正セッションが第1の自発的構成要素をさらに含み、前記第1の自発的構成要素が、前記ユーザに想像された刺激を知覚するよう促すことを含み、前記想像された刺激が、聴覚刺激、触覚刺激、視覚刺激、嗅覚刺激、および味覚刺激のうちの少なくとも1つを含む、請求項1記載の方法。
  5. 前記ユーザの前記認証ステータスに基づいてデータベースからユーザ選好を検索する工程をさらに含み、前記認証された動作を行う工程が、前記ユーザのための環境プロファイルをロードすることを含み、前記環境プロファイルが、前記検索したユーザ選好に従って前記ユーザと関連付けられた物理環境の環境パラメータを含む、請求項1記載の方法。
  6. 前記認証された動作を行う工程が、前記ユーザがコンピューティングシステムにアクセスすることを認可する工程を含む、請求項1記載の方法。
  7. 前記認証された動作を行う工程が、前記ユーザがブレイン・コンピュータ・インターフェースデバイスとの通信においてユーザ固有の動作を行うことによって相互作用する物理的対象と関連付けられたデジタルコンテンツを検索する工程を含む、請求項1記載の方法。
  8. 前記認証された動作を行う工程が、前記ユーザとデジタル入力装置との間の相互作用を特徴付ける前記ユーザの神経学的信号のモデルを検索する工程を含む、請求項1記載の方法。
  9. ・第1の時間窓内で、時間ロック構成要素を有する較正セッションに応答したユーザの第1の神経信号を検出する工程であって、前記第1の時間ロック構成要素が、前記較正セッションの第1の刺激の第1のパーセンテージに対する予期しない修正と関連付けられる第1のランダム化因子を含み、前記第1の刺激が前記ユーザにより事前に選択されたものではない、工程;
    ・前記第1の神経信号中に捕捉された、前記第1の刺激に対する前記予期しない修正への前記ユーザの応答に基づいてユーザ固有の較正モデルを生成する工程;
    ・第2の時間窓内の検証セッションを受けるよう前記ユーザに促す工程;
    ・前記検証セッションの送達と同時に第2の神経信号を検出する工程;
    ・前記第2の神経信号の処理された出力と前記ユーザ固有の較正モデルの処理された出力との比較操作に基づいて、前記ユーザの認証ステータスを決定する工程;ならびに
    ・前記認証ステータスに基づいて、認証された動作を行う工程
    を含む、ブレイン・コンピュータ・インターフェースを提供するための方法。
  10. 前記第1の神経信号を検出する工程が、前記ユーザに近接したブレイン・コンピュータ・インターフェースデバイスの脳活動センサから信号を取得する工程を含む、請求項9記載の方法。
  11. 前記較正セッションの前記時間ロック構成要素が、前記第1の時間窓内の一連の時点で前記ユーザに提供される刺激を含み、前記第1の神経信号を検出する工程が前記一連の時点と時間的に同期される、請求項9記載の方法。
  12. 前記刺激が、音刺激、視覚刺激、嗅覚刺激、および触覚刺激のうちの少なくとも1つを含む、請求項11記載の方法。
  13. 前記第1のランダム化因子が、前記刺激の1%〜80%の所定の割合を占める、請求項11記載の方法。
  14. 前記ユーザに刺激を想像するよう促す工程をさらに含み、前記較正セッションの自発的構成要素が前記ユーザによる前記刺激の想像を含む、請求項9記載の方法。
  15. 前記検証セッションを受けるよう前記ユーザに促す工程が、前記ユーザに前記刺激を想像するよう促す工程を含み、前記比較操作が、前記第1の神経信号に基づいて生成された前記ユーザ固有の較正モデルの第1の出力を、前記第2の神経信号に基づいて生成された前記ユーザ固有の較正モデルの第2の出力と比較することを含む、請求項14記載の方法。
  16. 前記第1の時間窓内で補助生体計測信号を検出する工程、および前記第1の神経信号と前記補助生体計測信号とに基づいて前記ユーザ固有の較正モデルを生成する工程をさらに含む、請求項9記載の方法。
  17. 前記認証された動作を行う工程が、前記ユーザと関連付けられたコンピューティングデバイスのディスプレイにレンダリングされた入力領域に1組の文字を読み込む工程を含む、請求項9記載の方法。
  18. 前記ユーザの前記認証ステータスを決定する工程が、前記ユーザの警戒レベル、前記ユーザの飲酒状態、前記ユーザの気分、および前記ユーザの不快レベルのうちの少なくとも1つを含む前記ユーザの状態を決定する工程を含み、前記認証された動作を行う工程が、前記ユーザの前記状態に基づいて、前記ユーザと関連付けられた車両のステアリングコラムのロック解除を可能にする工程を含む、請求項9記載の方法。
  19. 前記ユーザの前記認証ステータスに基づいてデータベースからユーザ選好を検索する工程をさらに含み、前記認証された動作を行う工程が、前記検索したユーザ選好に従って、前記ユーザと関連付けられた物理環境および仮想環境のうちの少なくとも1つの環境パラメータを調整する工程を含む、請求項9記載の方法。
  20. 前記認証ステータスが前記ユーザの認知状態を含み、前記認証された動作を行う工程が、前記ユーザと関連付けられた実体に前記ユーザの前記認知状態を警告する工程を含む、請求項9記載の方法。
  21. 前記第1のパーセンテージおよび前記第2のパーセンテージのうちの少なくとも1つが、1%〜80%の範囲のパーセンテージを含む、請求項1記載の方法。
JP2021068786A 2016-07-11 2021-04-15 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム Active JP7365373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023108375A JP2023145442A (ja) 2016-07-11 2023-06-30 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662360640P 2016-07-11 2016-07-11
US62/360,640 2016-07-11
US201662382433P 2016-09-01 2016-09-01
US201662382445P 2016-09-01 2016-09-01
US62/382,433 2016-09-01
US62/382,445 2016-09-01
JP2019522607A JP6871373B2 (ja) 2016-07-11 2017-07-10 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019522607A Division JP6871373B2 (ja) 2016-07-11 2017-07-10 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023108375A Division JP2023145442A (ja) 2016-07-11 2023-06-30 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Publications (2)

Publication Number Publication Date
JP2021121930A true JP2021121930A (ja) 2021-08-26
JP7365373B2 JP7365373B2 (ja) 2023-10-19

Family

ID=60910950

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019522607A Active JP6871373B2 (ja) 2016-07-11 2017-07-10 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
JP2021068786A Active JP7365373B2 (ja) 2016-07-11 2021-04-15 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
JP2023108375A Pending JP2023145442A (ja) 2016-07-11 2023-06-30 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019522607A Active JP6871373B2 (ja) 2016-07-11 2017-07-10 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023108375A Pending JP2023145442A (ja) 2016-07-11 2023-06-30 ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム

Country Status (5)

Country Link
US (3) US10706134B2 (ja)
EP (2) EP3481294B1 (ja)
JP (3) JP6871373B2 (ja)
IL (2) IL264111A (ja)
WO (1) WO2018013469A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579786B2 (en) * 2014-04-02 2020-03-03 Sony Corporation Information processing system
US10637662B2 (en) 2017-08-28 2020-04-28 International Business Machines Corporation Identity verification using biometric data and non-invertible functions via a blockchain
US11204989B2 (en) * 2018-04-27 2021-12-21 International Business Machines Corporation Passthought for multifactor authentication in augmented reality
DE102018114961B3 (de) 2018-06-21 2019-12-12 Bundesdruckerei Gmbh Automatisches adaptives Kalibrieren von Authentifizierungsanforderungen
US10999066B1 (en) 2018-09-04 2021-05-04 Wells Fargo Bank, N.A. Brain-actuated control authenticated key exchange
US20200117788A1 (en) * 2018-10-11 2020-04-16 Ncr Corporation Gesture Based Authentication for Payment in Virtual Reality
US20210390366A1 (en) * 2018-10-25 2021-12-16 Arctop Ltd Empathic Computing System and Methods for Improved Human Interactions With Digital Content Experiences
EP3651038A1 (en) * 2018-11-12 2020-05-13 Mastercard International Incorporated Brain activity-based authentication
WO2020128076A1 (en) * 2018-12-21 2020-06-25 Thales Dis France Sa Method to authenticate an end-user using brain waves
US11803627B2 (en) 2019-02-08 2023-10-31 Arm Limited Authentication system, device and process
CN111839506B (zh) * 2019-04-30 2021-10-12 清华大学 脑力负荷检测方法及装置
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN112333652B (zh) * 2019-07-16 2022-09-13 中国移动通信集团浙江有限公司 Wlan室内定位方法、装置及电子设备
KR20190107288A (ko) * 2019-08-30 2019-09-19 엘지전자 주식회사 화자인식 기반 차량 제어 방법 및 지능형 차량
WO2021188472A1 (en) * 2020-03-17 2021-09-23 Hi Llc Authentication systems and methods using a brain computer interface
SE2050318A1 (en) * 2020-03-23 2021-09-24 Croseir Ab A system
US11460921B2 (en) * 2020-07-09 2022-10-04 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource
US11467663B2 (en) 2020-07-09 2022-10-11 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource distribution hub
US11526876B2 (en) 2020-07-09 2022-12-13 Bank Of America Corporation System for calibration of an EEG device for detection of specific brainwave patterns
US20220029986A1 (en) * 2020-07-27 2022-01-27 Kpn Innovations, Llc. Methods and systems of biometric identification in telemedicine using remote sensing
CN113171111B (zh) * 2021-04-25 2022-03-29 北京理工大学 一种上肢运动方向神经解码方法和装置
WO2023178317A1 (en) * 2022-03-17 2023-09-21 The Regents Of The University Ofcalifornia Systems and methods for simulating brain-computer interfaces
CN114760567B (zh) * 2022-04-26 2023-07-14 歌尔股份有限公司 耳机音质效果的校准方法、装置、设备及存储介质
FR3140961A1 (fr) * 2022-10-12 2024-04-19 Thales Procédé de contrôle en continu de l'accès à une ressource et dispositifs associés

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498955B1 (en) * 1999-03-19 2002-12-24 Accenture Llp Member preference control of an environment
JP2005160805A (ja) 2003-12-03 2005-06-23 Mitsubishi Electric Corp 個人認識装置および属性判定装置
US9058473B2 (en) * 2007-08-29 2015-06-16 International Business Machines Corporation User authentication via evoked potential in electroencephalographic signals
US8191005B2 (en) * 2007-09-27 2012-05-29 Rockwell Automation Technologies, Inc. Dynamically generating visualizations in industrial automation environment as a function of context and state information
US20090157813A1 (en) 2007-12-17 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli
US20090318773A1 (en) 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
CA2765500C (en) 2009-06-15 2019-07-30 Brain Computer Interface Llc A brain-computer interface test battery for the physiological assessment of nervous system health.
US20120072289A1 (en) 2010-09-16 2012-03-22 Neurofocus, Inc. Biometric aware content presentation
US20120073892A1 (en) * 2010-09-24 2012-03-29 Hunter Cecil L Ignition interlock and driving monitoring system and method
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US20140020089A1 (en) * 2012-07-13 2014-01-16 II Remo Peter Perini Access Control System using Stimulus Evoked Cognitive Response
FR3001379B1 (fr) 2013-01-30 2019-06-14 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de localisation d'une activite cerebrale, notamment pour commande neuronale directe.
US20140228701A1 (en) * 2013-02-11 2014-08-14 University Of Washington Through Its Center For Commercialization Brain-Computer Interface Anonymizer
WO2014142962A1 (en) * 2013-03-15 2014-09-18 Intel Corporation Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
US10603545B2 (en) 2013-05-17 2020-03-31 Vincent J. Macri System and method for pre-action training and control
US20150185825A1 (en) 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US10321842B2 (en) 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
US20160022168A1 (en) * 2014-07-24 2016-01-28 University Of Lethbridge Brain state dependent therapy for improved neural training and rehabilitation
WO2016080366A1 (ja) 2014-11-21 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による認証装置、認証方法、認証システム及びプログラム
US10373143B2 (en) * 2015-09-24 2019-08-06 Hand Held Products, Inc. Product identification using electroencephalography

Also Published As

Publication number Publication date
EP3825826A1 (en) 2021-05-26
WO2018013469A1 (en) 2018-01-18
EP3481294A1 (en) 2019-05-15
US20220350871A1 (en) 2022-11-03
IL264111A (en) 2019-01-31
JP6871373B2 (ja) 2021-05-12
US10706134B2 (en) 2020-07-07
EP3481294B1 (en) 2021-03-10
JP7365373B2 (ja) 2023-10-19
EP3481294A4 (en) 2020-01-29
IL278545B (en) 2022-02-01
US20200272722A1 (en) 2020-08-27
JP2019533864A (ja) 2019-11-21
JP2023145442A (ja) 2023-10-11
US20180012009A1 (en) 2018-01-11
US11216548B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP6871373B2 (ja) ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
Kaushik et al. EEG-based age and gender prediction using deep BLSTM-LSTM network model
CN107710713B (zh) 使用神经及神经机械指纹的数据加密/解密
US20180082151A1 (en) System and method for virtual world biometric analytics through the use of a multimodal biometric analytic wallet
Chuang et al. Independent component ensemble of EEG for brain–computer interface
US20230259208A1 (en) Interactive electronic content delivery in coordination with rapid decoding of brain activity
GB2470579A (en) A behavioural biometric security system using keystroke metrics
WO2019040634A1 (en) SYSTEM AND METHOD FOR ANALYZING ELECTROENCEPHALOGRAM SIGNALS
Suppiah et al. Biometric identification using single channel EEG during relaxed resting state
Goudiaby et al. Eeg biometrics for person verification
Sooriyaarachchi et al. MusicID: A brainwave-based user authentication system for internet of things
Tatar Biometric identification system using EEG signals
Shams et al. EEG-based biometric authentication using machine learning: A comprehensive survey
Rathi et al. Towards a role-based authentication system based on SSVEP-P300 hybrid brain–computer interfacing
Yap et al. Person authentication based on eye-closed and visual stimulation using EEG signals
Palaniappan Electroencephalogram-based brain–computer interface: An introduction
Kanaga et al. An experimental investigations on classifiers for Brain Computer Interface (BCI) based authentication
Yang Next-generation personal authentication scheme based on EEG signal and deep learning
Yap et al. An evaluation of transfer learning models in EEG-based authentication
Ortega‐Rodríguez et al. Brainprint based on functional connectivity and asymmetry indices of brain regions: A case study of biometric person identification with non‐expensive electroencephalogram headsets
Kaur et al. A study of EEG for enterprise multimedia security
Liew et al. Distraction descriptor for brainprint authentication modelling using probability-based Incremental Fuzzy-Rough Nearest Neighbour
Abdulkader et al. Single trial authentication with mental password writing
Alipio Development, evaluation, and analysis of biometric-based bank vault user authentication system through brainwaves
Rodriguez An Electroencephalogram (EEG) Based Biometrics Investigation for Authentication: A Human-Computer Interaction (HCI) Approach

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231006

R150 Certificate of patent or registration of utility model

Ref document number: 7365373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150