JP2004527815A

JP2004527815A - 感知電気生理学的データに基づく活動開始方法及びシステム

Info

Publication number: JP2004527815A
Application number: JP2002551681A
Authority: JP
Inventors: ドゥローシーウ、ドナルド、アール．
Original assignee: ヒューマンバイオニクスエルエルシー、
Priority date: 2000-12-18
Filing date: 2001-12-18
Publication date: 2004-09-09
Also published as: WO2002050652A2; WO2002050652A3; AU2002234125A1; US20020077534A1

Abstract

ハンドフリーの人間と機械のインターフェースは身体の位置、四肢の運動、音声信号及び・またはオペレータの認知レベル及び・又はストレスの変化を使って対話式システムのユーザーインターフェースを制御する。信号は、脳波、目、心臓及び筋肉活動、喉頭活動、身体位置及び運動変化及びストレスを示す測度のような精神及び・又は身体のプロセスから取得される。信号は、手動のマウス、キーパッド、ジョイスティック、ビデオゲーム又は他の制御の代わりに、喉頭活動化された音声処理装置と共に作動することもある、運動ベースの身振りインターフェースを使うために、測定、処理される。手先の器用さや音声能力が十分でない障害者のためには、マルチモードの神経分析で目的運動を見つけ、これらを使って仮想マウス又はキーパッドを操作するようになる。
【選択図】図４

Description

【０００１】
本出願は、コンピュータ・インターフェースを発明の名称とし、引用により本明細書の一部に組み込まれている２０００年１２月１８日付け出願の米国仮出願番号６０／２５５，９０４号の優先権を主張するものである。
【０００２】
【発明の属する技術分野】
本発明はバイオフィードバック装置及びシステムに関する。特に、本発明は人間の脳や人体からの信号を処理する可動方法及びシステムに関する。これらの処理信号は、音声認識システムや他のキーパッド、マウス、ジョイスティック又はビデオゲーム制御器等の手動入力装置からの制御信号の代わりに、又は制御信号を増補することによって、種々のコンピュータベースのアプリケーションの操作に使うことができる。
【０００３】
【従来の技術】
従来の対話式アプリケーションは、キーボード、マウス、ジョイスティック、ゲーム制御器又は連続音声処理装置のような装置からの制御入力を使っている。これらの装置はユーザーが望むコンピュータのオペレーティングシステムとの対話方法を伝達するために大域的に使われるものであり、典型的にはホストアプリケーションのグラフィカルユーザーインターフェース（ＧＵＩ）を経由し、ＧＵＩが引き続いてアプリケーションプログラムインターフェース（ＡＰＩ）と交信して、目的結果が出ることになる。どのような場合でも、ユーザーの意図を検出するために電子信号処理を使い（例：マウスボタンをクリックする、キーパッドを押す、「新しいファイルを開ける」というような適切な言語命令を使う）、そして対話プログラムや対話装置の操作に影響を与えたり、増大させたり、その他の方法で制御をする。
【０００４】
【発明が解決しようとする課題】
しかし、従来の人間とコンピュータのインターフェースは、ボタンを押すために指を使うというように、人間が物理的に装置と相互作用をする必要があるという点で限界がある。従って、身体障害者や他の仕事に手を使わなければならないような状況で仕事をしている人にとっては、コンピュータシステムを制御するための適当なインターフェースがないことになる。
【０００５】
この問題を解決するための従来の方法として、音声活動化のための音声処理システムがある。しかし、音声活動化は、騒音のある環境での操作がうまくいかない、公共の場では不適切である、言語障害、聴覚障害者には使用が難しい等を含むがこれらに限られない多くの使用に関連した限界があり、望ましくないことが多い。頭及び目の運動スキームを使ってＣＲＴ画面上でカーソルを動かす方法を試みた研究もある。これらの方法は制御機能性に限界があり、しっかりした制御インターフェースを提供するには追加的な手段が必要となる。脳とコンピュータとのインターフェースの分野では制御信号の一種として仮想運動を使うことの研究もある。他のグループでは、脳から直接制御信号を引き出そうとしてサルの運動領に電極を直接移植している。このような方法は人間が一般に使用するには明らかに実践的でない。さらに、これらの方法は非同期性で脳波（ＥＥＧ）信号以外にはマルチモードのインジケータが十分でなく、意図した制御出力の正確性を確保できない。
【０００６】
人間とコンピュータとのインターフェースを提供する方法として他に、オックスの米国特許番号４，４６１，３０１号、ライト他の米国特許番号４，９２６，９６９号、及びゲビンズの米国特許番号５，４４７，１６６号がある。しかし、従来の方法ではＥＥＧだけしか測定せず、脳や身体からの生理的信号の組み合わせを使って対話システムを制御することはない。特に、従来の方法は、ユーザーの実際の又は仮想した制御意図の測定にマルチモードの信号処理方法を使うことがない。また、ホストのオペレーティングシステムと直接対話する組み込みプロセッサとして意図するホストシステム内で動作することもない。
【０００７】
従って、手動操作や大声で話す言語による制御で対話システムを制御することの限界は明らかである。一方、新しい随意のコンピュータインターフェースの潜在的有利性の限界は想像にすぎない。対話的ハードウェア及びソフトウェアシステムを手を使わずに心や身体で駆動して確実に制御できれば、障害を持つ者や常に手を使う仕事をしている者を含め、全てのユーザーにとって通信、教育、娯楽、移動システムへのアクセスが素晴らしく改善されることになろう。
【０００８】
従って、従来の入力装置と同じケイパビリティの多くを有し、しかし手動による電気機械式制御やマイクベースの音声処理装置を要しない新しいインターフェースである、人間とコンピュータのインターフェース（ＨＣＩ）を提供することが好ましい。
【０００９】
【課題を解決するための手段】
従って、本発明は、本明細書中でバイオアダプティブユーザーインターフェース（ＢＵＩ^商標）システムと称される、従来の入力装置と同じケイパビリティの多くを有し、しかしハンドフリーで手動による電気機械式制御やマイクベースの音声処理方法を必要としない、改良された人間とコンピュータのインターフェースを提供することを特徴及び有利性とする。
【００１０】
上述の及び他の特徴及び有利性は本明細書に開示される新しいＢＵＩを使用して達成される。本発明の一実施形態によれば、人間の感知データから意図する事象の検知を示す信号を分析する方法は、（ｉ）人間の身体的又は精神的活動を示す信号を受信する工程と、（ｉｉ）その信号の変化を識別定量するために適応神経網ベースのパターン認識を使用する工程と、（ｉｉｉ）その信号を応答インデックスに従って分類し、分類信号を出す工程と、（ｉｖ）その分類信号を応答データベースに含まれるデータと比較し、その分類信号に対応する応答を識別する工程と、（ｖ）その応答を実行するために命令を伝達する工程とを含む。
【００１１】
任意に、その方法は人間の認知状態、人間のストレスレベル、人体の身体運動、人間の身体位置の変化、及び人間の喉頭の運動のうちの１つ又は複数を識別する信号の処理を含む。また任意に、前記使用工程はその信号に対応する要因を少なくとも１つ識別してその少なくとも１つの要因に従ってウェートを与える工程を含んでもよく、前記受信工程は人間と直接又は間接的に接触する１つまたは複数のセンサーからの信号を受信する工程を含んでもよく、また前記分類工程は電気生理学的インデックス、位置インデックス、又は運動インデックスの内の１つに従った信号を分類する工程を含んでもよい。また、前記伝達工程はコンピュータプログラムの命令をコンピュータインターフェースを通して計算装置に伝達する工程を含んでもよい。
【００１２】
また、任意に、比較工程は少なくとも１つの高速ファジイクラリファイヤを使って実施してもよい。
【００１３】
さらに、この方法はコンピュータメモリー又はその他の集積回路のようなキャリアに記憶されたコンピュータプログラムの命令によって実行されてもよい。
【００１４】
本発明のより重要な特徴をこのように概説した。この概説によって、次のこれらの詳細な説明がより深く理解され、また本発明の当技術への貢献の重要性がより高く評価されることを望む。もちろん、この他にも本発明の特徴があり、これらは下記に説明されると共に本明細書に添付した請求項を形成するものである。
【００１５】
この点に関しては、本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明の適用は次の説明や図面に示される構成や構成部品の配列の詳細に制限されるものではないことを理解しておく必要がある。本発明は他の実施形態でも適用できるし、また種々の方法で実践、実行できるものである。ゆえに、本明細書及び要約書で使われている表現や用語は説明目的のものであり、限定的なものと考慮されるべきではないことを理解しておく必要がある。
【００１６】
こういうものとして、当業者は、本開示が基本としている概念が、本発明のいくつかの目的を実行するためのその他の構造、方法、及びシステム設計の基本としてすぐに使うことができることがわかるであろう。従って、請求項は本発明の精神及び範囲から逸脱しない限りこのような同等な構成を含むものと考慮されることが重要である。
【００１７】
【発明の実施の形態】
本発明の好ましい実施形態によれば、キーボード、マウス、音声処理装置のような従来の入力装置と同じケイパビリティの多くを有するが手動の機械制御や従来のマイクを使う音声処理装置を必要としない、改良された人間とコンピュータのインターフェース（ＨＣＩ）が提供される。好ましい実施形態では喉頭からの運動信号や振動信号ばかりでなく脳や身体からの生理学的信号に依存して対話システム及び装置を制御することもある。本発明はホスト環境（つまり、目標とする対話アプリケーションを実行するデスクトップＰＣ又は装着式ＰＣ）内で動作し、そのプログラムのグラフィカルユーザーインターフェース（ＧＵＩ）の操作に使われている電気機械入力装置の代わりに使われることが好ましい。本発明のこの好ましい実施形態によれば、ソフトウェア開発者用キット（ＳＤＫ）としてパッケージできる精神測定ＨＣＩを提供し、この方法を汎用できるようになる。このインターフェースをインストールするには、ドライバーを使って、厄介な手動操作や大声の代わりに脳及び身体からの認知及びストレスに関連した信号や喉頭からの運動情報を使うＢｏｄｙＭｏｕｓｅ^商標制御器をロードすることが好ましい。
【００１８】
本発明は次の特徴のいくつか又は全部を使って人間の脳や人体からの信号を処理する可動方法及びシステムに関する。（ｉ）身体上または身体の近くのセンサー及びトランスジューサの位置を見つける位置決めシステム、（ｉｉ）医療用グレードの歩行用生理学的レコーダ、及び（ｉｉｉ）生理学的及びビデオイメージデータをワールドワイドウェブ上にワイヤレスで送信できる計算装置。
【００１９】
本発明の目的は身体に装着したセンサーやトランスジューサを通して受信した精神測定情報の変化を使って随意の精神及び身体活動を検知、測定し、ユーザーの意図を対話式ホストアプリケーションに伝達するのに十分な制御信号を引き出すことである。本発明は、よって、通信、娯楽、教育及び医療に使われる対話式アプリケーションをハンドフリーで容易に制御する人間と機械の間の交信システムを提供する。
【００２０】
図１は、本発明の好ましいシステムの実施例を示す。図１に示すように、このシステムは少なくとも３つの主要な部分を含む。（１）身に装着できるセンサー配置ユニット１０（目立たなく、身に付け易いものが好ましい）で、本明細書中に参考として取り入れられているゲビンズ他の米国特許番号５，０３８，７８２号に開示されているもののようないくつかのトランスジューサ装置の位置も見つけるセンサー配置ユニット、（２）すべて人体に身に付けられるように小さな、統合マルチチャネル増幅器１２、ディジタル信号処理（ＤＳＰ）ユニット１４及びパソコン（ＰＣ）１６、及び（３）ソフトウェアサブルーチンの独立ＢＵＩ^商標ライブラリ１８で、オペレータの精神、身体及び運動に関連した活動から引き出される多数の精神測定インデックスを測定、定量してＧＵＩインターフェースを随意に制御する信号処理方法を含むライブラリ。本発明のこのＢＵＩライブラリ１８構成部品は、アプリケーションの製作者に全ての型の対話式ソフトウェア及びハードウェアアプリケーション内で認知、増補音声及び身振り制御ケイパビリティを組み込む汎用プログラミングインターフェースを提供する独立のＳＤＫのような方法で実施されることが好ましい。ＰＣ１６は処理装置とメモリの両方を含む。従って、任意に、前記のＢＵＩライブラリ１８のサブセットは信号を処理してそのプログラムのアプリケーションプログラムインターフェース（ＡＰＩ）とのインタオペラビリティを提供する組み込み制御器としてそのＰＣ１６上で実行される対話式アプリケーション内に提供されてもよい。増幅器１２やＤＳＰ１４もシステム全体を小型化するためにＰＣ１６の外被内に含まれてもよく、そうすれば統合ディジタル捕捉ユニット１７が作られる。この好ましい実施例において、ホストアプリケーション（センサー配置ユニット１０から受信した信号で制御される）はＰＣ１６にインストールされるが、別な実施例においては、制御されるアプリケーションが、直接線、電話線、ワイヤレス、インターネット又はその他のコンピュータネットワークのような通信方法を通してＰＣ１６と交信する外部計算装置上で動作してもよい。
【００２１】
センサー配置ユニット１０は、身体の位置、運動及び加速、振動、皮膚のコンダクタンス、呼吸、温度等のトランスジューサからの身体測度の他、ＥＥＧ信号、筋電（ＥＭＧ）信号、眼電（ＥＯＧ）信号、心電（ＥＣＧ）信号等の種々の形での電気生理学信号を受信できることが好ましい。前記のシステムは、ＡＰＩを操作するための有意味な制御信号を引き出し、従来の自然言語や電子機械制御器の機能のいくつか又は全部を提供するために、混交されていない、又は実質的に混交されていない信号をディジタル捕捉ユニット１７に伝達することができなければならない。
【００２２】
センサー配置ユニット１０は次の特徴のいくつか又は全部を示すことが好ましい。（１）相対的に少数（１８未満が好ましいが、４０以上を含むこともある）の入力型を有し、オペレータの身体上で早くその位置を見つけることができる、（２）生物物理学的（ＥＥＧ、ＥＣＧ、ＥＭＧ等）表面電極、及び振動、電気皮膚反応（ＧＳＲ）、呼吸、酸素測定、運動、位置、加速、負荷、抵抗等を捕捉するためのトランスジューサを位置づける、（３）センサーの接続機構は目立たず簡単（例えば、１０歳の子供でも作動できるくらい）に作動できる（３分未満でできることが好ましい）、（４）センサー配置ユニット１０は電極やトランスジューサの複数の組み合わせに対応する、（５）表面電極は簡易性及び洗浄度のために再使用可能な粘着ゲルや交換可能な粘着ゲルの電解質プラグを使う、（６）ＥＥＧ、ＥＯＧ、ＥＣＧ及びＥＭＧの電極は一つの位置づけ装置で人間の頭に同時にまた瞬時に配置できてもよい。
【００２３】
好ましい実施例において、センサー配置ユニット１０は、ＥＯＧ、ＥＭＧ、ＥＣＧ、振動、ＧＳＲ、呼吸、加速、運動、その他の頭及び身体上のセンサーの位置も見つけることができる目立たないＥＥＧ配置システムを含む。センサーとトランスジューサの位置づけストラップは複数の型のセンサー又はトランスジューサを素早く装着し、保持する必要がある。好ましい実施例において、ユニットは４つのＥＥＧセンサー、２つのＥＯＧセンサー、４つのＥＭＧセンサー、及び振動、加速、ＧＳＲ、位置測度の組み合わせを含む。しかし、その適用方法によって任意の数及び型のセンサー及びトランスジューサの組み合わせを使うことができる。
【００２４】
それぞれのセンサーは格別のインピーダンス降下ケイパビリティを有する反乾式電解質プラグを使って適用されることが好ましい。好ましい実施例において、単一の電解質プラグがそれぞれの表面電極上に配置され、皮膚からの信号を瞬時に集めることができるようにして動作する。これらの電解質プラグは交換可能であるので、実質的に、また好ましくは何も、皮膚の磨耗又は調整なしに、センサーから素早く記録するために使うことができる。センサー配置ユニット１０を液体ですぐに洗浄、殺菌する必要をなくすために電解質プラグは取り除き可能であるべきである。毎回使う度にシステムを洗浄する必要がなければ、センサー配置システム１０は家庭やオフィスでの使用に理想的となる。
【００２５】
センサー配置ユニット１０は、増幅器１２、ＤＳＰ１４、及びＰＣ１６からなるディジタル捕捉ユニット１７と交信することが好ましく、アセンブリ全体として次の特徴のいくつか又は全部を示す。（１）身体に装着できるくらい小型である、（２）コンフォーミテヨーロピエン（ＣＥ）マーキング及び・又は国際標準化機構（ＩＳＯ）認証を受け、米国で医療装置として使用を承認されている、（３）複数の、好ましくは１６以上４０以下の多目的チャネル、それに加えて事象及びビデオ専用チャネルを処理する、（４）種々のセンサーからの入力を受諾し、複数の身体装着トランスジューサの動力源となる汎用インターフェースを提供する、（５）ＥＥＧ、ＥＯＧ、ＥＣＧ、ＥＭＧや他の生理学的信号の高速ディジタル信号処理、またトランスジューサ装置のホストからの測度の分析ができる、（６）入力データをリアルタイムで見て分析する信号処理ソフトウェアを一そろい全部提供する。
【００２６】
ディジタル捕捉ユニット１７はＢＵＩライブラリ１８と共に作動して、次の特徴のいくつか又は全部を示すことが好ましい。（１）連続信号（ＥＥＧ、ＥＭＧ、振動、加速等）の認知、ストレス及び運動評価をリアルタイムで実施し、時空的インデックス、線形データ変換、及び・又は正規化データ結果を生成することのできる内部ＤＳＰシステムを提供する。処理要求としては、（ｉ）ＥＯＧの検出とアーティファクトの補正、（ｉｉ）空間的、周波数、及び・又は小波のフィルタ、（ｉｉｉ）境界要素モデリング（ＢＥＭ）と有限要素モデリング（ＦＥＭ）のソースのローカリゼーション、（ｉｖ）適応神経網パターンの認識と分類、（ｖ）高速ファジイクラスター特徴分析方法、（ｖｉ）（ａ）振動、加速、力、負荷、位置、角度、傾き、その他の同様な測度等の運動データの分析、（ｂ）瞳孔運動、心拍数、瞬き数、皮膚コンダクタンス、温度、呼吸、血液の流れ、パルス、その他の同様な測度等の精神生理学的ストレスに関するデータの分析、（ｃ）連続生理学的波形の空間的、時間的、周波数及び小波のフィルタ、（ｄ）ＢＥＭ及びＦＥＭに基づく活動のローカリゼーション及び再構築、（ｅ）適応神経網パターンの認識と分類、（ｆ）高速ファジイクラスター特徴抽出及び分析方法等を含む測度から引き出された出力制御信号のリアルタイムでの生成。
【００２７】
センサー配置システム１０とホストＰＣ１６の間のデータインターフェースはいくつかの方法で達成できる。これらの方法には、直接（医学的に分離された）接続、またはシリアル、パラレル、ＳＣＳＩ、ＵＳＢ、エサーネット又はファイヤワイヤポートを通しての接続が含まれる。又は、センサー配置システム１０からのデータ送信は、装着式コンピュータのＦＣＭＣＩＡベイ内のネットワークカードへのＲＦ又はＩＲリンクを使ったワイヤレスインターネット接続のように、間接的でもよい。これらのハードウェア・ソフトウェアインターフェース要求を満たすために、どのような条件下においても使用できる柔軟性を最高にするために複数の相互接続オプションを維持しておくことが好ましい。インターフェースのソフトウェア部分はユーザーが身体活動セット（制御テンプレート）を定義し、選択したアプリケーションを始めることによってハンドフリー制御器の操作モードを選択できるようにするアプリケーションプログラムインターフェース（ＡＰＩ）を通して操作されることが好ましい。
【００２８】
本発明はまた、本明細書中で時にバイオアダプティブユーザーインターフェース^商標と呼ばれる独特な処理方法も使い、この処理方法は次の特徴のいくつか又は全部を含むものである。
【００２９】
（１）手動機械装置やマイクベースの聴覚音声処理装置を使わずに対話式アプリケーションを操作しようとするユーザーの意図を伝達するために使われる制御出力信号によって精神的及び身体的活動の変化に関するインデックスの１つ又は複数のセットを処理する。
【００３０】
（２）手動機械装置やマイクベースの聴覚音声処理装置を使わずに対話式アプリケーションを操作しようとするユーザーの意図を伝達するために使われる制御出力信号によって喉頭の振動パターン及び関連する制御筋からのＥＭＧ活動パターンの変化に関するインデックスの１つ又は複数のセットを処理する。
【００３１】
（３）自動神経網及び高速ファジイクラスターに基づくパターン認識、分類、及びインデックス（それぞれの測定信号内の変化に基づく）を所定の制御出力信号（例：キーパッドを押した時や「左の」マウスボタンをクリックした時に似た信号）を提供する活動テンプレートのセットに合わせる特徴抽出方法を含む、線形及び非線形分析方法を使って精神生理学的及び喉頭活動信号を処理する。
【００３２】
（４）ライブラリ機能の特定のクラスに関連する最高の貢献を決定するために適応される加重関数を引き出すために適応神経網（ＡＮＮ）と高速ファジイクラスター方法を使って、活動テンプレート内の特定のインデックスのセットの表示する。開発者がＢＵＩ^商標ライブラリケイパビリティを使えるようにするプログラミング環境がＳＤＫプログラミングアーキテクチャを通して信号処理サブルーチンへのアクセスを提供する。
【００３３】
（５）移動電話、娯楽ユニット、分散学習コンソールや医療装置のような特定のクラスの対話式アプリケーション用のハードウェア及びソフトウェアインターオペラビィティ要求を支配するアプリケーション規則で定義されるライブラリーを分類する。
【００３４】
（６）活動テンプレートの特定なセットとそれぞれ関連するリアルタイムの機能コールのライブラリを伝達する組み込み可能なＳＤＫカーネルで、テンプレート出力の組み合わせが任意の音声処理装置、キーボード、マウス、ジョイスティック又はゲーム制御器からの制御信号のようなホストソフトウェアに注意するＳＤＫカーネル。
【００３５】
（７）対話式アプリケーションの特定のクラスに最も確実な制御スキームを提供するために、調整限界に基づいて、選択的に好ましい活動テンプレートを選ぶためのに適応加重（及び・又は他の同様な方法）をする。
【００３６】
（８）最も良く合う身体活動セットを認定するために使われる選択評価基準を更新する応答テンプレートを通してホストアプリケーションからのフィードバックを受諾する受信ライブラリを有すること。
【００３７】
（９）ホストアプリケーションからの更新された応答テンプレートの情報に基づいて、特定の制御信号出力への身体活動セットの貢献度を適応的に再加重する手段（校正の一形態のように、制御信号出力の調整や改善ができるようになる）。
【００３８】
システムアーキテクチャ全体は、活動テンプレートと応答テンプレートの使用法を支配してアプリケーションのＡＰＩとＢＵＩ^商標ライブラリサブルーチンの間のマッサージを取り扱い、ホストプログラム内の組み込み可能なオペレーティングシステム（ＯＳ）のように機能する発見的規則のセットの上に構築されていることが好ましい。ホストアプリケーション内の組み込み可能なＯＳを訓練するには、「ＯＳカーネル」をメニュー駆動の問合せプロトコールに連絡してユーザー特異的な評価基準を確立してフィードバック情報の伝達に使われるＡＮＮパターン認識網を訓練することが好ましい。
【００３９】
図２は本発明のＢＵＩ^商標ライブラリをブロック図で示す。本発明は、認知、ストレス、及び・又は喉頭の処理を四肢及び身体の運動分析と組み合わせ、ハンドフリーのコンピュータシステムインターフェースを提供する。ＢＵＩ^商標方法は、特定のアプリケーションに必要な好適な脳及び身体の活動を集めるために必要なセンサー及びトランスジューサの詳細を含む、ユーザー選択身体活動セット（ステップ２０）に適用する。例えば、ゲーム制御アプリケーションにおいては、センサーが脳、筋肉及び心臓の信号を集め、トランスジューサが四肢、指及びその他の身体の部分の運動を検出する。そして、領域拘束時空的マッピングとソースローカリゼーション方法（ステップ２２）、認知状態及びストレス評価手法（ステップ２４）、及び非線形運動・位置分析（ステップ２６）の新規な使用法を通して、これらの信号処理結果はＡＮＮ分類器・特徴抽出器に送られる（ステップ２８）。
【００４０】
ＡＮＮベースのアルゴリズム（ステップ２８）は分類器に指示されるパターン認識手法を適用してそれぞれの入力信号内の特定の変化を識別、測定し、その変化の相対的な強さのインデックスを引き出す。規則ベースの階層データベース構造、又は「クラスライブラリ記述」（図３に詳細を示す）はそれぞれの信号内の関連性のある特徴及びそれぞれの特徴の加重関数を記述する。「受信ライブラリ」（ステップ３４）として使われる自己学習発見的アルゴリズムはそれぞれの特徴の使用法及び再加重評価基準を支配し、特徴インデックスのデータベースを維持し、フィードバック制御インターフェースからのフィードバックを規制する（ステップ４２）。受信ライブラリ（ステップ３４）からの出力ベクターは高速ファジイ分類器（ステップ３６）の縦続を通って送出され（ステップ３６）、これらの分類器はアプリケーションに依存する「活動テンプレート」に合わせるための制御信号の生成に必要な特徴の最適な組み合わせを選択する（ステップ４０）。活動テンプレートの値（つまり、ホストＡＰＩに送出されるポートの値）は、フィードバック制御インターフェース（ステップ４２）及び受信ライブラリ（ステップ３４）を通るホストアプリケーションからのフィードバックによって、適応加重及び限界手続きによって変更できる。校正、訓練及びフィードバック調整は、「送出ライブラリ」（ステップ３８）での制御信号の特徴づけ及び活動テンプレート（ステップ４０）を通しての、ＡＰＩの制御インターフェース要求に合うホストアプリケーション内の組み込みＯＳカーネルへの伝達の前の、分類器の段階（ステップ３６）で実施される。
【００４１】
又は、ユーザー選択身体活動セット（ステップ２０）は脳波ソース信号、脳及び身体からの認知及びストレス関連信号、喉頭運動及び振動信号、身体運動及び位置信号、及びその他の人間に装着されたセンサーやトランスジューサからの信号を含んでもよい。身体活動セット（ステップ２０）は対話式アプリケーションのＧＵＩの制御にユーザーが使用を望む適切な信号又は活動を示す。例えば、ユーザーは右手の指を鳴らすことが「マウスの右ボタンを押す」ことを意味するように選択してもよい。
【００４２】
ステップ２２、２４、及び・又は２６で分析した信号特徴に基づいて、ＢＵＩシステムはＡＮＮベースのパターン分類及び認識ルーチン（ステップ２８）を適用して身体活動セットで特定した信号の変化を識別する。関係する特徴には、例えば、測定した活動化、周波数、運動、その他の信号変化のインデックスの変化がある。例えば、周波数の変化は身体運動、音声、ＥＥＧコヒーレンスパターン、その他のユーザーの身体状態の詳細を表示しているかもしれない。測定変化及びその他の要因に基づいて、要因や変化を受信ライブラリに送って分類する前に加重することができる。例えば、ユーザーが擬似スケートボーダーを制御するビデオゲームの制御器として本発明が使われる場合には、パターン認識方法は、ユーザーの身体運動の変化の方がユーザーの時空的ＥＥＧパターンよりも加重が重いと考慮してもよい。換言すれば、ユーザーの実際の四肢や身体の運動がプログラム制御を命令し、ユーザーの集中アテンションのレベルは、例えばコースをより難しくするとか、ユーザーとしてゲーム内で活動しているスケートボーダーの能力を上げたり下げたりする等して、ゲームをより楽しくするために補助的に使われると解されてもよい。しかし、四肢麻痺患者の場合は、異なるクラスライブラリを使って、いくつかの信号の型以外は全て無視し、ユーザーが実行している対話式アプリケーションの画面に表示するグラフィカル制御システムの仮想運動に関する特定の脳活動の検出に必要なディジタル捕捉工程及び処理工程を命令することもできる。
【００４３】
ＡＮＮ特徴認識で処理、加重された信号インデックスは、好ましくは精神活動及び身体活動を出力制御信号のセットに関連づけるインデックスのビンからなる、データバッファー又は受信ライブラリに分類される（ステップ３４）。受信ライブラリは適切な加重信号を、それらの信号が処理されて装置特異的な活動テンプレートに伝達されるように分離し（ステップ４０）、ホストプログラムのＡＰＩの操作に適切な制御信号を出力するようにする。受信ライブラリに入力された信号ベクターは１つ又は複数の高速ファジイクラリファイヤを使って活動テンプレート（ステップ３６）又は他の適切なアルゴリズムと比較される。高速ファジイクラリファイヤは加重信号データを受信ライブラリ（ステップ３４）に維持されている１つ又は複数のデータベースと比較して、それぞれの加重信号に対応する適切な応答を識別する。処理されたインジケータはその後送出ライブラリ（ステップ３８）に伝達され、そこでそれぞれのインジケータの関連性のある制御出力としての貢献度が測定され、マウス、ジョイスティック、音声処理装置、手動制御器、その他の制御装置を模擬するために、ＯＳカーネルを通って、制御信号を通す活動テンプレートに分類される。
【００４４】
ＢＵＩ法は受信ライブラリ内の信号を更新でき、よって送出ライブラリ、究極的にはホストアプリケーションへの出力ベクターを変更できる、応答テンプレートを通してのホストアプリケーションからの適応フィードバックにも備えている。
【００４５】
ＢＵＩ^商標ライブラリ内の操作規則及びデータの相互関係を詳細するブロック図を図３に示す。図３の左側のボックス（ボックス６０から７２）は図２（ステップ２０）に特定された身体活動セット選択処理の一部である規則に関する。ステップ５２にリストされる活動は、アプリケーションの型（つまり、通信システム、訓練コンソール、ゲームプラットフォーム、又は医療装置）に依存する、選択された信号の型からのクラス特異的特徴を引き出すために必要なデータ関係と信号処理要求を詳細する。図３の中心より下のボックス（ボックス７４から８８）は、図２の受信ライブラリ（ステップ３４）とフィードバック制御インターフェース（ステップ４２）の操作に使われるデータ関係、インデックス加重関数、及びベースライン限界評価基準に関する。図３の右側のボックス（ボックス９０から９４）は、図２の送出ライブラリ（ステップ３８）と活動テンプレート制御インターフェース（ステップ４０）の操作に使われるデータ関係、出力制御信号特徴、及び装置特異的インターフェース要求に関する。フィードバックインターフェースボックス（ボックス５８）は、図２のフィードバック制御インターフェース（ステップ４２）の操作に使われるデータ関係、インデックス加重関数、及びベースライン限界評価基準を提供する。
【００４６】
【発明の効果】
本発明は従来の技術に比べていくつかの点において有利である。例えば、本発明は、実世界状況下において精神測定データを捕捉、測定するために小型化した超軽量捕捉及び計算電子工学及び高性能信号処理方法を使う新規な装着式バイオアダプティブユーザーインターフェース（ＢＵＩ^商標）を提供できる。
【００４７】
本発明の好ましい実施形態ではまた、ストレス及び運動に関する情報の他、精神生理学的及び身体データを（直接的又は間接的に）記録、分析及び伝達するマルチチャネルセンサー配置及び信号処理システムも提供される。
【００４８】
本発明の好ましい実施形態ではまた、振動パターン及び筋肉活動化パターンの形で含まれる喉頭活動を記録、分析、伝達し、マイクベースの聴覚信号を使わない無音音声処理装置も提供される。
【００４９】
本発明の好ましい実施形態ではまた、通信、娯楽、教育、及び医療アプリケーションのためのアプリケーション特異的信号セットを捕捉するようにパッケージされた特別構成のセンサー及びトランスジューサキットも提供される。
【００５０】
本発明の好ましい実施形態ではまた、多くの異なるセンサーやトランスジューサに取り付けられるモジュラー方式の信号処理システムへの汎用インターフェースも提供される。
【００５１】
本発明の好ましい実施形態ではまた、世界中のどこででもインターネット上の精神測定データを集め、処理し、伝達して、オペレータや患者から離れた位置でもその再調査、増補ができるようにもなる。
【００５２】
本発明の好ましい実施形態ではまた、オペレータの精神、身体、及び運動関係の力から引き出される数多くの精神測定インデックスを測定、定量する、信号処理方法のＢＵＩ^商標ライブラリが提供され、ＡＰＩのハンドフリー制御ができるようになる。例えば、あるゲームアプリケーションではその人物を左に動かすためにジョイスティックの「Ａボタン」を押さなければならないかも知れないのに対して、ＢＵＩ^商標ライブラリでは、手動制御器のボタンの動きではなく脳や身体の活動の関連性のある組み合わせに基づいて同じ制御信号を出力することができる。
【００５３】
本発明の好ましい実施形態ではまた、ホストアプリケーションのＧＵＩを操作する機械的及び・又は音声言語入力装置の代わりとなる、又はそれらを補助するマルチモードの信号処理方法を使う随意のバイオアダプティブ制御器も提供される。ＢＵＩ^商標は、従来の電気機械及び音声ベースの入力装置とは別な、ハードウェアとソフトウェアの相互作用を制御する方法を提供し、例えば、ウィンドウズ^登録商標、ＵＮＩＸ^登録商標、ＬＩＮＵＸ^登録商標のような、標準オペレーティングシステム内で動作するように意図されている。
【００５４】
本発明の好ましい実施形態ではまた、コンソール形式のゲームシステムのグラフィカルユーザーインターフェース（ＧＵＩ）を操作する機械的及び・又は音声言語入力装置の代わりとなる、又はそれらを補助するマルチモードの信号処理方法を使う随意のバイオアダプティブ制御器も提供される。ＢＵＩは、従来の電気機械及び音声ベースの入力装置とは別な、コンソールベースのプログラムを制御する方法を提供し、例えば、ニンテンドー、Ｎ６４、セガドリームキャスト、プレイステーションＩＩ及びマイクロソフトのＸボックスのような多くの従来から売られているゲームコンソールで動作するように意図されている。
【００５５】
本発明の好ましい実施形態ではまた、複数の型の精神測定データを測定、定量し、対話式アプリケーションを意図的に制御する（「随意の制御」）ために使うことのできるユーザーの精神的及び身体的な力（例：用心、注意、警戒、眠さ等のレベル）の変化するレベルを反映する特定のインデックスを出力するマルチモードの信号処理方法も提供する。
【００５６】
本発明の好ましい実施形態ではまた、頭、四肢、身体、手や指の運動を測定、定量し、対話式アプリケーションを意図的に制御する（これも「随意の制御」）ためのユーザーの身体の一部又は全体の意図的な（又は仮想された）運動に基づく制御の変化するレベルを反映する特定のインデックスを出力するマルチモードの信号処理方法も提供する。
【００５７】
本発明の好ましい実施形態ではまた、話している間、特に囁いている間の喉頭の振動及び筋肉の活動化パターンを測定、定量し、従来の連続音声及び自然言語処理方法と同様の方法での話されたまたは囁かれた言語内容に基づく制御の変化するレベルを反映する特定のインデックスを出力するマルチモードの信号処理方法も提供する。
【００５８】
本発明の好ましい実施形態ではまた、組み込み可能なプログラミング環境と共にＢＵＩ^商標ライブラリとＢｏｄｙＭｏｕｓｅ^商標ドライバをまとめてソフトウェア開発者用キット（ＳＤＫ）とすることも提供し、これによってアプリケーションの製作者が認知、身振り、及び無音音声制御器を使ってそれぞれの対話システムを操作できるようになる。
【００５９】
本発明の好ましい実施形態ではまた、ＳＤＫ内に、開発者がユーザーの精神的及び身体的活動に基づいてプログラム動作を瞬時に変更することのできる能力のあるソフトウェアを作成できるようにするサブルーチンも含む。
【００６０】
本発明の好ましい実施形態ではまた、ソフトウェア開発キット内に、開発者が、回復促進及びリハビリテーション装置で使われるマイクロプロセッサーベースの電気機械システム（ＭＥＭＳ）を随意に制御できる能力のあるソフトウェアを作成できるようにするサブルーチンも含む。
【００６１】
好ましい実施形態において、単一の表面電極又は複数の電極のグループを使って脳、目、皮膚、心臓、筋肉、喉頭等からの信号を、頭皮、顔、胸、皮膚又は身体の適当な領域に電極とトランスジューサを配置する手段を提供することによって、捕捉できる。例えば、衣類の中に偏在させたり、又は、イスの一部又は周辺計算装置として含まれるようにする。
【００６２】
図４は、本発明のシステム実施例のプログラム命令を含む又は実行するために使うことのできる適例となる内部ハードウェアのブロック図である。図４において、バス２５６はハードウェアのその他の図示された構成部品を相互に接続する主要な情報ハイウェイとして働く。ＣＰＵ２５８はシステムの中央処理装置であって、プログラムの実行に必要な計算や論理演算を実行する。リードオンリーメモリ（ＲＯＭ）２６０とランダムアクセスメモリ（ＲＡＭ）２６２は記憶装置を構成する。
【００６３】
ディスク制御器２６４は１つ又は複数の任意のディスクドライブをシステムバス２５６にインターフェースする。これらのディスクドライブは２７０のような外部又は内部のフロッピーディスクドライブ、２６６のような外部又は内部のＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ又はＤＶＤドライブ、又は外部又は内部のハードドライブ２６８である。前述のように、これらの種々のディスクドライブやディスク制御器はオプショナルな装置である。
【００６４】
プログラム命令はＲＯＭ２６０及び・又はＲＡＭ２６２に記憶されることができる。又は、プログラム命令はフロッピーディスクやディジタルディスク又は他の記録媒体、通信信号、または搬送波のようなコンピュータ可読キャリアに記憶されてもよい。
【００６５】
任意の表示インターフェース２７２があれば、バス２５６からの情報を聴覚、グラフィック又は英数字の形式でディスプレイ２４８に表示することができるようになろう。外部装置との交信は２７４のような種々の通信ポートを使って任意に実施できる。
【００６６】
標準のコンピュータ型の構成部品に加えて、ハードウェアはセンサー又はトランスジューサからのデータを受信できるようにするインターフェース２５４、キーボード２５０又はリモートコントロール、ポインター、マウス、ジョイスティックやセンサー・トランスジューサ入力のような他の入力装置２５２を含んでもよい。
【００６７】
詳細した仕様より本発明の多くの特徴や有利性は明らかである。従って、添付した請求項は本発明の真の精神及び範囲内に入るそのような特徴や有利性を全て含むように意図されている。また、当業者には数多くの変更や変形がすぐに起こるであろうから、本発明を図示及び説明したとおりの構成及び操作に限定することは望まれていない。従って、適切な変更及び同等物はすべて本発明の範囲内に含まれることのできるものである。
【図面の簡単な説明】
【図１】
図１は本発明の好ましいシステムの実施例のハードウェア要素をいくつか示す図である。
【図２】
図２は本発明のＢＵＩライブラリ方法によって実行される信号処理経路を示すブロック図である。
【図３】
図３は本発明の好ましい実施例において使われるクラス依存性発見的データアーキテクチャの要素をいくつか示す透視図である。
【図４】
図４はディジタルプロセッサ、メモリ、その他の電子ハードウェアの適例となる要素を示すブロック図である。

Claims

人間の感知データから目的事象の検出を表示する信号を分析する方法であって、
人間の身体的又は精神的活動を表示する信号を受信する工程であって、前記身体的又は精神的活動が前記人間の意図する事象に対応することを特徴とする工程と、
適応神経網に基づいたパターン認識を使用して前記信号の変化を識別及び定量する工程と、
応答インデックスに従って前記信号を分類し、分類信号を出す工程と、
前記分類信号を応答データベースに含まれるデータと比較し、前記分類信号に対応する応答を識別する工程と、
前記応答を実行するための命令を伝達する工程であって、前記応答は目的事象に対応することを特徴とする工程と
を含む方法。
請求項１記載の方法であって、前記信号を処理して前記人間の認識状態、前記人間のストレスレベル、前記人間の身体の身体運動、前記人間の身体位置の変化及び前記人間の喉頭の運動の内の１つ又は複数を処理する工程を更に含む方法。
請求項１記載の方法であって、前記使用工程が
前記信号に対応する少なくとも１つの要因を識別する工程と、
前記少なくとも１つの要因に従って前記信号を加重する工程と
を更に含む方法。
前記比較工程が少なくとも１つの高速ファジイクラリファイヤを使用して実施されることを特徴とする請求項１記載の方法。
前記受信工程が前記人間に直接的または間接的に接触する１つまたは複数のセンサーからの信号を受信する工程を含むことを特徴とする請求項１記載の方法。
前記分類工程が電気生理学的インデックス、位置インデックス、又は運動インデックスの内の少なくとも１つに従って前記信号を分類する工程を含むことを特徴とする請求項１記載の方法。
前記伝達工程がコンピュータプログラム命令をコンピュータインターフェースを通して計算装置に伝達する工程を含むことを特徴とする請求項１記載の方法。
その上にプログラム命令を含むコンピュータ可読キャリアであって、前記プログラム命令が計算装置に、
人間の身体的又は精神的活動を表示する信号を受信する工程であって、前記身体的又は精神的活動が前記人間の目的とする事象に対応することを特徴とする工程と、
適応神経網に基づいたパターン認識を使用して前記信号の変化を識別及び定量する工程と、
応答インデックスに従って前記信号を分類し、分類信号を出す工程と、
前記分類信号を応答データベースに含まれるデータと比較し、前記分類信号に対応する応答を識別する工程と、
前記応答を実行するための命令を伝達する工程であって、前記応答は目的事象に対応することを特徴とする工程と
を実行することを命令できることを特徴とするキャリア。
請求項８記載のキャリアであって、前記信号を処理して前記人間の認識状態、前記人間のストレスレベル、前記人間の身体の身体運動、前記人間の身体位置の変化及び前記人間の喉頭の運動の内の１つ又は複数を処理する工程を実行することを前期装置に更に命令できるキャリア。
請求項８記載のキャリアであって、適応神経網に基づくパターン認識の使用に関する前記命令が
前記信号に対応する少なくとも１つの要因を識別する工程と、
前記少なくとも１つの要因に従って前記信号を加重する工程と
を前記装置に実行させることのできる命令を更に含むキャリア。
前記分類信号を比較する工程に関する前記命令が少なくとも１つの高速ファジイクラリファイヤを使用するように前記装置にさらに命令できることを特徴とする請求項８記載のキャリア。
信号を受信する工程に関する前記命令が前記装置に前記人間に直接的または間接的に接触する１つまたは複数のセンサーからの信号を受信する工程を実行させることのできる命令を更に含むことを特徴とする請求項８記載のキャリア。
前記信号を分類する工程に関する前記命令が電気生理学的インデックス、位置インデックス、又は運動インデックスのうちの１つに従って前記信号を分類するように前記装置に命令できる命令を更に含むことを特徴とする請求項８記載のキャリア。
伝達工程に関する命令がコンピュータプログラム命令をコンピュータインターフェースを通して計算装置に伝達するように前記装置に命令することのできる命令を更に含むことを特徴とする請求項８記載のキャリア。
人間の感知データに反応して起こる目的事象を起こすシステムであって、
人間の身体的又は精神的活動を示す信号を受信する手段であって、前記身体的又は精神的活動が前記人間の目的とする事象に対応することを特徴とする手段と、
適応神経網に基づくパターン認識を使用して前記信号の変化を識別及び定量する手段と、
応答インデックスに従って前記信号を分類して分類信号を出す手段と、
前記分類信号を応答データベースに含まれるデータと比較して前記分類信号に対応する応答を識別する手段と、
命令を伝達して前記応答を実行する手段であって、前記応答が前記目的事象に対応することを特徴とする手段と、
を含むシステム。