JP2012502741A - アルツハイマー病の認知イネーブラ - Google Patents

Abstract

ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にするコンピューティングデバイスは、脳波（ＥＥＧ）波形信号を格納するように構成されたメモリを含む。ＥＥＧ波形信号は、関連付けられた認識データによって生成される。反応データは、関連付けられた認識データに基づいて生成されてメモリに格納される。入力コンポーネントは、ユーザからＥＥＧ波形信号を受信するように構成される。プロセッサは、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致するかどうか判定するために、受信されたＥＥＧ波形信号を格納されたＥＥＧ波形信号と比較するように構成される。出力コンポーネントは、プロセッサからの判定に基づいて関連付けられた認識データによって生成された反応データを自動的に出力するように構成される。

Description

関連出願の相互参照
本願は、２００８年９月１９日に出願された米国非仮特許出願第１２／２３３，８１７号の優先権及び利益を主張するものであり、この米国非仮特許出願は、その全体を本願明細書において援用する。

本願発明の実施形態は、衰弱性疾患に罹患している人及び患者の能力低下により影響を受ける関心メンバーの生活の質を改善するための装置、システム、及び方法に関する。

人間の精神能力に影響を及ぼす衰弱性疾患は、この疾患に罹患している人と、その人を看護しなければならない家族メンバー、友人、及び介護者との双方にとって、とりわけ耐え難いものである。精神的に衰弱する疾患の１つの形が痴呆である。痴呆は、人間が日常の活動を行う能力に重大な影響を与える脳疾患である。高齢者における痴呆の最も一般的な形はアルツハイマー病であり、この疾患は、脳の思考、記憶、及び言語を制御する部分を最初に侵す。その初期では、最近知ったことを思い出すのが難しいとして表れる記憶障害が最も一般的な症状であるが、最初は加齢による記憶障害又はストレスと誤診されることが多い。後に発現する症状には、錯乱、怒り、気分変動、失語、長期記憶障害、及び感覚が低下するにつれた患者の全体的な閉じこもり（ｇｅｎｅｒａｌ ｗｉｔｈｄｒａｗａｌ）が含まれる。各人は、独自の経過でアルツハイマー病の症状を経験する。この疾患の罹患期間は５〜２０年である。

現在、アルツハイマー病の治療法はない。同様に、アルツハイマー病の患者が疾患の種々の段階で家族及び友人と効果的に対話するための有効な手段はない。

従って、アルツハイマー病の患者が疾患の種々の段階で家族、友人、介護者等と効果的に対話できるようにする装置、システム、及び方法が必要である。

従って、アルツハイマー病の患者が疾患の種々の段階で家族、友人、介護者等と効果的に対話できるようにするアルツハイマー病の認知イネーブラ（Ａｌｚｈｅｉｍｅｒ’ｓ ｃｏｇｎｉｔｉｖｅ ｅｎａｂｌｅｒ）が開示される。

本願発明の一実施形態によれば、ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にするコンピューティングデバイスは、脳波（ＥＥＧ）波形信号を格納するように構成されたメモリを含む。このＥＥＧ波形信号は、関連付けられた認識データによって生成される。反応データは、この関連付けられた認識データに基づいて生成されメモリに格納される。入力コンポーネントは、ユーザからＥＥＧ波形信号を受信するように構成される。プロセッサは、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致するかどうか判定するために、受信されたＥＥＧ波形信号を格納されたＥＥＧ波形信号と比較するように構成される。出力コンポーネントは、プロセッサからの上記判定に基づいて、関連付けられた認識データによって生成された反応データを自動的に出力するように構成される。

本願発明の別の実施形態によれば、ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にするコンピュータシステムは、コンピューティングデバイスと、サーバコンピュータとを含む。コンピューティングデバイスは、メモリと、入力コンポーネントと、プロセッサと、出力コンポーネントとを含む。メモリはＥＥＧ波形信号を格納するように構成される。このＥＥＧ波形信号は、関連付けられた認識データによって生成される。反応データは、この関連付けられた認識データに基づいて生成されメモリに格納される。入力コンポーネントは、ユーザからＥＥＧ波形信号を受信するように構成される。プロセッサは、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致するかどうか判定するために、受信されたＥＥＧ波形信号を格納されたＥＥＧ波形信号と比較するように構成され、出力コンポーネントは、プロセッサからの上記判定に基づいて、関連付けられた認識データによって生成された反応データを自動的に出力するように構成される。サーバコンピュータは、コンピューティングデバイスのメモリに格納されたＥＥＧ波形信号、関連付けられた認識データ、及び反応データを更新するように構成される。

本願発明の他の実施形態によれば、ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にする方法は、関連付けられた認識データによって生成された脳波（ＥＥＧ）波形信号を格納するステップを含む。また、この方法は、上記関連付けられた認識データに基づいて生成された反応データを格納するステップと、ユーザからＥＥＧ波形信号を受信するステップを含む。更に、この方法は、受信されたＥＥＧ波形信号を格納されたＥＥＧ波形信号と比較するステップと、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致すると判定するステップとを含む。この方法はまた、この判定ステップに基づいて、関連付けられた認識データによって生成された反応データを自動的に出力するステップを含む。

本願発明の上記及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面を参照することによってより良く理解されよう。

ユーザと本願発明のアルツハイマー病の認知イネーブラ（ＡＣＥ）デバイスの一実施形態を示す図である。 本願発明のＡＣＥデバイス、システム、及び方法が動作可能な動作環境を示す図である。 本願発明の一実施形態によるＡＣＥデバイス内で実施されるステップを示す流れ図である。

特に明記しない限り、「ａ」又は「ａｎ」は「１つ又は複数の」を意味する。
ゲーム業界に対する非侵襲的な脳波（ＥＥＧ）波形モニタリングの最近の進歩により、かなりの数のＥＥＧ波形信号を観念的な内容と関連付けることが可能になった。更に、画像認識技術及び音声認識技術の最近の進歩により、これらの技術がパーソナルコンピュータで容易に使用できるようになった。しかし、これらの技術はそれら特定の業界で実施されることに限られ、アルツハイマー病に罹患している人を支援することに結び付けられなかった。一般に、アルツハイマー病患者は、発音又は表現できる以上のことを頭の中で（ｍｅｎｔａｌｌｙ）行うことが可能である。本願発明の一実施形態によれば、アルツハイマー病の認知イネーブラ（ＡＣＥ）は、アルツハイマー病患者が、影響のより少ない（ｌｅｓｓ−ａｆｆｅｃｔｅｄ）認知波形を利用して、脳のベータアミロイド斑によって阻害されるがＡＣＥ上で使用可能な認識機能及び会話機能を起動できるようにする。言い換えれば、ＡＣＥは、従来の車椅子によって提供される身体的な補助と比較して、知的支援を提供する「認知に関する車椅子（ｃｏｇｎｉｔｉｖｅ ｗｈｅｅｌｃｈａｉｒ）」と同一視又は概念化され得る。

例えば、図１でＡＣＥデバイス１００がユーザ１１０（即ち、アルツハイマー病患者）によって持ち歩かれるとする。図１に示されるこの例示的な実施形態では、ＡＣＥデバイス１００は、ＥＥＧデバイス１５０、ビデオカメラ１２１、マイクロホン１２４、及び入力デバイス１２２（例えば、キーボード、手書き認識デバイス等）等の入力デバイスにアクセスする。ＡＣＥデバイス１００は、表示デバイス１３２及びスピーカ出力デバイス１３４にもアクセスする。本願発明の幾つかの実施形態では、入力デバイス及び出力デバイスはＡＣＥデバイス１００と統合されて単一のデバイスになることができるが、代替実施形態では、ＡＣＥデバイス１００は、アクセス可能な（例えば、ユーザによって持ち歩かれるか、又は環境内の近くにある）様々なデバイスの何れかから（例えば、物理的接続又はワイヤレス接続を介して）入力を受け取って、これに出力する能力がある個別のデバイスとすることができる。ＡＣＥデバイス１００は、以下により詳細に論じられるそのメモリ１６５に格納された情報を処理するためのプロセッサ１６０を更に含む。

本願発明は、以下の特定の実施形態及び例によって更に例示されるが、決してこれらに限定されない。図１に示される例では、ユーザ１１０が、ユーザ１１０が人間１７０と対話するのを支援するために後で使用できる情報を格納することを望む場合がある様々な状況が示されている。本願発明の一実施形態によれば、ＡＣＥデバイス１００は、使用者の認知低下の最初の兆候が現れたときにユーザ１１０に対して処方される。このまだ比較的健康な段階において、アルツハイマー病患者、家族メンバー（複数可）、及び介護者のうちの１以上は、ＡＣＥデバイス１００に患者の目立つ画像、音声データ、記憶等と、関連付けられたＥＥＧ波形とをロードする。但し、人工知能技術を使用すれば、全てのデータが関連付けられたＥＥＧ波形を有することは重大ではない。例えば、患者の息子の画像に関連付けられたＥＥＧ波形がある場合がある。しかし、息子と患者が一緒に写っている画像に関連付けられたＥＥＧ波形は必要ではない。ＡＣＥデバイス１００を実行する人工知能プログラムは、リレーショナルデータベース技術を使用して、インデックス画像がＥＥＧにより起動された後で関連画像をまとめる。より一般的には、ＡＣＥデバイス１００は、ＥＥＧ波形が、ある人間の認識とまさに関連付けられると、格納されたデータ及び高度な人工知能に基づいたチャットボットソフトウェアに基づいてその人間と普通の会話を行うように構成される。一般的に、任意のＥＥＧ波形はＡＣＥデバイス１００から何らかの会話能力を起動し、このような会話能力は、格納された関連付けに応じてＥＥＧ波形を生じさせた刺激に近い。ＥＥＧデバイス１５０を装着している間、アルツハイマー病患者は、他人と対話するときに所与の状況にあるとして反応するようにＡＣＥデバイス１００を調整することができる。その後、疾患が進行すると、ＡＣＥデバイス１００は、画像及び音の認識ルーチン、会話ソフトウェア、及び以下により詳細に論じられる、以前に格納されて持続的に更新された患者固有の設定を使用して、アルツハイマー病患者に代わって他人と対話するために使用されることができる。

例えば、人間１７０に初めて出会ったとき、ユーザ１１０は、後で想起するために、その人間に関する様々な情報を格納することを望むことがある。具体的には、ユーザ１１０は、ビデオカメラ１２１及びマイクロホン１２４を使用して出会いの映像及び音声を取り込むことができる。ユーザ１１０はまた、ビデオカメラ１２１を使用して、出会いが起こった場所のビデオ画像等、出会いに関して後で想起する際に役立つ可能性がある、環境に関する現在の他の情報を得ることができる。更に、ユーザ１１０は、マイクロホン１２４を使用して、人間１７０の名前、住所、電子メールアドレス、電話番号等、その人間に関する口述情報を録音することができる。次に、ＡＣＥデバイス１００は、この口述情報を録音として格納することができ、又はその情報のテキスト版を作成するために口述に関する音声認識を実施することができる。あるいは、ユーザ１１０は、その人間に関する情報の一部又は全てを、テキスト入力デバイス１２１を介してテキストとしてＡＣＥデバイス１００に直接提供することができる。他の実施形態では、ユーザ１１０は、人間が持ち歩くことができる携帯デバイス（図示せず）（例えば、別のＡＣＥデバイス）から送られた情報等の情報を、他の任意の利用可能な入力手段を介してＡＣＥデバイス１００に提供することができる。人間１７０との出会いに関する種々の情報を受けて処理した後で、ＡＣＥデバイス１００は、種々の情報を、ＥＥＧデバイス１５０から受信したＥＥＧ波形信号と関連付ける。

本願発明の一実施形態によれば、ＡＣＥデバイス１００は、人間１７０に再び会っても彼を認識できないアルツハイマー病患者が、ＥＥＧ波形に基づいて、人間１７０に対する適切な挨拶を自動的に起動できるように構成され、このＥＥＧ波形は、アルツハイマー病患者がその人間に再び会っても彼を認識できないときに生成されるＥＥＧ波形である。

ＡＣＥデバイス１００は、ユーザ１１０によって装着される身体装着型汎用ウェアラブルコンピュータの形を取ることができる。多くのウェアラブルコンピュータは、使用者の身体若しくは衣服に結び付けられるか若しくは取り付けられるか、又はホルスターに装着される等して、ユーザと共に移動する。ウェアラブルコンピュータは、マイクロホン１２４、文字認識機能を持つハンドヘルド型フラットパネルディスプレイ、及び他の種々のユーザ入力デバイス２２２を含む、様々なユーザ着用型ユーザ入力デバイスを有する。同様に、コンピュータは、ハンドヘルド型フラットパネルディスプレイ、イヤホンスピーカ（ｅａｒｐｉｅｃｅ ｓｐｅａｋｅｒ）、眼鏡装着型ディスプレイ等を含む、様々なユーザ着用型出力デバイスを有する。コンピュータはまた、種々のユーザ着用型ユーザ入力デバイスに加えて、ビデオカメラ１２１を含む、種々のユーザセンサ入力デバイス及び環境センサ入力デバイスから情報を受けることができる。ＡＣＥデバイス１００は、種々の入力情報を受けて処理することができ、種々の出力デバイス上でユーザ１１０に情報を提示することができる。従って、ユーザ１１０が種々の環境で動き回るとき、ＡＣＥデバイス１００は、格納されることが可能な種々の入力情報を入力デバイスから受ける。

身体装着型汎用ウェアラブルコンピュータは、タッチスクリーン機構（例えば人間の頭のサイズに近くてよいが、任意のサイズとすることができる）を含むことができ、このタッチスクリーン機構は、ＡＣＥデバイス１００が触覚入力並びに音声入力及び映像入力に反応することを可能にする。例えば、アルツハイマー病患者が疾患の後期にある場合、タッチスクリーン上の患者のどこにでもあり自然に動く画像にキスすることができ、ＡＣＥデバイス１００のプログラム機能はその入力を認識し、アルツハイマー患者の声で反応して「孫よキスをありがとう」等の返事をする。

様々な目的のために特化したバージョンの身体装着型コンピュータが開発可能であることが当業者には理解されよう。また、このような様々な生理的状態が監視可能であり、他の特化したバージョンのデバイスが同様に実施可能であることも当業者には理解されよう。

システム環境
図２を参照すると、本願発明のＡＣＥシステム及び方法は、主にコンピュータネットワーク環境で動作する。この実施形態では、ＡＣＥシステム２０はプログラムシステム管理拠点１０を含み、このプログラムシステム管理拠点１０はサーバコンピュータ１２と、システムデータベース１４と、サーバコンピュータ１２と通信する幾つかのワークステーション１８とを含む。ワークステーション１８は、患者／介護者１８ａ、家族メンバー１８ｂ、又は友人１８ｃ、又は他の任意のシステム関係者１８ｄによって使用され得る。本願発明の一実施形態によれば、ワークステーション１８は、ワイヤレスインターネット接続機能を持つスタンドアロンパーソナルコンピュータ（ＰＣ）ベースのシステム及び拠点外部のサーバへのＷｉ−Ｆｉ接続機能を持つスマートフォンとすることができ、ＡＣＥデバイス１００と同じである。拠点外部のサーバは、ソフトウェアのアップグレードを提供し、特定のデータベース機能のリポジトリとして機能し、診断機能を提供することができる。例えば、ＡＣＥデバイス１００及びＡＣＥシステム２０のワイヤレス接続された機構は、ＡＣＥデバイス１００の故障、盗難、破損、又は紛失の場合にデータが失われないようにするのに役立つ。ユーザが設定可能な期間中、ＡＣＥデバイス１００の全てのデータは、安全に保管するために、サーバコンピュータ１２に自動的にアップロードされ、次にシステムデータベース１４にアップロードされる。この格納されたデータは、交換したＡＣＥデバイスに容易にダウンロードされることができる。パーソナルコンピュータは、典型的には、ビデオモニタ、サウンドカード、及びビデオカードを必要とする。あるいは、ワークステーション１８は、携帯情報端末（ＰＤＡ）及び携帯電話等のデバイスを含む、コンピュータネットワークと情報を交換することが可能な任意のデバイスとすることができる。

追加のシステム要件は、ＰＣ互換のビデオカメラ、ＰＣ互換の指向性マイクロホン、スピーカ、及び市販のブルートゥースによるＥＥＧヘッドセットを含む。介護者／施設の設定では、上記に加えてタブレットＰＣ及び音声反応マイクロホンが必要とされることがある。本願発明の実施形態はまた、場合によっては現場でのトレーニング及び患者支援施設２４を必要とすることがあるか、又は本願発明を利用する際に患者が支援を必要とすることがあり、何れの場合も、ＡＣＥシステム２０は、入力を提供する際又は補助システム入力デバイスの利用において患者をトレーニングする際に患者を支援する追加のユーザを受け入れる。ＡＣＥシステム２０のサーバコンピュータ１２に常駐するのは、アルツハイマー病評価プログラム１６である。同様に、ＡＣＥデバイス１００及びＡＣＥシステム２０のワイヤレス接続された機構と共に、ＡＣＥデバイス１００の反応性は、サーバコンピュータ１２からダウンロードされる新たなソフトウェアを介して継続的に改善することができる。サーバコンピュータ１２で、ソフトウェアは、毎日アップロードされる対話のＡＣＥパターンを分析して、アルツハイマー病患者の正常な会話パターンにより良く一致するようにＡＣＥデバイス１００のプログラムをチューニングする。本願発明の一実施形態によれば、サーバ１２はその中に、普通の会話パターンをより高度に再現する会話ソフトウェアのより新しいバージョンをインストールしている。このようなソフトウェアは、誤りを特定して会話パラメータを調整するために患者と家族の間の保存された会話を調べるように構成される。これは、人間の声がチューニングされておらず（ｏｆｆ−ｔｕｎｅ）修正するために分析できるという点で、「自動チューニング」ソフトウェアがデジタル音楽とどのように連動するかと類似している。

システムのトレーニング及びデータベースの要素
本願発明の好ましい一実施形態によれば、ＡＣＥデバイス１００及びＡＣＥシステム２０は、次の場合、即ち、患者の声を録音する場合、視覚素（ｖｉｓｅｍｅ）データベースを作成するために様々な短時間の（ｖａｒｙｉｎｇ ｍｉｎｕｔｅｓ ｏｆ）患者の顔の表情（話す、笑い、及び喜び、悲しみ）のデジタルビデオを撮る場合のそれぞれにおいて、患者の対話を介して調整される。この明細書の全体にわたって、視覚素は、人の顔がどのように言葉及び表情を形成するかという視覚領域における音声単位と定義される。ＡＣＥデバイス１００及びＡＣＥシステム２０は、患者を録画したビデオから患者の視覚素の辞典を構築する。患者が参加できない場合、その辞典は合成して構築される。合成処理では、例えば患者の顔を高解像度で撮影し、ドナーの視覚素を、撮影された患者の顔にデジタルに重ね合わせると、ライブアニメーションに類似したものとなる。

本願発明の一実施形態によれば、ビデオ撮影は訓練を受けたスタッフ、介護者等によって実施することができる。また、患者は、対話を希望する家族メンバー及び友人（家族／友人）のデータベースを作るか、又はその作成を支援されることができる。そのデータベースは、介護者及び医療提供者の連絡先情報も含むことができる。本願発明の動作によれば、これらの人の音声サンプルは、Ｗｉ−Ｆｉに対応した携帯電話での対話から、及び訓練スタッフによって行われた事前に整えられた音声記録から収集することができる。その後、患者は、電話（携帯及び固定電話）及びＰＣシステムに対する反応のデータベースを作るか、その作成を支援されるか、又は訓練スタッフによって作ってもらうことができ、システムが反応するときの事前設定が確立される。

本願発明の例示的な実施形態によれば、基準となる（ｂａｓｅｌｉｎｅ）患者の音声サンプルはアルツハイマーの分析に使用され得る。患者は、ＥＥＧデバイス１５０の訓練及び使用時にスタッフメンバーによる指導を受けてもよい。前述のように、ＥＥＧデバイス１５０は、ＥＥＧ信号と共にＡＣＥデバイス１００及びＡＣＥシステム２０の補助データ入力ツール及びデータ収集デバイスの役割を果たし、このＥＥＧ信号は、ＰＣのマウスの代わりの役目をし、画面上で描画及びポインティング／選択のエージェントとして機能し、画面に表示された対象をドラッグアンドドロップすることが可能である。本願発明の代替実施形態によれば、ＥＥＧ信号が混同されたか又は認識されなかった場合、ソフトウェアは、適切なＥＥＧ信号が起動されたかのように動作するようにデフォルトで構成される。例えば、「娘」は特定のＥＥＧを有するが、認識されない場合、「娘」は患者を訪問している娘を特定することが可能であり、次にＡＣＥデバイス１００は「娘」のＥＥＧ信号が起動されたかのように会話する。ＥＥＧデバイス１５０に精通すると、患者は、患者の健康状態が悪化したときにデバイス及びシステムにアクセスする際にも支援を受ける。患者の使用時に取得された基準となるＥＥＧサンプルはサーバ１２にアップロードされることができ、次いでデータが分析されることができる。患者は、音声認識ソフトウェアを補助データエントリツールとして使用するために訓練を受けることができる。これにより、患者がより容易に自伝的記憶に入り、ＥＥＧデバイス１５０と共にＰＣをより十分に使用することが可能になる。使用時の音声サンプルは、診断分析だけでなく声の合成に利用されることができる。

プロファイル
本願発明の好ましい一実装形態によれば、患者及び患者の家族／友人との電話による会話及び面談によって収集されたデータは、ＡＣＥデバイス１００及びＡＣＥシステム２０を展開する肯定的な会話の作成を支援するために利用されることができる。患者の能力が十分に低下し、患者が面談処理に参加できない場合、本願発明の好ましい一実装形態では、スタッフである心理学者が、家族／友人と面談を行い、患者本人の資料を調べて、患者の自伝の目録を作る。この目録は、ＡＣＥデバイス１００に格納されるか又はＡＣＥシステム２０上にリモートで格納される会話データベース及び自伝的データベースを作るための基礎の役割を果たす。

ＡＣＥデバイス１００及びＡＣＥシステム２０の動作によれば、ユーザ１１０が会話を始めた人間を認識できない場合、ＥＥＣデバイス１５０から生成されたＥＥＧ波形信号は、適切な反応を検索するために使用される。ＡＣＥデバイス１００及びＡＣＥシステム２０の代替動作によれば、音声及び顔の認識ソフトウェアは、会話の開始者を識別するために使用され、次にＡＣＥデバイス１００及びＡＣＥシステム２０は、会話の開始者の認識に基づいて適切な反応セットを供給する。本願発明の好ましい実装形態では、その反応は、その人と患者の間の歴史的な精神力動（ｈｉｓｔｏｒｉｃａｌ ｐｓｙｃｈｏｄｙｎａｍｉｃｓ）に基づいてプロファイリングされる。ＡＣＥデバイス１００及びＡＣＥシステムはプロファイリング方法を含み、このプロファイリング方法は、患者アバターと対話する際に患者の友人／家族によって経験される不信の不安への治療的なエネルギーの注ぎ込みを最大にするために用いられる心理学の枠組みである。本願発明によれば、患者アバターは、患者の声を発するもの（ａｕｄｉｏ ｃｏｎｓｔｒｕｃｔ）と定義され、患者の顔、顔の表情、及び声を有するものである。患者が初期のシステム参加者であり、システム訓練に加わっていた場合、患者自身の声で話し、患者自身の顔の表情をかなり有する患者アバターがモニタ上に現れる。患者が参加できなかった場合、声は性別にふさわしく、声の高さと口調のバランスが取れたものになる。本願発明の例示的な実施形態によれば、顔の表情は人間らしく暖かいものであり、顔は患者の顔である。

本願発明の代替実施形態によれば、ＡＣＥデバイス１００及びＡＣＥシステム２０は、アルツハイマー病患者のデジタルサンプリングされた実際の感情に基づいた感情ソフトウェアエンジンを含むことができる。本願発明のこの実装形態によれば、ＡＣＥデバイス１００及びＡＣＥシステム２０は、ＥＥＧ波形信号及び会話ソフトウェアエンジンのプログラムで分析された意味的手がかり（ｓｅｍａｎｔｉｃ ｃｕｅ）のうちの一方又は双方によって起動される、アルツハイマー病患者の現実的な感情を表現するように構成される。

本願発明の一実施形態によれば、会話データベースは、システムデータベース１４内又はＡＣＥデバイス１００のメモリ内に格納されそして更に処理された情報から、一意な話者に応じて適切な会話の断片を生成する。会話の一例を以下に示す。

サラ：こんにちは、ナナ。お加減はどう？
ナナ：今日はまあまあね。ジョジョは元気？
孫娘のサラが、関連付けられたＥＥＧ波形、音声認識ソフトウェア、又は顔認識ソフトウェアの何れかを用いてＡＣＥデバイス１００又はＡＣＥシステム２０によって認識され、次に会話生成機能がサラを検索し、祖母が彼女を呼ぶときの愛称と彼女がジョジョという名前のペットを飼っていることを認識する。

システム入力
ＡＣＥデバイス１００及びＡＣＥシステム２０の一部として、本願発明の一実施形態による入力は、訓練スタッフによって行われる、台本が用意された会話をしている患者のビデオ撮影を含む。本願発明の好ましい一実装形態によれば、これは、例えば複数回にわたる所要時間１５分のセッションで開催され、全体として６０分とすることができる。このセッションは、様々な情緒反応及び顔のパターンをした患者を捕らえるように設計される。ビデオ撮影を実施する訓練者／技術者は、台本に従うことに加えて、患者の様々な顔の表情を捕らえるために求められる種々の感情的な反応をどのようにして誘うかについて訓練を受けることができる。次に、その結果撮影されたビデオが処理されて、上述の患者アバターのための視覚素データベースが作られる。例えば、患者が指定した家族／友人の高品質の顔写真が訓練スタッフによって撮影され、顔認識コンポーネントとしてＡＣＥデバイス１００及びＡＣＥシステム２０に入力されることができる。訓練スタッフはまた、音声認識コンポーネントへの入力として、家族／友人の音声記録のサンプルを採ることができる。患者の能力が低下して面談処理の困難に耐えることができない場合、訓練者は、患者の顔の高解像度画像を撮ることができる。次に、視覚素をその画像から合成して作ることができる。その処理は、「デジタルドナー」の上に患者の顔を重ね合わせる方法の１つであり、例えば訓練者メアリの視覚素をマッピングし、動的テンプレートを残してメアリ特有の顔の特徴を除去し、次にそのテンプレート上に患者の顔の特徴をマッピングするという処理を実行する。これは、１回だけ実施する処理とすることができ、訓練スタッフによって現場で実施される。

システム出力
本願発明の一実施形態によるＡＣＥデバイス１００及びＡＣＥシステム２０の出力の一部として、患者の要求によって、又は患者から集められた診断データに応じた所定の設定において、患者の電話システム（固定並びに携帯）及びＰＣ／ＰＤＡ／スマートフォンによって文字、視聴覚、又は音声による反応が出力されることができる。ビデオは、患者の視覚素を用いて処理され、これと同期して、患者のアバターを作り出すことができる。本願発明の好ましい一実装形態によれば、この処理は訓練スタッフによって現場で実施されることができる。ＡＣＥデバイス１００及びＡＣＥシステム２０は、開始者によって促されると、開始者のために会話データベースをシステムデータベース１４内に又はＡＣＥデバイス１００のメモリ内にローカルにロードする指示を出し、開始者が話した言葉に反応して音声合成エンジンを患者アバターに組み込む準備をすることができる。

システム診断
本願発明の好ましい一実施形態によれば、ＰＣの音声制御から及び携帯での会話から得られた音声データは、音声認識技術及びアルツハイマー病の兆候のために開発された現在確立されている診断基準（ｄｉａｇｎｏｓｔｉｃ ｂｅｎｃｈｍａｒｋｓ）を使用してアルツハイマー病の早期発症を調べるために分析することができる。このデータセットは、患者が初期にシステムを使用したときに収集された基準となる音声データと比較することができる。患者から収集されたＥＥＧ波形データは、現在確立されているアルツハイマー病の予測又は兆候に関するプロトコルを使用して分析することができる。これらの２つの処理によって、所与の時間に患者が無能力である度合い及び患者の選択を誘発するかどうかの理解を可能とすること関して適度な統計学的可能性が存在し、上記患者の選択は、電話の通話若しくはパソコン通信、又は介護者、医療提供者、若しくは家族メンバーへの電話に対する反応に関するものである。

システム及びプログラムモデル
本願発明の更に好ましい実施形態によれば、ＡＣＥシステム２０は、アルツハイマー病の発症前の段階〜同疾患の後期にあると診断された患者を支援するように設計されたシステムプラットフォームである。発症前の段階では、好ましいモデルは、患者がＡＣＥデバイス１００及びＡＣＥシステム２０と直接対話することを想定し、システム訓練、患者の診断、及び患者の記憶保存を行うための入力を提供する。患者が衰えるか、又は特定の通信に基づいた作業を完了できない若しくはこれに出席できないと感じると、デバイス及びシステムは患者に反応を提供する。患者が施設に収容されるか又は介護者を必要とし、会話能力が低下する段階に達すると、ＡＣＥデバイス１００及びＡＣＥシステム２０は、声による促し（ｖｏｃａｌ ｐｒｏｍｐｔ）及びデータベース１４又はローカルメモリ内でのインデックスが付けられた家族／友人のメンバーの顔のうちの一方又は双方を認識し、それによりデバイス及びシステムが初期化され、インデックスが付けられた人との会話が始まるように構成される。

アルツハイマー病の発症前の段階では、患者は、幾つかの側面を通してデバイス及びシステムと対話する。電話での会話は、家族／友人データベースのためのプロファイルデータ、即ち、データベース内の人、音声サンプル、対話の頻度及び期間を提供し、携帯電話のデータは、格納及び分析のために、Ｗｉ−Ｆｉを介してサーバ１２に送られる。ＰＣベースの作業は、補助デバイス即ち患者の口頭による命令（音声認識）及びＥＥＧ波形ベースのコマンドによって次第に制御されることができる。デバイス及びシステムから収集されたデータは、診断分析のために、及び患者アバターで使用するために、サーバ１２に送ることができる。患者が疲れたと感じた場合、又はＥＥＧ波形に基づく診断が、患者が障害（ｄｅｆｉｃｉｔ）になりつつあると患者又は患者の介護者に知らせた場合、デバイス及びシステムは、デフォルトで又は患者の選択によって、患者が利用できる任意の又は全ての通信チャネルに介入するようになることができる。認められた障害が所定の閾値に達した場合、デバイス及びシステムは、必要に応じて介護者、医療提供者、並びに家族メンバー及び友人に警告するように構成される。

アルツハイマー病の中期では、患者は、会話能力をいくらか有するか、又は疲れやすいことがある。本願発明の好ましい実装形態によれば、患者は、ＡＣＥデバイス及びＡＣＥシステムを装着でき、これらとＥＥＧデバイス１５０を介して対話でき、家族／友人との会話を誘導することができ、タブレットＰＣを介して、会話データベースから会話要素を、又は自伝的データベースから要素を選択する。本願発明のこの実装形態では、患者は、患者アバターをオン又はオフにすることもできる。確立された事前設定は、患者が決定する状態にあるかどうかを決定する。

患者が、自立した（ｓｅｌｆ ｓｕｓｔａｉｎｉｎｇ）会話が患者の負担であるか又は知的に実行不可能であるような低下した状態にあるとき、ＡＣＥデバイス及びシステムは、患者と家族メンバーの間、又は患者と患者の友人の間に介在するように構成される。患者は、ＡＣＥデバイス又はＡＣＥシステムのどちらかのビデオモニタを併置した状態である。本願発明の好ましい一実装形態では、一度に１人の話者が患者と話をし、各話者は音声反応マイクロホンを装着する。患者に話しかけると、デバイス及びシステムが、その中に用意されたソフトウェアを使用して音声及び顔の認識を介して始動される。患者アバターは認識を表示して、会話の開始者との会話に入る。患者アバターは、例えば初老の家族メンバー、即ち所要時間２０秒以下と答えが短く、及び会話全体の長さが家族関係者あたり５分以下とおおよそ予想して会話するように構成される。

本願発明の一実施形態によれば、同じ当事者との会話は、例えば（ｉ）元のデータベースが十分に堅牢である場合、及び（ｉｉ）会話でその内容が重複しない場合、通常次の会話中に同じ内容を繰り返さない。例えば、二番目の場合であっても、患者アバターの内容の内容が同じであるという保証はない。会話の内容は、診断分析のために、サーバ１２等のサーバにアップロードすることができる。患者アバターによって参照される特定の事象は、その日に参照された自伝的データベースの事象にアクセスすることによって、家族／友人によってアクセスされることができる。

遠隔測定
本願発明の一実施形態によれば、ＡＣＥデバイス及びシステムはまた、ＥＥＧ波形信号出力並びに標準的な出力セット（例えば、心拍、脈拍数、血圧等）を介して患者の痛み及び気分のレベルを監視するように構成される。収集された全てのデータは、患者の医療提供者及び認められた利用者（ｓｕｂｓｃｒｉｂｅｒ）が履歴的に、及びリアルタイムでＷｉ−Ｆｉ（ＰＣ／スマートフォン／ＰＤＡ）又はリモートサーバを介して利用できる。

図３は、本願発明の一実施形態によるＡＣＥデバイス内で実施されるステップを示す流れ図である。処理は開始状態Ｓ４００から始まり、処理ステップＳ４０１に進み、ここでＥＥＧ波形信号がメモリに格納される。ＥＥＧ波形信号は、関連付けられた認識データによって生成される。処理ステップＳ４０２で、関連付けられた認識データに基づいて生成された反応データもメモリに格納される。情報が格納された後、処理ステップＳ４０３で、ユーザからＥＥＧ波形信号が受信される。ＥＥＧ波形信号を受信した後、処理は、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と比較される処理ステップＳ４０４に進む。比較ステップの後、処理は、受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致するかどうか決定される判定ステップＳ４０５に進む。受信されたＥＥＧ波形信号が、格納されたＥＥＧ波形信号の１つと一致する場合、処理は、関連付けられた認識データによって生成された反応データが自動的に出力される処理ステップＳ４０６に進み、そうでない場合は、処理は処理ステップＳ４０３に戻る。

アルツハイマー病は、ゆっくりと徐々に認知が低下することを特徴とし、それによりアルツハイマー病の患者及びその家族に大きな悲しみと生活の質の低下を引き起こす。ＡＣＥデバイス、システム、及び方法は、生活の質の低下を大きく軽減することができる。

例示的な実施形態のこの説明に基づいて、他の実施形態が当業者には容易に明らかであろう。従って、これらの例示的な実施形態は範囲を限定するものとして見なすべきでなく、この範囲は添付の特許請求の範囲によって定義される。

Claims (22)

1. ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にするコンピューティングデバイスであって、
   関連付けられた認識データによって生成された脳波（ＥＥＧ）波形信号を格納するように構成されたメモリであって、
   反応データが、前記関連付けられた認識データに基づいて生成されメモリに格納された、メモリと、
   ユーザからＥＥＧ波形信号を受信するように構成された入力コンポーネントと、
   受信された前記ＥＥＧ波形信号は格納されたＥＥＧ波形信号と一致すると判定するために、受信された前記ＥＥＧ波形信号を格納された前記ＥＥＧ波形信号と比較するように構成されたプロセッサと、
   前記プロセッサからの前記判定に基づいて、前記関連付けられた認識データによって生成された前記反応データを自動的に出力するように構成された出力コンポーネントと
   を備えたコンピューティングデバイス。
2. 前記関連付けられた認識データは画像データを含む、請求項１に記載のコンピューティングデバイス。
3. 前記関連付けられた認識データは音声データを含む、請求項１に記載のコンピューティングデバイス。
4. 反応データは音声データを含む、請求項１に記載のコンピューティングデバイス。
5. ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にするコンピューティングシステムであって、
   コンピューティングデバイスであって、
   関連付けられた認識データによって生成された脳波（ＥＥＧ）波形信号を格納するように構成されたメモリであって、
   反応データが、前記関連付けられた認識データに基づいて生成されメモリに格納された、メモリと、
   ユーザからＥＥＧ波形信号を受信するように構成された入力コンポーネントと、
   受信された前記ＥＥＧ波形信号は格納されたＥＥＧ波形信号と一致すると判定するために、受信された前記ＥＥＧ波形信号を格納された前記ＥＥＧ波形信号と比較するように構成されたプロセッサと、
   前記プロセッサからの前記判定に基づいて、前記関連付けられた認識データによって生成された前記反応データを自動的に出力するように構成された出力コンポーネントと
   を備えたコンピューティングデバイスと、
   前記コンピューティングデバイスの前記メモリに格納されたＥＥＧ波形信号、関連付けられた認識データ、及び反応データを更新するように構成されたサーバコンピュータと
   を備えたコンピューティングシステム。
6. システムデータベースを更に備えた、請求項５に記載のコンピューティングシステム。
7. 前記コンピューティングデバイスはウェアラブルコンピュータである、請求項５に記載のコンピューティングシステム。
8. 前記更新はワイヤレス伝送を介して実施される、請求項５に記載のコンピューティングシステム。
9. 前記コンピューティングデバイスは携帯電話を含む、請求項５に記載のコンピューティングシステム。
10. 前記コンピューティングデバイスはパーソナルコンピュータを含む、請求項５に記載のコンピューティングシステム。
11. 前記関連付けられた認識データは画像データを含む、請求項５に記載のコンピューティングシステム。
12. 前記関連付けられた認識データは音声データを含む、請求項５に記載のコンピューティングシステム。
13. 反応データは音声データを含む、請求項５に記載のコンピューティングシステム。
14. 前記システムデータベースは視覚素データベースを含む、請求項６に記載のコンピューティングシステム。
15. 前記システムデータベースは会話データベースを含む、請求項６に記載のコンピューティングシステム。
16. 前記システムデータベースは自動記録データベースを含む、請求項６に記載のコンピューティングシステム。
17. ユーザが精神的に衰弱した状態にあるときにユーザの対話を可能にする方法であって、
    関連付けられた認識データによって生成された脳波（ＥＥＧ）波形信号を格納するステップと、
    前記関連付けられた認識データに基づいて生成された反応データを格納するステップと、
    ユーザからＥＥＧ波形信号を受信するステップと、
    受信された前記ＥＥＧ波形信号を格納された前記ＥＥＧ波形信号と比較するステップと、
    受信された前記ＥＥＧ波形信号が、格納されたＥＥＧ波形信号と一致すると判定するステップと、
    前記判定ステップに基づいて、前記関連付けられた認識データによって生成された前記反応データを自動的に出力するステップと
    を含む方法。
18. 格納された前記ＥＥＧ波形信号、前記関連付けられた認識データ、及び前記反応データを更新するステップを更に含む、請求項１７に記載の方法。
19. 前記更新ステップはワイヤレス伝送を介して実施される、請求項１８に記載の方法。
20. 前記反応データのための会話データベースを作成するステップを更に含む、請求項１７に記載の方法。
21. 自動記録データベースを作成するステップを更に含む、請求項１７に記載の方法。
22. 前記ユーザはアルツハイマー病に罹患した、請求項１７に記載の方法。

Images