JP2012516463A - コンピュータ実行方法 - Google Patents

Abstract

本発明は、言語学習障害及び一般な学習障害被験者の概念、言語及び発話を発達させる方法、システム及びプログラムに関する。この方法は、被験者の中で言語、すなわち視覚言語、口頭言語、聴覚言語及び書き言葉の様々な実行の関連を構築することを試みる。この方法は、被験者の長所、多くの場合、視覚を利用し、この長所に対して言語を構築することによって、言語を発達させ、話し言葉及び聞き言葉に徐々に進歩させる。本発明は、被験者に概念を伝えるための視覚的に富んだ内容を用いる。また、本発明は、この方法を実行するためのコンピュータプログラムを提供する。

Description

本発明は、言語学習障害（ＬＬＤ）、言語学習欠陥（ＬＬＩ）及び一般な学習障害（ＬＤ）被験者の言語及び音声を発達させる方法及びコンピュータプログラムに関する。病状、例えば、最初の診断に対して本質的な共存症として現れる言語障害である自閉症スペクトラム障害（ＡＳＤ）及び広汎性発達障害（ＰＤＤ）は、本発明の恩恵を受ける。言語の遅れは、言語学習によって取り戻され、また、第二言語学習が、大人の失語症の治療と同様に、必要とされる。より詳しくは、この発明は、コンピュータを実行させる方法及びこの方法を実行するためのプログラム命令を有するコンピュータプログラムに関する。

意思疎通障害は、世界中で学校行っている子供たちの中で最も一般的な障害の１つである。市場調査及びヘルスケア統計は、アメリカ合衆国で意思疎通障害に悩む子供の数が２０１１年までに約６，０００，０００人であり、２０２１年までに１２，０００，０００人に着実に増大すると見積もっている。これらの約１０％は、自閉症スペクトラム障害（ＡＳＤ）又は広汎性発達障害（ＰＤＤ）の診断基準を満たす。したがって、言語学習障害を有する子供の数は、増加している。

子供の全体的な将来及び成功は、意思疎通障害の早期発見、それらの原因及びその後の診療の確立によって、非常に改善させることができる。ＡＳＤを含むより重症型において、子供の基本的な言語発達の問題は、結果として厳しい生涯学習ハンディキャップになる。アメリカ合衆国及びヨーロッパの学校に通っている全ての子供の約５％が、診断可能な言語障害を示し、更にその５％が診療の恩恵を受け、結果として、現在約１２，０００，０００の総人口が診療の恩恵を受けていると推定される。

ＡＳＤ及びＰＤＤを含む言語障害のより重症型は、６００，０００〜８００，０００の範囲の子供を苦しめていると推定される。ＡＳＤ又はＰＤＤを示す子供の診断は、頻繁に、非常に専門的な教育形態、例えば感覚統合戦略によって支援されるＴＥＥＣＨに基づく非常に制限された教育環境が必要とみなされる。子供の自閉症及び関連した発達障害は、この世代の最大のヘルスケア及び教育課題の１つを示す。最近の米国における研究では、８才の子供のうちの１／１５０が意思疎通障害を示した。意思疎通障害は、コミュニケーション能力の発達異常として子供に現れる。これは、行動及び社会的な欠陥と相まって、完全な独立した生活を行う子供の能力を非常に低下させることになる。

自閉症罹患率は、猛烈な勢いで増加している。最近の１０年で、アメリカ合衆国における自閉症の診断の数は、８００％増加している。余り重症でない言語障害の増加は、母集団の人口統計に従うと考えられるが、より重症な自閉症スペクトラム障害は、人口統計に従わず増大している。病状の原因は、分かっていないが、遺伝子に基づくと思われている。この場合、病状に対して知られている治療法はない。この病状を示す子供に関連する臨床、教育及び介護のコストは、控えめに見積もっても、米国のみで毎年３５、０００、０００、０００ドルを超える。治療を行うキーオピニオンリーダ間の激しい議論にも拘わらず、長期間の結論は、一般的に、学校に通っている子供に対して非常に影響を与える中程度の原因のうちの貧困（poor）である。余り重症でない病状の場合、臨床の専門医に通い、ハイレベルの個人開業医の診療に対して料金（fund）を払う能力は、現実的な長期間の結論に対して重要である。

言語学習障害及び一般的な学習障害を有する人々のコミュニケーション能力を発達させることを助けるために、様々な方法及び製品が発明された。その１つの製品は、Scientific Learning Corp名義の欧州特許番号ＥＰ０９６３５８３に記載されている。大多数のこの方法及び製品は、口を動かす診療に重点を置いているが、残念なことに、これらの方法は、臨床母集団の比較的小さい部分集合を除いて、一貫した臨床的に意味がある結果を与えることに成功しなかった。

この症候群と関連した最も重要な問題の１つは、言語の欠如及び有効な理解である。これらの欠如を改善する診療は、主に、専門的な言語病理学及び教育実践を含んでいる。コストが高くつくこと以外に、これらの実践は、３つの主な障害がある。まず第１に、全ての学習の基礎である実践を子供に取り組まさせ、維持することができないことである。第２に、方法は、障害がある聴覚感覚を、学習のコンジット（conduit）として用い、すなわち依存させ、この聴覚感覚は、多くの場合、実用的ではない。第３に、この方法は、効率的に言語を一般化する子供の能力を発達させる一貫性を証明していない。一般に言って、従来の方法は、言語獲得を向上させる手段としてのみ、聴覚処理の遅れ、障害又は欠陥に対処することに制限されてれる。これらは、ＡＰＤ患者集団に対してある程度有効であり、より広い言語学習障害の母集団を対象としない。

本発明の目的は、既知の提案されている問題の少なくとも一部を解決するコンピュータ実行方法及びコンピュータプログラムを提供することである。

本発明に基づくコンピュータ実行方法は、言語学習障害（ＬＬＤ）、言語学習欠陥（ＬＬＩ）及び一般な学習障害（ＬＤ）被験者の言語及び音声を発達させるコンピュータ実行方法において、コンピュータは、プロセッサと、メモリと、ディスプレイ装置（ＶＤＵ）と、音声出力装置と、音声入力装置と、ユーザ入力装置とを備え、被験者に教える概念を選択するステップと、概念を表すビデオクリップを、ディスプレイ装置で、被験者に表示するステップと、ビデオクリップから抽出した概念を表す静止画像を、ディスプレイ装置で、被験者に表示するステップと、静止画像とともに、静止画像によって表される概念を記述した１つの単語と、概念を記述しない１つ以上のおとり単語とからなる複数の単語を、ディスプレイ装置で被験者に表示するステップと、単語毎に、単語を表す単語画像のライブラリを、メモリに書き込むステップと、静止画像と比較するために被験者の要求により、ライブラリから１つ以上の単語画像を読み出し、読み出した１つ以上の単語画像を、ディスプレイ装置に表示するステップと、被験者から、単語のうちの１つを静止画像に組み合わせる入力を受信するステップとを有する。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演を含む、教える概念を記述した単語のビデオクリップを表示するステップを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演の口頭表現をまねようとしている被験者のビデオを撮影するステップと、口頭で表現をまねようとしている被験者のビデオを、ディスプレイ装置で再生するステップとを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、口頭表現をまねようとしている被験者のビデオは、口頭で表現する単語のビデオクリップと同時に、ディスプレイ装置で再生される。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演を含み、教える概念を記述した単語のビデオを表示するステップと、１つの話し単語と、他のおとり単語とからなる、テキストから選択した複数の単語を表示するステップと、被験者から、テキストの単語のうちの１つを口頭で表現する単語のビデオに組み合わせる入力を受信するステップとを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、テキストから選択した単語毎に、単語を表す音声コンテンツを有するビデオのライブラリを、メモリに書き込むステップと、口頭で表現する単語のビデオと比較するために被験者の要求により、ライブラリから、音声コンテンツを有する１つ以上のビデオを読み出し、読み出した１つ以上のビデオを、ディスプレイ装置に表示するステップを更に有する。

本発明の一実施の形態において、ビデオのライブラリは、選択され、書き込まれた単語に対応する単語を表す一文字を含む。本発明の一実施の形態において、ビデオのライブラリは、選択された単語のそれぞれを表す複数の文字を含む。

本発明の一実施の形態において、コンピュータ実行方法は、被験者に教える概念を表す静止画像を、ディスプレイ装置で被験者に表示するステップと、本発明の一実施の形態において、コンピュータ実行方法は、静止画像とともに、静止画像によって表される概念を記述した１つの単語と、概念を記述しない１つ以上のおとり単語とからなる複数の単語を、ディスプレイ装置で被験者に表示するステップと、被験者から、表示された単語のうちの１つを静止画像に適合させる口頭応答を受信するステップとを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、刺激オーディオファイルを再生するステップと、関連するオーディオファイルをそれぞれ有する複数の静止画像を表示するステップと、被験者から、複数の静止画像のうちの１つと、それに対応するオーディオファイルとを、刺激オーディオファイルに組み合わせる入力を受信するステップとを更に有し、複数の静止画像のうちの１つは、刺激オーディオファイルに対応している。

本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、サウンドトラックを再生するステップを含む。本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、トーンを再生するステップを含む。本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、刺激聴覚混合音を再生するステップを含む。

本発明の一実施の形態において、刺激聴覚混合音を再生するステップは、音素又は他の単語を構成するブロック音を再生するステップを含む。

本発明の一実施の形態において、単語画像のライブラリは、静止画像を含む。本発明の一実施の形態において、単語画像のライブラリは、ビデオクリップを含む。

本発明の一側面に基づくコンピュータプログラムは、コンピュータで読取可能なプログラムコードを有するコンピュータで使用可能な媒体を備えるコンピュータプログラムにおいて、コンピュータプログラムコードは、言語学習障害（ＬＬＤ）、言語学習欠陥（ＬＬＩ）及び一般な学習障害（ＬＤ）被験者の言語及び音声を発達させるコンピュータ実行方法を実装するために実行し、コンピュータ実行方法は、被験者に教える概念を選択するステップと、概念を表すビデオクリップを、被験者に表示するステップと、ビデオクリップから抽出した概念を表す静止画像を、被験者に表示するステップと、静止画像とともに、静止画像によって表される概念を記述した１つの単語と、概念を記述しない１つ以上のおとり単語とからなる複数の単語を、被験者に表示するステップと、単語毎に、単語を表す単語画像のライブラリを書き込むステップと、静止画像と比較するために被験者の要求により、ライブラリから１つ以上の単語画像を読み出し、読み出した１つ以上の単語画像を表示するステップと、被験者から、単語のうちの１つを静止画像に組み合わせる入力を受信するステップとを有する。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演を含む、教える概念を記述した単語のビデオクリップを表示するステップを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演の口頭表現をまねようとしている被験者のビデオを撮影するステップと、口頭で表現をまねようとしている被験者のビデオを再生するステップとを更に有する。

本発明の一実施の形態において、口頭表現をまねようとしている被験者のビデオは、口頭で表現する単語のビデオクリップと同時に再生される。

本発明の一実施の形態において、コンピュータ実行方法は、口頭で表現する単語の視覚的実演を含み、教える概念を記述した単語のビデオを表示するステップと、１つの話し単語と、他のおとり単語とからなる、テキストから選択した複数の単語を表示するステップと、被験者から、テキストの単語のうちの１つを口頭で表現する単語のビデオに組み合わせる入力を受信するステップとを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、テキストから選択した単語毎に、単語を表す音声コンテンツを有するビデオのライブラリを書き込むステップと、口頭で表現する単語のビデオと比較するために被験者の要求により、ライブラリから、音声コンテンツを有する１つ以上のビデオを読み出し、読み出した１つ以上のビデオを表示するステップを更に有する。

本発明の一実施の形態において、ビデオのライブラリは、選択され、書き込まれた単語に対応する単語を表す一文字を含む。

本発明の一実施の形態において、ビデオのライブラリは、選択された単語のそれぞれを表す複数の文字を含む。

本発明の一実施の形態において、コンピュータ実行方法は、被験者に教える概念を表す静止画像を被験者に表示するステップと、静止画像とともに、静止画像によって表される概念を記述した１つの単語と、概念を記述しない１つ以上のおとり単語とからなる複数の単語を被験者に表示するステップと、被験者から、表示された単語のうちの１つを静止画像に適合させる口頭応答を受信するステップとを更に有する。

本発明の一実施の形態において、コンピュータ実行方法は、刺激オーディオファイルを再生するステップと、関連するオーディオファイルをそれぞれ有する複数の静止画像を表示するステップと、被験者から、複数の静止画像のうちの１つと、それに対応するオーディオファイルとを、刺激オーディオファイルに組み合わせる入力を受信するステップとを更に有し、複数の静止画像のうちの１つは、刺激オーディオファイルに対応している。

本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、サウンドトラックを再生するステップを含む。本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、トーンを再生するステップを含む。本発明の一実施の形態において、刺激オーディオファイルを再生するステップは、刺激聴覚混合音を再生するステップを含む。

本発明の一実施の形態において、刺激聴覚混合音を再生するステップは、音素又は他の単語を構成するブロック音を再生するステップを含む。

本発明の一実施の形態において、単語画像のライブラリは、静止画像を含む。本発明の一実施の形態において、単語画像のライブラリは、ビデオクリップを含む。

本発明の一側面に基づく言語学習障害及び一般な学習障害の被験者の言語及び音声を発達させる方法において、教える概念の第１の形式の表現を表示するステップと、教える概念の１つの他の表現を含む第２の形式の複数の表現を表示するステップと、教える概念の第１の形式の表現と、教える概念の第２の形式の他の表現間の関連を、被験者に判定させるステップとを有する。

本発明の一実施の形態において、教える概念の第１の形式の表現と教える概念の第２の形式の他の表現間の関連を被験者に判定させるステップは、第１の形式の複数の表現を含むとともに、第２の形式の他の表現と関連した表現のライブラリにアクセスするステップと、ライブラリ内の第１の形式の表現を、概念の第１の形式の表現と比較するステップと、ライブラリ内の表現が、概念の第１の形式の表現に対応するかどうかを判定し、それによって、教える概念の第１の形式の表現と教える概念の第２の形式の他の表現間の関連を判定するステップとを有する。

本発明の一実施の形態において、教える概念の第１の形式の表現は、静止画像の形式で表示される。

本発明の一実施の形態において、教える概念の第１の形式の表現は、ビデオの形式で表示される。

本発明の一実施の形態において、教える概念の第１の形式の表現は、オーディオ形式で提示される。

本発明の一実施の形態において、第２の形式の他の表現は、テキスト単語の形式で表示される。

本発明の一実施の形態において、第２の形式の他の表現は、静止画像の形式で表示される。

本発明の一実施の形態において、教える概念の一連の表現は、複数の異なる形式で表示され、被験者は、教える概念の一連の表現によって、関連を形成する。

本発明の一実施の形態において、教える概念の一連の表現は、次第により抽象的になり、一連の表現のうちの最初の表現は、教える概念で最も具体的な表現であり、一連の表現のうちの最後の表現は、最も抽象的な表現である。

本発明の一実施の形態において、一連の表現のうちの最初の表現は、（ｉ）ビデオ表現であり、一連の表現のうちの次第に抽象的になる表現は、（ｉｉ）絵画表現、（ｉｉｉ）テキスト単語表現、（ｉｖ）口頭言語生成表現及び（ｖ）受容的な口語表現のうちの１つ以上である。

本発明は、図面によって一例としてのみ与えられる実施の形態の以下の説明から、より明確に理解することができる。

コンピュータ実行方法及びコンピュータプログラムのコンポーネントの概要を示す図である。 コンピュータ実行方法及びコンピュータプログラムの第１のサブシステムを示す図である。 コンピュータ実行方法及びコンピュータプログラムの第２のサブシステムを示す図である。 コンピュータ実行方法及びコンピュータプログラムの第３のサブシステムを示す図である。 コンピュータ実行方法及びコンピュータプログラムの第４のサブシステムを示す図である。 コンピュータ実行方法及びコンピュータプログラムの第５のサブシステムを示す図である。 図７（ａ）〜図７（ｐ）は、コンピュータ実行方法及びコンピュータプログラムの第１のサブシステムの動作を示す図である。 図８（ａ）〜図８（ｄ）は、コンピュータ実行方法及びコンピュータプログラムの第２のサブシステムの動作を示す図である。 図９（ａ）〜図９（ｄ）は、コンピュータ実行方法及びコンピュータプログラムの第３のサブシステムの動作を示す図である。 図１０（ａ）〜図１０（ｄ）は、コンピュータ実行方法及びコンピュータプログラムの第４のサブシステムの動作を示す図である。 図１１（ａ）〜図１１（ｄ）は、コンピュータ実行方法及びコンピュータプログラムの第５のサブシステムの動作を示す図である。

図面、最初に図１を参照して、通常、指示符号１によって示されるメタシステムについて説明する。メタシステム１は、基本概念及び聴覚を発達させるサブシステム５０と、視覚概念を言語テキストに一般化するサブシステム１０と、言語テキストから口頭表現を発達させるサブシステム２０と、言語テキストを用いて聴覚受容言語を発達させるサブシステム３０と、概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０とを含む複数のサブシステムを備える。サブシステムのそれぞれの動作及び機能については、後で更に詳しく説明する。本発明をコンピュータプログラムで実現するとき、サブシステムのそれぞれは、全体的なメタプログラムの一部を形成するコンポーネント又はモジュールとして実現される。

以下に説明するメタシステム１の構成は、重度の障害（失語症）を持った、視覚的に優れた子供、すなわち、聴覚処理障害（機能的に耳が聞こえないことを意味する）と、重度の意味論及び統語論的な言語発達障害（言語を学習することができないことを意味する）と、全体的な失行症（細かい筋肉運動、すなわち筋肉の動きを制御することができないことを意味する）とを有する子供のためものである。以下の説明では、このような特性を持った被験者用の本発明の実施について述べる。しかしながら、メタシステム１は、臨床診断によって決まる他の構成で定義することができる。換言すると、現在の正確な臨床上の同時罹患率及び一般的な相対的な長所に基づいて、適切なプログラムは、被験者の個々の必要性を満たすように、修正することができる。複雑でない障害の場合、あるステップは必要でなく、プロセスから削除するとともに、残りのステップを並べ替える。例えば、視覚的に優れるのではなく、反対に、聴覚的に優れた子供の場合、処理は、言語テキストを用いて聴覚受容言語を発達させるサブシステム３０で開始され、基本概念及び聴覚を発達させるサブシステム５０は削除される。障害の他の組合せの場合、同様に、処理ステップは、並べ替えることができ、メタシステム１は、この種の柔軟性をそれ自体に与えるモジュラー方式アーキテクチャを有する。更に、次のように想定される。基本概念及び聴覚を発達させるサブシステム５０は、更に有効な治療法を得るために、被験者のレベルを判定する方法としての処理の最初のステップとして用いることができ、その被験者に必要な適切な処理と、残りのサブシステム１０、２０、３０、４０の数、順番及び複雑さレベルとは、基本概念及び聴覚を発達させるサブシステム５０を用いて行われた分析の結果によって、選択することができる。したがって、図１に示すメタシステム１の図表示は、異なる臨床状態に基づいて変化してもよい。

図６は、指示符号５０によって示す、基本概念及び聴覚を発達させるサブシステムのより詳細な構成を示す図である。基本概念及び聴覚を発達させるサブシステム５０は、教える言語を識別するコンポーネント５１と、教える関連概念を分離するコンポーネント５２と、視覚及び／又は仮想現実を含む多様な概念学習を被験者に体験させるコンポーネント５３と、静止画像を学習した概念に結び付けるコンポーネント５４とを備える。教える言語を識別するコンポーネント５１は、音楽刺激をターゲット視覚映像及び／又はテキストに結び付ける。教える関連概念を分離するコンポーネント５２は、純粋な聴覚音を視覚映像及び／又はテキストに結び付ける。視覚及び／又は仮想現実を含む多様な概念学習を被験者に体験させるコンポーネント５３は、環境音を画像及び／又はテキストに結び付け、最後に、静止画像を学習した概念に結び付けるコンポーネント５４は、複合音（例えば、結合された子音母音の組合せ）を視覚映像及び／又はテキストに結び付ける。視覚画像は、静止画像又は動画像（例えば、コンピュータ生成画像（ＣＧＩ））として定義してもよい。

図２を参照して、視覚概念を言語テキストに一般化するサブシステム１０をより詳細に説明する。視覚概念を言語テキストに一般化するサブシステム１０は、４つの主要なコンポーネント、すなわち、テキストを表示するコンポーネント１１と、解答を求めるコンポーネント１２と、解答を比較するコンポーネント１３と、解答を選択するコンポーネント１４とを備える。テキストを表示するコンポーネント１１は、被験者がターゲット画像をテキスト及び引立役テキストと比較することができるように、ターゲット画像をテキスト及び引立役のテキストとともに被験者に表示する。解答を求めるコンポーネント１２により、被験者は、画像に対するテキストを探すことができる。画像に対するテキストの検索は、好ましくは、画像とテキスト間の対話的に定められたレベルの視覚抽象を有する。解答を比較するコンポーネント１３は、検索された画像を、表示された画像に対比可能とし、最後に、解法を選択するコンポーネント１４では、一旦正しい又は間違った解答が得られると、被験者は、必要な言語学習のレベル及び複雑さを対話形式で識別することができる。また、視覚画像は、静止画像又は動画像（例えば、コンピュータ生成画像（ＣＧＩ））として定義してもよい。

図３を参照して、言語テキストから口頭表現を発達させるサブシステム２０をより詳細に説明する。言語テキストから口頭表現を発達させるサブシステム２０は、視覚文字／テキストを表示するコンポーネント２１と、口頭筋肉動作の視聴覚表現を観察するコンポーネント２２と、口頭筋肉動作をモデル化し発声するコンポーネント２３と、発声表現をターゲット刺激と比較するコンポーネント２４とを備える。視覚文字／テキストを表示するコンポーネント２１は、単純な刺激からより複雑な刺激に及ぶ刺激を提供する。換言すると、文字、すなわち単語を視聴的に表現した表現は、完全な発音動作を有することができ、すなわち、実際には、単語それ自体は、口の完全な発音動作及び動きを必要とし、口の動きは、より複雑になり、要求される動きは、微妙に変化する。口頭筋肉動作の視聴覚表現を観察するコンポーネント２２は、多様な表現を可能にする。換言すると、発音されている単語の種々のビデオクリップを提供することができる。口頭筋肉動作をモデル化し発声するコンポーネント２３により、被験者は、能力及び単語を示す文字によって作り出される口の動きを基本的にまねること（口頭筋肉の動かし方）を試み、練習することができる。発声表現をターゲット刺激と比較するコンポーネント２４は、訓練のレベル及び複雑さの対話的な選択肢を提供する。また、単語を発声している被験者の分析が正しい場合、そして、より難しい単語を被験者に表示し、同様に被験者が発声し、分析が比較的悪い場合、より簡単な単語を被験者に表示することができ、これにより、被験者は、更に難しい句に進む前に、更なる経験を得ることができる。

図４は、指示符号３０によって示す、言語テキストを用いて聴覚受容言語を発達させるサブシステムのより詳細な構成を示す図である。言語テキストを用いて聴覚受容言語を発達させるサブシステム３０は、複数のコンポーネント、すなわち、音／単語刺激を提示するコンポーネント３１と、可能なテキスト選択肢を検証するコンポーネント３２と、検索聴覚刺激と提示聴覚刺激とを比較するコンポーネント３３と、テキスト解を選択及び／又は発声するコンポーネント３４とを備える。音／単語刺激を提示するコンポーネント３１は、簡単なものから複雑なものに亘る種々のレベルの刺激を生成することができる。可能なテキスト選択肢を検証するコンポーネント３２により、個々の被験者は、聴覚精度の異なるレベルの分類で聴覚ライブラリに対してテキストを検索することができる。検索聴覚刺激と提示聴覚刺激とを比較するコンポーネント３３により、個々の被験者は、聴覚理解、単語の区切り、文章における単語の識別等を含む受容聴覚能力を発達させることができる。テキスト解を選択及び／又は発声するコンポーネント３４により、被験者は、問題又は質問に対して応答し、言語のレベル及び複雑さを対話的に選択することができる。

図５は、指示符号４０によって示す、概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステムのより詳細な構成を示す図である。概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０は、概念を提示するコンポーネント４１と、画像を表示するコンポーネント４２と、聴覚情報を提示するコンポーネント４３と、治療を検証するコンポーネント４４とを備える。概念を提示するコンポーネント４１は、多様な視聴覚刺激、例えばビデオ、ＣＧＩクリップ又は他の視聴覚刺激を提示する。画像を表示するコンポーネント４２は、被験者のための複数の選択肢を有するテキストとともに視聴覚刺激から取り出した画像を表示する。被験者は、テキスト単語の１つを選択し、それを問題に応じた画像に組み合わせることが要求される。画像を表示するコンポーネント４２により、被験者は、複数の選択肢を比較し、複数の選択肢から関連した視覚映像を選択することができる。しかしながら、メタシステム１は、聴覚刺激を提供し、被験者は、絵画表現を聴覚刺激に組み合わせなければならない。治療を検証するコンポーネント４４内には、被験者によって提供される応答に基づくメタシステム１の次のサイクルの治療処置の対話的選択肢が設けられている。メタシステム１は、前のステップからからの応答を処理し、発達と、概念表現と、受容言語とが、メタシステム１によって、定量化する。そして、メタシステム１は、治療サイクルにおける治療ステップと、概念的な特徴と、関連した言語の特徴と、競合する概念の微妙なレベルと、検索可能なライブラリの具体性のレベルとを含む次のメタサイクルの内容を決定する。メタシステム１は、人工知能機能によってプログラムされており、それによって、被験者の特定の能力に合わせる。メタシステム１は、オペレータが望む場合には、無効にすることができる。

サブシステムのそれぞれは、特定の発生関数を有する。視覚概念を言語テキストに一般化するサブシステム１０は、複数の感覚の選択及び関連した刺激による概念を、意味論及び統語論的な言語発達障害者に伝える書き言葉に与える。言語テキストから口頭表現を発達させるサブシステム２０は、書き言葉の選択及び関連した刺激を、意味論及び統語論的な言語発達障害者に伝える発声及び口頭筋肉動作に確実にする。言語テキストを用いて聴覚受容言語を発達させるサブシステム３０は、書き言葉の選択及び関連した刺激を、聴覚処理及び／又は聴覚障害者に伝える発声及び口頭筋肉動作に与える。概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０は、概念及び言語療法を完了するために、複数の感覚の概念に対する発声の選択及び関連した刺激を有する。基本概念及び聴覚を発達させるサブシステム５０は、聴覚における選択した刺激を視覚における選択した刺激に関連付け、基本的な音素の認識（及び他の同様な単語成分）及び表現を確立する。

図１１（ａ）〜図１１（ｄ）は、本発明に基づくコンピュータ実行方法及びコンピュータプログラムの動作を説明するための図である。基本概念及び聴覚を発達させるサブシステム５０は、基本概念及び聴覚発達に関係する。図１１（ａ）において、メタシステム１は、１つの刺激サウンドトラックを被験者に再生する。同時に、ビデオ１１１、１１２、１１３、１１４からの複数の静止画像が、ディスプレイ装置（ＶＤＵ）に表示される。ビデオ１１１〜１１４からの各静止画像は、周知の方法で選択し、ビデオを再生し、そのビデオのサウンドトラックを再生することができる。被験者は、再生したビデオ及びサウンドトラックを刺激サウンドトラックと比較して選択する。

次に、図１１（ｂ）に示すように、メタシステム１は、サウンドトラックの代わりに、刺激音を再生してもよい。写真画像１１５、１１６、１１７、１１８によって音の数が表される。各写真画像１１５〜１１８は、選択し、それに関連した音を再生することができ、被験者は、その関連した音を刺激音と比較して、一致画像を選択する。実施の形態に示すように、関連した音は、笛を吹く音（写真画像１１５）、ピアノ音楽の曲（写真画像１１６）、国旗がはためいている（写真画像１１７）又は大聖堂で鳴っている鐘の音（写真画像１１８）でもよい。

被験者に刺激聴覚合成音が再生されている図１１（ｃ）に示すように、難易度を上げることができる。複数の画像１１９、１２０、１２１、１２２には、それ自体に関連した聴覚混合音（オーディオファイル）がそれぞれ付与されている。被験者は、刺激聴覚混合音に対応する聴覚混合音を比較して、一致画像を選択する。実施の形態に示す聴覚混合音は、飛行中の飛行機の画像１１９、連続して周期的にブンブンいうミツバチの画像１２２、道路沿いに動くトラックの画像１２０又はレストランで働いているシェフの画像１２１でもよい。換言すると、連続した複数の成分からなる音、すなわち、図１１（ｂ）に示すホイッスルのような純音ではなく、適度に混合された音（例えば、高調波を含んだ音）である。

最後に、刺激聴覚混合音を再生し、通常は英数字である画像を表示し、関連した音素音をクリックすることができる画像を表示することによって、課題の複雑さを更に増加させることができる。被験者は、一致している画像／音を、それ自身が音素音である刺激聴覚混合音と比較して、選択する。複数の画像１２３、１２４、１２５、１２６が、被験者に提示され、被験者は、これらの画像を選択し、それに関連した音素音を聞き、音素音とシンボルとの関連付けを構築することができる。実施の形態に示すように、キャラクタ１２７が表示されており、このキャラクタ１２７は、音素音、好ましくは、再生する音素音の対応するオーディオファイルとして喋るために用いられる。被験者は、単語を喋る自分自身を見て、彼らの動作をキャラクタ１２７と比較することができるように、キャラクタ１２７と、同時に再生される被験者のライブビデオストリーム１２８を見る。また、この態様は、トレーニングモードでも使用することができ、それによって音素シンボルをクリックすることができ、キャラクタ１２７が音素を暗唱することにより、被験者は、キャラクタ１２７と比較してそれらの動作をまねして、モニタすることができる。この場合、刺激聴覚混合音は、発話からの補助的な聴覚フィードバックを有するテキストである。

また、基本概念及び聴覚を発達させるサブシステム５０は、被験者のために、よりやりがいのある課題を徐々に提供することができる。一般的に言うと、音声サウンドトラック（図１１（ａ））は、長い韻律及びビートを有し、被験者が認識するための音の最も簡単な形式でなければならない。図１１（ｂ）に示すような純音は、検出する次に最も簡単な音声成分である。最後に、刺激聴覚混合音及び音素の刺激聴覚混合音は、被験者が処理する最も難しい音声成分である。ビデオ画像は、音声成分が徐々により複雑になるのに対して、徐々により簡単になる傾向ある。

図７（ａ）〜図７（ｐ）は、本発明の実施の形態の具体的な動作を説明するための図である。また、具体的に示す動作は、しっかりした視覚感覚技術及び乏しい口頭聴覚感覚技術を有する個人を対象とすることが分かる。実行するステップの修正及び実行するステップの順序は、被験者の臨床状態に基づいて変更することができる。図７（ａ）は、刺激画像７１を示す。刺激画像７１は、その刺激画像を含むビデオから選択されている。刺激画像７１及び刺激画像７１が選択されたビデオは、教えなければならない概念に関するものが選択される。この場合には、概念は、「女の子」である。静止画像は、女の子の写真を含む。教える概念を含むビデオ、この場合には、長編アニメピーターパンからのクリップが被験者に見せた後、教える概念の静止画像は、質問７２と、不完全な応答７３と、不完全な応答７３に挿入するための複数のテキスト単語７４、７５、７６、７７とともに、表示装置で被験者に表示される。テキスト単語７４、７５、７６、７７の１つは、概念を記述しており、この場合には、テキスト単語７６は、概念「女の子」であり、残りのテキスト単語７４、７５、７７は、おとり単語「男の子」、「犬」及び「鳥」である。おとり単語、すなわち、引立役の単語は、概念「女の子」を記述していない。

被験者は、直ちに質問７２に解答することを望む場合、不完全な応答７３を完全にすることによって解答することができる。また、被験者は、テキスト単語７４、７５、７６、７７が正解に関連するかどうか見るために、これらを調べることを望んでもよい。例えば、被験者が、検証のために利用可能な答えのリストから「男の子」のテキスト単語７４を選択した場合には、「男の子」の概念に関する静止画像のライブラリが読み出されて、図７（ｃ）に示すように被験者に表示される。図７（ｄ）に示すように、被験者は、個々の検証のために１つ以上の静止画像を選択し、それらを調べることができる。必要に応じて、被験者は、それらの画像を、図７（ｅ）に示すようにビデオクリップから選択された概念を表す刺激画像（以下、ターゲット静止画像ともいう。）７１と比較するために選択することができる。同様に、被験者は、「犬」のテキスト単語７５を選択することができ、静止画像のライブラリは、図７（ｆ）に示すように、概念「犬」に関して読み出される。図７（ｇ）に示すように、被験者は、画面上の個々の表示に対する１つ以上の画像を選択することができる。

被験者が「女の子」という更なる検証のために単語を選択した場合、図７（ｈ）に示すように、「女の子」の概念に関する静止画像のライブラリが被験者に表示される。また、被験者は、図７（ｉ）及び図７（ｊ）に示す精査のための画像のライブラリから、それぞれの画像を選択することができる。被験者が「鳥」という更なる検証のためにテキスト単語７７を選択した場合、「鳥」の単語の概念に関する画像のライブラリが、図７（ｋ）に示すように被験者に表示され、また、図７（ｉ）及び図７（ｍ）に示すように、被験者は、より詳細にそれらを検証するために、１つ以上のそれらの画像を選択することができる。

一旦、被験者が、様々な単語選択に関連した画像を検証した場合、図７（ｎ）に示すように、被験者は、テキスト単語７４、７５、７６、７７のそれぞれに関する概念を表す複数の画像によって、最初のターゲット静止画像７１を同時に検証することができる。同様に、被験者は、最初のターゲット静止画像７１を、任意の単語のライブラリからの複数の画像と比較することができ、図７（ｏ）に示す場合には、画像は、全て「女の子」のテキスト単語７６に関するものであり、多数の女の子の画像は、最初のターゲット静止画像７１とともに表示画面上に表示される。一旦、被験者が、様々な選択肢を検討し、単語「女の子」が教える概念であり、「女の子」の単語のライブラリの画像が、最初のターゲット静止画像７１に対して特徴が類似しているかを決定した場合、個々の被験者は、不完全な応答７３に「女の子」のテキスト単語７６を入れることによって、問題に回答することができる。これは、キーボード、タッチパッド又は同様の装置を使用して単語を文字入力することによって、他の技術、例えば、ドラッグ＆ドロップ技術を使用することによって、リストのテキスト単語７６を「クリックする」ことによって、他の方法、例えば、テキスト単語７４、７５、７６、７７のリストに亘ってスクロールさせるキーボード上の矢印キーを用いてテキスト単語７６を選択し、所望の単語選択が強調表示されたときに、キー、例えば、キーボード上の「エンター」キーを押すことによってすることができる。被験者が正解を取得した場合、この方法は、他の単語に移動するか、次の段階に移る。被験者が単語を間違った場合、被験者は、再試行するよう求められる。

言語テキストから口頭表現を発達させるサブシステム２０は、テキストから口頭表現を生成するサブシステムである。図８（ａ）〜図８（ｄ）は、テキストから口頭表現を発達させるサブシステム２０の動作をより詳細に示す。図８（ａ）において、最初の刺激画像が表示されている。また、この刺激画像は、アニメの長編映画ピーターパン（ウォルトディズニースタジオの著作権）から選択された場面であるが、同様に、他の長編映画又はビデオから選択された場面であってもよい。重要なのは、被験者がこのプロセスを取り組み続けるために、よく知られているキャラクタが被験者に表示されることである。

図８（ｂ）において、被験者は、キャラクタ８１が特定の単語を言うのを見て、次いで、キャラクタ８１の口頭顔動作を模倣しようとする。同時に、被験者のビデオ画像８３は、表示装置に取り込まれて表示され、好ましくは、キャラクタ８１と一緒に表示装置に取り込まれて表示される。このように、被験者は、彼ら自身がキャラクタ８１の口の顔面の動きを模倣しようとしているのを見ることができる。この場合、刺激は、発話からの補助的な聴覚フィードバックを有するテキストである。音声読上装置、例えば、ノーサンプトンシンボル装置又は同様な装置を用いて、被験者による発声を促進することができる。

図８（ｃ）に示すように、静止画像８５に関して被験者に質問８４を提起することができる。応答８６が表示され、被験者は、図８（ｃ）示すように、応答８６を発音することを試みる。これは、質問及び応答の単語だけでなく、画像に示す概念の被験者の理解を容易にする。これらの課題は、効果的な受容聴力を起こし、聴覚処理障害を解決するためには、正確な言語発声が重要であるという前提に基づく。質問８４は、画像８７を伴って示され、好ましくは、画像８７は、質問８４をするキャラクタのビデオクリップである。このように、被験者は、質問を読み上げるだけでなく、被験者に質問をするキャラクタを見ることができる。同様に、被験者は、ビデオクリップを再生することによって、求められた質問８４を聞くことができる。

上述に加えて、応答８６は、一対の画像８８、８９を伴っていることが分かる。画像８８は、好ましくは、正しい応答を話しているキャラクタのビデオクリップである。画像８８は、オーディオの有無に拘わらず、再生することができ、必要に応じて自動的に再生することができ、あるいは、被験者が要求した場合にのみ、例えば、画像８８をクリックした場合に再生してもよい。画像８９は、ビデオカメラ、例えばウェブカメラ（「ウェブカム」）を使用して撮影された被験者が質問に答えようとしたときの被験者のビデオ画像である。画像８９は、２つの理由で有用である。まず第１に、被験者は、画面上で、質問に答えている彼ら自身を見ることができる。被験者は、彼らの答え及び特に彼らの口の筋肉の動きを、画像８８のキャラクタの口の筋肉の動きと比較することができる。必要に応じて、２つの画像は、同時に又は順次に再生することができ、また、被験者の画像（以下、解答画像ともいう。）８９の録画は、解答画像８９を画像８８に示すキャラクタと比較することによって、後で解答画像８９を分析するために、被験者又は他の人に対して再生することができる。なぜ解答画像８９を示すことが有利であるかに関する第２の理由は、被験者を撮影した解答画像８９の再生が、入力し、質問に答える時刻を被験者に予め正確に知らせているからである。

質問８４、静止画像８５及び応答８６の全ては、同じ画面上に表示され、しかしながら、質問８４、静止画像８５及び応答８６の全ては、それら自体の画面に順次に表示できることは当然であり、あるいは、実際、静止画像８５を表示した後、質問８４をそれ自体の画面に再生し、そして、静止画像８５と同じ画面上に、画像８８、解答画像８９を含む応答８６の画像をスーパインポーズすることが有利である。

図８（ｄ）は、被験者の状況のグラフ図を示す。このグラフは、ノーサンプトンシンボル装置の支援又は同様の音素認識過程を介して発音される発話をモニタするとともに、被験者の表現をモニタする音声認識エンジンによって生成され、これは、被験者に、彼らの進捗に関する視覚フィードバックを提示する。換言すると、被験者の動作をモニタして、それらをキャラクタの動作に対して比較し、被験者が更なる進歩を必要とするか否かに拘わらず、被験者の表現がキャラクタの表現と密接に関係があるか、被験者が十分に近いか又は本当に近いかを決定することができる。

図９（ａ）〜図９（ｄ）には、視聴覚刺激（例えばテキスト）を用いて聴覚受容言語を発達させるサブシステム３０の画面を示す。図９（ａ）には、キャラクタ９２が示されている。キャラクタ９２は、教える特定の概念を喋っているビデオクリップ又は同様なもので表示される。キャラクタ９２によって与えられる視聴覚刺激に関する質問９３が表示されている。複数の単語応答９４、９５、９６、９７が、被験者に表示される。これらの単語応答の１つは、目標概念であり、一方、他の３つの単語応答は、おとり単語である。この実施の形態において、被験者は、何が喋られているかを識別するために、刺激ビデオを聞き、口の顔面の動きを見る。この場合には、キャラクタ９２は、「鳥」、すなわち応答９７を喋っている。被験者は、解答９８を入れるように求められる。この訓練は、被験者が聞き、同時に顔面の動きを学習することを促す。

図９（ｂ）に示すように、被験者は、ビデオを検索して、聞き、口の顔面の動きを見て、解答を確認するために、ビデオを刺激ビデオと比較することができる。この具体例では、被験者は、４つの単語応答９４、９５、９６、９７の選択肢のそれぞれを喋る若い女性の１つの音声を聞いている。しかしながら、他の組合せも可能である。ビデオを提供する代わりに、ある例では、視覚成分がないオーディオファイルであっても十分である。

図９（ｃ）に示すように、被験者は、ビデオを検索して、聞き、口の顔面の表現を見て、解答を確認するために、これらのビデオをキャラクタ９２の刺激ビデオと比較することができる。しかしながら、この具体例では、被験者は、全て同じ単語を喋る青年、若い男の子、若い女性及び少女を含む複数の音声タイプを聞いている。また、異なる音声／単語の組合せも可能である。図９（ｄ）に示すように、被験者は、何が喋られているかを確認するために、刺激ビデオを聞き、刺激ビデオのキャラクタ９２の口の顔面の動きを見る。そして、上述したように、被験者は、解答を声に出し、タイプ入力し、又は応答のリストから解答を選択する。この言語テキストを用いて聴覚受容言語を発達させるサブシステム３０の１つの有利な特徴は、被験者の言語の発達を支援し、また、被験者の一般的な語用論の発達及び対話を支援する被験者のアイコンタクトを促進することである。

次に、図１０（ａ）〜図１０（ｄ）には、概念上の言語機能、視覚言語機能及び聴覚言語機能を統合することを目標とする概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０のコンポーネントに関する複数のスクリーンショットを示す。図１０（ａ）は、指示符号１０１によって表されるビデオクリップを示す。ビデオクリップ１０１は、理解し、言語と関連する概念を含んでいる。図１０（ｂ）において、ビデオクリップ１０１から静止画像１０２が選択され、画面上に表示され、また、質問１０３が被験者に表示されている。また、質問に対する複数の応答１０４、１０５、１０６、１０７が、ユーザに表示され、また、解答１０８は、教える概念に関する単語が欠落していることを示唆している。したがって、被験者は、応答１０４、１０５、１０６、１０７のうちの１つを選択して、解答１０８の文書に挿入する必要がある。この場合、被験者が間違ったり、機能を特に要求しない限り、概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０は、ライブラリを検索するための選択肢を提供しない。図１０（ｂ）の実施の形態において、個々の被験者は、質問に対する口頭応答を、コンピュータの音声入力装置を介して入力するように要求され、この口頭応答は、分析することができる。なお、必要に応じて、タイプ入力応答を要求してもよい。

図１０（ｃ）は、概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０の聴覚刺激のみを提示する他の実施の形態を示す。シンボル１０９は、被験者に再生されるオーディオクリップへのリンクを示す。被験者には、この場合、「あなたは、何が聞こえるか？」という質問及び複数の示唆する応答「男の子」、「犬」、「女の子」及び「鳥」が表示される。そして、被験者は、質問に対して口頭で解答することが要求される。あるいは、被験者は、書いて解答を提示してもよい。この具体例において、被験者は、聴覚刺激を書き言葉と結び付け、どの書き言葉が聴覚刺激を記述しているかについて分析する。

図１０（ｄ）は、概念言語、読み言葉、書き言葉及び聴覚受容言語を統合するサブシステム４０が聴覚刺激のみを提示し、単語の形式で示唆された応答を表示する替わりに、示唆された応答として画像を表示する他の実施の形態を示す。この場合、多数の静止画像、すなわち４つの静止画像が表示され、音声刺激、例えば吠えている犬が提示される。被験者は、どの画像が聴覚刺激に関係があるかの選択を要求され、また、特定の画像をクリックすることによって、この場合、単語「犬」を言うことを個々の被験者に要求することによって、又は単語をタイプすることを個々の被験者に要求することによって、応答を提示することができる。この過程は、図１０（ｃ）に示す場合に比較して難しい。図１０（ｃ）において、応答は、単語の形式で表示されているので、被験者は、刺激の音声を聞き、どの単語が音声刺激に当て嵌まるかを理解することができる。一方、図１０（ｄ）の具体例では、単語の代わりに、画像のみが表示されるので、したがって、被験者は、オーディオファイルに関連した正しい画像を識別し、その画像から、その画像及びオーディオファイルを記述した単語を解答するように要求される。換言すると、被験者が解答するためには、更なる関連付けが要求される。それらは、写真から、聴覚に対する単語に移行しなければならない。重要なことに、複雑さは、徐々に増加させることができ、また、音、画像及び単語の概念の関連付けを、被験者に埋め込むことができる。

一旦、上述した識別段階が完了すると、メタシステム１は、前の段階からの応答を処理することができ、概念言語、表現言語、受容言語の発達を定量化することができる。そして、メタシステム１は、治療サイクルにおける治療ステップと、教える概念と、関連した言語と、競合する概念の微妙なレベルと、検索可能なライブラリの具体性のレベルとを含む次の治療サイクルの内容を決定することができる。人工知能を有するメタシステム１は、被験者に固有の能力に合わせることができるようにプログラムされている。オペレータは、必要に応じて、メタシステム１を無効にすることができる。

本発明の様々な過程は、コンピュータを使用して実行することができ、そのため、本発明は、コンピュータ実行方法、また、この方法を実行するためにプログラムされたプログラムコードを有するコンピュータプログラムに関するものであることが理解できる。コンピュータ自体は、プロセッサと、メモリと、ディスプレイ装置（ＶＤＵ）と、音声出力ユニット、例えばスピーカと、好ましくは音声入力ユニット、例えばマイクと、ユーザ入力装置、例えばキーボード、キーパッド、タッチスクリーン、マウス又は他のポインティングデバイス、例えば、ディスプレイ装置で様々な選択肢を選択するためのカーソルを操作できるローラボール又はトラックボールとを有するいかなる形式のコンピュータであってもよい。

図７〜図１１で説明した一連の様々な課題を完了すると、被験者は、言語及び単語のより優れた理解に発達でき、概念の最も具体的な、ビデオ及び静止画像の認識から始まり、最も発達した感覚（視覚）を介し、単語の口頭表現、単語の聴覚理解及び書いた単語の理解までの一連の関連付けによって、言語を構築することができ、被験者は、語彙の一部を形成するまで、単語の関連付けを徐々に構築することができる。

上述したコンピュータ実行方法及びコンピュータプログラムは、限定的な試験に用いられる。これらの試験は、２つの小児自閉症スペクトラム障害（ＡＳＤ）の場合である。これらの子供は、３年間に亘って、プロトタイプの上述したコンピュータ実行方法及びコンピュータ実行プログラムを用いたコンピュータが生成した刺激に曝されている。テストの開始の前に、被験者Ａは、絵カード交換式コミュニケーションシステム（ＰＥＣＳ）カードを用いて、限定された（約１０個の単語）を除いて、言語を発揮できず、機能的には非常に耳が遠く、口がきけなかった。多くの診療のうちの言語病理学、トータルコミュニケーション、様々な教育方針及び投薬を含む広い範囲の前診療は、失敗していた。本発明に基づくコンピュータ実行方法及びコンピュータプログラムを使用した後、被験者Ａには、テキスト中の簡単な文章表現及び理解によって、約４５０個の語彙の読み書きを提示した。更に、子供は、単語及び簡単な文章に近い口頭表現を始めた。また、少ないが、１つの単語の受容言語を発生することを示した。

被験者Ｂ、すなわち被験者Ａに対して比較的軽度の患者は、小学１年生（米国の学校組織）の言語体系に近いものを示し、意味不明な発話を有する機能的に重度の聴覚障害だった。彼の状態は、以前の２学年の間、大部分は変化しないままだった。本発明に基づくコンピュータ実行方法及びコンピュータプログラムによって、１２か月間の処置期間の後、被験者Ｂの言語体系は、読み及び書きにおいて、小学４年生に典型的なものに近づき、実質的に分かりやすい発話が含んだ。以前は、他の治療は、２つの被験者に対して非常に限定された効果及び成功を示した、しかしながら、本発明に基づくコンピュータ実行方法及びコンピュータプログラムを実行することによって、彼らの言語機能に対する劇的な進歩及びコミュニケーション能力が達成された。

本発明は、会話、読み、書くこと及び一般的な言語に基づく意思疎通障害及び／又は遅れを有する子供及び大人が、彼らの臨床上の問題を克服することができる手段を提供するコンピュータ実行方法及びコンピュータプログラムに関する。同様に、このコンピュータ実行方法及びコンピュータプログラムは、一般的に子供及び大人を発達させることの１つのコミュニケーションの進歩において有用であることが考慮される。このコンピュータ実行方法及びコンピュータプログラムは、被験者に、概念発達及び関連した言語学習の多段のプロセスを体験させる処置を含む。この学習の主要な感覚は、特定の臨床上の症状に基づいた他の機能している体の感覚と組み合わされる視覚である。多くの言語学習障害（ＬＬＤ）及び学習障害（ＬＤ）の子供及び大人の間で最適に機能している感覚は、視覚及び関連した認識機能であり、これらは、視覚及び最終的に聴覚言語体系の発達をサポートするように、発達させ、組織化することができる。このコンピュータ実行方法及びコンピュータプログラムの目的は、発達させ、組織することができる優れた認識機能、通常は視覚によって、効果的な伝達経路を形成することである。一旦、この認識機能が治療プロセスにかかわると、他の認識機能、例えば聴覚機能が確立され、主要な認識エンジンに定着できることが分かっている。

このコンピュータ実行方法及びコンピュータプログラムの性質、構成、順番及び内容は、説明した目的を達成するように開発されており、限られた治験において特別な結果を与えることを証明している。患者に対して、独自に構築され、順番付けられた刺激を与える際に、このコンピュータ実行方法及びコンピュータプログラムは、特定及び汎用な言語の両方の発達を促進する方法によって、視覚及び聴覚言語の発達に概念発達を統合するように機能する。更に、この開示は、現在利用可能なパソコン及びゲーム技術を含む様々なハードウェアプラットホーム上で実行されるコンピュータソフトウェアに置き換えることができるコンピュータ実行方法及びコンピュータプログラムを含む。ハードウェアとソフトウェアが組み合わせられたコンピュータ実行方法及びコンピュータプログラムは、患者の読み、書き、喋り及び聞く能力を向上させる。これは、ディズニー（商標）、ピクサー（商標）及びルーカス（商標）スタジオの作品の中に見られる典型的なキャラクタである音声及び視覚的に豊かなアニメのキャラクタを用いることによって、更に強化される。

更に、この開示は、視覚、聴覚及び口頭様態を含む概念発達及び関連した言語の発達能力を確立するコンピュータ実行方法及びコンピュータプログラムを含む。これにより、患者の環境、多様な言語獲得及び発達の概念の理解の広い基本的な改善が得られる。更に、本発明は、言葉の遅れ、すなわち言語障害を示す患者母集団の発話及び言語の発達に対する新規な方法の定義に関する。これらの患者集団は、これらに限定されるものではないが、聴覚障害者、聴覚処理障害、意味論及び統語論的な言語発達障害、口頭筋肉動作障害、失行症及び失語症を含んでいる。多種多様な条件、例えば広汎性発達障害及び自閉症を有する患者集団は、ここで説明する治療パラダイムに対して効き目を示す。

更に、この新規な方法の出願は、言語獲得能力及び技能を向上させることに興味がある発達遅延、一般的に発達している又は発達している被験者のための加速言語学習を提供する。最近の研究は、言葉の遅れ、すなわち意思疎通障害がある患者は、頻繁に、平均又は平均以上の言語獲得のために利用することができる視覚推理能力を有することを示した。しかしながら、この患者集団は、視覚認識機能の他に発育遅延又は障害があると、頻繁に、これらの能力の利益を享受することができない。一例として、耳の遠い聴覚処理障害の子供は、多くの場合、視覚能力に同時に長所を発揮する。この発明の本質は、強い領域を確立し、これらを利用し、これらの長所を構築し、組織化して、より強い視覚媒体によって、最初に言語を獲得させる。

本発明に関連する治療パラダイムは、被験者の長所、一般的には視覚を構築し、使用し、これらの長所を汎用の言語体系に発展させ、汎用の言語体系に対して言語の他の様態を関連させることができる。このコンピュータ実行方法及びコンピュータプログラムのパラダイムは、言語を結び付ける概念の明確で慎重な理解を被験者に与えるという機能要求に基づいている。仮想現実、対話的なビデオゲーム又はコンピュータ生成画像（ＣＧＩ）を用いることにより、特定の概念を分離し、被験者に体験させる。これらの概念は、更に静止画像に分離され、静止画像は、刺激テキストによって操作されたときに、ターゲットテキスト刺激に関連する言語分類、分類内容及び基本的な意味を構築する。プロセスは、特定の概念に進み、一般的な概念に進み、特定の概念に戻り、したがって、被験者の環境に適用でき、直接関連する標準化され、汎用の、順次的な言語体系を発展させる。

このプロセスに埋め込まれるのは、聴覚情報に対するテキストに基づくビジュアルシンボル（例えば単語）の統合である。聴覚刺激と視覚象徴学の関係を構築するこのプロセスは、音読及び表現上の能力を形成し又は発達させるために全ての筋肉運動を用いて操られる。これらの能力が確立されるにつれて、被験者は、視覚言語、例えばテキスト化された単語と関連する聴覚刺激に曝される。プロセスの一部は、受容的な言語能力を発達させ、したがって、汎用の視覚（読み書きすること）の構築から聴覚言語能力まで動く治療サイクルを完了する。

このコンピュータ実行方法及びコンピュータプログラムは、初めに、言語発達サイクルとして実行される組み合わせ治療診療を具体化する包括的なメタシステム（１）で構成されている。このハイレベルのシステムは、幾つかのサブシステム（１０、２０、３０、４０、５０）及び相互関係のあるプロセスを含む。全体の手順及びシステムは、図１に示すように、聴覚障害、聴覚処理障害、意味論及び統語論的な言語障害、及び口頭筋肉動作問題を含むがこれに限定されず複数の障害を示す被験者に、適切な診療を提供する。患者が示す臨床上の状態に応じて、患者の状態及び治療の必要性の差分解析によって表すように、メタシステム１及び／又はサブシステムに関連する順番、内容、長所及び繰り返しの幾つかの変化が可能である。この評価は、適切な開業医又はこのコンピュータ実行方法及びコンピュータプログラムによって完了する評価によって与えることができる。決定木解析は、人工知能原理を用いたコンピュータ実行方法及びコンピュータプログラムに組み込んで、非常に使用することができる。更に、このコンピュータ実行方法及びコンピュータプログラムは、パーソナルコンピュータ、ゲームシステム、例えば、特にハードウェア構成に適合したソフトウェアアーキテクチャを有する任天堂Ｗｉｉ（商標）又はＤＳ Ｌｉｔｅ（商標）、ユーザインターフェース及びオペレーティングシステムを含む幾つかのハードウェアプラットホームでの実行に適用することができる。

したがって、本発明は、技術、例えばコンピュータ生成画像又は仮想現実を用いることによって、視聴覚形式で離散的な環境概念を分離して、示すための方法を提供する。更に、概念刺激を静止画像に再分割し、これらの静止画像を言語テキストによって組み合わせ、この言語テキストは、同時に１つの正しい画像及び幾つかの引立役の画像とペアを組む方法を提供する。患者は、デジタルライブラリの中で、関連した絵で表した言語分類を検索し、見つけるために、テキスト刺激を用いる。このデジタルライブラリは、ターゲットテキストに関連する抽象的な画像から特定の概念を用いることによって構築された言語分類を含む。これらの言語分類ライブラリは、視覚及び聴覚言語表現を含む複数の様式の中に存在する。

更に、本発明は、患者を訓練する方法に関し、この方法は、一般的に機能している聴覚受容的な言語能力のサポートの有無に拘わらず、耳で聞く能力の基礎を与えることによって、聴覚認識及び（子音及び母音を混合した刺激音から純音を含む）ビジュアルイメージに対する音の関係を発達させる。本発明は、更に、次第に複雑になる口頭発話筋肉動作を表す視覚刺激を体験させることによって、全ての言語音の混合音を刺激することを目的とする。これは、視覚のフィードバックループ及びアルゴリズムに対する口頭試問を用い、したがって、個々の患者の必要性に対して特に学習プロセスを制御し、最適化する。この方法は、刺激単語及び幾つかの引立役の単語を反映したターゲット単語と後で比較されるテキスト化された単語である聴覚言語刺激を患者に体験させることによって、聴覚受容言語を刺激する。聴覚刺激は、以前に患者療法の過程において得られた患者の聴覚能力に基づくデータと一致するように処理される。

更に、この方法は、正確な聴覚再生から正確でない聴覚再生で構成される単語／言語分類を反映した聴覚言語ライブラリを検索し、見つけるために、表示されたテキストを、患者に用いさせ、したがって、更に、提示された聴覚刺激の概念上及び分類の理解を構築するように患者に挑戦させる。また、この方法は、患者の相対的な長所及び短所を識別する、したがって、このコンピュータ実行方法及びコンピュータプログラムを用いる次の段階の診療を定義する統合ユニットとしてテストする言語療法を提供する。

本発明に基づく方法は、主にソフトウェアで実行され、したがって、本発明は、また、コンピュータに方法を実行させるプログラム命令からなる媒体上又は媒体内のコンピュータプログラムに拡張される。コンピュータプログラムは、ソースコード形式、オブジェクトコード形式又はソースコード及びオブジェクトコードの中間の形式とすることができる。コンピュータプログラムは、これらに限定されるものではないが、フロッピーディスク（商標）、ＣＤ、ＤＶＤ、メモリースティック（商標）、テープ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ハードウェア回路又は伝送媒体、例えば無線及び／又は有線及び／又はケーブルを介して伝送されるときの搬送信号を含む伝送可能な媒体を含むあらゆるコンピュータで読取可能な媒体を含む媒体に又は上に記憶することができる。用語「コンピュータ」は、これらに限定されるものではないが、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ネットブック、携帯情報端末、携帯用デバイス、例えば携帯電話Blackberry（商標）又は他の携帯コンピュータを含む統合計画ツールを個人によって実行させる多様なコンピュータを含む。

この明細書の用語「備え（comprise、comprises）、備えた（comprised）及び備えている（comprising）」、用語「含み（include、includes）、含んだ（included）及び含んでいる（including）」は、全く同じ意味とみなし、最も広く解釈されるべきである。

本発明は、上で説明した実施の形態に決して限定されるものではなく、構成及びその詳細の両方は、特許請求の範囲内で変更することができる。

Claims (42)

1. 言語学習障害（ＬＬＤ）、言語学習欠陥（ＬＬＩ）及び一般な学習障害（ＬＤ）被験者の言語及び音声を発達させるコンピュータ実行方法において、
   上記コンピュータは、プロセッサと、メモリと、ディスプレイ装置（ＶＤＵ）と、音声出力装置と、音声入力装置と、ユーザ入力装置とを備え、
   上記被験者に教える概念を選択するステップと、
   上記概念を表すビデオクリップを、上記ディスプレイ装置で、上記被験者に表示するステップと、
   上記ビデオクリップから抽出した概念を表す静止画像を、上記ディスプレイ装置で、上記被験者に表示するステップと、
   上記静止画像とともに、該静止画像によって表される概念を記述した１つの単語と、該概念を記述しない１つ以上のおとり単語とからなる複数の単語を、上記ディスプレイ装置で上記被験者に表示するステップと、
   単語毎に、単語を表す単語画像のライブラリを、上記メモリに書き込むステップと、
   上記静止画像と比較するために上記被験者の要求により、上記ライブラリから１つ以上の単語画像を読み出し、該読み出した１つ以上の単語画像を、上記ディスプレイ装置に表示するステップと、
   上記被験者から、単語のうちの１つを上記静止画像に組み合わせる入力を受信するステップとを有するコンピュータ実行方法。
2. 口頭で表現する単語の視覚的実演を含む、上記教える概念を記述した単語のビデオクリップを表示するステップを更に有する請求項１記載のコンピュータ実行方法。
3. 上記口頭で表現する単語の視覚的実演の口頭表現をまねようとしている上記被験者のビデオを撮影するステップと、
   上記口頭で表現をまねようとしている被験者のビデオを、上記ディスプレイ装置で再生するステップとを更に有する請求項２記載のコンピュータ実行方法。
4. 上記口頭表現をまねようとしている被験者のビデオは、上記口頭で表現する単語のビデオクリップと同時に、上記ディスプレイ装置で再生されることを特徴とする請求項３記載のコンピュータ実行方法。
5. 口頭で表現する単語の視覚的実演を含み、上記教える概念を記述した単語のビデオを表示するステップと、
   １つの話し単語と、他のおとり単語とからなる、テキストから選択した複数の単語を表示するステップと、
   上記被験者から、上記テキストの単語のうちの１つを上記口頭で表現する単語のビデオに組み合わせる入力を受信するステップとを更に有する請求項１乃至４のいずれか１項記載のコンピュータ実行方法。
6. 上記テキストから選択した単語毎に、単語を表す音声コンテンツを有するビデオのライブラリを、メモリに書き込むステップと、
   上記口頭で表現する単語のビデオと比較するために上記被験者の要求により、上記ライブラリから、上記音声コンテンツを有する１つ以上のビデオを読み出し、該読み出した１つ以上のビデオを、上記ディスプレイ装置に表示するステップを更に有する請求項５記載のコンピュータ実行方法。
7. 上記ビデオのライブラリは、上記選択され、書き込まれた単語に対応する単語を表す一文字を含むことを特徴とする請求項６記載のコンピュータ実行方法。
8. 上記ビデオのライブラリは、上記選択された単語のそれぞれを表す複数の文字を含むことを特徴とする請求項６記載のコンピュータ実行方法。
9. 上記被験者に教える概念を表す静止画像を、上記ディスプレイ装置で上記被験者に表示するステップと、
   上記静止画像とともに、該静止画像によって表される概念を記述した１つの単語と、該概念を記述しない１つ以上のおとり単語とからなる複数の単語を、上記ディスプレイ装置で上記被験者に表示するステップと、
   上記被験者から、上記表示された単語のうちの１つを上記静止画像に適合させる口頭応答を受信するステップとを更に有する請求項１乃至８のいずれか１項記載のコンピュータ実行方法。
10. 刺激オーディオファイルを再生するステップと、
    関連するオーディオファイルをそれぞれ有する複数の静止画像を表示するステップと、
    上記被験者から、上記複数の静止画像のうちの１つと、それに対応するオーディオファイルとを、上記刺激オーディオファイルに組み合わせる入力を受信するステップとを更に有し、
    上記複数の静止画像のうちの１つは、上記刺激オーディオファイルに対応していることを特徴とする請求項１乃至９のいずれか１項記載のコンピュータ実行方法。
11. 上記刺激オーディオファイルを再生するステップは、サウンドトラックを再生するステップを含むことを特徴とする請求項１０記載のコンピュータ実行方法。
12. 上記刺激オーディオファイルを再生するステップは、トーンを再生するステップを含むことを特徴とする請求項１０記載のコンピュータ実行方法。
13. 上記刺激オーディオファイルを再生するステップは、刺激聴覚混合音を再生するステップを含むことを特徴とする請求項１０記載のコンピュータ実行方法。
14. 上記刺激聴覚混合音を再生するステップは、音素又は他の単語を構成するブロック音を再生するステップを含むことを特徴とする請求項１３記載のコンピュータ実行方法。
15. 上記単語画像のライブラリは、静止画像を含むことを特徴とする請求項１乃至１４のいずれか１項記載のコンピュータ実行方法。
16. 上記単語画像のライブラリは、ビデオクリップを含むことを特徴とする請求項１乃至１５のいずれか１項記載のコンピュータ実行方法。
17. コンピュータで読取可能なプログラムコードを有するコンピュータで使用可能な媒体を備えるコンピュータプログラムにおいて、
    上記コンピュータプログラムコードは、言語学習障害（ＬＬＤ）、言語学習欠陥（ＬＬＩ）及び一般な学習障害（ＬＤ）被験者の言語及び音声を発達させるコンピュータ実行方法を実装するために実行し、
    上記コンピュータ実行方法は、
    上記被験者に教える概念を選択するステップと、
    上記概念を表すビデオクリップを、上記被験者に表示するステップと、
    上記ビデオクリップから抽出した概念を表す静止画像を、上記被験者に表示するステップと、
    上記静止画像とともに、該静止画像によって表される概念を記述した１つの単語と、該概念を記述しない１つ以上のおとり単語とからなる複数の単語を、上記被験者に表示するステップと、
    単語毎に、単語を表す単語画像のライブラリを書き込むステップと、
    上記静止画像と比較するために上記被験者の要求により、上記ライブラリから１つ以上の単語画像を読み出し、該読み出した１つ以上の単語画像を表示するステップと、
    上記被験者から、単語のうちの１つを上記静止画像に組み合わせる入力を受信するステップとを有するコンピュータプログラム。
18. 上記コンピュータ実行方法は、
    口頭で表現する単語の視覚的実演を含む、上記教える概念を記述した単語のビデオクリップを表示するステップを更に有する請求項１７記載のコンピュータプログラム。
19. 上記コンピュータ実行方法は、
    上記口頭で表現する単語の視覚的実演の口頭表現をまねようとしている上記被験者のビデオを撮影するステップと、
    上記口頭で表現をまねようとしている被験者のビデオを再生するステップとを更に有する請求項１８記載のコンピュータプログラム。
20. 上記口頭表現をまねようとしている被験者のビデオは、上記口頭で表現する単語のビデオクリップと同時に再生されることを特徴とする請求項１９記載のコンピュータプログラム。
21. 上記コンピュータ実行方法は、
    口頭で表現する単語の視覚的実演を含み、上記教える概念を記述した単語のビデオを表示するステップと、
    １つの話し単語と、他のおとり単語とからなる、テキストから選択した複数の単語を表示するステップと、
    上記被験者から、上記テキストの単語のうちの１つを上記口頭で表現する単語のビデオに組み合わせる入力を受信するステップとを更に有する請求項１７乃至２０のいずれか１項記載のコンピュータプログラム。
22. 上記コンピュータ実行方法は、
    上記テキストから選択した単語毎に、単語を表す音声コンテンツを有するビデオのライブラリを書き込むステップと、
    上記口頭で表現する単語のビデオと比較するために上記被験者の要求により、上記ライブラリから、上記音声コンテンツを有する１つ以上のビデオを読み出し、該読み出した１つ以上のビデオを表示するステップを更に有する請求項２１記載のコンピュータプログラム。
23. 上記ビデオのライブラリは、上記選択され、書き込まれた単語に対応する単語を表す一文字を含むことを特徴とする請求項２２記載のコンピュータプログラム。
24. 上記ビデオのライブラリは、上記選択された単語のそれぞれを表す複数の文字を含むことを特徴とする請求項２２記載のコンピュータプログラム。
25. 上記コンピュータ実行方法は、
    上記被験者に教える概念を表す静止画像を上記被験者に表示するステップと、
    上記静止画像とともに、該静止画像によって表される概念を記述した１つの単語と、該概念を記述しない１つ以上のおとり単語とからなる複数の単語を上記被験者に表示するステップと、
    上記被験者から、上記表示された単語のうちの１つを上記静止画像に適合させる口頭応答を受信するステップとを更に有する請求項１７乃至２４のいずれか１項記載のコンピュータプログラム。
26. 上記コンピュータ実行方法は、
    刺激オーディオファイルを再生するステップと、
    関連するオーディオファイルをそれぞれ有する複数の静止画像を表示するステップと、
    上記被験者から、上記複数の静止画像のうちの１つと、それに対応するオーディオファイルとを、上記刺激オーディオファイルに組み合わせる入力を受信するステップとを更に有し、
    上記複数の静止画像のうちの１つは、上記刺激オーディオファイルに対応していることを特徴とする請求項１７乃至２５のいずれか１項記載のコンピュータプログラム。
27. 上記刺激オーディオファイルを再生するステップは、サウンドトラックを再生するステップを含むことを特徴とする請求項２６記載のコンピュータプログラム。
28. 上記刺激オーディオファイルを再生するステップは、トーンを再生するステップを含むことを特徴とする請求項２６記載のコンピュータプログラム。
29. 上記刺激オーディオファイルを再生するステップは、刺激聴覚混合音を再生するステップを含むことを特徴とする請求項２６記載のコンピュータプログラム。
30. 上記刺激聴覚混合音を再生するステップは、音素又は他の単語を構成するブロック音を再生するステップを含むことを特徴とする請求項２９記載のコンピュータプログラム。
31. 上記単語画像のライブラリは、静止画像を含むことを特徴とする請求項１７乃至３０のいずれか１項記載のコンピュータプログラム。
32. 上記単語画像のライブラリは、ビデオクリップを含むことを特徴とする請求項１７乃至３１のいずれか１項記載のコンピュータプログラム。
33. 言語学習障害及び一般な学習障害の被験者の言語及び音声を発達させる方法において、
    教える概念の第１の形式の表現を表示するステップと、
    上記教える概念の１つの他の表現を含む第２の形式の複数の表現を表示するステップと、
    上記教える概念の第１の形式の表現と、上記教える概念の第２の形式の他の表現間の関連を、上記被験者に判定させるステップとを有する方法。
34. 上記教える概念の第１の形式の表現と教える概念の第２の形式の他の表現間の関連を被験者に判定させるステップは、
    上記第１の形式の複数の表現を含むとともに、上記第２の形式の他の表現と関連した表現のライブラリにアクセスするステップと、
    上記ライブラリ内の第１の形式の表現を、上記概念の第１の形式の表現と比較するステップと、
    上記ライブラリ内の表現が、上記概念の第１の形式の表現に対応するかどうかを判定し、それによって、上記教える概念の第１の形式の表現と上記教える概念の第２の形式の他の表現間の関連を判定するステップとを有することを特徴とする請求項３３記載の方法。
35. 上記教える概念の第１の形式の表現は、静止画像の形式で表示されることを特徴とする請求項３３又は３４記載の方法。
36. 上記教える概念の第１の形式の表現は、ビデオの形式で表示されることを特徴とする請求項３３又は３４記載の方法。
37. 上記教える概念の第１の形式の表現は、オーディオ形式で提示されることを特徴とする請求項３３又は３４記載の方法。
38. 上記第２の形式の他の表現は、テキスト単語の形式で表示されることを特徴とする請求項３５乃至３７のうちいずれか１項記載の方法。
39. 上記第２の形式の他の表現は、静止画像の形式で表示されることを特徴とする請求項３７記載の方法。
40. 上記教える概念の一連の表現は、複数の異なる形式で表示され、上記被験者は、該教える概念の一連の表現によって、関連を形成する請求項３３乃至３９のうちいずれか１項記載の方法。
41. 上記教える概念の一連の表現は、次第により抽象的になり、
    上記一連の表現のうちの最初の表現は、上記教える概念で最も具体的な表現であり、
    上記一連の表現のうちの最後の表現は、最も抽象的な表現であることを特徴とする請求項４０記載の方法。
42. 上記一連の表現のうちの最初の表現は、（ｉ）ビデオ表現であり、上記一連の表現のうちの次第に抽象的になる表現は、（ｉｉ）絵画表現、（ｉｉｉ）テキスト単語表現、（ｉｖ）口頭言語生成表現及び（ｖ）受容的な口語表現のうちの１つ以上であることを特徴とする請求項４１記載の方法。

Images