JP2022525341A - 聴覚障害者のための触覚的および視覚的意思疎通システム - Google Patents

Abstract

意思疎通方法は、話し言葉を理解する方法を聴覚障害ユーザに教授するように構成された発語訓練デバイスを提供する工程を含む。方法はさらに、触覚出力デバイスを聴覚障害ユーザに提供する工程を含み、触覚出力デバイスは聴覚障害ユーザに結合される。触覚出力デバイスは、聴覚障害ユーザに向けられた、非聴覚障害者からの発語入力を受け取り、触覚的感覚を聴覚障害ユーザに提供する。意思疎通方法はまた、聴覚障害者に発語方法を教授し、非聴覚障害ユーザに外国語を話す方法を教授することができる。意思疎通方法は、ユーザの発語をモデル発語と比較する工程、比較に関するフィードバックをユーザに提供する工程、およびユーザの発語がモデル発語と一致するまで繰り返す工程を含む。TIFF2022525341000002.tif145170

Description

関連出願の相互参照
本出願は、実質的に全体として参照により本明細書に組み入れられる、2019年3月14日に出願された米国特許出願第16/354,033号への優先権を主張する。

技術分野
本発明は意思疎通システムに関する。より具体的には、本発明は、非外科的に実現することができる、聴覚障害者が使用するための意思疎通システムに関する。

背景
聴覚障害者は、従来から、聞くことができる一般の人々と意思疎通を図ることが困難であった。聴覚障害者の間で意思疎通を図るために、手話が発明され、聴覚障害者は、手話を知っている他の人とで会話を進める場合には、唇を読んだり、無理に話そうとしたりする必要がなくなった。しかし、一般の人々の大多数は手話を知らない、または理解しないため、聴覚障害者が健聴者と意思疎通を図るのは依然として困難である。

最近の技術進歩は、聴覚障害者が聞くことを可能にし、手話の必要性を排除するデバイスを提供することを目的としている。そのようなデバイスの1つが人工内耳である。これは、聴覚を部分的に回復させる電子デバイスであり、内耳損傷のせいで聞くことができない人々にとって実現性のある選択肢であるといえる。人工内耳は、耳の聴覚機構をバイパスし、音声信号を直に聴神経に送ることによって作動する。人工内耳は、一部の聴覚障害者には恩恵をもたらし得るが、法外な価格になることもあり（例えば30,000ドル～50,000ドル）、対象者は、デバイスを埋め込むための外科的処置を受けなければならない。現在、健聴者との意思疎通を改善するための非外科的選択肢は少ない。例えば、読唇術、手話、キュードスピーチ、指文字など。しかし、非外科的選択肢は、健聴者と効果的に意思疎通する能力を聴覚障害者に提供するものではない。

概要
聴覚障害者意思疎通のための触覚出力デバイスは、命令を記憶するように構成された1つまたは複数のメモリデバイスを含み、該命令は、1つまたは複数のプロセッサ上で実行されると、1つまたは複数のプロセッサをして、
人によって発された可聴情報を発語入力信号として認識させ、
発語入力信号をエンコードさせ、可聴情報を触覚情報と相関させるコードに基づいて発語入力信号を可聴情報から触覚情報へと変換させ、
触覚情報に基づいて触覚信号を出力させ、
触覚信号を受け取るように、かつ、触覚出力デバイスを装用するユーザに触覚信号に基づく触覚的感覚を提供するように構成された、アクチュエータを起動させる。

聴覚障害者意思疎通のための発語訓練デバイスは、命令を記憶するように構成された1つまたは複数のメモリデバイスを含み、該命令は、1つまたは複数のプロセッサ上で実行されると、1つまたは複数のプロセッサをして、
聴覚障害者によって発された障害のある発語を発語入力信号として受け取らせ、
発語入力信号をモデル発語信号と比較させ、発語入力信号がモデル発語信号に実質的に類似しているかどうかを判定させ、
発語入力信号がモデル発語信号に実質的に類似していないならば、発語入力信号を、矯正された発語信号へと変更させる（矯正は、モデル発語との発語の比較を含む）。

聴覚障害者意思疎通のための意思疎通方法は、聴覚障害ユーザに発語方法を教授するように構成された発語訓練デバイスを聴覚障害ユーザに提供する工程を含む。方法はさらに、聴覚障害ユーザに解放可能に結合されるように構成された触覚出力デバイスを聴覚障害ユーザに提供する工程を含む。触覚出力デバイスは、聴覚障害ユーザに向けられた、非聴覚障害者からの発語入力を受け取り、触覚出力信号をアクチュエータに提供する。アクチュエータは、触覚出力デバイスと電気的に連絡しており、触覚出力信号に応答して作動し、アクチュエータの作動が聴覚障害ユーザに触覚的感覚を提供する。

本開示の前記および他の特徴は、以下の詳細な説明および特許請求の範囲を添付図面と併せて読むことにより、より完全に明らかになるであろう。これらの図面は、本開示のいくつかの実施のみを示し、したがって、その範囲を限定するものとはみなされないという理解の上、本開示を、添付図面の使用を通して、さらに具体的かつ詳細に説明する。以下、必ずしも一定の縮尺で描かれていない添付図面を参照しながら本出願の例示的態様を単なる実例として説明する。

健聴者が聴覚障害者との意思疎通を試みる図である。 特定の態様の意思疎通システムのブロック図である。 特定の態様にしたがって触覚出力を聴覚障害ユーザに提供する方法の流れ図である。 図2の触覚出力デバイスを使用して健聴者が聴覚障害者との意思疎通を試みる図である。 聴覚障害者が健聴者との意思疎通を試みる図である。 特定の態様のもう1つの意思疎通システムのブロック図である。 特定の態様にしたがって、正しい発音を使用するよう聴覚障害者を訓練する方法の流れ図である。 特定の態様にしたがって、練習する音のカテゴリーを選択するようユーザを促す、図6の意思疎通システムのユーザインタフェースの図である。 特定の態様にしたがって、練習する特定の音を選択するようユーザを促す、図6の意思疎通システムのユーザインタフェースの図である。 特定の態様にしたがって、選択された音のための正しい舌の配置を伝える、図6の意思疎通システムのユーザインタフェースの図である。 特定の態様にしたがって、矯正をユーザを伝える、図6の意思疎通システムのユーザインタフェースの図である。 特定の態様にしたがって、以前の音を習得したのち、練習する別の音のカテゴリーを選択するようユーザを促す、図6の意思疎通システムのユーザインタフェースの図である。

詳細な説明
概観
概して図面を参照すると、健聴者と聴覚障害者との間の意思疎通を提供するためのシステムおよび方法が示されている。本明細書に記載される健聴者とは、補聴器を用いて、または用いずに音を聞くことができる人である。通常、健聴者は、-10～90デシベルの聴力レベル（dBHL）の範囲の音を聞くことができ、それは、その範囲の音を少なくとも50％の割合で検出することができることを意味する。聴覚障害者とは、補聴器を装用しているときでも90dBHLよりも低い音を聞くことができない人である。様々な態様にしたがって、触覚出力デバイスは、健聴者または別の聴覚障害者との意思疎通を提供するために、聴覚障害者によって装用される。触覚出力デバイスは、健聴者からの発語に基づく発語入力信号を受け取って、その発語入力信号を触覚出力信号へと変換するように構成されている。触覚出力信号は、触覚出力デバイスに結合されたアクチュエータと通信するように構成されている。アクチュエータは、触覚出力デバイスによって受け取られた発語入力信号に対応する触覚的感覚を聴覚障害者に提供する。その触覚的感覚に基づいて、聴覚障害者は、健聴者からの発語を理解することができる。

他の態様にしたがって、発語訓練デバイスは、聴覚障害者により、音および単語を発音する方法を学習するために使用される。発語訓練デバイスは、発語に対応する音を創出するための正しい舌およびあごの配置に関する指導を聴覚障害者に提供するように構成されている。発語訓練デバイスは、聴覚障害者が発語音を創出しようとする試行に基づいて、聴覚障害者から発語入力信号を受け取る。発語訓練デバイスは、発語入力信号または発語音を、健聴者によって発されたモデル発語と比較することによって聴覚障害者の発語を解析し、発語を矯正する必要があるかどうかを判定する。本明細書中で使用される語「モデル発語」とは、単語および音の正しい発音を示す、健聴者によって発された発語音を指す。発語が矯正される必要があるならば、発語訓練デバイスは、発語音がモデル発語に実質的に類似するまで聴覚障害者が発語音を練習することができるような視覚的合図を聴覚障害者に提供する。

他の態様にしたがって、聴覚障害者は、従来の支援技術（例えば補聴器、人工内耳または他の支援技術）を使用することなく、健聴者と意思疎通することができる。発語訓練デバイスを使用することによって発語の学習に成功した聴覚障害者は、従来の支援技術の代わりに触覚出力デバイスを装用する。したがって、聴覚障害者は、触覚出力デバイスによって提供される触覚的感覚に基づいて話し言葉を理解することができる。聴覚障害者は、話し言葉を理解し、かつ適切な発音で発語することができるため、健聴者と効果的に意思疎通することができる。

触覚出力デバイス
図1は、健聴者102が聴覚障害者104との意思疎通を試みる図である。健聴者102が聴覚障害者104に挨拶すると、健聴者102からの音は聴覚障害者104の耳106に達するが、聴覚障害者には聞こえないため、健聴者102による挨拶は、聴覚障害者104の脳によって処理されることはできない。そのようなものとして、聴覚障害者104は、健聴者102が言っていることを理解することができない。

図2は、特定の態様の意思疎通システム200のブロック図である。意思疎通システム200は、触覚出力デバイス202、プロセッサ204、メモリ206、入力信号220およびユーザ222を含む。メモリ206は、特徴抽出器208、発語デコーダ210、触覚エンコーダ214、触覚出力信号発生器216およびアクチュエータ218を含む。

触覚出力デバイス202は、ユーザ222がそれを装用しているとき触覚的感覚をユーザ222に提供するように構成されている、ユーザ222が体の一部に（例えば腕、脚、手首などに）装着することができる装置である。触覚出力デバイス202は、アクチュエータ218とユーザ222の皮膚との間の接触を維持するための多種多様な方法でユーザ222によって装着されることができる。例えば、接触は、フック＆ループ結合、接着剤結合、弾性継手および他の結合によって維持することができる。

プロセッサ204は、汎用もしくは専用プロセッサ、特定用途向け集積回路（ASIC）、1つまたは複数のフィールドプログラマブルゲートアレイ（FPGA）、処理コンポーネントの群または他の適当な処理コンポーネントであることができる。プロセッサ204は、メモリ206に記憶された、または他のコンピュータ可読媒体（例えばCD-ROM、ネットワークストレージ、リモートサーバなど）から受け取られたコンピュータコードまたは命令を実行するように構成されている。

メモリ206は、本開示に記載される様々なプロセスを完了および／または促進するためのデータおよび／またはコンピュータコードを記憶するための1つまたは複数のデバイス（例えばメモリユニット、メモリデバイス、ストレージデバイスなど）を含むことができる。メモリ206は、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、ハードドライブストレージ、一時ストレージ、不揮発性メモリ、フラッシュメモリ、光学メモリまたはソフトウェアオブジェクトおよび／またはコンピュータ命令を記憶するための任意の他の適当なメモリを含むことができる。メモリ206は、データベースコンポーネント、オブジェクトコードコンポーネント、スクリプトコンポーネントまたは本開示に記載される様々な活動および情報構造をサポートするための任意の他のタイプの情報構造を含むことができる。メモリ206は、プロセッサ204に通信可能に接続されることができ、本明細書に記載される1つまたは複数のプロセスを実行する（例えば、プロセッサ204によって）ためのコンピュータコードを含むことができる。プロセッサ204がメモリ206に記憶された命令を実行するとき、プロセッサ204は一般に、そのような活動を完了させるように触覚出力デバイス202を構成する。

入力信号220は、特徴抽出器208によって受け取られることができるような、触覚出力デバイス202の近くで生成された任意の音であることができる。入力信号220の非限定的な例は、人の発語、人の感情的な音（例えば笑い声、泣き声、叫び声または他の感情的な音）、動物の音、交通音（例えば警笛音、ブレーキのきしみまたは他の交通音）および即時の応答または特別な注意を要し得る音（例えばサイレン、銃声、建物倒壊音または他のそのような音）を含む。

特徴抽出器208は、入力信号220を受け取って、受け取った音を区別するように構成されている。例えば、特徴抽出器208は、人の発語、イヌの吠え声および警笛音を含む音の組み合わせを受け取り得る。特徴抽出器208は、関連する音を識別し、さらなる解析のために音声信号を発語デコーダ210に提供する。いくつかの態様において、特徴抽出器208は、人の発語音のみを発語デコーダ210に提供する。他の態様において、特徴抽出器208は、様々なカテゴリー（例えば人の発語、人間の感情、交通音または他の識別子カテゴリー）のすべての音を発語デコーダ210に提供する。特徴抽出器208は、多種多様な公知の技術を使用して音波を対応するデジタル表現へと変換することにより、これを達成する。そのような技術の非限定的な例は、メル周波数ケプストラム係数（MFCC）、ウェーブレット、知覚的線形予測（PLP）などを含む。

発語デコーダ210は、特徴抽出器208から音声信号を受け取って、その音声信号が表すものを決定するように構成されている。例えば、特徴抽出器208は、発語音声信号によって表される単語および交通音信号によって表される交通音を決定する。発語デコーダ210は、音声信号を既知の音声モデルと比較することによって音声信号のソースおよびタイプを識別する。例えば、交通音信号を既知の交通音モデル（例えば警笛音、サイレン、ブレーキのきしみなど）と比較して、その交通音信号によって表される可能性がもっとも高い音を決定する。もう1つの例として、発語音声信号を既知の言語モデル（例えば英語、スペイン語、ロシア語など）と比較して、その発語音声信号によって表される可能性がもっとも高い単語を決定する。加えて、発語デコーダ210は、他の解析、例えばなまり解析を含んでもよい。例えば、発語音声信号は、話者が英語を話してはいるが、アイルランドなまりで話していることを示し得る。発語デコーダ210は、同じ言語内のなまりをも区別して、発語音声信号によって表される可能性が最も高い単語を決定することができる。さらに、発語デコーダ210は、1つの語彙目録を使用して話された単語が異なる語彙目録を使用して話された単語に等しいかどうかを判定することができる。例えば、発語デコーダ210は、話者が英国人であると判定するが、単語をアメリカ英語にデコードするようにプログラムされているならば、発語デコーダは、英国人話者によって話された単語「football」をアメリカ英語における単語「soccer」としてデコードし得る。

触覚エンコーダ214は、デコードされた音を発語デコーダ210から受け取り、触覚アルゴリズムを使用して、デコードされた音をエンコードするように構成されている。1つの態様において、デコードされた音は、触覚エンコーダ214により、ASCII（American Standard Code for Information Interchange）システムを使用してエンコードされることができる。ASCIIシステムは、文字および数字を7つの二進ビットの組み合わせへと変換し、各文字および数字が7つのビットの固有の組み合わせによって表されるようにする。例えば、ASCIIシステムにおける文字「n」は二進数の組み合わせ「110 1110」によって表される。

他の態様において、デコードされた発語は、ASCIIシステム（128文字を提供する）よりも少ないビットを有する類似のシステムを使用してエンコードされることができる。理由は、ASCIIシステムは、大文字および省くことができる他の制御文字を考慮するからである。例えば、6つのビットを組み込む二進システムは64の文字を提供する。大部分の言語はアルファベット中に35よりも少ない文字しか有しないため、64文字は、文字、数字および聴覚障害者に提供されなければならない他の音を考慮するのに十分といえる。例えば、車の警笛音は、健聴者には無意味である文字または文字および数字の特定の組み合わせ（例えば「acegij」）としてエンコードされ得る。聴覚障害者が、触覚的感覚によって表される車の警笛のための「単語」（例えば「acegij」）を知覚すると、聴覚障害者は、車が警笛を鳴らしているため、周りを見るべきであることを知る。加えて、笑い声、鳴き声などの音声もまた同様にエンコードされることができ、聴覚障害者は身の周りを完全に知覚することができるようになる。

いくつかのアレンジメントにおいて、触覚エンコーダ214は、モールス符号などのコードを使用して、デコードされた発語をエンコードすることができ、文字および数字は、ビットの組み合わせの代わりに、短い触覚信号と長い触覚信号との組み合わせによって表されることになる。例えば、モールス符号における文字「o」は「---」によって表される。

いくつかの実施において、触覚エンコーダ214は、触覚出力デバイス202のために特異的に設計された代替二進コードを使用することにより、デコードされた発語をエンコードすることができる。代替二進コードは、最大効率のために、ASCIIタイプシステムに含まれる不要なコンポーネントを排除するために設計されることができる。例えば、代替二進コードは、大文字と小文字との間の区別を排除し得る。もう1つの例として、代替二進コードは、滅多に使用されない句読点、例えばセミコロンまたはバックスラッシュを排除し得る。不必要なコンポーネントを排除することにより、代替二進コードのいくつかの順列が音に割り当てられて、将来、所望により、音をコードに割り当てる能力を提供する。

触覚出力信号発生器216は、エンコードされた触覚語および音を受け取るように、かつ、エンコードされた触覚語および音に基づいて、アクチュエータ218に送られる触覚出力信号を創出するように構成されている。例えば、触覚出力信号発生器216は、エンコードされた触覚語「hi」を受け取り得る。触覚出力信号発生器216は、触覚出力信号を創出して、アクチュエータ218をして、ユーザが「hi」として理解するであろう触覚的感覚をユーザに送らせることができる。一例として6ビットシステムを使用すると、触覚出力信号発生器216は、アクチュエータ218に提供するための6ビット信号「100001 100010」を創出することができる。

アクチュエータ218は、触覚出力信号発生器216から触覚出力信号を受け取って、触覚的感覚をユーザ222に提供するように構成されている。アクチュエータ218は、触覚的感覚を提供することができる多種多様なデバイスまたはシステムであることができる。いくつかの態様において、触覚的感覚は振動感覚である。他の態様において、触覚的感覚は電気感覚（例えば非常に低い電圧）である。アクチュエータ218の非限定的な例は、偏心回転質量（ERM）、線形共振アクチュエータ（LRA）、圧電体などを含む。アクチュエータ218は、ユーザのための触覚的感覚をアクチュエータ218が創出するように、触覚出力デバイス202に結合され、それに沿って配置される。いくつかの態様において、アクチュエータ218は、実質的に類似するアクチュエータ218のセットを含み得る。例えば、デコードされた発語が6ビットシステムに基づくならば、ユーザが各アクチュエータ218によって別々に提供される感覚を区別することができるような十分な間隔で6つのアクチュエータ218が触覚出力デバイス202中に配置される。したがって、ユーザはまた、同時に起動されるアクチュエータ218のグループを区別することができ、ユーザは、提供される触覚的感覚によってどの文字、数字または他の音が表されているのかを理解することができるようになる。他の態様において、アクチュエータ218は単一のアクチュエータである。例えば、デコードされた発語がモールス符号に基づくならば、モールス符号に対応する触覚的感覚を提供するための単一のアクチュエータ218が必要である。

いくつかのアレンジメントにおいて、ユーザは、触覚出力デバイス202からユーザへの送信速度を上げるオプションを有する。前記のように、触覚出力デバイス202は、話されている単語の文字を表す触覚的感覚をユーザに提供する。そのようなものとして、ユーザは、話されている単語を一文字ごと理解する。しかし、話されている単語が触覚的感覚によって聴覚障害ユーザに提供される速度を上げるために、触覚出力デバイス202は、文字ベースの変換の代わりに音声的変換に基づく触覚的感覚を提供することができる。例えば、単語「what」を一文字ごと変換するとき、聴覚障害ユーザは、それぞれが単語「what」の一文字に対応する4つの触覚的感覚を受け取る。しかし、「what」の音声に基づく触覚的感覚を提供すると、ユーザに提供される触覚的感覚の数を減らすことができる。例えば、触覚出力デバイスは、「wut」に対応する3つの触覚的感覚を提供することができる。理由は、音声学的に発音されるとき、「wut」は「what」と同様に聞こえるからである。そのようなものとして、触覚出力デバイス202は、音声伝達を提供するとき、より少ない触覚的感覚を聴覚障害ユーザに提供し、ひいては伝達の速度を上げることができる。

図3は、特定の態様にしたがって触覚出力を聴覚障害ユーザに提供する方法300の流れ図である。方法300は、図2の触覚出力デバイスのプロセッサ204によって一部が実施されることができる。

302で、ユーザは、触覚コードを理解するように訓練を受ける。触覚出力デバイス202を使用することによって意思疎通する前に、ユーザは、触覚出力デバイス202によって提供される触覚言語に堪能にならなければならない。したがって、ユーザは、触覚的感覚を理解することができるようないくらかの訓練を受けなければならない。1つの態様において、訓練は教室ベースの訓練を含むことができ、その場合、ユーザは、触覚出力デバイス202を装用し、触覚語を教室環境で理解することを学ぶ。もう1つの態様にしたがって、訓練はアプリケーションベースの訓練を含むことができ、その場合、触覚出力デバイス202がスマートフォン上のアプリケーションと協働して、ユーザが、触覚出力デバイス202によって提供される触覚的感覚を解釈する方法を学ぶことができるようにする。

304で、触覚発語認識デバイスを取り付ける。例えば、訓練用触覚出力デバイス202による訓練を完了したのち、ユーザは、新たな触覚出力デバイス202を使用のために提供される。そして、ユーザは、その触覚出力デバイス202を体の所望の位置（例えば上腕、手首、肩など）に取り付けて、触覚出力デバイス202が入力信号220を受け取り、アクチュエータ218がユーザ222と接触して、ユーザが、アクチュエータ218によって提供される触覚的感覚を感じることができるようにする。

306で、入力信号を受け取る。特徴抽出器208が発語信号を非発語信号から分離する。例えば、入力信号220は単語およびイヌの吠え声を含むことがあり、特徴抽出器208は、さらなる処理に備えて2つの音を異なるカテゴリーに分類することができる。

308で、入力信号をデコードする。特徴抽出器208は、音声信号を発語デコーダ210に提供して、発語デコーダ210が、任意の他の雑音とともに、話者がどの単語を使用していたのかを決定することができる。例えば、発語デコーダ210は、話者によって話された単語と吠え声雑音の両方をデコードし得る。

310で、触覚出力信号をエンコードする。前記のように、触覚エンコーダ214は、使用される触覚アルゴリズム（例えば6ビットエンコーディング、モールス符号など）に基づいて、単語および音を触覚言語へと変換する。

312で、触覚出力信号をアクチュエータに提供する。触覚出力信号発生器216は、エンコードされた触覚語および／または音を触覚エンコーダ214から受け取り、エンコードされた単語および／または音に基づいて触覚信号を生成する。

314で、ユーザに対して触覚出力を作動させる。例えば、アクチュエータ218は、触覚出力信号発生器216から触覚信号を受け取って、その触覚信号に基づく触覚的感覚をユーザ222に提供する。

図4は、図2の触覚出力デバイス202を使用して健聴者が聴覚障害者との意思疎通を試みる図である。図4は図1に類似しているが、図4中、聴覚障害者は触覚出力デバイス202を装用している。健聴者102が聴覚障害者104に挨拶すると、上記のように触覚出力デバイス202がその挨拶を触覚出力へと変換する。したがって、聴覚障害者104は、触覚出力デバイス202によって聴覚障害者104に提供される触覚的感覚に基づいて健聴者102を理解することができる。

発語訓練システム
図5は、聴覚障害者502が健聴者504との意思疎通を試みる図である。他の態様において、聴覚障害者502が別の聴覚障害者との意思疎通を試みることもある。聴覚障害者502が健聴者504に挨拶しても、健聴者504は聴覚障害者502を理解することができない。理由は、聴覚障害者502は、健聴者504が理解することができるように正しく単語を発音することができないからである。

図6は、特定の態様の意思疎通システム600の図である。意思疎通システム600は、発語訓練システム602、プロセッサ604、メモリ606、入力信号624、ユーザデバイス620およびユーザ622を含む。メモリ606はさらに、特徴抽出器608、発語デコーダ610、発語比較器614、発語矯正プランナ616および発語矯正ファシリテータ618を含む。

発語訓練システム602は、聴覚障害者が発語によって意思疎通することができるよう、単語を正しく発音する方法を聴覚障害者に教授するように構成されている。図示するように、発語訓練システム602は、ユーザデバイス620とは別個のコンポーネントであるが、他の態様において、発語訓練システム602はユーザデバイス620内に組み込まれることもできる。

プロセッサ604は、汎用もしくは専用プロセッサ、特定用途向け集積回路（ASIC）、1つまたは複数のフィールドプログラマブルゲートアレイ（FPGA）、処理コンポーネントの群または他の適当な処理コンポーネントであることができる。プロセッサ604は、メモリ606に記憶された、または他のコンピュータ可読媒体（例えばCD-ROM、ネットワークストレージ、リモートサーバなど）から受け取られたコンピュータコードまたは命令を実行するように構成されている。

メモリ606は、本開示に記載される様々なプロセスを完了および／または促進するためのデータおよび／またはコンピュータコードを記憶するための1つまたは複数のデバイス（例えばメモリユニット、メモリデバイス、ストレージデバイスなど）を含むことができる。メモリ606は、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、ハードドライブストレージ、一時ストレージ、不揮発性メモリ、フラッシュメモリ、光学メモリまたはソフトウェアオブジェクトおよび／またはコンピュータ命令を記憶するための任意の他の適当なメモリを含むことができる。メモリ606は、データベースコンポーネント、オブジェクトコードコンポーネント、スクリプトコンポーネントまたは本開示に記載される様々な活動および情報構造をサポートするための任意の他のタイプの情報構造を含むことができる。メモリ606は、プロセッサ604に通信可能に接続されることができ、本明細書に記載される1つまたは複数のプロセスを実行する（例えば、プロセッサ604によって）ためのコンピュータコードを含むことができる。プロセッサ604がメモリ606に記憶された命令を実行するとき、プロセッサ604は一般に、そのような活動を完了させるように発語訓練システム602を構成する。

入力信号624は、特徴抽出器608によって受け取られることができるような、発語訓練システム602の近くでユーザ622によって生成された任意の音であることができる。入力信号624の非限定的な例は、人の発語、人の感情（例えば笑い声、泣き声など）を含む。

特徴抽出器608は、入力信号624を受け取って、受け取った音を区別するように構成されている。例えば、特徴抽出器608は、アルファベットの様々な文字に対応する発語音声信号を受け取り得る。特徴抽出器608は、どの発語音声信号がどの文字に対応するのかを決定し、さらなる解析のために発語音声信号を発語デコーダ610に提供する。特徴抽出器608は、任意の公知の技術を使用して音波を対応するデジタル表現へと変換することにより、これを達成する。そのような技術の非限定的な例は、メル周波数ケプストラム係数（MFCC）、ウェーブレット、知覚的線形予測（PLP）などを含む。

発語デコーダ610は、特徴抽出器608から発語音声信号を受け取って、その発語音声信号によって表される音を決定するように構成されている。発語デコーダ610は、発語音声信号を既知の言語モデル（例えば英語、スペイン語、ロシア語など）と比較して、その発語音声信号によって表される可能性がもっとも高い音を決定することにより、これを達成する。加えて、発語デコーダ610は、発語音声信号によって表される可能性がもっとも高い音を決定するための他の解析、例えばなまり解析を含んでもよい。例えば、発語音声信号は、話者が英語を話してはいるが、アイルランドなまりで話していることを示し得る。発語デコーダ610は、同じ言語内のなまりをも区別して、発語音声信号によって表される可能性が最も高い音を決定することができる。

発語比較器614は、デコードされた発語音声信号を発語デコーダ610から受け取るように、かつ、デコードされた発語音声信号を既知の発語音声信号（例えばモデル発語信号）と比較するように、構成されている。発語比較器614は、異なる言語、なまり、語彙目録などのための既知の発語音声信号（例えば母音音声信号、単語音声信号など）のデータベースを含み得、デコードされた発語音声信号を既知の音声信号と比較して、デコードされた発語音声信号が既知の音声信号に実質的に類似している（例えば、完全一致の20％以内）かどうかを判定することができるようになっている。

発語矯正プランナ616は、デコードされた発語音声信号と既知の発語音声信号との比較を発語比較器614から受け取るように構成されている。デコードされた発語音声信号が既知の音声信号に実質的に類似していないならば、発語矯正プランナ616はさらに、デコードされた発語音声信号を既知の音声信号に実質的に類似させるためにユーザが取らなければならない工程を決定するように構成されている。そして、発語矯正プランナ616は、必要な工程（例えば矯正プラン）を発語矯正ファシリテータ618に提供する。

発語矯正ファシリテータ618は、発語矯正プランナ616から矯正プランを受け取って、その矯正プランが、ユーザデバイス620が矯正プランを受け取るのに適切なフォーマットにあることを保証するように構成されている。ユーザデバイスは、発語矯正ファシリテータ618から矯正プランを受け取って、その矯正プランをユーザ622に送ることができる任意のデバイスであり得る。ユーザデバイス620の非限定的な例は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルデバイス（例えば携帯電話、スマートウォッチ）、スマートテレビなどを含む。発語矯正プランナ616のディスプレイが図8～12に関して以下さらに詳細に説明される。

図7は、特定の態様にしたがって、正しい発音を使用するよう聴覚障害者を訓練する方法700の流れ図である。方法700は、プロセッサ604によって一部が実施されることができる。

702で、発語訓練システム602を起動する。例えば、1つの態様において、発語訓練システム602は、ユーザデバイス620にロードされたアプリケーションであり得る。ユーザ622は、発語訓練システム602のアイコンを選択することにより、発語訓練システム602を起動する。他の態様において、発語訓練システム602は、ユーザが作動または起動させる、ユーザデバイス620なしでユーザ622と通信する独立型システムである。

704で、ある音を発音したいというリクエストを受ける。例えば、ユーザ622は、発語訓練システム602と対話することにより、特定の音を発音したいという希望を発語訓練システム602に送る。1つの態様において、ユーザ622は、ユーザデバイス620の画面上のアイコンを選択して、ある音を発音したいという希望を発語訓練システム602に知らせる。

706で、選択された音に適切なマウスポジションが示される。例えば、ユーザ622は、特定の文字を発音することを望み、上記のようにその特定の文字を選択し得る。すると、発語訓練システム602は、その音を正しく発するための正しいマウスポジションの画像をユーザ622に提供する。本明細書に記載される「マウスポジション」とは、唇、舌、あご、口腔、喉頭、鼻腔の他の要素の位置、吸息および呼息の強さならびに音の生成に関与するすべての随意制御される要素を指す。

708で、試行された発音を受け取る。例えば、正しいマウスポジションを確認したのち、ユーザ622は、その音を発音するよう促される。ユーザ622は、正しいマウスポジションを模倣し、発音を試行し、その試行が入力信号624として特徴抽出器608によって受け取られる。特徴抽出器608は、前記のように関連する音声信号を抽出し、その音声信号を発語デコーダ610に提供して音声信号をデコードする。

710で、正しい発音に関して判定を下す。例えば、デコードされた音声信号が発語デコーダ610から発語比較器614に送られる。発語比較器614は、デコードされた音声信号を既知の音声信号と比較して、デコードされた音声信号が既知の音声信号に実質的に類似しているかどうかを判定する。既知の音声信号に実質的に類似するとの判定は、発音が既知の音声信号に実質的に類似している（例えば、完全一致の20％以内）かどうか、および／またはタイミング（例えば発語の調子）が既知の音声信号に実質的に類似している（例えば、完全一致の20以内）かどうかを含むことができる。710で、デコードされた音声信号が既知の音声信号に実質的に類似しているならば、試行は成功であり、ユーザ622はその旨を通知され、ブロック712で別の音を練習するよう促される。710で、デコードされた音声信号が既知の音声信号に実質的に類似していないならば、発語矯正プランナ616が正しいマウスポジションを発語矯正ファシリテータ618に提供し、その音を再び発しようとする前に正しいマウスポジションが確認のためにユーザ622に提供される。

図8は、特定の態様にしたがって、練習する音のカテゴリーを選択するようユーザを促す、図6の発語訓練システム602のユーザインタフェースの図である。図示するように、ユーザデバイス620はディスプレイ802を含む。ディスプレイ802はプロンプト804およびボタン806～812を含む。いくつかの態様において、発語訓練システム602を起動すると、プロンプト804およびボタン806～812が表示される。他の態様において、プロンプト804を提供する前に、発語訓練システムは、教授が提供される言語（例えば英語、スペイン語など）を選択する能力をユーザ622に提供する。次に、ユーザ622は、ボタン806～812の1つを選択することにより、練習する音を決定する。ユーザは、ボタン806を選択することにより、母音（例えば「a」、「e」、「i」、「o」、「u」）を練習することを選択することができる。ユーザは、ボタン810を選択することにより、子音（例えば「b」、「c」、「d」など）を練習することを選択することができる。ユーザは、ボタン810を選択することにより、混成音（blend）（例えば「ch」、「th」、「fl」など）を練習することを選択することができる。ユーザは、ボタン812を選択することにより、単語音（例えば「the」、「for」、「how」など）を練習することを選択することができる。選択されたならば、図7の方法700に類似する方法が実現され得る。

図9は、練習する特定の音を選択するようユーザを促す、図6の発語訓練システム602のユーザインタフェースの図である。図示するように、ディスプレイ802はプロンプト902およびボタン904～912を含む。いくつかの態様において、ユーザ622は、母音を練習することを選択し、プロンプト902によって促されて、練習する母音を選択し得る。ユーザ622は、所望の母音に対応するボタン904～912の1つを選択することにより、特定の母音を練習することを選択することができる。例えば、ユーザ622が母音「a」を練習することを望むならば、ユーザ622はボタン904を選択する。

図10は、選択された音の正しいマウスポジションを伝える、図6の発語訓練システム602のユーザインタフェースの図である。図示するように、ディスプレイ802はプロンプト1002、画像1006および録音ボタン1004を含む。画像1006は、舌1008、あご1012、上唇1010および下唇1014を含む。いくつかの態様において、練習する所望の音を選択したのち、ユーザ622は、プロンプト1002により、その音を発するよう促される。発音を試みる前に、ユーザは、発音に成功するための舌1008、あご1012、上唇1010および下唇1014の適切な配置を示す画像1006をよく見る。画像1006を注視したのち、ユーザ622は、その音を発したときのユーザ622の音が入力信号624として記録されるよう、録音ボタン1004を押す。録音ボタン1004を押したのち、ユーザ622は、発音を試み、次いで録音ボタン1004を再び押して録音を止める。録音された音は入力信号624として特徴抽出器608に提供され、上記のように、特徴抽出器が発語信号を発語デコーダ610に提供することができるようになる。

いくつかの態様において、画像1006は、ユーザがマウスポジションを維持すべきである時間の長さを示す動画であることもできる。例えば、ユーザは、「a」音の一般的な持続期間を知らないかもしれない。動画は、適切な音を創出するためには「a」音のためのマウスポジションを指定の期間だけ保持するようユーザに教授することができる。加えて、「a」音をさらに「長音a」、「短音a」などに分けて、これらの音の長さの違いを把握させることもできる。

図11は、矯正をユーザに伝える、図6の発語訓練システム602のユーザインタフェースの図である。図示するように、ディスプレイ802はプロンプト1102、画像1006および録音ボタン1004を含む。いくつかの態様において、ユーザ622が所望の音を発する試みを録音したのち、発語比較器614は、ユーザ622によって録音された音が既知の音に実質的に類似していないと判定する。したがって、発語矯正プランナ616および発語矯正ファシリテータ618は、所望の音を発するための正しいマウスポジションを示すための画像1006をユーザ622に提示する。いくつかの態様において、ユーザ622が誤った発音のマウスポジションを正しい発音のためのマウスポジションと比較することができるように、ユーザ622は、誤った発音をしたときのユーザ622のマウスポジションに対応するさらなる画像を提供される。ユーザ622は、録音された音が既知の音に実質的に類似せず、もう一度その音を録音する試行を実施すべきであることをプロンプト1102によって通知される。いくつかの実施において、さらなる画像は、音を矯正する方法に関する特定の教授と組み合わされることもできる。例えば、発語矯正ファシリテータ618は、ユーザ622のマウスポジションを正しいマウスポジションと比較する画像をユーザに提供し、「舌が喉に近すぎました。画像のように舌を前方に動かし、もう一度やってください」などの教授を提供することができる。舌1008、あご1012、上唇1010および下唇1014の正しい配置を学んだのち、ユーザ622は、録音ボタン1004を再び押して、所望の音を発する試みが録音され、入力信号624として特徴抽出器608に提供されるようにする。このプロセスは、ユーザ622が正しく発音することができるまで継続する。いくつかの態様において、ユーザ622は、完璧に発音することができるまで何度も練習する必要があるかもしれない。そのような態様において、発語矯正ファシリテータ618は、ユーザ622の進歩をグラフィカルに示すための支援をユーザ622に提供し得る。例えば、グラフが、正しい舌の配置とユーザ622による実際の舌の配置との間の距離を示してもよい。ユーザ622は、グラフを参照し、次の試行に備えて修正を加えることができ、発語矯正ファシリテータ618は、正しい舌の配置と比較して両試行を示すようにグラフを更新する。ユーザ622は、わずかな修正を加えたのちグラフを見ることにより、どれくらい舌を動かすのかを見ることができる。そして、ユーザ622は、ユーザ622の舌の配置が、発語矯正ファシリテータ618によって示される正しい舌の配置と一致するまで、音を繰り返し練習することができる。

図12は、特定の態様にしたがって、以前の音を習得したのち、練習する別の音のカテゴリーを選択するようユーザを促す、図6の発語訓練システム602のユーザインタフェースの図である。図示するように、ディスプレイ802はプロンプト1202およびボタン806～812を含む。いくつかの態様において、ユーザ622が所望の音を発する試みを録音したのち、発語比較器614が、ユーザ622によって録音された音が既知の音に実質的に類似しており、ユーザ622がその音を習得したと判定する。したがって、発語訓練システム602は、所望の音を発しようとした試みが成功であったことをユーザ622に通知するプロンプト1202を、ユーザ622に提供する。プロンプト1202は、他の音の練習を続ける能力をユーザ622に提供し、ユーザ622は、新たな音を練習するためにボタン806～812のいずれかを選択することができる。

発語訓練システム602は、発語方法を聴覚障害者に教授することに関して記載されているが、1つの態様において、発語訓練システム602はまた、感情を表す方法を聴覚障害者に教授することもできる。舌、唇、あごおよび歯の位置の各組み合わせが発語時に特有の音を発するための特有の口腔を創出するように、感情を表す（例えば笑う、泣く、叫ぶ、など）ときにも、様々な組み合わせが特有の音を発する。例えば、発語訓練システム602は、ディスプレイ802上で正しいマウスポジションを聴覚障害者に示すことにより、健聴者が笑うような笑い方を聴覚障害者に教授することができる。

もう1つの態様にしたがって、発語訓練システム602は、外国語を正しく話す方法を健聴者に教授するために使用することができる。例えば、スペイン語会話を学ぶ健聴者は、「巻き舌のr」音を発するための正しいマウスポジションを発語訓練システム602によって示されることができる。もう1つの例として、フランス語会話を学ぶ健聴者は、「喉音のr」音を発するための正しいマウスポジションを発語訓練システム602によって示されることができる。

聴覚障害者意思疎通
上記システムおよび方法は、健聴者と聴覚障害者との間または2人の聴覚障害者の間の意思疎通を促進するために使用することができる。例えば、手話、読唇術などを使用せずに健聴者と聴覚障害者との間の意思疎通を促進するために、聴覚障害者は、触覚出力デバイス202と発語訓練システム602の両方を組み込む。聴覚障害者は、前記のように、発語訓練システム602を使用して、文字、音および単語を正しく発音することを学習する。さらに、聴覚障害者は、触覚出力デバイス202からの触覚的感覚を言語として解釈する方法を学習する。したがって、聴覚障害者が健聴者と意思疎通を図ろうとするとき、意思疎通に伴う以前の難題は克服される。例えば、健聴者が、聴覚障害者と会い、「hello, how are you?」と言って聴覚障害者に挨拶する場合がある。触覚出力デバイス202は、上記のように、入力信号を受け取り、挨拶に対応する触覚的感覚を聴覚障害者に提供する。聴覚障害者はその触覚的感覚を解釈し、健聴者が言ったことを理解する。聴覚障害者は、効果的な意思疎通のために単語を正しく発音する方法を発語訓練システム602によって教授されているため、発語することによって応答することができる。健聴者は聴覚障害者を理解し、したがって2人は会話を続けることができる。

本明細書中で使用される語「実質的」および類似の語は、本開示の主題が関連する技術分野の当業者によって一般的かつ受け入れられている使用法と同調した広い意味を有することを意図したものである。本開示を考察する当業者は、これらの語が、記載され、特許請求される特定の特徴の説明を、それらの特徴の範囲を提供される正確な数値範囲に制限することなく、可能にすることを意図したものであることを理解するべきである。したがって、これらの語は、記載され、特許請求される主題の非実質的または非重要な修正または変更が、特許請求の範囲に記載される発明の範囲内であるとみなされることを示すものと解釈されるべきである。

いくつかの態様だけが本開示において詳細に説明されているが、本開示を考察する当業者は、本明細書に記載された主題の新規な教示および利点を実質的に逸脱することなく数多くの変更（例えば、様々な要素のサイズ、寸法、構造、形状および割合、パラメータの値、取り付けアレンジメント、材料使用、色、向きなどの変更）が可能であることを容易に理解するであろう。例えば、一体に形成されているように示された要素が複数の構成部品または要素で構成されてもよく、要素の位置が逆転または他のやり方で変更されてもよく、別々の要素または位置の性質または数が変更されてもよい。代替態様にしたがって任意の方法プロセスの順序が変更または再順序付けされてもよい。また、本発明の範囲を逸脱することなく、様々な例示的態様の設計、作動条件およびアレンジメントにおいて他の置換、改変、変更および省略が加えられてもよい。

Claims (20)

1. 聴覚障害者意思疎通のための触覚出力デバイスであって、
   1つまたは複数のプロセッサ上で実行されると、該1つまたは複数のプロセッサをして、
   人によって発された可聴情報を発語入力信号として認識させ；
   該発語入力信号をエンコードさせて、可聴情報を触覚情報と相関させるコードに基づいて該発語入力信号を可聴情報から触覚情報へと変換させ；
   該触覚情報に基づいて触覚信号を出力させ；
   該触覚信号を受け取るように、かつ、該触覚出力デバイスを装用するユーザに該触覚信号に基づく触覚的感覚を提供するように構成されたアクチュエータを起動させる、
   命令
   を記憶するように構成された1つまたは複数のメモリデバイスを含む、触覚出力デバイス。
2. 前記命令が、前記1つまたは複数のプロセッサをして、前記発語入力信号から、発語音および非発語音を含む特徴を抽出させる、請求項1記載の触覚出力デバイス。
3. 前記命令が、前記1つまたは複数のプロセッサをして、前記特徴をデコードさせ、前記発語音を前記非発語音から分離させる、請求項2記載の触覚出力デバイス。
4. 前記命令が、前記アクチュエータをして、振動触覚的感覚を提供させる、請求項1記載の触覚出力デバイス。
5. 1つまたは複数の振動要素を含み、前記振動触覚的感覚が該1つまたは複数の振動要素によって提供される、請求項4記載の触覚出力デバイス。
6. 前記コードが、前記発語入力信号のモールス符号表現に基づく、請求項1記載の触覚出力デバイス。
7. 前記コードが、前記発語入力信号の二進数表現に基づく、請求項1記載の触覚出力デバイス。
8. 聴覚障害者意思疎通のための発語訓練デバイスであって、
   1つまたは複数のプロセッサ上で実行されると、該1つまたは複数のプロセッサをして、
   聴覚障害者によって発された障害のある発語を発語入力信号として受け取らせ；
   該発語入力信号をモデル発語信号と比較させ、該発語入力信号が該モデル発語信号に実質的に類似しているかどうかを判定させ；
   該発語入力信号が該モデル発語信号に実質的に類似していないならば、該発語入力信号を、該モデル発語信号との該発語入力信号の比較を含む矯正された発語信号へと変更させる、
   命令
   を記憶するように構成された1つまたは複数のメモリデバイスを含む、発語訓練デバイス。
9. 前記命令が、前記1つまたは複数のプロセッサをして、前記発語入力信号から、発語音を含む特徴を抽出させる、請求項8記載の発語訓練デバイス。
10. 前記命令が、前記1つまたは複数のプロセッサをして、前記発語音の前記特徴をデコードさせる、請求項9記載の発語訓練デバイス。
11. 前記命令が、前記1つまたは複数のプロセッサをして、前記発語入力信号と関連する誤ったマウスポジションおよび前記モデル発語信号と関連する正しいマウスポジションに対応している少なくとも1つの画像を決定させる、請求項8記載の発語訓練デバイス。
12. 前記命令が、前記1つまたは複数のプロセッサをして、前記少なくとも1つの画像をユーザデバイスに提供させる、請求項11記載の発語訓練デバイス。
13. 比較が、前記発語入力信号の誤ったタイミングを前記モデル発語信号の正しいタイミングと比較する少なくとも1つの画像を含む、請求項8記載の発語訓練デバイス。
14. 前記命令が、前記1つまたは複数のプロセッサをして、前記少なくとも1つの画像をユーザデバイスに提供させる、請求項13記載の発語訓練デバイス。
15. 以下の工程を含む、聴覚障害者意思疎通のための意思疎通方法：
    聴覚障害ユーザに発語方法を教授するように構成された発語訓練デバイスを該聴覚障害ユーザに提供する工程；
    聴覚障害ユーザに解放可能に結合されるように構成された触覚出力デバイスを該聴覚障害ユーザに提供する工程；
    該触覚出力デバイスにより、該聴覚障害ユーザに向けられた、非聴覚障害者からの発語入力を受け取る工程；
    該触覚出力デバイスにより、該触覚出力デバイスと電気的に連絡したアクチュエータに触覚出力信号を提供する工程；および
    該触覚出力信号に応答して該アクチュエータを作動させる工程であって、該アクチュエータの作動が該聴覚障害ユーザに触覚的感覚を提供する、工程。
16. 前記触覚出力デバイスが前記発語入力からの発語入力信号をデコードし、該デコードが、発語音を非発語音から分離することを含む、請求項15記載の意思疎通方法。
17. 前記デコードされた発語入力信号が、前記触覚出力信号を創出するようにエンコードされる、請求項16記載の意思疎通方法。
18. 提供される触覚的感覚が振動感覚である、請求項17記載の意思疎通方法。
19. 提供される触覚的感覚が電気感覚である、請求項17記載の意思疎通方法。
20. 前記発語訓練デバイスが、正しい発音を容易にするための正しいマウスポジションの画像を聴覚障害ユーザに提供するように構成されている、請求項15記載の意思疎通方法。

Images