JP2013061369A - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Abstract

【課題】従来に比べて家庭での構音訓練を効率的に行うことができる情報処理装置を提供する。
【解決手段】参照音声波形表示窓１０２は、訓練対象の語に対応する参照音声波形が表示される。マイク入力音声波形表示窓１０４は、マイク１７で収音した音声を解析して取得した音声波形が表示される。口形表示窓１０３には、訓練対象の語に対応する手本動画またはカメラ１９で撮影した患者自身の口の動画が表示される。患者は、参照音声波形表示窓１０２に表示される参照音声波形およびマイク入力音声波形表示窓１０４に表示される自身の音声波形を確認しつつ、口形の動画も確認することで、視覚的なフィードバックが得られるため、指導者の直接指導を受けている場合に近い練習を行うことができ、従来よりも効率的に構音訓練を行うことができる。
【選択図】図２

Description

この発明は、情報処理装置に関し、特に構音障害の治療補助を行うものに関する。

口唇口蓋裂症は、構音障害を生じさせることがある。当該構音障害は、言語聴覚士等の指導者による直接の構音指導、および家庭での反復練習（指導者から指示された内容の発音を繰り返し行うこと）によって治療される。構音障害の治療では、患者毎に必要な構音訓練の内容が異なる。そこで、家庭での反復練習は、指導者により、患者個々人に応じた様々な内容が指示される。家庭での反復練習を補助するものとしては、例えば非特許文献１に示されるシステムがある。非特許文献１のシステムは、患者自身が自宅のパーソナルコンピュータ（以下、ＰＣと言う。）に専用のソフトウェアをインストールし、インターネットを介して指導者が症例に適合する課題をｅ−ｍａｉｌで送信し、患者が実施、回答するようにしたものである。

音声言語医学、Ｐ２３、第４６回日本音声言語医学会総会＜ポスター演題＞第８群高次機能２、E-mailを利用した在宅言語訓練の試み-○×問題訓練ソフト「とっくんちゃん」の応用-、近畿大学医学部耳鼻咽喉科 近畿大学奈良病院耳鼻咽喉科、２００２年１月

構音障害の治療は、家庭において適切な反復練習を行うこと（正しい発音を繰り返すこと）が非常に重要である。しかし、家庭では、正しい発音であったか否かを患者自身が確認することができず、指導者による構音訓練と同様の環境を再現することは困難であった。非特許文献１においても、遠隔で課題および回答を送受信可能にしたものであって、家庭において指導者による構音訓練と同様の環境を再現することはできなかった。

そこで、この発明は、従来に比べて家庭での構音訓練を効率的に行うことができる情報処理装置を提供することを目的とする。

本発明の情報処理装置は、音声を収音するマイクと、所定の構音に対応する参照音声波形を記憶する記憶手段と、画像を表示する表示手段と、前記マイクで収音した音声の波形を取得し、当該取得した音声の波形、前記参照音声波形、および前記所定の構音に対応する口形の画像、を前記表示手段に表示させる制御手段と、を備えたことを特徴とする。

このように、本発明の情報処理装置は、手本となる参照音声波形とマイクで収音した患者自身の音声波形とを表示するとともに、訓練対象の構音を表す口形の画像を表示する。これにより、患者は、聴覚的なフィードバックだけでなく、視覚的なフィードバックが得られるため、言語聴覚士によって直接指導を受けている場合に近い構音訓練を家庭で行うことができ、従来よりも効率的に構音訓練を行うことができる。

また、本発明の情報処理装置は、画像を撮影する撮影手段をさらに備え、前記口形の画像は、前記参照音声波形に対応する構音の口形の画像と、前記撮影手段で撮影した画像と、を含む態様も可能である。

この場合、患者は、自身の口形を手本と比較することができ、より効率的な構音訓練を行うことができる。

また、制御手段は、前記参照音声波形と前記口形の画像を同期させて表示させる態様も可能である。例えば、横軸を時間、縦軸をレベルで表示した音声波形に対し、時間経過に応じて移動するインジケータを表示するとともに、口形の画像を変化させる。この様な構成により、患者は、複数語から構成された単語のうち、各語について、音声波形と口の動きの関係を容易に把握することができ、さらに効率的な構音訓練を行うことができる。

また、制御手段は、訓練部分の表示形態を他の部分の表示形態と異なる形態で表示させることが好ましい。この様な構成により、複数語から構成された単語のうち一語を訓練部分とする場合（例えば「あいす」という単語において「す」を訓練部分とする場合等）において、一連の発音の中でも訓練対象の語を容易に把握することができ、さらに効率的な構音訓練を行うことができる。

さらに、上記本発明の情報処理装置と、情報処理装置に接続される管理装置と、を備えた情報処理システムを実現する場合において、当該情報処理装置が構音訓練の履歴を記録する記録手段を備え、管理装置が接続された前記情報処理装置から前記履歴を受信するログ受信手段を備える態様とすることも可能である。構音訓練の履歴としては、例えば、訓練日時、訓練対象の語（再生した参照音声）、患者の発音を録音した音声データ、等である。

この場合、患者が通院した際に病院に設置された管理装置（サーバ）で、患者が自宅で行った構音訓練の履歴を確認することができる。したがって、言語聴覚士等の指導者が定期的に患者の練習履歴を確認することができ、適切な治療を実現することができる。

なお、本発明は、マイク、記憶手段および表示手段を備えた情報処理装置に上記制御部の動作と同様の動作を実行させるプログラムとしても実現可能である。

この発明の情報処理装置によれば、従来に比べて家庭での構音訓練を効率的に行うことができる。

本実施形態の情報処理装置の構成を示すブロック図である。 表示部１２に表示する画面の例を示す図である。 口形並列表示モードの一例を示す図である。 インジケータ１１１を表示する例を示す図である。 訓練対象の強調表示を行う例を示す図である。 メッセージ例を示す図である。 制御部１１の動作を示すフローチャートである。

図１（Ａ）は、本発明の情報処理装置の実施形態に係るタブレット形端末の構成を示すブロック図であり、図１（Ｂ）は同タブレット形端末の外観図である。

タブレット形端末１は、図１（Ｂ）に示すように、外観上、タッチパネル液晶等からなる表示部１２（ユーザＩ／Ｆ１３）、カメラ１９、マイク１７、およびスピーカ１８を備えた携帯型の情報処理装置である。また、タブレット形端末１は、図１（Ａ）に示すように、表示部１２、ユーザＩ／Ｆ１３、カメラ１９、マイク１７、およびスピーカ１８に接続される制御部１１と、ネットワークＩ／Ｆ１４と、ＲＯＭ１５と、ＲＡＭ１６と、を備えている。

制御部１１は、タブレット形端末１を統括的に制御するものであり、ＲＯＭ１５に記憶されている各種プログラムをＲＡＭ１６に展開することで種々の動作を行う。制御部１１は、構音障害の治療を補助するための構音訓練アプリケーションプログラム（以下、構音訓練用ソフトと言う。）を実行する。

構音訓練用ソフトは、ＲＯＭ１５に記憶されている。制御部１１は、本発明の制御手段に対応し、ＲＯＭ１５に記憶されている構音訓練用ソフトをＲＡＭ１６に展開し、以下のような機能を実現する。すなわち、制御部１１は、カメラ（本発明の撮影手段）１９を用いた撮影機能、マイク１７を用いた録音機能、スピーカ１８を用いた音声再生機能、マイク１７で収音した音声の時間軸波形を取得する波形取得機能、および当該波形を表示部（本発明の表示手段）１２に表示する表示機能を実現する。

音声再生機能は、患者の手本となる音声（参照音声）の音声データや録音した音声データを再生し、スピーカ１８から出力する。参照音声の音声データは、構音訓練用ソフトとともにＲＯＭ１５に記憶されている。また、表示機能は、参照音声の時間軸波形を、上記波形取得機能で取得した時間軸波形とともに表示する。さらに、ＲＯＭ１５には、各構音に対応する口形（歯や舌の動きを含むもの。）の画像データも記憶されている（ＲＯＭ１５は、本発明の記憶手段に対応する）。制御部１１は、表示機能において、表示部１２に口形の動画も表示する。また、制御部１１は、表示機能において、カメラ１９で撮影した画像（静止画および動画を含む。）も表示する。

このように、構音訓練用ソフトでは、手本となる参照音声波形とマイクで収音した患者自身の音声波形とを表示するとともに、訓練対象の構音を表す口形の動画やカメラ１９で撮影した画像を表示することで、患者は、聴覚的なフィードバックだけでなく、視覚的なフィードバックが得られるため、言語聴覚士等の指導者によって直接指導を受けている場合に近い構音訓練を家庭で行うことができ、従来よりも効率的に構音訓練を行うことができる。

以下、表示部１２に表示される具体的な表示内容、および制御部１１の動作について説明する。図２は、表示部１２に表示される画面の例を示す図である。患者がタッチパネルからなるユーザＩ／Ｆ１３を操作し、構音訓練用ソフトを立ち上げると、図２（Ａ）に示す画面が表示される。

図２（Ａ）の画面の上欄には、訓練対象となる課題音の一覧（摩擦音、破裂音、破擦音等）が表示されている。患者がこれら課題音の一覧のうちいずれか１つ（例えば摩擦音）を選択すると、画面の下欄に、選択された課題音（この例では摩擦音）の中で訓練すべき単語の一覧が表示される。患者が訓練を行う単語を選択すると、画面上欄右側に参照音声波形が表示される。

構音訓練用ソフトでは、図２（Ａ）で示した例以外にも多数の課題音がＲＯＭ１５に記憶されているが、構音障害の治療では、患者毎に必要な構音訓練の内容が異なる。一般に、構音訓練の内容は、言語聴覚士等の指導者が決定する。そこで、構音訓練用ソフトでは、指導者が各タブレット形端末１を操作して、患者毎に訓練対象となる課題音を選び、家庭で行う反復練習の内容を決定する。患者は、通院時に指導者からタブレット形端末１を受け取り、指導者が選んだ課題音を家庭で反復練習する。

図２（Ａ）に示した画面において、患者が画面下欄右側の「練習画面を開く」と表示された箇所を選択すると、図２（Ｂ）に示すような練習画面が表示される。

練習画面は、訓練対象単語表示窓１０１、参照音声波形表示窓１０２、口形表示窓１０３、マイク入力音声波形表示窓１０４、メッセージ表示窓１０５、再生アイコン１０６、録音アイコン１０７、連絡帳アイコン１０８、およびその他の操作用アイコン等により構成されている。

画面中央上欄の訓練対象単語表示窓１０１には、構音訓練の対象となる語が表示される。図２（Ｂ）の例では、単音節の「す」が選択され、「す」の１文字だけが表示されているが、他にも訓練対象となる語が先頭となる語頭単語（例えば「すいか」等）、訓練対象となる語が間にくる語中単語（例えば「なすび」等）、訓練対象となる語が後尾となる語尾単語（例えば「あいす」等）、あるいは短文等が選択される場合もある。

参照音声波形表示窓１０２は、選択された訓練対象の語に対応する参照音声波形（時間軸波形）１０２Ａが表示される。参照音声波形表示窓１０２は、横軸が時間、縦軸がレベル（振幅）に対応している。なお、本実施形態では、時間軸波形を表示する例を示しているが、周波数軸波形を表示する態様も可能である。参照音声波形１０２Ａは、ＲＯＭ１５に画像データとして記憶され、制御部１１がＲＯＭ１５から読み出すようにしているが、制御部１１が参照音声の音声データを都度解析（レベル検出等）して画像データを生成するようにしてもよい。

マイク入力音声波形表示窓１０４は、音声波形（時間軸波形）１０４Ａが表示される。音声波形１０４Ａは、制御部１１がマイク１７で収音した音声を解析して取得したものであり、画像データとして生成されたものである。マイク入力音声波形表示窓１０４においても、横軸が時間、縦軸がレベル（振幅）に対応している。なお、マイク入力音声波形表示窓１０４においても、周波数軸波形を表示する態様も可能である。

なお、参照音声波形表示窓１０２は、参照音声波形１０２Ａが固定画像として表示されているが、マイク入力音声波形表示窓１０４は、最も右側の箇所が最新の音声（現時点でマイク１７に入力されている音声）波形に対応し、左側に進むにつれて過去の入力音声に対応する波形が表示されるようになっている。ただし、参照音声波形１０２Ａについても同様に、最も右側の箇所が最新の音声（現時点でスピーカ１８から出力されている音声）波形に対応し、左側に進むにつれて過去の出力音声に対応する波形が表示されるようになっていてもよい。また、参照音声波形表示窓１０２およびマイク入力音声波形表示窓１０４は、同じ時間軸スケールおよびレベルスケールとなっているが、異なっていてもよい。あるいは、患者がユーザＩ／Ｆ１３を操作することにより、スケールが変更されるようにしてもよい。ただし、同じスケールであれば、図２（Ｂ）に示すように、参照音声波形表示窓１０２およびマイク入力音声波形表示窓１０４を縦に並べて表示することで、参照音声波形１０２Ａと患者自身の音声波形１０４Ａをより比較し易くなる。

患者は、訓練対象単語表示窓１０１に表示されている訓練対象の語を発音し、音声波形１０４Ａが、参照音声波形１０２Ａと同じになるように、繰り返し練習することで、構音訓練を行う。特に、さ行のように、比較的長時間大きい振幅が続く子音の場合、参照音声波形１０２Ａと患者自身の音声波形１０４Ａを対比しながら繰り返し発音を繰り返すことは、効果が大きい。

また、口形表示窓１０３には、口形の画像（この例では動画）が表示される。図２（Ｂ）に示す口形の画像は、選択された訓練対象の語に対応する手本動画（患者の手本となる動画であり、ＲＯＭ１５に記憶された画像データ）が表示されている。患者が手本動画の再生指示を行うと（例えば、図中右上のヘッドフォンアイコンを選択すると）、制御部１１がＲＯＭ１５に記憶されている画像データを再生し、口形表示窓１０３に表示する。なお、このときに制御部１１は、選択されている訓練対象の語に対応する音声データを再生し、スピーカ１８から出力する。なお、口形の画像は、動画に限らず静止画であってもよい。

患者は、再生された音声を聞きながら、訓練対象の語を発音し、口形表示窓１０３に表示される手本動画と同じ口の動きになるように、繰り返し練習することで構音訓練を行う。

また、口形表示窓１０３には、カメラ１９で撮影した患者自身の口の画像（この例では動画）を表示することも可能である。さらに、口形表示窓１０３には、図３に示すように、参照音声波形に対応する動画１０３Ａと、カメラ１９で撮影した動画１０３Ｂとを並列表示することも可能である。この場合、患者は、自身の口の動きを手本動画の口の動きと比較しながら構音訓練を行うことができる。

以上のように、患者は、手本となる参照音声や録音した音声を聞きながら練習する聴覚的なフィードバックだけでなく、参照音声波形１０２Ａおよび音声波形１０４Ａを確認しつつ、口形の動画も確認することで、視覚的なフィードバックが得られるため、指導者によって直接指導を受けている場合に近い構音訓練を家庭で行うことができ、従来よりも効率的に構音訓練を行うことができる。

なお、制御部１１は、患者が録音アイコン１０７を選択すると、マイク１７で収音した音声を録音し、内蔵のＲＯＭ１５に記憶する。図２（Ｂ）および図３に示したように、録音アイコン１０７は、複数（この例では４つ）表示されており、録音アイコン１０７毎に個別の音声を録音することができるようになっている。制御部１１は、録音が完了すると、選択された録音アイコン１０７に対応する再生アイコン１０６を強調表示する。例えば、図３の例では、上欄の再生アイコン１０６Ａおよびその下欄の再生アイコン１０６Ｂを強調表示し、録音音声を再生可能であることを示している。

次に、図４は、練習画面の応用例として、参照音声波形表示窓１０２にインジケータを表示する例を示す図である。上述のように、参照音声波形表示窓１０２には、選択された訓練対象の語に対応する参照音声波形（時間軸波形）が固定表示されているが、図４の例では、時間経過とともに左側から右側に移動するインジケータ１１１を表示する。このインジケータ１１１は、スピーカ１８から出力する音声に同期して移動表示される。これにより、複数の構音語からなる単語である場合でも、訓練対象となる構音（図４の例では、「あいす」に対して「す」）の音声波形がどの様なものであるか、容易に把握することができる。また、この場合、口形表示窓１０３に表示される手本動画は、インジケータ１１１に同期して変化するように表示される。これにより、患者は、複数語から構成された単語のうち、各語について、音声波形と口の動きの関係を容易に把握することができ、さらに効率的な構音訓練を行うことができる。なお、この例ではインジケータ１１１を移動させて参照音声波形と手本動画とを同期させる例を示しているが、上述のように、最も右側の箇所が最新の音声波形に対応し、左側に進むにつれて過去の出力音声に対応する参照音声波形を表示する場合は、この最も右側の箇所と手本動画のタイミングを一致させるようにすることでも参照音声波形と手本動画とを同期させることができる。

また、構音訓練用ソフトでは、訓練対象単語表示窓１０１に表示された単語のうち、構音訓練の対象となる語が他の語と異なる形態で強調して表示されるようになっている。例えば、図４の例では、「あいす」の単語のうち単音節の「す」の画像１１０が強調表示されている。また、図５に示すように、参照音声波形表示窓１０２に表示される参照音声波形についても、構音訓練の対象となる語に対応する波形１１５が、他の語に対応する波形とは異なる形態で強調して表示されるようにすることも可能である。

なお、参照音声波形は、全ての単語や短文毎に専用の画像データとしてＲＯＭ１５に記憶しておいてもよいが、構音毎の画像データだけを記憶しておき、単語や短文の音声波形を表示する場合には、各構音の画像データを読み出して合成することで表示するようにしてもよい。この場合、参照音声波形の画像データのデータ量を削減することができる。

なお、図２（Ｂ）等で示したように、構音訓練用ソフトにおいて表示される練習画面には、メッセージ表示窓１０５も存在する。このメッセージ表示窓１０５は、各構音訓練の対象となる語に応じたアドバイス等が予め表示されるようになっている。ただし、指導者が、各患者に対して個別にメッセージを予め入力し（あるいは定型文を選択し）、当該メッセージを表示することも可能である。

また、図２（Ｂ）においては、子どものキャラクター画像が大きく表示され、患者が子どもであることを想定し、子ども向けのアドバイスが表示されるようになっているが、例えば図６に示すように、保護者向けのメッセージが表示されるようにすることも可能である。

また、練習画面の下部には、連絡帳アイコン１０８が表示されている。患者がこの連絡帳アイコン１０８を選択すると、テキストエディタが起動され、患者がメッセージを入力することができるようになっている。特に、保護者は、構音訓練時に気づいたことや指導者へ伝えたいことなどをメモとして残すことができ、適切な治療を実現することができるようになっている。

次に、図７は、制御部１１の動作を示すフローチャートである。まず、制御部１１は、図２（Ａ）に示したメイン画面（課題音の一覧表示画面）において、患者が訓練対象とする課題音の選択を受け付ける（ｓ１１）。すると、制御部１１は、図２（Ｂ）に示した練習画面を表示し、選択された課題音の参照音声（音声データおよび波形画像）をＲＯＭ１５から読み出し（ｓ１２）、練習画面の訓練対象単語表示窓１０１に選択された課題音の語を表示するとともに参照音声波形表示窓１０２に参照音声波形を表示する（ｓ１３）。

その後、制御部１１は、口形単独表示モードが選択されたか、口形並列表示モードが選択されたかを確認する（ｓ１４）。口形単独表示モードは、図２（Ｂ）で示したように、口形表示窓１０３に参照音声波形に対応する手本動画のみ、またはカメラ１９で撮影した患者自身の口の画像（動画）のみを表示するモードである。口形単独表示モードが選択された場合、制御部１１は、口形単独表示モードで画像を表示する（ｓ１５）。口形並列表示モードは、図３で示したように、参照音声波形に対応する手本動画と、カメラ１９で撮影した患者自身の口の画像（動画）を並列表示するモードである。口形並列表示モードが選択された場合、制御部１１は、口形並列表示モードで画像を表示する（ｓ１６）。

その後、制御部１１は、録音アイコン１０７が選択されたか否かを確認する（ｓ１７）。制御部１１は、録音アイコン１０７が選択された場合、マイク１７で収音した音声を録音する録音処理を行うとともに、当該収音した音声の波形を取得する波形取得処理（波形取得ステップ）を行う（ｓ１８）。波形取得処理で取得された音声波形は、マイク入力音声波形表示窓１０４に表示される（ｓ１９）。以上のような訓練対象単語表示窓１０１への課題音の語の表示、参照音声波形表示窓１０２への参照音声波形の表示、およびマイク入力音声波形表示窓１０４への音声波形の表示が、本発明の表示ステップに対応する。

制御部１１は、録音上限時間を経過したか、または録音アイコン１０７が再び選択されたかを確認し（ｓ２０）、録音終了までｓ１８の録音処理およびｓ１９の波形取得処理を繰り返す。そして、制御部１１は、録音が終了した場合、ＲＯＭ１５に練習内容の履歴を記録する（ｓ２１）。これにより、制御部１１は、本発明の記録手段を実現する。履歴は、録音日時、選択された課題音を示す情報（課題音毎に割り当てられたＩＤ等）、録音した音声データ等が含まれる。なお、これらのデータ以外にも、例えばカメラ１９で撮影した患者自身の口の画像データや、録音した音声データから取得した音声波形、連絡帳アイコン１０８を選択して入力したメッセージ等が履歴に含まれていてもよい。

ＲＯＭ１５に記録された履歴は、例えば、指導者によって確認される。指導者は、患者が通院した際に、この履歴を確認することで、家庭で行われた練習内容を把握することができ、適切な治療を実現することができるようになっている。

また、当該履歴は、病院や訓練施設等に設置された管理装置（サーバ）に蓄積することも可能である。図１に示したように、タブレット形端末１は、ネットワークＩ／Ｆ１４を備えており、有線または無線ＬＡＮを介して各施設のサーバに接続可能となっている。サーバは、ネットワークＩ／Ｆ等の受信手段を介して、接続されたタブレット形端末１から履歴を受信し、当該履歴を内部のＨＤＤ等のストレージ（履歴蓄積手段）に記憶する。サーバに履歴を蓄積しておくことで、指導者はいつでも構音訓練の履歴を確認することができ、適切な治療を実現することができる。また、サーバに多数の履歴を蓄積することで、訓練内容と治療成果を解析することもでき、臨床、研究への応用も可能となる。

なお、サーバとの接続は、ネットワークＩ／Ｆ１４に限らず、ＵＳＢ等の他のインタフェースを用いてもよい。

図７に戻り、制御部１１は、ｓ１７の処理で録音アイコン１０７が選択されていないと判断した場合、再生アイコン１０６が選択されたか否かを確認する（ｓ２２）。再生アイコン１０６は、上述したように、録音アイコン１０７を選択して録音した場合に、当該選択された録音アイコン１０７に対応するものが強調表示され、当該強調表示されている再生アイコン１０６だけが選択可能になっている。

再生アイコン１０６も選択されていない場合には、ｓ１４の表示モード判断処理に戻る。再生アイコン１０６が選択された場合、制御部１１は、録音済の音声を再生する再生処理を実行する（ｓ２３）。再生処理は、上記履歴から音声データを再生し、スピーカ１８から音声を出力する処理である。なお、再生処理は、音声の出力以外にも、録音日時を表示したり、カメラ１９で撮影した患者自身の口の画像データを記録している場合には、当該口の動画を表示したり、録音した音声データから取得した音声波形を表示したりすることも可能である。

なお、本実施形態では、構音訓練用ソフトをタブレット形端末１に搭載する例を示したが、ノートＰＣ等の他の情報処理端末（マイク、記憶手段、表示手段を備えた情報処理装置）に搭載することも可能である。

なお、構音訓練用ソフトは、主に先天的な口唇口蓋裂症により生じた構音障害の治療目的で使用される。したがって、患者は、子どもであることが多く、構音訓練の反復練習のモチベーションを維持させることが重要となる。そこで、構音訓練用ソフトは、アミューズメント要素（ゲーム機能との連携）を搭載していることが望ましい。

アミューズメント要素としては、例えば以下のようなものが考えられる。すなわち、制御部１１は、練習画面において、子どもに好まれるキャラクターを表示する。キャラクターは、構音訓練用ソフト内のミニゲーム（ロールプレイングゲームやアクションゲーム等）で操作するキャラクターと連携していることが好ましい。そして、制御部１１は、構音訓練時にマイク１７で収音した患者の音声を解析し、参照音声波形とのマッチングを行う。マッチングは相互相関などの手法を用いて行われる。制御部１１は、マッチング度合いに応じた点数を算出する。表示部１２には、算出された点数に応じた経験値を表示し、反復練習を行うと経験値が蓄積されるようになる。そして、経験値がある一定の基準に達すると、表示部１２に表示されたキャラクターのレベルアップがなされる等、うまく発音することができればキャラクターの成長を促すことができ、反復練習のモチベーションを維持させることができる。

１…タブレット形端末
１１…制御部
１２…表示部
１３…ユーザＩ／Ｆ
１４…ネットワークＩ／Ｆ
１５…ＲＯＭ
１６…ＲＡＭ
１７…マイク
１８…スピーカ
１９…カメラ
１０２Ａ…参照音声波形
１０４Ａ…患者自身の音声波形
１０３Ａ…参照音声波形に対応する動画
１０３Ｂ…カメラ１９で撮影した動画
１１１…インジケータ

Claims (8)

1. 音声を収音するマイクと、
   所定の構音に対応する参照音声波形を記憶する記憶手段と、
   画像を表示する表示手段と、
   前記マイクで収音した音声の波形を取得し、当該取得した音声の波形、前記参照音声波形、および前記所定の構音に対応する口形の画像、を前記表示手段に表示させる制御手段と、
   を備えたことを特徴とする情報処理装置。
2. 画像を撮影する撮影手段をさらに備え、
   前記口形の画像は、前記参照音声波形に対応する構音の口形の画像と、前記撮影手段で撮影した画像と、を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記参照音声波形と前記口形の画像を同期させて表示させることを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記制御手段は、前記参照音声波形とともに、時間経過に応じて移動するインジケータを表示させることを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、前記参照音声波形のうち、構音訓練の対象となる部分の表示形態を他の部分の表示形態と異なる形態で表示させることを特徴とする請求項１ないし請求項４のいずれかに記載の情報処理装置。
6. 前記制御手段は、前記参照音声波形、および前記取得した音声の波形を、同一時間スケールで並行して表示させることを特徴とする請求項１ないし請求項５のいずれかに記載の情報処理装置。
7. 請求項１ないし請求項６のいずれかに記載の情報処理装置と、
   前記情報処理装置に接続される管理装置と、
   を備えた情報処理システムであって、
   前記情報処理装置は、構音訓練の履歴を記録する記録手段を備え、
   前記管理装置は、接続された前記情報処理装置から前記履歴を受信する受信手段と、
   前記履歴を蓄積する履歴蓄積手段と、
   を備えたことを特徴とする情報処理システム。
8. 音声を収音するマイクと、
   所定の構音に対応する参照音声波形を記憶する記憶手段と、
   画像を表示する表示手段と、
   を備えた情報処理装置に、
   前記マイクで収音した音声の波形を取得する波形取得ステップと、
   前記参照音声波形、前記波形取得ステップで取得した音声の波形、および前記所定の構音に対応する口形の画像、を前記表示手段に表示する表示ステップと、
   を実行させることを特徴とするプログラム。