以下、図面について、本発明の一実施の形態を詳述する。
1.実施の形態
1−1.言語療法システムの構成
図1に示すように、言語療法システム1は、複数のロボット10(ロボット10a及びロボット10b)と管理センタ12とを含んで構成されている。
ロボット10は、言語療法が行われる言語療法施設2a及び2bそれぞれに1台ずつ設置される。
言語療法施設2aに設置されたロボット10aは、複数人の患者P(患者Paのみ図示する)と、当該複数人の患者Pの言語療法の補助を行う言語聴覚士(以下では聴覚士と呼ぶ)Taとにより使用される。
言語療法施設2bに設置されたロボット10bは、複数人の患者P(患者Pbのみ図示する)と、当該複数人の患者Pの言語療法の補助を行う聴覚士Tbとにより使用される。
ロボット10a及び10bの管理情報は、サーバ13を有する管理センタ12によって管理される。管理センタ12は、サーバ13を介しロボット10a及び10bを互いに通信させる。
1−2.ロボットの構成
図2に示すように、ロボット10は全体として人間を模した構成を有し(これを言語療法ロボットと呼ぶ)、円錐台形状の胴体部22と球体状の頭部20とが連結されることにより構成されている。
頭部20は、頭部アクチュエータが内蔵されており、胴体部22の垂直軸VAとその垂直軸VAに直交する水平軸HAに関して決められた範囲で回転する。かくして、頭部20は左右と上下の2自由度で、決められた範囲内で回転する。
胴体部22の下部には左右にそれぞれ車輪24L及び24Rが取り付けられており、当該車輪24L及び24Rは独立して前後に回転する。以下では車輪24L及び24Rをまとめて車輪24とも呼ぶ。これによりロボット10は、前進、後退、旋回、信地旋回、超信地旋回等の動作を行うことができる。
胴体部22には、正面の中央部分に、人間が触れたことを感知する腹部タッチセンサ26が設けられている。当該腹部タッチセンサ26は、言語療法を行う際、患者Pの準備が完了して実際に言語療法を開始するために操作される。
また胴体部22には、背面の左右にそれぞれ左背中タッチセンサ28及び右背中タッチセンサ30が設けられている。当該左背中タッチセンサ28は、言語療法を行う際、患者Pが各種問題に解答した解答結果が正解であった場合に操作される。一方右背中タッチセンサ30は、患者Pの解答結果が不正解であった場合に操作される。
胴体部22における腹部タッチセンサ26の上部には、周囲の音声を集音する胴体部マイク32が設けられている。また胴体部22における腹部タッチセンサ26の下部には、音声を発生させるスピーカ34が左右に設けられている。
胴体部22における背面の下部には、ケーブルが接続される端子36が設けられている。
頭部20の上部には、人間が触れたことを感知する頭部タッチセンサ42が左右に設けられている。当該頭部タッチセンサ42は、言語療法が行われている際、当該言語療法の作業を終了するために操作される。
また頭部20には、右目及び左目に相当する位置において、周囲の状況を撮像するCCD(Charge Coupled Device)カメラ38が設けられている。
CCDカメラ38の上部には、周囲の音声を集音する頭部マイク40が設けられている。
またCCDカメラ38の下部であり、口に相当する位置には、複数のLED(Light Emitting Diode)44が二次元配列状に設けられている。
図3に示すように、ロボット10は、胴体部22に設けられた制御部50を中心として各部が接続された構成となっており、当該制御部50によって頭部20及び胴体部22を統括制御する。
制御部50は、CPU(Central Processing Unit)52が、各種プログラムが格納されたROM(Read Only Memory)54及びCPU52のワークエリアとして使用されるRAM(Random Access Memory)56にデータバス51を介して接続される。
これにより制御部50は、ROM54に格納されたアプリケーションプログラムを言語療法処理部57a、入出力動作処理部58及びデータ記憶処理部59にそれぞれ取り込ませることにより、ロボット10を用いた言語療法機能を実行する。
言語療法処理部57は、患者Pに示す問題情報を生成すると共に、問題に対し患者Pが解答した際、解答情報として取り込んで評価して記憶データを生成し、記憶部66に記憶させる。
さらに言語療法処理部57は、通信部64を介して他のロボット10へ音声信号等を送信すると共に、他のロボット10からの音声信号等を受信し、音声データを生成する。
入出力動作処理部58は、患者Pや聴覚士Tから指示命令が与えられたとき、対応する応答動作をロボット10が行う動作情報を生成する。また入出力動作処理部58は、入力情報がロボット10に与えられたとき、これを取り込んで対応する出力情報を生成する。
頭部タッチセンサ42、腹部タッチセンサ26、左背中タッチセンサ28又は右背中タッチセンサ30は、使用者(患者P及び聴覚士T)によるタッチ操作に応じた接触信号を制御部50に送出する。
頭部マイク40及び胴体部マイク32は、使用者からの指示命令を示す音声を含む周囲の音声を集音して得た音声信号を制御部50に送出する。
入出力動作処理部58は、頭部マイク40及び胴体部マイク32から受信した音声信号をデジタル変換した後に所定の方式でエンコードすることにより音声データを得て、当該音声データを音声認識することにより、使用者が発声した内容を認識する。
CCDカメラ38は、ロボット10周辺の人物や周囲の状況を撮像して得た画像信号を制御部50に送出する。
入出力動作処理部58は、CCDカメラ38から得た画像信号を画像処理することにより画像データを得て、聴覚士T及び患者Pの位置を認識する。
胴体部22には、端子36を介してケーブルによりモニタ14が接続されている。入出力動作処理部58は、各種画像データをモニタ14に出力することにより表示させる。
モニタ14にはタッチパネル15が組み込まれており、使用者は当該タッチパネル15が組み込まれたモニタ14を操作することにより、各種操作信号を制御部50に入力する。
このように入出力動作処理部58は、接触信号、操作信号、音声信号及び画像信号を取得することにより、周囲の状況及び使用者の指令を判断する。入出力動作処理部58は判断結果に基づいて次の行動を決定し、各部を駆動させる。
ロボット10自体を物理的に移動させる場合、入出力動作処理部58は、車輪アクチュエータ60を駆動することにより車輪24を回転させる。これにより入出力動作処理部58は、ロボット10を聴覚士Tや患者Pの方へ移動させ対面させたり、その場で回転させたりする。
また、頷く等の動作をロボット10に行わせる場合、入出力動作処理部58は、頭部アクチュエータ62を駆動することにより、胴体部22に対し頭部20を上下左右に回転させる。
さらに話す動作をロボット10に行わせる場合、入出力動作処理部58は、音声信号をスピーカ34に出力し音声を放音させる。
また、ロボット10の表情を変化させる場合、入出力動作処理部58は、複数のLED44の点灯パターンを制御する。
例えば、嬉しそうな態度を使用者に示す場合、入出力動作処理部58は、喜びモードでロボット10を行動させる。
具体的には、入出力動作処理部58は、LED44の点灯パターンを制御することにより、人間が笑っているときの口の形を示すと共に、車輪アクチュエータ60を駆動しロボット10を超信地旋回させることにより、喜んでいる態度を使用者に示す。
一方、悲しそう態度を使用者に示す場合、入出力動作処理部58は、悲しみモードでロボット10を行動させる。
具体的には、入出力動作処理部58は、LED44の点灯パターンを制御することにより、人間が悲しんでいるときの口の形を示すと共に、頭部アクチュエータ62を駆動し頭部20を左右に小さく往復させることにより、悲しんでいる態度を使用者に示す。
このようにロボット10は、周囲の状況等に基づき、移動する、頭部20を回転させる、話す、表情を変化させる等の、人間に模した行動を行う。
また言語療法処理部57は、管理センタ12を介し他者と会話する機能が使用者の指示により選択された場合、頭部マイク40及び胴体部マイク32から集音し得た音声信号をエンコードし、記憶部66に音声データとして記憶すると共に、当該音声データを通信部64へ送出する。
それと共に言語療法処理部57は、管理センタ12から通信部64により受信信号を受信する。
通信部64は、受信信号を所定の方式に従って復調等することにより受信データに変換し、これを言語療法処理部57へ送出する。言語療法処理部57は、当該受信データをデコードすることにより相手方の音声データを復元し、音声信号としてスピーカ34へ出力する。スピーカは音声信号を基に相手方の音声を出力する。
記憶部66は例えばフラッシュメモリでなり、図4に示す、患者Pに話させる例文の音声データが、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された例文ライブラリL1を記憶している。
例文は、難易度1の例文が「おはよう」等の短文でなり、難易度2の例文が「おはようございます。本日は……。」等の数行の文章でなり、難易度3の例文が「おはようございます。本日は……。……。」等の数十行の文章で構成されることにより、数字が大きくなるほど難易度が上がるように設定されている。
また記憶部66は、例文ライブラリL1に記憶されている例文を発音する際の模範的な発音を示す模範音声データを予め記憶している。
また記憶部66は、図5に示す、患者Pに解答させる問題文が、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された問題文ライブラリL2を記憶している。
問題文は、難易度1の問題文が「日本の首都はどこ?」等の問題でなり、難易度2の問題文が「今の総理大臣は誰?」等の問題でなり、難易度3の問題文が「大化の改新は何年?」等の問題で構成されることにより、数字が大きくなるほど難易度が上がるように設定されている。
また記憶部66は、問題文ライブラリL2の問題文に対する解答を予め記憶している。
さらに記憶部66は、図6に示す、複数の患者Pに対話形式で話させる定形会話文が、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された定型会話文ライブラリL3を記憶している。因みに、図6においては難易度1のみを示し、他は省略している。
定型会話文は、例文ライブラリL1及び問題文ライブラリL2と同様に、難易度の数字が大きくなるほど難易度が上がるように設定されている。
また記憶部66は、定型会話文ライブラリL3に記憶されている定型会話文を発音する際の模範的な発音を示す模範音声データを予め記憶している。
さらに記憶部66は、図7に示す、ロボット10を使用する複数の患者Pの解答結果等の各種データが日にち毎に区切ってまとめられたフォルダライブラリL4を記憶している。フォルダライブラリL4は、患者P毎のデータがまとめられた患者フォルダを複数個有している。因みに図7においては、ロボット10aを使用する「患者Pa」の患者フォルダのみを示している。
患者フォルダは、録音音声ライブラリ、問題解答ライブラリ、質問解答ライブラリ、発声持続時間ライブラリ、ディアトコ回数ライブラリ及び定型会話音声ライブラリにより構成されている。
録音音声ライブラリは、ロボット10aを使用する患者Pの音声データを、それぞれ当該音声データが記録された際の記録時点と対応付けて記憶している。
例えば録音音声ライブラリは、患者Paの「A1」というデータ名でなる音声データを、当該音声データが記録された日にち「2012年2月1日」と、当該日にち内での何回目の音声データかを示す「1回目」という記録時点と対応付けて記憶される。以下では、日にち及び当該日にち内での何回目かを示す情報を、記録時点と呼ぶ。
また録音音声ライブラリは、録音された患者Pの音声と、予め記憶されている模範音声との一致度を記憶している。
問題解答ライブラリは、ロボット10aが出題した問題に対しモニタ14をタッチして入力した患者Pの解答の正誤及び解答に要した時間を、それぞれ解答された際の日にち及び当該日にち内での何回目かを示す情報である解答時点と対応付けて記憶する。
例えば問題解答ライブラリは、「2012年2月1日1回目」に行われた問題が「難易度1、問題文1」であって、当該問題に対する患者Paの解答の正誤が「正解」であり、問題が出題されてから解答するまでに患者Paが要した解答時間が「30秒」であることを示している。
また問題解答ライブラリは、同一の日にちにおいて行われた難易度毎の問題の正答率を記憶する。図7においては、「2012年2月1日」に行われた「難易度1」の問題に対する正答率が「50%」であることを示している。
質問解答ライブラリは、ロボット10aが出題した問題に対し発声することにより解答した患者Pの解答の正誤及び解答に要した時間を、それぞれ解答時点と対応付けて記憶する。
また質問解答ライブラリは、同一の日にちにおいて行われた難易度毎の問題の正答率を記憶する。
発声持続時間ライブラリは、患者Paが発声した所定の言葉の発声持続時間を測定した結果を記憶する。
ディアトコ回数ライブラリは、患者Paが所定時間内に同じ言葉を発音した回数を計測して結果を記憶する。
定形会話音声ライブラリは、ロボット10aを使用する患者Paが、ロボット10bを使用する患者Pbと対話形式で会話した際の音声データを、当該音声データが記録された際の記録時点と対応付けて記憶している。
ロボット10は、使用者の操作指示に従って種々のプログラムを実行することにより、後述する録音再生機能、再生機能、操作解答問題機能、発声解答問題機能、発声持続時間測定機能、ディアトコ機能、解答結果提示機能及び遠隔通信機能、並びにアプリケーションプログラムによる種々の機能を実現するようになされている。
1−3.管理センタの構成
図8に示すように、管理センタ12はサーバ13を有し、全体として言語療法システム1を使用するロボット10及び患者Pの情報を管理するようになされており、制御部70、通信部72及び記憶部74により構成されている。
制御部70は、CPU76、ROM78及びRAM80が設けられており、管理センタ12全体を統括制御する。
記憶部74は、言語療法システム1を使用するロボット10及び患者Pを管理する使用者データベース(図示しない)を記憶している。
使用者データベースは、現在電源が投入されており使用されているロボット10と、当該ロボット10を使用している患者Pとを対応付けた情報となっている。
制御部70は、通信部72を介してロボット使用開始通知をロボット10から受信することにより、当該ロボット10の電源が投入され使用されていることを認識し、ロボット10を使用者データベースに登録する。
一方制御部70は、通信部72を介してロボット使用終了通知をロボット10から受信することにより、当該ロボット10の電源が切断され使用されていないことを認識し、ロボット10を使用者データベースから削除する。
このように制御部70は、ロボット使用開始通知及びロボット使用終了通知を受信することにより、現在使用されているロボットを認識する。
また通信部72は、ロボット10bを送信先と指定する送信先情報と音声データとをロボット10aから受信すると、ロボット10bへ当該音声データを送信する。
一方通信部72は、ロボット10aを送信先と指定する送信先情報と音声データとをロボット10bから受信すると、ロボット10aへ当該音声データを送信する。
このように管理センタ12は、ロボット10a及びロボット10bに対し、当該管理センタ12を介して互いに音声データを通信させる。
1−4.音声検出スタンバイ処理
ロボット10aの制御部50aは、図9に示すフローチャートに従った処理を行う。因みに、ロボット10a及び10b(図1)は同じ構成であるため、以下ではロボット10aについてのみ説明する。
言語療法処理部57aは、例えば聴覚士Taによりロボット10aの電源が投入されると、ROM54から音声検出スタンバイプログラムを読み出して実行することにより音声検出スタンバイ処理手順RT1を開始し、ステップSP1へ移る。
この音声検出スタンバイ処理において言語療法処理部57aは、使用者からの指示命令となる音声を検出するまで待機する音声検出スタンバイ状態となる。
ステップSP1において言語療法処理部57aは、ロボット10aの使用を開始したことを示すロボット使用開始通知を、当該ロボット10aを使用している患者Paを示す情報と対応付け、管理センタ12へ送信する。
ステップSP2において入出力動作処理部58aは、「ろくおん」という言葉を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP3へ移り録音再生サブルーチンSRT1(詳しくは後述する)に従った処理を行い、ステップSP18(図10)へ移る。
一方ステップSP2において否定結果が得られた場合、入出力動作処理部58aは、ステップSP4へ移り、「さいせい」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP5へ移り再生サブルーチンSRT2(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP4において否定結果が得られた場合、入出力動作処理部58aは、ステップSP6へ移り、「もんだい」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP7へ移り操作解答問題サブルーチンSRT3(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP6において否定結果が得られた場合、入出力動作処理部58aは、ステップSP8へ移り、「しつもん」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP9へ移り、発声解答問題サブルーチンSRT4(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP8において否定結果が得られた場合、入出力動作処理部58aは、ステップSP10へ移り、「はっせいじかん」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP11へ移り発声持続時間測定サブルーチンSRT5(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP10において否定結果が得られた場合、入出力動作処理部58aは、ステップSP12へ移り、「ディアトコ」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP13へ移りディアトコキネシスサブルーチンSRT6(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP12において否定結果が得られた場合、入出力動作処理部58aは、ステップSP14へ移り、「けっかみせて」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP15へ移り、解答結果提示サブルーチンSRT7(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
一方ステップSP14において否定結果が得られた場合、入出力動作処理部58aは、ステップSP16へ移り、「グループ」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP17へ移り、遠隔通信サブルーチンSRT8(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
ステップSP18において入出力動作処理部58aは、例えば聴覚士Taによりロボット10aの電源が切断されたか否かを判定する。ここで肯定結果が得られると、制御部50aは、ステップSP19へ移る。
一方ステップSP18において否定結果が得られた場合、制御部50aは、ステップSP2へ戻り、再度使用者からの指示命令を待ち受ける。
ステップSP19において言語療法処理部57aは、ロボット10aの使用を終了したことを示すロボット使用終了通知を、当該ロボット10aを使用している患者Paを示す情報と対応付けて管理センタ12へ送信し、ステップSP20へ移り音声検出スタンバイ処理を終了する。
このように制御部50aは、音声検出スタンバイ状態において、聴覚士Ta又は患者Paからの指示命令となる音声を検出し、当該指示命令に応じた機能を実行する処理を、それぞれのサブルーチンにおいて行う。
1−5.録音再生機能
制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP3へ移ると、ROM54から録音再生プログラムを読み出して実行することにより、録音再生処理を実行する。
制御部50aは、この録音再生処理を実行することにより、頭部マイク40及び胴体部マイク32により集音して得た音声信号をエンコードし、記憶部66における録音音声ライブラリに音声データとして記憶する。
それと共に制御部50aは、一旦録音音声ライブラリに記憶した音声データをデコードして音声信号とし、スピーカ34に出力することにより放音させる。
1−5−1.録音再生処理手順
制御部50aは、録音再生サブルーチンSRT1(図11)を開始し、ステップSP21へ移る。
ステップSP21において入出力動作処理部58aは、スピーカ34から「ろくおんですね。名前を教えて」と出力し、ステップSP22へ移り待機する。
ステップSP22において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した使用者の音声に基づき、フォルダライブラリL4(図7)において音声データを記憶する患者フォルダを決定し、ステップSP23へ移る。
具体的には言語療法処理部57aは、患者Paを示す「Aさん」を音声認識すると、フォルダライブラリL4の患者Paの患者フォルダにおける録音音声ライブラリに、この後の処理において受信する音声データを記憶すると決定する。
ステップSP23において入出力動作処理部58aは、スピーカ34から「Aさんですね」と出力し、ステップSP24へ移り待機する。
ステップSP24において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで例えば「いいえ」を音声認識することにより否定結果が得られると、言語療法処理部57aはステップSP21へ戻り、患者Pの名前を再度待ち受ける。
一方ステップSP24において肯定結果が得られると、入出力動作処理部58aは、スピーカ34から「何番のレベルをやりますか」と出力し、ステップSP26へ移り待機する。
ステップSP26において言語療法処理部57aは、例えば「1番」を音声認識すると、例文ライブラリL1における難易度「1番」を選択し、ステップSP27へ移る。
ステップSP27において入出力動作処理部58aは、スピーカ34から「1番ですね」と出力し、ステップSP28へ移り待機する。
ステップSP28において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで例えば「いいえ」を音声認識することにより否定結果が得られると、言語療法処理部57aはステップSP25へ戻り、例文の難易度の指定を再度待ち受ける。
一方ステップSP28において肯定結果が得られると、入出力動作処理部58aはステップSP29へ移り、スピーカ34から「準備ができたらお腹を触ってください」と出力し、ステップSP30へ移る。
ステップSP30において入出力動作処理部58aは、車輪アクチュエータ60を駆動することにより車輪24を回転させ、CCDカメラ38から得られた画像信号に基づき患者Paの方に胴体部22の正面を向ける。このようにロボット10aは、腹部タッチセンサ26を患者Paに向けることにより、患者Paに対し当該腹部タッチセンサ26に触りやすくすることができる。
ステップSP31において言語療法処理部57aは、腹部タッチセンサ26から接触信号を受信したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP29へ戻り、患者Paの準備が整うまで待機する。
一方ステップSP31において肯定結果が得られると、言語療法処理部57aはステップSP32へ移り、指定した難易度「1番」の複数の例文から1つの例文を選択して、スピーカ34から例えば例文1の「おはよう」を出力し、ステップSP33へ移る。
ステップSP33において入出力動作処理部58aは、スピーカ34から「続けて言ってみてください。終わったら頭を撫でてください。どうぞ」と出力することにより、患者Paに対し音声を復唱することを促し、ステップSP34へ移る。
ステップSP34において入出力動作処理部58aは、車輪アクチュエータ60を駆動することにより車輪24を回転させ、CCDカメラ38から得られた画像信号に基づき患者Paの方に胴体部22及び頭部20の正面を向ける。これによりロボット10aは、頭部マイク40及び胴体部マイク32を患者Paに向け、当該患者Paの音声を確実に集音することができる。
ステップSP35において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、ステップSP22において決定した患者フォルダにおける録音音声ライブラリに、現在の日にち及び本日における何回目の音声データかを示す記録時点と対応付け記憶する。これによりロボット10aは、患者Paの音声を録音する。
ステップSP36において言語療法処理部57aは、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP41へ移る。
一方ステップSP36において否定結果が得られると、言語療法処理部57aはステップSP37へ移り、ステップSP35の処理開始時点から(すなわち録音を開始してから)3分が経過したか否かを判定する。
ここで否定結果が得られると、言語療法処理部57aはステップSP36へ移り、録音の終了指示を待ち受ける。
一方ステップSP37において肯定結果が得られると、入出力動作処理部58aはステップSP38へ移り、スピーカ34から「終わったら頭を撫でてください」と出力することにより、使用者に対し、録音が終了した場合頭部タッチセンサ42に触れることを再度促し、ステップSP39へ移る。
ステップSP39において言語療法処理部57aは、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP41へ移る。
一方ステップSP39において否定結果が得られると、言語療法処理部57aは、ステップSP38の処理完了時点から(すなわち録音が終了した場合頭部タッチセンサ42に触れることを再度促してから)1分が経過したか否かを判定する。
ここで否定結果が得られると、言語療法処理部57aはステップSP39へ移り、録音の終了指示を待ち受ける。
一方ステップSP40において肯定結果が得られると、入出力動作処理部58aは、一定時間待機しても録音の終了指示がないため、ステップSP48へ移りスピーカ34から「ろくおん、おしまい」と出力することにより、録音再生機能を終了することを使用者に伝えた後、ステップSP49へ移り録音再生サブルーチンSRT1を終了する。
これに対しステップSP41において入出力動作処理部58aは、スピーカ34から「では、音声を聞いてみましょう」と出力することにより、患者Paに対し、録音した患者Pa自身の音声を聞くことを促し、ステップSP42へ移る。
ステップSP42において制御部50は、音声分析提示サブルーチンSRT9(詳しくは後述する)に従った処理を行って分析結果をモニタ14aに表示し、ステップSP43へ移る。
ステップSP43において入出力動作処理部58aは、録音した患者Pa自身の音声データを録音音声ライブラリから選択してスピーカ34から出力し、ステップSP44へ移る。
このようにロボット10aは、患者Paが発声した直後に、当該患者Paに対し自身の音声を聞かせることにより、患者Paがどのように発音したかを忘れないうちに自身の音声を確認させることができる。
ステップSP44において入出力動作処理部58aは、スピーカ34から「もう一度聞く場合はお腹を触ってください。やめる場合は頭を撫でてください」と出力しステップSP45へ移る。
ステップSP45において言語療法処理部57aは、腹部タッチセンサ26から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、入出力動作処理部58aはステップSP43へ移り、録音した音声を再度スピーカ34から出力する。
一方ステップSP45において否定結果が得られると、言語療法処理部57aはステップSP46へ移り、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP48を介してステップSP49へ移り録音再生サブルーチンSRT1を終了する。
一方ステップSP46において否定結果が得られると、言語療法処理部57aはステップSP47へ移る。ステップSP47において言語療法処理部57aは、ステップSP44の処理完了時点から(すなわち頭部タッチセンサ42又は腹部タッチセンサ26への接触を促してから)3分が経過したか否かを判定する。
ここで否定結果が得られると、言語療法処理部57aはステップSP44へ移り、録音音声を聞くか、又は録音再生処理を終了するかの指示を再度待ち受ける。
一方ステップSP47において肯定結果が得られると、一定時間待機しても指示がないため、言語療法処理部57aはステップSP48を介してステップSP49へ移り録音再生サブルーチンSRT1を終了する。
このようにロボット10aは、使用者の指示により録音再生機能が選択された場合、例文を患者Paに対し読み上げて、当該例文を患者Paに復唱させ、患者Paの音声を記録し、当該記録した音声を再生することができる。
1−5−2.音声分析提示機能
制御部50aは、録音再生処理手順SRT1(図12)においてステップSP42へ移ると、ROM54から音声分析提示プログラムを読み出して実行することにより、音声分析提示処理を実行する。
このとき制御部50aは、図13に示すように、分析部82、提示体作成部84及び判定部86として機能する。
上述したように、記憶部66は、例文ライブラリL1(図4)に記憶されている例文を発音する際の模範的な発音を模範音声データとして記憶している。
ところで構音障害の患者は、例えば「がく」という言葉を発音しようとした際、「が」行が、実際の発音としては「な」行になってしまい、「なく」と発音してしまうなど、ある特定の子音が発音しにくくなる場合がある。
図14(a)に「が」の音の信号波形を、図14(b)に「な」の音の信号波形を示すように、それぞれの音は、振幅が比較的小さい子音部と、振幅が比較的大きい母音部とから構成されている。
図14(a)における「が」の子音部を拡大した信号波形である「が」子音部波形WGを図15(a)に、図14(b)における「な」の子音部を拡大した「な」子音部波形WNを図15(b)に示す。
「が」子音部波形WGには、中央やや左側に位置する第1分析区間AA1において、「か」の音の特徴となる波形が現れている。
また、「が」子音部波形WGの子音部の最終部分(右端)に位置する第2分析区間AA2には、濁音の特徴となる波形である濁音特徴波形が現れている。
一方、「な」子音部波形WN(図15(b))には、中央やや左側に位置する第1分析区間AA1において、「な」の音の特徴となる波形が現れているが、第2分析区間AA2には、濁音特徴波形が現れていない。
分析部82(図13)は、頭部マイク40及び胴体部マイク32から音声信号(以下、入力音声信号とも呼ぶ)を受信し分析を行う。このとき分析部82は、正しい発音としては「が」であるにもかかわらず、図14(a)に示した「な」の音声信号を受信したとする。
分析部82は、「な」の音声信号から、図15(b)に示した「な」子音部波形WNを得て、第1分析区間AA1における最大の振幅の絶対値である最大振幅GA(0.17V)を検出する。
提示体作成部84は、分析部82により検出した第1分析区間AA1における最大振幅GAに応じた上下方向の長さでなるバーグラフBG(図16)の画像データを生成する。すなわち、入力音声の第1分析区間AA1における最大振幅GAが大きいほどバーグラフBGの長さは長くなる。
また分析部82は、「な」子音部波形WNの第2分析区間AA2において濁音特徴波形が存在するか否かを判定する。分析部82により濁音特徴波形が存在しないと判定されると、提示体作成部84は、赤色のバーグラフBGを生成する。
一方分析部82により濁音特徴波形が存在すると判定されると、提示体作成部84は、緑色のバーグラフBGを生成する。
「な」の入力音声に対し、提示体作成部84は、図16(a)に示すバーグラフBG1を生成する。バーグラフBG1は、赤色でなり、長さが長く構成されている。
さらに分析部82は、「が」の模範音声の分析を行う。分析部82は、「が」の音声信号から、図15(a)に示した「が」子音部波形WGを得て、第1分析区間AA1における最大振幅GA(0.1V)を検出する。
提示体作成部84は、分析部82により検出した「が」子音部波形WGの第1分析区間AA1における最大振幅GAに応じ、バーグラフBGと重ねて、適正範囲線LCを破線で生成する。
この適正範囲線LCは、発音が適切であったか否かを示すものであり、バーグラフBGの長さが短くなり、適正範囲線LCを下回って適正範囲RCに収まった場合、判定部86は、患者の発音が適切であったと判定する。
また判定部86は、適正範囲線LCに対しバーグラフBGの長さがどれだけ近づいているか、すなわち模範音声に対する入力音声の適切さを算出し、患者フォルダの録音音声ライブラリにおける一致度として記憶する。
かかる構成において、適切な発音が「が」である場合に「な」が入力されると、提示体作成部は84、図16(a)に示すように、長さが適正範囲線LCを超えてしまっており、かつ赤色のバーグラフBG1を作成する。
また、「か」が入力されると、「な」よりは適切な発音である「が」に近づいたが濁音の成分が含まれていないため、提示体作成部84は、図16(b)に示すように、長さはバーグラフBG1と等しいが緑色のバーグラフBG2を作成する。
さらに、「か」と「が」との間の発音である場合、提示体作成部84は、図16(c)に示すように、緑色であり、長さがバーグラフBG2よりも短いバーグラフBG3を作成する。このとき提示体作成部84は、入力音声の第1分析区間AA1の最大振幅GAに基づきバーグラフBG3の長さを設定する。
さらに、「が」が入力された場合、提示体作成部84は、図16(d)に示すように、緑色であり、かつ長さが適正範囲線LC以下であるバーグラフBG4を作成する。
このように制御部50aは、患者の発音の適正度合いを、バーグラフBGの長さ及び色で表現すると共に、適正範囲線LCをバーグラフBGと重ねて表示することにより、患者に対し、患者自身の発音が模範データに対しどの程度正しいかを、一目瞭然にして示すことができる。
第1分析区間AA1における最大振幅GAは、「な」の音から「が」の音に近づくに連れて大きくなる傾向がある。このため提示体作成部84は、分析部82により検出された入力音声の最大振幅GAに基づくだけで、適切な発音になるに連れて短くなるバーグラフBGを生成できる。
1−5−3.音声分析提示処理手順
制御部50aは、音声分析提示サブルーチンSRT9(図17)を開始し、ステップSP51へ移る。
ステップSP51において制御部50aは、分析部82により模範音声の第1分析区間AA1を分析して最大振幅GAを検出し、ステップSP52へ移る。
ステップSP52において制御部50aは、模範音声の第1分析区間AA1における最大振幅GAに基づき、提示体作成部84により適正範囲線LCを設定し、ステップSP53へ移る。
ステップSP53において制御部50aは、分析部82により入力音声の第1分析区間AA1を分析して最大振幅GAを検出し、ステップSP54へ移る。
ステップSP54において制御部50aは、入力音声の第1分析区間AA1における最大振幅GAに基づき、提示体作成部84によりバーグラフBGの長さを設定し、ステップSP55へ移る。
ステップSP55において制御部50aは、分析部82により入力音声の第2分析区間AA2に濁音特徴波形が存在するか否かを判定する。ここで否定結果が得られると、このことは患者Pが濁音を発音できなかったことを意味し、このとき制御部50aはステップSP58へ移り、提示体作成部84によりバーグラフBGの色を赤色にし、ステップSP59へ移る。
一方ステップSP55において肯定結果か得られると、このことは患者Pが濁音を発音できたことを意味し、このとき制御部50aはステップSP57へ移り、提示体作成部84によりバーグラフBGの色を緑色にし、ステップSP59へ移る。
ステップSP59において制御部50aは、提示体作成部84により作成したバーグラフBG及び適正範囲線LCをモニタ14aに表示し、ステップSP60へ移る。
ステップSP60において制御部50aは、判定部86によりバーグラフBGが適正範囲RC内であるか否かを判定する。ここで肯定結果が得られると、制御部50aはステップSP61へ移り、判定部86によりバーグラフBGが緑色であるか否かを判定する。
ステップSP61において肯定結果が得られると、このことは、患者Pの発音が正しかったことを意味し、このとき制御部50aはステップSP62へ移り、スピーカ34から「ピンポーン」と出力することにより、発音が正しかったことを患者Pに伝え、ステップSP64へ移り、音声分析提示サブルーチンSRT9を終了する。
一方ステップSP60又はステップSP61において否定結果が得られると、このことは患者Pの発音が不適切であったことを意味し、このとき制御部50aはステップSP63へ移り、スピーカ34から「もう一度頑張ろう」と出力することにより、発音が不適切であったことを患者Pに伝え、ステップSP64へ移り、音声分析提示サブルーチンSRT9を終了する。
1−5−4.録音再生機能の動作及び効果
以上の構成において、ロボット10は、患者Pが発声した音声を録音して再生する。
このためロボット10は、患者Pに訓練のフィードバックをすることができる。これにより患者Pは、自身の声を確認することができ、構音障害の回復を早くすることができる。
また聴覚士Tは、ロボット10に記録されている情報を確認することにより、患者Pの構音障害の状況を把握し、どの程度改善されているかを知ることができるため、言語療法の作業効率を高めることができる。
またロボット10は、人間を模した形状でなり、人間を模した行動を取るようにした。これにより患者Pは、ロボット10に対し親しみを持ちやすく、単なる電子機器を相手に言語療法を行うよりも、感情を伴った訓練を行うことができる。
また従来、言語療法の現場ではカセットテープが使用されていたため、録音後の頭出し等が不便であった。これに対しロボット10においては、フラッシュメモリでなる記憶部66に音声データを記憶するため、極めて簡便に音声データを再生することができる。
また制御部50は、音声分析提示処理において、患者Pの発音の分析結果を瞬時に可視化することにより、患者P及び聴覚士Tに訓練結果をフィードバックでき、その場の訓練の指標を提供することができる。
例えば、単純に模範音声と録音音声の波形を並べて表示しただけでは、患者Pは自分の音声が正しいのか理解しにくい。
これに対し本実施の形態においては、バーグラフBGと共に適正範囲線LCを表示するため、患者Pは自分の発音の正しさを一目瞭然にして知ることができる。
また、構音障害の患者の多くは多くは高齢者であったり、半身マヒがあったりするために、細かい動作を行うことが難しい。
これに対しロボット10は、次に患者Pが何を行えば良いかを示して患者Pを誘導しながら、発声させたりロボット10を触らせたり等のシンプルな動作により指示入力させることができる。
以上の構成によれば、動物の形状を模したロボット10は、スピーカ34により例文を患者Pに示し、当該例文を読み上げた患者Pの発話音声を頭部マイク40及び胴体部マイク32により取得し、模範音声と発話音声とを比較し、模範音声に対する発話音声の正しさを示すバーグラフを提示体作成部により作成し、当該バーグラフをモニタ14aにより患者Pに提示するようにした。
これによりロボット10は、模範音声に対する患者Pの発話音声の正しさを、一目瞭然にして患者Pに示すことができる。
1−6.再生機能
制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP5へ移ると、ROM54から再生プログラムを読み出して実行することにより、再生処理を実行する。
制御部50aは、この再生処理を実行することにより、記憶部66における録音音声ライブラリに記憶された音声データをデコードして音声信号とし、スピーカ34に出力することにより放音させる。
1−6−1.再生処理手順
制御部50aは、再生サブルーチンSRT2(図18)を開始し、ステップSP71へ移る。
ステップSP71において入出力動作処理部58aは、スピーカ34から「さいせいですね。名前を教えて」と出力し、ステップSP72へ移り待機する。
ステップSP72において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声に基づき、フォルダライブラリL4(図7)において音声データを再生する患者フォルダを決定し、ステップSP73へ移る。ここで言語療法処理部57aは、「Aさん」を音声認識したとする。
ステップSP73において入出力動作処理部58aは、スピーカ34から「Aさんですね」と出力し、ステップSP74へ移り待機する。
ステップSP74において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP71へ戻り、患者Pの名前を再度待ち受ける。
一方ステップSP74において肯定結果が得られると、入出力動作処理部58aはステップSP75へ移り、ステップSP72において決定した患者フォルダにおける録音音声ライブラリをモニタ14aに一覧表示する。
ステップSP76において入出力動作処理部58aは、スピーカ34から「いつの何回目のファイルにしますか」と出力し、ステップSP77へ移り待機する。
ステップSP77において言語療法処理部57aは、例えば「2012年2月1日1回目」を音声認識すると、当該指定された記録時点における音声データを録音音声ライブラリから選択し、ステップSP78へ移る。
ステップSP78において入出力動作処理部58aは、スピーカ34から、ステップSP77において指定された音声データの記録時点を示す「2012年2月1日1回目ですね」と出力し、ステップSP79へ移り待機する。
ステップSP79において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP75へ戻り、再生する音声データの指定を再度待ち受ける。
一方ステップSP79において肯定結果が得られると、入出力動作処理部58aはステップSP80へ移り、スピーカ34から、指定された音声データである「A1」(図7)の音声を出力し、ステップSP81へ移る。
ステップSP81において入出力動作処理部58aは、スピーカ34から「もう一度言いますか?」と出力し、ステップSP82へ移り待機する。
ステップSP82において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで肯定結果が得られると、入出力動作処理部58aはステップSP80へ戻り、指定された音声をスピーカ34から再度出力する。
一方ステップSP82において否定結果が得られると、入出力動作処理部58aはステップSP83へ移り、スピーカ34から「さいせい、おしまい」と出力することにより、再生機能を終了することを使用者に伝えた後、ステップSP84へ移り再生サブルーチンSRT2を終了する。
このようにロボット10aは、上述した録音再生機能において録音直後に音声を再生するだけでなく、使用者の指示により再生機能が選択された場合には、予め記録した患者Paの音声を、ある程度時間が経った後にも再生機能により再生し、使用者に聞かせることができる。
1−7.操作解答問題機能
制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP7へ移ると、ROM54から操作解答問題プログラムを読み出して実行することにより、操作解答問題処理を実行する。
制御部50aは、この操作解答問題処理を実行することにより、記憶部66における問題文ライブラリL2(図5)の問題文の画像データをモニタ14aに表示させる。
それと共に制御部50aは、患者Paがモニタ14aをタッチすることにより入力した解答を操作信号として取得する。
1−7−1.操作解答問題処理手順
制御部50aは、操作解答問題サブルーチンSRT3(図19)を開始し、ステップSP91へ移る。
ステップSP91において入出力動作処理部58aは、スピーカ34から「もんだいですね。名前を教えて」と出力し、ステップSP92へ移り待機する。
ステップSP92において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声に基づき、フォルダライブラリL4(図7)において解答結果を記憶する患者フォルダを決定し、ステップSP93へ移る。
制御部50aは、ステップSP93からステップSP101までは、録音再生サブルーチンSRT1(図11及び図12)におけるステップSP23からステップSP31までと同様の処理を行う。但し、ステップSP96においては、指定された難易度(例えば「1番」)の問題文を問題文ライブラリL2から選択する。
ステップSP102において入出力動作処理部58aは、スピーカ34から「では問題スタート。どうぞ」と出力することにより、患者Paに対し問題を解くことを促し、ステップSP103へ移る。
ステップSP103において入出力動作処理部58aは、指定された難易度の複数の問題文から1つの問題文を選択して、例えば「日本の首都はどこ?」を示す画像をモニタ14aに表示し、ステップSP104へ移る。このとき入出力動作処理部58aは、問題と共に、キーボードを示す画像をモニタ14aに表示する。
ステップSP104において言語療法処理部57aは計時動作を開始し、ステップSP105へ移る。
ステップSP105において入出力動作処理部58aは、患者Paの方に胴体部22の正面を向け、ステップSP106へ移り、タッチパネル15から操作信号を受信したか否かを判定することにより、問題の解答を待ち受ける。
このとき患者Paは、モニタ14aに表示された問題に対し、モニタ14aに表示されたキーボード画面をタッチすることにより、解答を入力する。
ステップSP106において肯定結果が得られると言語療法処理部57aはステップSP107へ移り、計時動作を終了することにより、患者Paが問題の解答に要した時間を測定し、ステップSP109へ移る。
一方ステップSP106において否定結果が得られると、言語療法処理部57aはステップSP108へ移り、ステップSP103の処理開始時点から(すなわち問題を患者Paに提示してから)5分が経過したか否かを判定する。
ここで否定結果が得られると、言語療法処理部57aはステップSP106へ移り、患者の解答を待ち受ける。
一方ステップSP108において肯定結果が得られると、このことは解答する時間として設定された時間である5分間を経過したことを意味し、このとき言語療法処理部57aはステップSP118へ移る。
これに対しステップSP109において言語療法処理部57aは、キーボードを操作することにより患者Paが入力した解答が正解であったか否かを判定し、解答時点、問題文、正誤及び解答時間を問題解答ライブラリに記憶する。
このとき言語療法処理部57aは、ステップSP106において取得した操作信号により示される患者Paの解答と、記憶部66に予め記憶されている模範解答とが一致している場合、正解であると判定する。
ステップSP110において入出力動作処理部58aは、患者Paの解答が正解であった場合、ステップSP111へ移り、スピーカ34から「正解!」と出力し、ステップSP112へ移る。
ステップSP112において入出力動作処理部58aは、ロボット10aを喜びモードで行動させる。すなわち入出力動作処理部58aは、車輪アクチュエータ60を駆動することによりロボット10aを超信地旋回させると共に、LED44を制御して笑顔の表情を示すことにより、嬉しそうな態度を患者Paに示し、ステップSP115へ移る。
一方ステップSP110において患者Paの解答が不正解であった場合、入出力動作処理部58aはステップSP113へ移り、スピーカ34から「残念!」と出力し、ステップSP114へ移る。
ステップSP114において入出力動作処理部58aは、ロボット10aを悲しみモードで行動させる。すなわち入出力動作処理部58aは、頭部アクチュエータ62を駆動することにより、頭部20を左右に小さく往復させると共に、LED44を制御して落胆の表情を示すことにより、悲しそうな態度を患者Paに示し、ステップSP115へ移る。
このようにロボット10aは、患者Paの解答が正解か否かを、発声、頭部20の回転及び表情の変化により患者Paに伝えることにより、患者Paは、ロボット10aの行動を見て、正解か不正解かを一目瞭然に判断できる。
ステップSP115において言語療法処理部57aは、「次」を音声認識すると、ステップSP116へ移った後にステップSP103へ戻り、指定された難易度の問題文から、今回出題した問題文以外の問題文を選択して出題する。
ステップSP115において「次」を音声認識しなかった場合、言語療法処理部57aはステップSP117へ移って指定された難易度の正答率を算出し、問題解答ライブラリに記憶してステップSP118へ移る。
ステップSP118において入出力動作処理部58aは、スピーカ34から「もんだい、おしまい」と出力することにより、操作解答問題機能を終了することを使用者に伝えた後、ステップSP119へ移り操作解答問題サブルーチンSRT3を終了する。
このようにロボット10aは、使用者の指示により操作解答問題機能が選択された場合、文章問題を患者Paに対し提示し、当該問題の解答をタッチパネル15により解答させると共に、解答時間を測定することができる。
1−7−2.操作解答問題機能の動作及び効果
以上の構成において、ロボット10は、患者Pの解答時間を計測しながら操作信号を受信し、患者Pが正解を入力したか否かを判定し、使用者に対し正誤を音声出力すると共に、喜びモード又は悲しみモードで伝えるようにした。
これにより患者Pは、自分の解答が正解か否かを、ロボット10の発声及び行動により一目瞭然に判断できる。
またロボット10は、解答結果及び正答率を記憶部66に記憶することにより、使用者は、患者Pの長期的な訓練経過を把握できる。
従来は、聴覚士Tがストップウォッチを用いて解答時間を測定していたため、非常に煩雑であった。
これに対しロボット10においては、ロボット10が自動的に解答時間を測定すると共に記録するため、聴覚士Tの負担を軽減させ、言語療法の効率を向上させることができる。
また従来は、聴覚士Tが患者Pの目の前で解答時間を測定していたため、患者Pに心理的なプレッシャーを与えてしまい、このような訓練を実施しにくかった。
これに対しロボット10においては、聴覚士Tが患者Pの目の前で計測せずに、ロボット10が患者Pに直接分からないように計測しているため、患者Pは心理的なプレッシャーが軽減され、効果的に訓練を実施することができる。
以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す問題を予め記憶部66に記憶し、当該問題を患者Pに示し、当該問題に対する患者Pの解答を取得し、患者Pの言語能力の状態を判定する際に指標となる解答時間を計測するようにした。
これによりロボット10は、患者Pが問題に解答する時間を測定するという一段と有用な機能を提供することができる。
1−8.発声解答問題機能
制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP9へ移ると、ROM54から発声解答問題プログラムを読み出して実行することにより、発声解答問題処理を実行する。
制御部50aは、この発声解答問題処理を実行することにより、記憶部66における問題文ライブラリL2(図5)の問題文の画像データをモニタ14aに出力することにより表示させる。
それと共に制御部50aは、患者Paが発声した解答を頭部マイク40及び胴体部マイク32により集音する。
1−8−1.発声解答問題処理手順
制御部50aは、発声解答問題サブルーチンSRT4(図21)を開始し、ステップSP121へ移る。
ステップSP121において入出力動作処理部58aは、スピーカ34から「しつもんですね。名前を教えて」と出力し、ステップSP122へ移り待機する。
制御部50aは、ステップSP122からステップSP131までは、操作解答問題サブルーチンSRT3(図19)におけるステップSP92からステップSP101までと同様の処理を行う。
ステップSP132において入出力動作処理部58aは、スピーカ34から「では、1番の問題を見てみましょう。問題を読んで答えてください。どうぞ」と出力することにより、患者Paに対し問題に対する解答を発声することを促し、ステップSP133へ移る。
制御部50aは、ステップSP133からステップSP135までは、操作解答問題サブルーチンSRT3(図19)におけるステップSP103からステップSP105までと同様の処理を行う。
ステップSP136において入出力動作処理部58aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声信号を受信し、ステップSP137において頭部タッチセンサ42からの接触信号の受信を待機する。
ここで否定結果が得られると、患者Paは解答中であるため、言語療法処理部57aはステップSP136へ移り、患者の解答を待ち受ける。
一方ステップSP137において肯定結果が得られると、このことは患者Paが解答を終了したことを意味し、言語療法処理部57aはステップSP138へ移り、計時動作を終了することにより、患者Paが問題の解答に要した時間を測定する。
この発声解答問題機能においては、上述した操作解答問題機能とは異なり、患者Paが問題に対し発声して解答すると、聴覚士Taがその正誤を判定し、ロボット10aの左背中タッチセンサ28又は右背中タッチセンサ30にタッチすることにより、正解又は不正解をロボット10aに入力する。
ステップSP139において言語療法処理部57aは、右背中タッチセンサ30から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、患者Paの解答が正解であったため、入出力動作処理部58aはステップSP140へ移りスピーカ34から「正解!」と出力し、ステップSP141へ移りロボット10aを喜びモードで行動させてステップSP145へ移る。
一方ステップSP139において否定結果が得られると、言語療法処理部57aは、ステップSP142へ移り、左背中タッチセンサ28から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、患者Paの解答が不正解であったため、入出力動作処理部58aはステップSP143へ移りスピーカ34から「残念!」と出力し、ステップSP144へ移りロボット10aを悲しみモードで行動させてステップSP145へ移る。
ステップSP145において言語療法処理部57aは患者Paが発声した解答の解答時点、問題文、正誤及び解答時間を質問解答ライブラリに記憶する。
制御部50aは、ステップSP146からステップSP148までは、操作解答問題サブルーチンSRT3(図20)におけるステップSP116からステップSP118までと同様の処理を行う。
ステップSP149において入出力動作処理部58aは、スピーカ34から「しつもん、おしまい」と出力することにより、発声解答問題機能を終了することを使用者に伝えた後、ステップSP150へ移り発声解答問題サブルーチンSRT4を終了する。
このようにロボット10aは、使用者の指示により発声解答問題機能が選択された場合、文章問題を患者Paに対し提示し、当該問題の解答を発声させて解答させると共に、解答時間を測定することができる。
1−8−2.発声解答問題機能の動作及び効果
以上の構成において、ロボット10は、患者Pの解答時間を計測しながら音声信号を受信し、聴覚士Tの操作に基づき使用者に対し正誤を音声出力すると共に、喜びモード又は悲しみモードで伝えるようにした。
これにより患者Pは、自分の解答が正解か否かを、ロボット10の発声及び行動により一目瞭然に判断できる。
ロボット10が、文字として書かれた質問を読み解答するという訓練を患者Pに行わせることにより、聴覚士Tは、患者Pの文章理解度を把握することができる。
従来は、聴覚士Tが紙に書かれた問題を患者Pに読ませ、その場で問題に答えてもらっていたため、どの程度正答率があったのか、どの位のスピードで解答できたのかは記録できなかった。
これに対しロボット10においては、聴覚士Tの簡易な動作により、正解、不正解及び解答時間を記録し、正答率を算出することができ、言語療法の効率を高めることができる。
その他発声解答問題処理においてロボット10は、操作解答問題処理の場合とほぼ同様の作用効果を奏し得る。
1−9.発声持続時間測定機能
制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP11へ移ると、ROM54から発声持続時間測定プログラムを読み出して実行することにより、発声持続時間測定処理を実行する。
制御部50aは、この発声持続時間測定処理を実行することにより、患者Paが発声した所定の言葉を頭部マイク40及び胴体部マイク32により集音し、発声持続時間を測定して記憶部66における発声持続時間ライブラリに記憶する。
1−9−1.発声持続時間測定処理手順
制御部50aは、発声持続時間測定サブルーチンSRT5(図23)を開始し、ステップSP151へ移る。
ステップSP151において入出力動作処理部58aは、スピーカ34から「はっせいじかんですね。名前を教えて」と出力し、ステップSP152へ移り待機する。
制御部50aは、ステップSP152からステップSP154までは、発声解答問題サブルーチンSRT4(図21)におけるステップSP122からステップSP124までと同様の処理を行う。
ステップSP155において入出力動作処理部58aは、スピーカ34から「息の続く限り『あー』と言い続けてください。準備ができたらお腹を触ってください」と出力し、ステップSP156へ移る。
ステップSP156において入出力動作処理部58aは、患者Paの方に胴体部22の正面を向け、ステップSP157において腹部タッチセンサ26から接触信号を受信したか否かを判定する。
ここで肯定結果が得られると、入出力動作処理部58aはステップSP158へ移り、スピーカ34から「では、発声時間スタート」と出力することにより、患者Paに対し、『あー』と言う音を可能な限り長い時間発声することを促し、ステップSP159へ移る。
一方ステップSP157において否定結果が得られると、言語療法処理部57aはステップSP155へ戻り、患者Paの準備が整うまで待機する。
ステップSP159において言語療法処理部57aは、計時動作を開始し、ステップSP160へ移る。
ステップSP160において入出力動作処理部58aは、患者Paの方に胴体部22及び頭部20の正面を向け、ステップSP161へ移る。
ステップSP161において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声信号を受信し、ステップSP162において『あ』という言葉を音声認識したか否かを判定する。
ここで肯定結果が得られると、このことは患者Paが未だ言葉を発声し続けていることを意味し、言語療法処理部57aはステップSP161へ移り、再度音声信号を受信する。
一方ステップSP162において否定結果が得られた場合、このことは患者Paが発声を終えたことを意味し、言語療法処理部57aはステップSP163へ移って計時動作を終了し、ステップSP164へ移る。
ステップSP164において言語療法処理部57aは、ステップSP152において決定した患者フォルダにおける発声持続時間ライブラリに、患者Paの発声が持続した発声持続時間を記憶し、ステップSP165へ移る。
ステップSP165において入出力動作処理部58aは、スピーカ34から例えば「今回は10秒でした」と出力することにより、使用者に対し発声持続時間の計測結果を伝え、ステップSP166へ移る。
ステップSP166において言語療法処理部57aは、発声持続時間が10秒以上であったか否かを判定する。言語療法処理部57aは、患者Paが10秒以上連続して発声できた場合、健常と判断する。
ここで肯定結果が得られると、入出力動作処理部58aはステップSP168へ移り、スピーカ34から「頑張りましたね」と出力することにより、発声持続時間が正常であったことを患者Paに伝え、ステップSP169へ移る。
一方ステップSP166において否定結果が得られると、入出力動作処理部58aはステップSP167へ移り、スピーカ34から「少し短かったかな」と出力することにより、発声持続時間が正常ではなかったことを患者Paに伝え、ステップSP169へ移る。
ステップSP169において入出力動作処理部58aは、スピーカ34から「終了する場合は頭を撫でてください」と出力し、ステップSP170へ移り頭部タッチセンサ42からの接触信号の受信を待機し、ステップSP171へ移りスピーカ34から「はっせいじかん、おしまい」と出力することにより、発声持続時間測定機能を終了することを使用者に伝えた後、ステップSP172へ移り発声持続時間測定サブルーチンSRT5を終了する。
このようにロボット10は、使用者の指示により発声持続時間測定機能が選択された場合、音声信号を受信しながら音声認識を行って発声持続時間を測定し、患者Pが正常な時間だけ発音を持続できているか否かを判定し、使用者に結果を伝えるようにした。
これによりロボット10は、患者Pの発声を聞きながら聴覚士Tがストップウォッチ等で発声持続時間を計測するといった手間を省くことができる。
またロボット10は、発声持続時間を記憶部66に記憶することにより、使用者は、患者Pの発声持続時間の長期的な測定経過を把握できる。これにより患者Pは、自身の発声持続時間が日時の経過に連れて改善している様子を知ることができ、言語療法に対するモチベーションを保つことができる。
以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す言葉を予め記憶部66に記憶し、当該言葉を患者Pに示し、患者Pが当該言葉に応じて可能な限り長い時間発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、患者Pの言語能力の状態を判定する際に指標となる発声持続時間を計測するようにした。
これによりロボット10は、発声持続時間を測定するという一段と有用な機能を提供することができる。
1−10.ディアトコキネシス機能
制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP13へ移ると、ROM54からディアトコキネシスプログラムを読み出して実行することにより、ディアトコキネシス処理を実行する。
制御部50aは、このディアトコキネシス処理を実行することにより、口腔器官の巧緻性や運動速度を評価する、いわゆるオーラルディアトコキネシスを行う。本実施の形態においては、制御部50aは患者Pが5秒間に何回「パ」を発音できるかを計測する。
1−10−1.ディアトコキネシス処理手順
制御部50aは、ディアトコキネシスサブルーチンSRT6(図24)を開始し、ステップSP181へ移る。
ステップSP181において入出力動作処理部58aは、スピーカ34から「ディアトコですね。名前を教えて」と出力し、ステップSP182へ移り待機する。
制御部50aは、ステップSP182からステップSP184までは、発声持続時間測定サブルーチンSRT5(図23)におけるステップSP152からステップSP154までと同様の処理を行う。
ステップSP185において入出力動作処理部58aは、スピーカ34から「5秒間『パ』と言い続けてください。準備ができたらお腹を触ってください」と出力し、ステップSP186へ移る。
制御部50aは、ステップSP186からステップSP190までは、発声持続時間測定サブルーチンSRT5(図23)におけるステップSP156からステップSP160までと同様の処理を行う。
ステップSP191において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの『パ』の音声信号を受信し、音声データとして記憶部66に記憶しステップSP192へ移る。
ステップSP192において言語療法処理部57aは、5秒間の計時動作を終了し、ステップSP193へ移る。
ステップSP193において言語療法処理部57aは、記憶部66に記憶した音声データを音声認識して5秒間の間に受信した『パ』の音の回数を計測し、ステップSP194へ移り、患者フォルダにおけるディアトコ回数ライブラリに発声回数を記憶し、ステップSP195へ移る。
ステップSP195において入出力動作処理部58aは、スピーカ34から例えば「今回は10回でした」と出力することにより、使用者に対し発声回数の計測結果を伝え、ステップSP196へ移る。
ステップSP196において言語療法処理部57aは、発声回数が20回以上であったか否かを判定する。言語療法処理部57aは、患者Paが20回以上発声できた場合、健常と判断する。
ここで肯定結果が得られると、入出力動作処理部58aはステップSP197へ移り、スピーカ34から「頑張りましたね」と出力することにより、発声回数が正常であったことを患者Paに伝え、ステップSP199へ移る。
一方ステップSP196において否定結果が得られると、入出力動作処理部58aはステップSP198へ移り、スピーカ34から「少し少なかったかな」と出力することにより、発生回数が正常ではなかったことを患者に伝え、ステップSP199へ移る。
制御部50aは、ステップSP199からステップSP200までは、発声持続時間測定サブルーチンSRT5(図23)におけるステップSP169からステップSP170までと同様の処理を行う。
ステップSP201において入出力動作処理部58aは、スピーカ34から「ディアトコ、おしまい」と出力することにより、ディアトコキネシス機能を終了することを使用者に伝えた後、ステップSP202へ移りディアトコキネシスサブルーチンSRT6を終了する。
このようにロボット10aは、使用者の指示によりディアトコ機能が選択された場合、
5秒間測定している間音声信号を受信し、音声認識を行って発声回数を測定し、患者Paが正常な回数だけ発音できているか否かを判定し、使用者に結果を伝えるようにした。
これによりロボット10aは、聴覚士Tがストップウォッチ等で5秒間を測定しつつ、発声回数を計測するといった困難な作業を行わずにオーラルディアトコキネシスを行うことができる。
またロボット10aは、発声回数を記憶部66に記憶することにより、使用者は、患者Paの発声回数の長期的な測定経過を把握できる。これにより患者Paは、自身の発声回数が日時の経過に連れて改善している様子を知ることができ、言語療法に対するモチベーションを保つことができる。
以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す言葉を予め記憶部66に記憶し、当該言葉を患者Pに示し、患者Pが当該言葉に応じて可能な限り多く発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、患者Pの言語能力の状態を判定する際に指標となる所定時間と、発話回数とを計測するようにした。
これによりロボット10は、患者Pの所定時間内の発声回数を計測するという一段と有用な機能を提供することができる。
1−11.解答結果提示機能
制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP15へ移ると、ROM54から解答結果提示プログラムを読み出して実行することにより、解答結果提示処理を実行する。
制御部50aは、この解答結果提示処理を実行することにより、記憶部66における問題解答ライブラリに記憶された患者Paの解答結果を読み出し、スピーカ34に出力することにより放音させる。
1−11−1.解答結果提示処理手順
制御部50aは、解答結果提示サブルーチンSRT7(図25)を開始し、ステップSP211へ移る。
ステップSP211において入出力動作処理部58aは、スピーカ34から「けっかみせてですね。名前を教えて」と出力し、ステップSP212へ移り待機する。
制御部50aは、ステップSP212からステップSP219までは、再生サブルーチンSRT2(図18)におけるステップSP72からステップSP79までと同様の処理を行う。
但し、ステップSP215において入出力動作処理部58aは、患者フォルダにおける問題解答ライブラリをモニタ14aに一覧表示する。
ステップSP220において入出力動作処理部58aは、スピーカ34から例えば「2012年2月1日第1回の問題は、30秒で解けました」と出力しステップSP221へ移る。
制御部50aは、ステップSP221からステップSP222までは、再生サブルーチンSRT2(図18)におけるステップSP81からステップSP82までと同様の処理を行い、ステップSP223へ移りスピーカ34から「けっか、おしまい」と出力することにより、解答結果提示機能を終了することを使用者に伝えた後、ステップSP224へ移り解答結果提示サブルーチンSRT7を終了する。
このようにロボット10aは、使用者の指示により解答結果提示機能が選択された場合、上述した操作解答問題機能において患者Paが問題に解答した結果を、その後解答結果提示処理により出力し、使用者に提示することができる。
1−12.遠隔通信機能
ロボット10aの制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP17へ移ると、ROM54から遠隔通信プログラムを読み出して実行することにより、遠隔通信処理を実行する。
同様にロボット10bの制御部50bは、音声検出スタンバイ処理手順RT1(図10)においてステップSP17へ移ると、ROM54から遠隔通信プログラムを読み出して実行することにより、遠隔通信処理を実行する。
制御部50a及び50bは、この遠隔通信処理を実行することにより、ロボット10aを使用する患者Pa及びロボット10bを使用する患者Pbに対し定型会話文を表示して、患者Pa及び患者Pbに交互に読み上げさせ、会話をさせる。
1−12−1.遠隔通信処理手順
ロボット10aの制御部50aは、遠隔通信サブルーチンSRT8(図26)を開始し、ステップSP231へ移る。
同様にロボット10bの制御部50bは、遠隔通信サブルーチンSRT8(図26)を開始し、ステップSP263へ移る。
ステップSP231において入出力動作処理部58aは、スピーカ34から「グループですね。名前を教えて」と出力し、ステップSP232へ移り待機する。
ステップSP232において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声信号(「Aさん」)に基づき、フォルダライブラリL4(図7)において音声データを記憶する患者Paの患者フォルダを選択し、ステップSP233へ移る。
ステップSP233において入出力動作処理部58aは、スピーカ34から「Aさん。こんにちは。これから一緒に練習する人を探します」と出力し、ステップSP234へ移る。
ステップSP234において言語療法処理部57aは、患者情報要求を管理センタ12へ送信する。
ロボット10bの制御部50bは、ステップSP263からステップSP266までは、ロボット10aの制御部50aにおけるステップSP231からステップSP234までの処理とほぼ同様の処理を行う。
但し、ステップSP264において言語療法処理部57bは、患者名「Bさん」が入力されると、ロボット10bの記憶部66のフォルダライブラリL4において音声データを記憶する患者Pbの患者フォルダを選択する。
ステップSP256において管理センタ12の制御部70は、ロボット10a及び10bから患者情報要求を受信し、ステップSP257において患者データベースを検索することにより、現在ロボット10を使用している患者Pを探索する。
ここで制御部70は、ロボット10aを患者Paが、ロボット10bを患者Pbがそれぞれ使用中であることを患者データベースから判定し、ステップSP258において、患者情報をロボット10a及びロボット10bへ送信する。
具体的に制御部70は、患者Pbがロボット10bを使用中であることを示す患者情報をロボット10aに、患者Paがロボット10aを使用中であることを示す患者情報をロボット10bにそれぞれ送信する。
ステップSP235においてロボット10aの言語療法処理部57aは、患者Pbがロボット10bを使用中であること示す患者情報を管理センタ12から受信する。
一方ステップSP267においてロボット10bの言語療法処理部57bは、患者Paがロボット10aを使用中であることを示す患者情報を管理センタ12から受信する。
ステップSP236においてロボット10aの言語療法処理部57aは、患者情報に基づき、ロボット10a以外のロボット10を使用している患者Pが現在存在するか否かを判定する。
ここで否定結果が得られると、現在ロボット10を使用している患者Pが他に存在しないために遠隔通信機能による訓練ができないことを意味し、入出力動作処理部58aは、ステップSP238へ移り、スピーカ34から「今、練習している人がいないみたいです。また一緒に練習しましょうね」と出力し、ステップSP289へ移り遠隔通信サブルーチンSRT8を終了する。
一方ステップSP236において肯定結果が得られると、入出力動作処理部58aはステップSP237へ移り、スピーカ34から「Bさんが一緒に練習する人を探しています。一緒にやりますか?」と出力し、ステップSP239へ移り待機する。
ステップSP239において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP289へ移り遠隔通信サブルーチンSRT8を終了する。
一方ステップSP239において肯定結果が得られると、入出力動作処理部58aはステップSP240に移り、スピーカ34から「では、定型会話をしてみましょう。Aさん何番の会話をしますか。やめたい場合は、『おしまい』と言ってください」と出力し、ステップSP241へ移り待機する。
ステップSP241において入出力動作処理部58aは、例えば「1番」を音声認識すると、スピーカ34から「1番ですね。Bさんいいですか」と出力し待機する。
一方ロボット10bの制御部50bは、ステップSP268からステップSP273までは、ロボット10aの制御部50aにおけるステップSP238からステップSP243までの処理とほぼ同様の処理を行う。
ステップSP274において言語療法処理部57bは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57bはステップSP272へ戻り、定型会話文の難易度の指定を患者Pbから待ち受ける。
一方ステップSP274において肯定結果が得られると、ロボット10aの言語療法処理部57aは、ステップSP242へ移り、定型会話文ライブラリL3(図6)における難易度「1番」を選択し、ステップSP243へ移る。
ステップSP243からステップSP245において入出力動作処理部58aは、腹部タッチセンサ26から接触信号を受信し、患者Paの方に胴体部22の正面を向ける。
ステップSP246において入出力動作処理部58aは、スピーカ34から「では、Aさんから読み上げてください」と出力し、ステップSP247に移り定型会話文をモニタ14aに表示する。
ロボット10bの制御部50bは、患者Pbに対し、ステップSP275からステップSP280までは、ロボット10aの制御部50aにおけるステップSP242からステップSP247までの処理とほぼ同様の処理を行う。
ステップSP248においてロボット10aの言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、患者Paの患者フォルダの定型会話音声ライブラリに記憶する。
ステップSP249において制御部50aは、音声補正サブルーチンSRT10(詳しくは後述する)に従った処理を行うことにより、録音した音声を補正し、ステップSP250へ移る。
ステップSP250において言語療法処理部57aは、補正した音声データを、ロボット10bを送信先と指定する送信先情報と共に管理センタ12へ送信する。
ステップSP259において管理センタ12の制御部70は音声データを受信し、ステップSP260へ移り、送信先情報により指定された送信先であるロボット10bへ音声データを送信する。
ステップSP281においてロボット10bの言語療法処理部57bは音声データを受信し、ステップSP282へ移り、スピーカ34から当該音声データに基づく音声「おはようございます」を出力する。
患者Pbは、当該音声を聞くと、モニタ14bに表示された定型会話文を見ながら、当該音声の返答となる、「おはようございます」を発音する。
ステップSP283において言語療法処理部57bは、頭部マイク40及び胴体部マイク32により集音した患者Pbの音声に基づく音声データを、ロボット10bにおける患者フォルダの定型会話音声ライブラリに記憶する。
ステップSP284において制御部50bは、音声補正サブルーチンSRT10(詳しくは後述する)に従った処理を行うことにより、録音した音声を補正し、ステップSP285へ移る。
ステップSP285において言語療法処理部57bは、記憶した音声データを、ロボット10aを送信先と指定する送信先情報と共に管理センタ12へ送信する。
ステップSP261において管理センタ12の制御部70は音声データを受信し、ステップSP262へ移り、送信先情報により指定された送信先であるロボット10aへ音声データを送信する。
ステップSP251においてロボット10aの言語療法処理部57aは、音声データを管理センタ12から受信してステップSP252へ移り、スピーカ34から音声「おはようございます」を出力する。
ステップSP253において言語療法処理部57aは、「おしまい」を音声認識したか否かを判定する。ここで否定結果が得られると、このことは患者Paが訓練を継続する意思があることを意味する。
このとき言語療法処理部57aはステップSP248へ戻り、定型会話文ライブラリL3における次の会話文「本日は天気がいいですね」を頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、患者Paの患者フォルダの定型会話音声ライブラリに記憶し、引き続き訓練を継続する。
一方ステップSP286においてロボット10bの言語療法処理部57bは、「おしまい」を音声認識したか否かを判定する。ここで否定結果が得られると、このことは、患者Pbは訓練を継続する意思があることを意味する。
このとき言語療法処理部57bはステップSP281へ戻り、音声データを管理センタ12から受信し、スピーカ34から音声「本日は天気がいいですね」を出力し、引き続き訓練を継続する。
これに対しステップSP253において肯定結果が得られると、このことは、患者Paは訓練を継続する意思がないことを意味するため、入出力動作処理部58aは、スピーカ34から「そろそろおしまいにしましょう。Aさん、Bさん、ありがとうございました。Aさん、Bさんあいさつをどうぞ」と出力し、患者Pa及び患者Pbに互いに挨拶することを促し、ステップSP255へ移る。
ステップSP255において入出力動作処理部58aは、スピーカ34から「また一緒に練習しましょうね」と出力し、ステップSP289へ移り遠隔通信サブルーチンSRT8を終了する。
ロボット10bの制御部50bは、ステップSP287からステップSP288までは、ロボット10aの制御部50aにおけるステップSP254からステップSP255までの処理とほぼ同様の処理を行い、ステップSP291へ移り遠隔通信サブルーチンSRT8を終了する。
このように制御部50a及び50bは、遠隔通信処理を実行することにより、ロボット10aを使用する患者Pa及びロボット10bを使用する患者Pbに対し定型会話文を表示して、患者Pa及び患者Pbに交互に読み上げさせ、音声を適宜補正しつつ会話をさせる。
1−12−2.音声補正機能
制御部50(50a及び50b)は、遠隔通信処理手順SRT8(図28)においてステップSP249又はSP284へ移ると、ROM54から音声補正プログラムを読み出して実行することにより、音声補正処理を実行する。
このとき制御部50は、図30に示すように、比較部90及び補正部92として機能する。
また記憶部66は、定型会話文ライブラリL3(図6)に記憶されている定型会話文を発音する際の模範的な発音を単語毎に区切り、ロボット10の声色である模範音声データとして記憶している。
比較部90は、頭部マイク40及び胴体部マイク32から受信した音声信号に基づく音声データ(以下、入力音声データとも呼ぶ)を得て、当該入力音声データを1文字ずつ音声認識して、例えば形態素解析により単語毎に分割する。
さらに比較部90は、入力音声データと模範音声データとを対応する単語毎に、すなわち例えば入力音声データの「本日は」と、模範音声データの「本日は」とを、音声分析を行うことにより比較し、一致度を算出する。
比較部90は、一致度が所定の閾値よりも大きい場合、現在判定の対象となっている判定対象単語に対する患者Pの発音は適切であると判定する。一方比較部90は、一致度が所定の閾値以下であった場合、判定対象単語に対する患者Pの発音は不適切と判定する。
補正部92は、比較部90により患者Pの発音が不適切であると判定された場合、入力音声データの判定対象単語を、当該判定対象単語に対応する模範音声データの単語と置換する。これにより入力音声データにおける発音が不適切な単語は、ロボットの声色の模範的な音声に補正される。
一方補正部92は、比較部90により患者Pの発音が適切であると判定された場合、判定対象単語を模範音声データと置換せず、音声認識結果に基づく判定対象単語の文字列を発音するロボットの声色に変更する。
すなわち補正部92は、患者Pの音声の速度、音量、音の高さに対応した音声を、ロボットの声色として生成する。
このため図31に示すように、入力音声データにおいて、構音障害の患者Pが発音しにくい単語である「が」が、「か」と不適切に発音されてしまった場合においても、当該「か」は、模範音声データの「が」に置換される。
これにより、制御部50bはステップSP282(図28)において、また制御部50aはステップSP252において、不適切な発音が補正された定型会話文を、ロボット10の声色としてスピーカから出力する。
1−12−3.音声補正処理手順
制御部50は、音声補正処理サブルーチンSRT10(図32)を開始し、ステップSP301へ移る。
ステップSP301において制御部50は、入力音声データにおける1つの会話文(例えば「本日は天気がいいですね」)が話される速度が、所定の閾値以上であるか否かを判定する。
ここで肯定結果が得られると、制御部50はステップSP302へ移り、補正部92により音声データに所定の処理を施すことにより、速度を低下させ、ステップSP303へ移る。
一般的に、構音障害の患者は会話速度が速くなる傾向にある。このため会話相手が音声を聞き取りにくくなる場合がある。
これに対し制御部50は、適切な会話速度となるように音声を遅延させることにより患者Pが聞き取りやすい音声にすることができる。
一方ステップSP302において否定結果が得られると、制御部50はステップSP302をスキップしてステップSP303へ移る。
ステップSP303において制御部50は、入力音声データの1つ目の単語である「本日」を選択して判定対象単語として設定し、ステップSP304へ移る。
ステップSP304において制御部50は、比較部90により、判定対象単語の音量が所定の下側閾値以下であるか否かを判定する。
ここで肯定結果が得られると、制御部50はステップSP305へ移り、補正部92により入力音声データに所定の処理を施すことにより、音量を増大させ、ステップSP306へ移る。
一方ステップSP304において否定結果が得られると、制御部50はステップSP306へ移り、比較部90により、判定対象単語の音量が所定の上側閾値以上であるか否かを判定する。
ここで肯定結果が得られると、制御部50はステップSP307へ移り、補正部92により入力音声データに所定の処理を施すことにより、音量を減衰させ、ステップSP308へ移る。
一般的に、患者が難聴気味の場合、声が大きくなる傾向にあり、一方患者が病み上がりの場合、声が小さい可能性がある。
これに対し制御部50は、所定の下側閾値以下の音量の音声であった場合、音量を大きくする一方、所定の上側閾値以上の音量の音声であった場合、音量を小さくすることにより、聞き取りやすい音声にすることができる。
一方ステップSP306において否定結果が得られると、音量は適正な範囲内に収まっているため、制御部50はステップSP308へ移り、比較部90により、判定対象単語の音の高さが所定の閾値以上であるか否かを判定する。
ここで肯定結果が得られると、制御部50はステップSP309へ移り、補正部92により音声データに所定の処理を施すことにより、音の高さを下げ、ステップSP310へ移る。
構音障害の患者は高齢者が多く、高い周波数の音声、すなわち高い声が聞き取りにくい傾向にある。
これに対し制御部50は、適切な会話速度となるように音の高さを下げることにより、患者が聞き取りやすい音声にすることができる。
ステップSP310において制御部50は、比較部90により音声分析を行い、模範音声と入力音声とを比較し、発音の一致度が所定の閾値以下であるか否かを判定する。
ここで肯定結果が得られると、制御部50はステップSP311へ移り、補正部92により判定対象単語を模範音声データで置き換えることにより補正し、ステップSP312へ移る。
一方ステップSP310において否定結果が得られると、制御部50はステップSP313へ移り、音声認識結果に基づいて判定対象単語の声色を変更し、ステップSP312へ移る。
このように制御部50は、入力音声データを、患者本人の音声ではなく、ロボットの声色に変換し、会話相手の患者に聞かせるようにした。
これによりロボット10は患者Pに対し、ロボット10と一緒に訓練している雰囲気を高め、知らない他の患者と会話をする際に、患者が恥ずかしがって練習できないという状態を回避することができる。
ステップSP312において制御部50は、入力音声の全ての単語の判定が終了したか、すなわち、「ね」まで判定したか否かを判定する。
ここで否定結果が得られると、制御部50はステップSP314へ移り、次の単語を選択し、ステップSP304へ移って再度判定を行う。
一方ステップSP312において肯定結果が得られると、制御部50は補正した入力音声の音声データを記憶部66に記憶し、ステップSP315へ移り音声補正サブルーチンSRT10を終了する。
1−12−4.遠隔通信機能の動作及び効果
以上の構成において、言語療法システム1は、ロボット10a及び10bを介して患者Pa及びPbに定型会話文を読ませることで会話を行わせるようにした。
このため患者Pa及びPbは、自分以外の患者とコミュニケーションを取るような、人と話すという状況における言語療法を行うことができる。
また、言語療法システム1は、患者Pa及び患者Pbを互いに直接話させることなく、ロボット10a及び10bを介して訓練を行わせるようにした。
これにより、患者Pa及びPbの発音が正しくなかったり、聞き取りにくかったりする場合であっても、ロボット10a及び10bが音声を補正した上で会話相手に聞かせるため、訓練を成立させることができる。
以上の構成によれば、動物の形状を模した言語療法ロボットとしてのロボット10は、患者Pに示す定型会話文と、当該定型会話文の模範音声とを予め記憶部66に記憶し、定型会話文をモニタ14により患者Pに示し、患者Pが定型会話文を読んで発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、模範音声と、発話音声とを、対応する所定分割単位である単語に区切って比較し、当該単語毎に一致度を比較部により算出し、一致度が所定の閾値以下である単語における発話音声を、対応する単語の模範音声に置き換え補正音声を生成するようにした。
これによりロボット10は、患者Pの発音が適切でなかった場合に音声を補正した上で訓練相手の患者Pに聞かせることができる。
2.他の実施の形態
なお上述した実施の形態においては、モニタ14をロボット10の外部に設ける場合について述べたが、本発明はこれに限らず、例えばモニタをロボットに内蔵したり、プロジェクターをロボットに内蔵して周囲に画像を投影するようにしたりしても良い。
また上述した実施の形態においては、ロボット10を、円錐台形状の胴体部22と球体状の頭部20とが連結された形状とする場合について述べたが、本発明はこれに限らず、例えば図34に示すロボット110のように、球体状の胴体部1122と球体状の頭部20とが連結された形状等、人間を模した形状であれば種々の形状としても良い。
さらに上述した実施の形態においては、ロボット10の形状を、人間を模した形状とする場合について述べたが、本発明はこれに限らず、例えば犬や猫等の動物の形状を模していても良い。この場合、患者が感情を通わせることができると感じ、親しみを覚えやすい形状が望ましい。
さらに上述した実施の形態においては、胴体部マイク32と頭部マイク40との機能を分けない場合について述べたが、本発明はこれに限らず、例えば胴体部マイク32は患者の音声を取得し、頭部マイク40は患者以外の周囲の音声を取得する等、機能を分けても良い。
さらに上述した実施の形態においては、喜びモード又は悲しみモードの2種類のモードによりロボット10の感情を表現するようにしたが、本発明はこれに限らず、LED44の点灯パターンと頭部アクチュエータ62及び車輪アクチュエータ60の駆動方法との組み合わせ等により、ロボット10の3種類以上のモードの感情を表現しても良い。
さらに上述した実施の形態においては、頭部マイク40及び胴体部マイク32に対する音声入力、並びに腹部タッチセンサ26、頭部タッチセンサ42、左背中タッチセンサ28又は右背中タッチセンサ30に接触することによる操作入力によりロボット10に情報を入力する場合について述べた。
本発明はこれに限らず、ロボット10に物理的なテンキーを設け押下したり、バーコードリーダを設けバーコードを読み取らせたり、ICタグリーダを設けICカードを読み取らせたりしても良い。
さらにロボット10は、スピーカ34から音声を出力している途中においても、頭部マイク40及び胴体部マイク32を介し指示命令を受け付けるようにしても良い。
さらにロボット10は、スピーカ34から音声を出力した後待機している際に、「もう一度言って」を音声認識した場合、再度スピーカ34から同じ音声を出力しても良い。
さらに上述した音声分析提示処理においては、バーグラフを表示する場合について述べたが、本発明はこれに限らず、例えば円グラフ等や、数値等を表示しても良い。要は使用者が、患者の発音の正しさの度合いを一目で認識できる表示形態で表示すれば良い。
さらに上述した音声分析提示処理においては、先頭の一文字目について音声分析提示処理を行う場合について述べたが、本発明はこれに限らず、文中、文末の言葉について行なっても良い。
さらに上述した音声分析提示処理においては、最大振幅GAに応じてバーグラフBGの長さを変化させたが、本発明はこれに限らず、入力音声と模範音声との音声分析を種々の方法により行い、一致度を算出し、一致度が高いほどバーグラフを短くするようにしても良い。
さらに上述した音声分析提示処理においては、バーグラフBGを赤色又は緑色に変化させたが、本発明はこれに限らず、入力音声と模範音声との一致度に応じて3色以上に変化させても良い。
さらに上述した音声分析提示処理においても、入力音声と模範音声との一致度に応じて、操作解答問題処理と同様に、ロボット10を喜びモード又は悲しみモードで行動させて良い。
さらに上述した音声分析提示処理においては、「が」行を「な」行に患者が言い間違えた場合について述べたが、本発明はこれに限らず、それ以外の患者が発音し難い言葉としても良い。
そのような言葉としては、例えば「か」行又は「た」行が「あ」行又は「な」行に、「が」行又は「だ」行が「な」行に、「さ」行が「しゃ」行に、「ざ」行が「じゃ」行に、「だ」行が「な」行に、「ちゃ」行又は「ぢゃ」行が「や」行に、「な」行、「は」行又は「ま」行が「あ」行に、「ば」行又は「ぱ」行が「ま」行に、「ら」行が「あ」行又は「た」行にそれぞれ変化してしまうことが考えられる。
さらに上述した音声分析提示処理においては、繰り返し訓練を行う場合、前回の訓練時のバーグラフBGをまず表示し、今回の訓練時のバーグラフBGを表示する際にバーグラフBGの形状が前回の訓練の状態から変化する様子を表示するようにしても良い。これにより患者Pは、前回の訓練からの上達具合を視認することができるため、モチベーションを保つことができる。
さらに上述した再生処理においては、記憶部66における録音音声ライブラリに記憶された音声データを再生する場合について述べたが、本発明はこれに限らず、記憶部66における定型会話文音声ライブラリに記憶された音声データを再生しても良い。
さらに上述した実施の形態においては、音声分析提示処理においてバーグラフを表示する場合について述べたが、本発明はこれに限らず、再生処理においてバーグラフを表示しても良い。
さらに上述した操作解答問題処理においては、患者Pがモニタ14をタッチすることにより解答する場合について述べたが、本発明はこれに限らず、例えば紙にペンで記入して解答しても良い。
その場合、紙に記入された解答を聴覚士Tが目視して正誤判定し、ロボット10の左背中タッチセンサ28又は右背中タッチセンサ30をタッチすることにより正誤をロボット10に入力すれば良い。
さらに上述した操作解答問題処理においては、発声解答問題処理のように聴覚士が正誤判定し、発声解答問題処理において操作解答問題処理のようにロボット10が自動的に正誤判定しても良い。
さらに上述した発声解答問題処理においては、ロボット10は、時間測定開始から5秒後、10秒後にそれぞれ、「5秒経過」、「10秒経過」とスピーカ34から出力しても良い。
さらに上述したディアトコキネシス処理においては、『パ』に限らず、『タ』、『カ』、『パタカ』等を発音させても良い。
さらに上述した解答結果提示処理においては、解答結果を音声により患者P及び聴覚士Tに提示する場合について述べたが、本発明はこれに限らず、例えばモニタ14に解答結果を表示するようにしても良い。
さらに上述した解答結果提示処理においては、記憶部66における問題解答ライブラリに記憶された解答結果を再生する場合について述べたが、本発明はこれに限らず、記憶部66における質問解答ライブラリに記憶された解答結果を再生しても良い。
さらに上述した遠隔通信処理においては、患者Paが定型会話文を読み上げる際、患者Paに対しバーグラフを提示しても良く、また患者Pbが定型会話文を読み上げる際、患者Pbに対しバーグラフを提示しても良い。
さらに上述した遠隔通信処理においては、患者PaとPbとが定型会話文を読み上げる場合について述べたが、本発明はこれに限らず、患者Paが例文を読み上げ、患者Pbが復唱したり、紙に書き取りをするようにしたりしても良い。
また、例えば患者Pa及び患者Pbの脳波を測定器により測定することにより、患者Pa及び患者Pbが話そうとしている発音を検出し、患者Pa及び患者Pbが自由に対話している最中に、患者Pa及び患者Pbが話そうとしている発音から、実際の発音が一定以上異なる場合、補正した発音をロボットから出力するようにしても良い。
さらに上述した遠隔通信処理においては、管理センタ12を用いてロボット10aと10bとが通信する場合について述べたが、本発明はこれに限らず、ロボット10aと10bとが自律的にネットワークを構築し、いわゆるアドホック通信を行うようにしても良い。
さらに上述した音声補正処理においては、入力音声データ及び模範音声データを単語毎に分割して処理する場合について述べたが、1文字ずつ判定して置換処理を行っても良い。
さらに上述した実施の形態においては、ロボット10が例文ライブラリL1、問題文ライブラリL2、定型会話文ライブラリL3及びフォルダライブラリL4を記憶部66に記憶する場合について述べたが、本発明はこれに限らず、管理センタ12が各種ライブラリを記憶し、ロボット10は当該管理センタ12と通信しながら当該ライブラリに対し記憶及び参照を行っても良い。
さらに上述した実施の形態においては、ロボット10が音声検出スタンバイ処理RT1、録音再生処理SRT1、再生処理SRT2、操作解答問題処理SRT3、発声解答問題処理SRT4、発声持続時間測定処理SRT5、ディアトコキネシス処理SRT6、解答結果提示処理SRT7、遠隔通信処理SRT8、音声分析提示処理SRT9及び音声補正処理SRT10を実行する場合について述べたが、本発明はこれに限らず、ロボット10を介して、管理センタ12が処理を実行するようにしても良い。
さらに上述した実施の形態においては、管理センタ12にロボット10a及び10bが無線接続される場合について述べたが、本発明はこれに限らず、それ以上の台数のロボットが無線接続されても良い。
さらに上述した実施の形態においては、ロボット10の制御部50が、予めROM54に格納されている音声検出スタンバイプログラム、録音再生プログラム、再生プログラム、操作解答問題プログラム、発声解答問題プログラム、発声持続時間測定プログラム、ディアトコキネシスプログラム、解答結果提示プログラム、遠隔通信プログラム、音声分析提示プログラム及び音声補正プログラムを実行することにより、音声検出スタンバイ処理RT1、録音再生処理SRT1、再生処理SRT2、操作解答問題処理SRT3、発声解答問題処理SRT4、発声持続時間測定処理SRT5、ディアトコキネシス処理SRT6、解答結果提示処理SRT7、遠隔通信処理SRT8、音声分析提示処理SRT9及び音声補正処理SRT10等に従った種々の処理を行うようにした場合について述べた。
本発明はこれに限らず、ロボット10の制御部50が、記憶媒体からインストールしたアプリケーションプログラムや、インターネットからダウンロードしたアプリケーションプログラム、その他種々の入手経路を経てインストールしたアプリケーションプログラムに従って上述した各処理を行うようにしても良い。
さらに上述した実施の形態においては、記憶部としての記憶部66と、出力部としてのスピーカ34又はモニタ14と、音声入力部としての頭部マイク40又は胴体部マイク32と、分析部としての分析部82と、提示体作成部としての提示体作成部84と、提示部としてのスピーカ34又はモニタ14とによって、言語療法ロボットとしてのロボット10を構成する場合について述べた。
本発明はこれに限らず、その他種々の構成でなる記憶部と、出力部と、音声入力部と、分析部と、提示体作成部と、提示部とによって、言語療法ロボットを構成するようにしても良い。