JP2016009133A - 言語リハビリテーション支援装置及びその制御方法 - Google Patents

Abstract

【課題】 例えば構音障害者に対して効果的な言語リハビリテーションを行うのに有利な言語リハビリテーション支援装置を提供する。【解決手段】 言語リハビリテーション支援装置は、ターゲットとする音韻の種類を指定するとともに、指定された種類の音韻の位置として語頭、語中、語尾のうちの少なくともいずれかを指定する指定手段と、指定された種類の音韻が指定された位置に存在する単語群から選択された単語を提示する提示手段と、提示された単語を被訓練者が読み上げた音声を認識する音声認識手段と、音声認識手段による認識結果の履歴に基づいて被訓練者の読み上げ音声に関する評価値を提供する提供手段とを有する。【選択図】 図１

Description

本発明は、言語リハビリテーション支援装置及びその制御方法に関する。

言語障害の一種に、構音障害がある。構音障害は、構音運動の要素（発話明瞭度、発話速度、発話音量など）の少なくともいずれかに障害を受けている状態と考えられる。構音障害者に対しては従来、言語聴覚士によって、発話機能の改善、又は、その他の機能での代替を目的とした言語リハビリテーションが行われる。

しかし、発話明瞭度は、患者が言語聴覚士と自由に会話をしている中で、言語聴覚士の耳によって判断されており、患者自身が発話明瞭度を自覚し、明瞭度について明確な指標の下、目標を設定して訓練するということは困難であった。

言語リハビリテーションを支援する装置としては、例えば、絵又は文字を表示してこれに対応する単語を発声させ、これを音声認識して合否判定を行うものがある（特許文献１）。

特許第４０４８２２６号公報

しかし、特許文献１に開示されたような装置では、訓練の効果を把握することが難しい。また、正しく発音できない音に特化して訓練を行うといったこともできない。

本発明は、例えば構音障害者に対して効果的な言語リハビリテーションを行うのに有利な言語リハビリテーション支援装置を提供することを目的とする。

本発明の一側面によれば、ターゲットとする音韻の種類を指定するとともに、前記指定された種類の音韻の位置として語頭、語中、語尾のうちの少なくともいずれかを指定する指定手段と、前記指定された種類の音が前記指定された位置に存在する単語群から選択された単語を提示する提示手段と、前記提示された単語を被訓練者が読み上げた音声を認識する音声認識手段と、前記音声認識手段による認識結果の履歴に基づいて前記被訓練者の読み上げ音声に関する評価値を表示する表示手段とを有することを特徴とする言語リハビリテーション支援装置が提供される。

本発明によれば、例えば構音障害者に対して効果的な言語リハビリテーションを行うのに有利な言語リハビリテーション支援装置が提供される。

実施形態におけるロボットの外観構成を示す図。 実施形態におけるロボットの内部構成を示すブロック図。 実施形態における発話訓練プログラムのモジュール構成の例を示す図。 実施形態における発話訓練処理のフローチャート。 実施形態における発話訓練処理におけるホーム画面の例を示す図。 実施形態における発話訓練処理におけるメニュー画面の例を示す図。 実施形態における発話訓練処理における単語提示画面の例を示す図。 実施形態における発話訓練処理における単語提示画面の例を示す図。 実施形態における訓練評価結果の表示例を示す図。 実施形態における訓練評価結果の表示例を示す図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、実施形態における言語リハビリテーション支援装置としてのロボット１の外観構成を示す図である。ロボット１は、構音障害者等の患者（被訓練者）とインタラクションをとるものであって、患者に対し言語リハビリテーション用の言語表現を行う。

ロボット１は、一般的なコンピュータ装置の外観を持つものであってもよいが、患者とインタラクションをとりながらリハビリテーションを行うものであるから、患者がリラックスして親しみがわくような外観構成を有するとよいであろう。ロボット１は、例えば無線通信を行うためのアンテナ１１１を有する。また、ロボット１には、人の耳及び口に対応する位置にそれぞれマイクロホン１１４及びスピーカ１１２が設けられている。また、ロボット１は、言語聴覚士や患者が使用するためのタッチパネル式の表示・入力デバイスであるタブレット端末１５０を、ケーブル１５１を介して接続可能である。タブレット端末１５０のタッチパネルは、ユーザの指によるタップやなぞり動作を検出可能である。もっとも、このようなタブレット端末１５０の機能は、ロボット１自体が予め備えている構成としてもよい。

図２は、ロボット１の内部構成を示すブロック図である。ロボット１は、装置全体の制御を司るＣＰＵ１０１、主記憶装置として機能するＲＡＭ１０２、制御プログラムや固定的なデータを記憶しているＲＯＭ１０３をはじめ、以下の構成を備える。

無線通信コントローラ１０５は、アンテナ１１１を介して行う無線通信を制御する。ＨＤＤ１０６はハードディスク装置であり、オペレーティングシステム（ＯＳ）１０７や発話訓練プログラム１０８を格納する他、訓練に使用される単語を記述した単語リスト１１６、患者データベース（ＤＢ）１１８を記憶する。インタフェース（Ｉ／Ｆ）１０９は、タブレット端末１５０をケーブル１５１を介して接続する。音声コントローラ１１０は、不図示のＡ／Ｄコンバータ、Ｄ／Ａコンバータ、アンチエイリアシングフィルタ等を含み、スピーカ１１２を用いた音声出力及びマイクロホン１１４からの音声入力を行う。

図３は、発話訓練プログラム１０８のモジュール構成の例を示している。患者登録／検索モジュール１２１は、患者ＤＢ１１８への新規登録処理、及び患者ＤＢ１１８からの患者の検索処理に係るファンクションモジュールである。発話訓練メインモジュール１２３は、発話訓練の実行を担う。音声再生モジュール１２４は、単語リスト１１６の単語の音響出力を行う。単語リスト１１６の単語の音響出力には、音声合成（テキスト合成）が用いられてもよい。また、音声再生モジュール１２４は、患者の録音データの再生も行うことができる。音声認識モジュール１２５は、患者の発話を認識する。この音声認識モジュール１２５によれば、例えば単語を認識単位とする音声認識が行われる。音響モデルには、例えば、ＨＭＭ（Hidden Markov Model）が各状態においてＧＭＭ（Gaussian Mixture Model）に従って特徴量を出力するモデルが用いられる。音声認識用の単語辞書はこの音声認識モジュール１２５に含まれていてもよいし、独立にＨＤＤ１０６に記憶されていてもよい。ただし、本発明は、特定の音声認識アルゴリズムに限定されるものではない。

図４は、本実施形態における発話訓練処理のフローチャートである。このフローチャートに対応するプログラムは、発話訓練プログラム１０８に含まれ、ＲＡＭ１０２にロードされてＣＰＵ１０１によって実行される。このプログラムが実行されるとまず、図５に示されるようなホーム画面がタブレット端末１５０に表示される。図示のように、ホーム画面は、患者登録ボタン５０１、患者選択ボタン５０２、訓練開始ボタン５０３を含む。ユーザ（例えば言語聴覚士。被訓練者自身でもよい。）がいずれかのボタンをタップすると、対応する画面に遷移することができる。

患者登録ボタン５０１又は患者選択ボタン５０２がタップされることで、患者の登録又は選択が行われる（Ｓ１）。患者の登録及び選択の詳細は本発明と直接関係がないので、それらの画面例を図示することは、省略する。登録時には、患者ID、氏名、障害種別等、所定の個人情報を記述していくことになる。登録又は選択が完了すると画面はホーム画面に戻るものとする。

Ｓ２では、訓練開始ボタン５０３がタップされるのを待機している。訓練開始ボタン５０３がタップされると、処理はＳ３の単語選択工程に移行する。ここでは図６に示されるようなメニュー画面がタブレット端末１５０に表示される。

図６において、ユーザ（言語聴覚士、患者、又は患者を介護する人）は、ターゲットとする音韻の種類（図示の例では、音韻「か」、「さ」、「た」、「ら」）をボタン群６０１から選択することができる。ユーザは、更に、ターゲットの音韻が単語中に存在する位置として、例えば語頭６０２、語中６０３、語尾６０４のうちの少なくともいずれかを指定することができる。

本実施形態では更に、Ｓ４において、ユーザは、再生される単語の再生速度を調整することができる（５０５）。再生速度によって患者の了解度が異なり、模倣する際の構音に影響するからである。「次へ」ボタン６０６がタップされると、処理はＳ５へと移行する。

Ｓ５では、Ｓ３で指定された条件の単語群が、単語リスト１１６から選択されて、図７，図８に示されるような単語提示画面がタブレット端末１５０に表示される。図７は、図６のメニュー画面において、音韻「か」がターゲットとして指定された場合の例を示す。図８は、図６のメニュー画面において、音韻「さ」がターゲットとして指定された場合の例を示している。また、図７，図８とも、ターゲットの音韻の位置として語頭、語中、語尾が全て指定された場合の例を示している。マークＦが表示されている単語が現在対象の単語である。ロボット１は、例えば「後に続いて言ってください。」とアナウンスした後、この対象の単語を、Ｓ４で設定された再生速度で再生する。なお、提示されるものは単語でも文でもよいし、提示される単語は意味のある単語だけでなく、「なだなだなだ」等、無意味語でもよい。

患者は、再生された単語の後に続いて、その単語を読み上げる。この音声はマイクロホン１１４を介して入力され、例えばＲＡＭ１０２に記録される（Ｓ６）。また、実施形態において、ロボット１は、この記録した音声をただちに再生出力してもよい。これにより患者は自分の発声を確認することができる。

ロボット１は、Ｓ６で入力した音声に対して、音声認識を実行する（Ｓ７）。音声認識は、例えば次のように行われる。まず、入力音声が、ＬＰＣメルケプストラム等のパラメータのベクトル系列に変換される。次に、パラメータベクトルに対し音響モデルを作用させて、音韻ごとの尤度（音韻類似度）が算出される。その後、算出された音韻類似度に対し、単語辞書に登録されている各単語と照合することで各単語についてのスコア（単語尤度）が算出される。本実施形態では例えば、これらの単語尤度のうちの最大値が、認識結果として出力される。

音声認識完了後、認識結果のフィードバックを行う（Ｓ８）。例えば、認識結果として出力された最大単語尤度が所定のしきい値を上回れば正解とし、ロボット１が例えば「いいですね。」と音声合成により結果を提示する。一方、しきい値を上回らなければ、ロボット１は例えば「あと一息です。」と応答する。ここで、録音しておいた患者の発話を再生し、フィードバックしても構わない。

その後、認識結果を履歴として登録する（Ｓ９）。ここで、認識結果（単語尤度）は、実行日時、対象単語、再生速度等と関連付けられて履歴に登録される。

図７又は図８の「次へ」ボタンＮがタップされ、未処理の対象単語がまだある場合は（Ｓ１０、ＹＥＳ）、Ｓ５に戻り、次の対象単語について処理を繰り返す。対象単語について全て処理が完了した場合は、処理はＳ１１に移行する。

Ｓ１１では、収集された履歴情報に基づいて、評価値の計算を行う。例えば、ターゲット音「か」を含む単語の発話訓練を行った場合、評価値として、ターゲット音「か」の位置（語頭、語中、語尾）ごとの正解率、提示された単語の再生速度ごとの正解率を計算する。また、訓練実行日ごとの正解率も計算することができる。

その後、訓練評価結果を、例えばタブレット端末１５０に表示する（Ｓ１２）。図９及び図１０に表示例を示す。図９（ａ）は、ターゲット音「か」を含む単語の発話訓練を行った場合に表示される、ターゲット音「か」の位置（語頭、語中、語尾）ごとの正解率のグラフである。このグラフ表示によれば、特定の音韻の位置ごとに発音が正しくできるかどうかの判定が容易になる。図９（ｂ）は、ターゲット音「か」を含む単語の発話訓練を行った場合に表示される、提示された単語の再生速度ごとの正解率のグラフである。また、図１０は、訓練実施日ごとの正解率のグラフである。これらの表示によれば、訓練の効果を容易に把握することが可能になり、今後、正しく発音できないターゲット音に特化して訓練を行うことも可能になる。こうして、例えば構音障害者に対して効果的な言語リハビリテーションを行うのに有利な言語リハビリテーション支援装置が提供される。

上述の実施形態では、１単語を提示してそれを患者が復唱するようにしたが、一度に複数の単語を提示してそれを患者に復唱させるようにしてもよい。

１０：言語リハビリテーション支援装置、１０１：ＣＰＵ、１１２：スピーカ、１１４：マイクロホン、１５０：タブレット端末

Claims (10)

1. ターゲットとする音韻の種類を指定するとともに、前記指定された種類の音韻の位置として語頭、語中、語尾のうちの少なくともいずれかを指定する指定手段と、
   前記指定された種類の音韻が前記指定された位置に存在する単語群から選択された単語を提示する提示手段と、
   前記提示された単語を被訓練者が読み上げた音声を認識する音声認識手段と、
   前記音声認識手段による認識結果の履歴に基づいて前記被訓練者の読み上げ音声に関する評価値を提供する提供手段と、
   を有することを特徴とする言語リハビリテーション支援装置。
2. 前記提示手段は、前記選択された単語を再生する再生手段を含むことを特徴とする請求項１に記載の言語リハビリテーション支援装置。
3. 前記選択された単語の再生速度を調整する調整手段を更に有することを特徴とする請求項２に記載の言語リハビリテーション支援装置。
4. 前記被訓練者が読み上げた音声の録音及び再生を行う手段を更に有することを特徴とする請求項１に記載の言語リハビリテーション支援装置。
5. 前記評価値は、正解率であることを特徴とする請求項１に記載の言語リハビリテーション支援装置。
6. 前記提供手段は、前記音韻の位置ごとの正解率を表示することを特徴とする請求項５に記載の言語リハビリテーション支援装置。
7. 前記提供手段は、前記再生速度ごとの正解率を表示することを特徴とする請求項５に記載の言語リハビリテーション支援装置。
8. 前記提供手段は、訓練実施日ごとの正解率を表示することを特徴とする請求項５に記載の言語リハビリテーション支援装置。
9. 言語リハビリテーション支援装置の制御方法であって、
   ターゲットとする音韻の種類を指定するとともに、前記指定された種類の音韻の位置として語頭、語中、語尾のうちの少なくともいずれかを指定する指定ステップと、
   前記指定された種類の音韻が前記指定された位置に存在する単語群から選択された単語を提示する提示ステップと、
   前記提示された単語を被訓練者が読み上げた音声を認識する音声認識ステップと、
   前記音声認識ステップでの認識結果の履歴に基づいて前記被訓練者の読み上げ音声に関する評価値を提供する提供ステップと、
   を有することを特徴とする言語リハビリテーション支援装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の言語リハビリテーション支援装置が有する各手段として機能させるためのプログラム。

Images