JP2006350375A - 携帯情報端末（ｐｄａ）を使用したコミュニケーション支援システム - Google Patents

Abstract

【課題】 言語機能や聴覚に障害を持つ利用者の会話を補助する支援機器は、カスタマイズ性に欠けている。
【解決手段】 カスタマイズ支援機器より移植されたコ会話情報シンボルに基づいて会話訓練するミュニケーション支援機器に、利用者の会話情報シンボル選択時の判定，応答時間を含む操作履歴を記録する手段を設ける。
また、視聴覚による会話訓練を行うための絵シンボルと音声を含む会話情報シンボルを編集するカスタマイズ支援機器に、コミュニケーション支援機器より転送された利用者の会話情報シンボル選択時の判定，応答時間を含む操作履歴を解析する手段を設けることによって会話情報シンボルの更新を行い、障害度に応じて適合する支援機器の提供を可能とした。
【選択図】 図１

Description

本発明は、言語機能に障害を有した利用者に対するコミュニケーション支援装置に関するものである。

知的障害者や自閉症児のように、言語発達や動作による意志表示に遅れを有した障害者向けとして携帯用のコミュニケーション支援機器が特許文献１又は特許文献２によって公知となっている。
特許文献１のコミュニケーション支援機器は、支援機器上のスイッチにより音声のみを発生するものである。特許文献２のコミュニケーション支援機器は、手帳状に形成された機器に絵シンボルを配置し、ページを捲りながら、或いは絵シンボルを有する紙シートをカートリッジに収納し、紙シート上の絵を指すものである。
実用新案登録第３０７４３９３号公報 特開平８−１３７３８５号公報

音声によるコミュニケーション支援機器は、予め機器に記録された音声メッセージを発声するものと、利用者が使用するメッセージを録音して発声させるものとの２種類に分類される。
前者においては、予め登録されているメッセージのみの発声であるために使用するメッセージ範囲が限定されてしまう。また、後者のメッセージ録音のものは、
音声の録音時間や登録可能なメッセージ数に制限がある。
したがって、これら音声によるコミュニケーション支援機器の場合には、解かりやすいコミュニケーションは可能であるが、カスタマイズにおける情報量に制限があるという問題を有している。

また、絵シンボルによるコミュニケーション支援の場合には、利用者の障害レベルに合わせた絵シンボル集を構成するための編集作業に多くの時間を要している。したがって、この絵シンボルによる場合、携帯可能なサイズで豊富な情報量を備える利点は有するが、カスタマイズに要する時間や労力が多くなるという問題点を有している。

本発明の目的は、かかる点に鑑みなされたもので、その目的とするところはコミュニケーション並びにカスタマイズ性に優れたコミュニケーション支援装置とその機器を提供することにある。

本発明の第１は、視聴覚による会話訓練を行うための会話情報を編集するカスタマイズ支援機器と、このカスタマイズ支援機器によって作成された会話情報が伝送手段を介して転送され、転送された会話情報に基づき利用者が会話訓練するコミュニケーション支援機器とを有する支援装置において、
前記カスタマイズ支援機器は、視聴覚による会話訓練を行うための絵シンボルと音声を含む会話情報を収集・編集してコミュニケーションブックを作成して記憶部に記憶し、入力された会話情報のデータに基づいて前記コミュニケーション支援機器に転送するカスタマイズ機能部と、コミュニケーション支援機器より転送された利用者の操作履歴を解析し、当該利用者向けの会話情報のデータを更新するユーザビリティ解析機能部と、前記コミュニケーション支援機器とのデータの授受を行う情報メンテナンス機能部とを備えたことを特徴としたものである。

本発明の第２は、前記カスタマイズ機能部は、管理可能な画像データ、文字データ、音声データを含むマルチメディア情報を組み合わせて会話情報を作成するシンボル編集機能部と、このシンボル編集機能部で作成された複数の会話情報を階層的に管理するコミュニケーションブック作成機能部とを有し、前記ユーザビリティ解析機能部は、前記コミュニケーション支援機器より転送された会話情報の利用頻度、会話情報の表示から応答操作までに要した時間を解析するシンボル認知度解析機能部と、利用者がいかなる操作を行ったかを画面上に再現して操作特性を解析する操作履歴解析機能部とを備えたことを特徴としたものである。

本発明の第３は、前記シンボル認知度解析機能部による解析は、会話情報の表示から応答操作までに要した時間を会話シンボル単位で積算し、シンボル総数に対する使用比率・平均反応速度グラフ化してカスタマイズ支援機器の表示部に表示することを特徴としたものである。

本発明の第４は、視聴覚による会話訓練を行うための絵シンボルと音声を含む会話情報を編集するカスタマイズ支援機器と、このカスタマイズ支援機器によって作成された会話情報が伝送手段を介して転送され、転送された会話情報に基づいて利用者が会話訓練するコミュニケーション支援機器とを有する支援装置において、
前記コミュニケーション支援機器に、利用者の会話情報シンボル選択時の判定，応答時間を含む操作履歴を記録する手段を設け、前記カスタマイズ支援機器には、前記操作履歴を解析する手段を設け、コミュニケーション支援機器とカスタマイズ支援機器とは伝送手段を介して互いに会話情報の同期化を可能にしたことを特徴としたものである。

以上のとおり本発明によれば、利用者の障害度に応じて任意に入力された絵シンボルや音声メッセージの追加，変更による更新、或いはツールなどの切換が容易に行え得るので、障害度に応じて常に適合した支援機器の提供が可能となり、しかも利用者はタッチパネルだけの簡単な操作で利用できるものである。
また、携帯情報端末機をコミュニケーション支援機器のプラットフォームとすることにより携帯性が向上できる等の利点を有するものである。

図１は、本発明の実施形態を示すものである。同図において、１はコミュニケーション支援機器としての情報端末機で、この情報端末機１は必ずしも携帯用には限定されないが、ここでは携帯情報端末機として例えばＷｉｎｄｏｗｓＣＥ(登録商標)が搭載されて、ビスネス用として普及しているような情報端末機上で後述の支援環境を実現している。したがって、この情報端末機はＣＰＵや記憶部としてのＲＡＭ、ＲＯＭを有しており、その外面には表示部１０などを有している。表示部１０は、液晶ディスプレイとタッチパネルを組み合わせた構成となって、指先などによる接触で絵などの表示対象物を選択する。１１はカーソルボタン、１２はプログラム選択ボタン、１３はスピーカである。

２はカスタマイズ支援機器としてのパソコンで、このパソコンを用いて情報端末機とその管理を行う。また、このパソコン２には、キーボードやスキャナ３、デジタルカメラ４、及びマイク５などの部材を介して必要とする情報が記憶部に収集されるが、これは、情報端末器１には大容量の記憶部を持っていないことにより搭載可能な機能や情報量が制限されるため、使用者側で機能や情報を選択できるようにしたものである。６は伝送ケーブルや無線回線よりなる伝送手段で、パソコンによって収集，編集された情報を情報端末機１に伝送する。伝送手段が伝送ケーブルで、且つ、情報端末機１が携帯の場合にはこのケーブルは情報伝送後に取り外される。

これら情報端末機１とパソコン２によってコミュニケーション支援装置が構成されるが、情報端末機１で使用される会話情報としては、カテゴリ、シンボル、表記文字、音声、関連語句の各情報によって構成される。この会話情報の集合をコミュニケーションブックとみなし、サポートの役割を担うパソコンには、会話情報及びコミュニケーションブックの作成機能が配置されている。
パソコン側にて作成されたコミュニケーションブックは、情報端末機１とパソコン２との情報透過を行う機能部（情報交換機能部）を介して情報端末機１に転送，記憶され、コミュニケーション支援を実現する各種機能部の情報として使用される。

図２は、コミュニケーション支援機器（情報端末機１）に構築する機能図を示したもので、コミュニケーション機能部２０、ユーザビリティ機能部２１及び情報メンテナンス機能部２２を有している。
コミュニケーション機能部２０は、コミュニケーションブックに収録された絵シンボルと音声を伝達手段とするコミュニケーション支援機能部２０ａと、これに先立って行われるシンボル認知機能部２０ｂとに大別される。

図３は、情報端末機１の表示部１０における表示形態の一例を示したものである。同図において、１０ａはカテゴリを表示するカテゴリ表示領域で、「のりもの」とか「たべもの」等のカテゴリが表示される。１０ｂはシンボル表示領域で、カテゴリに対応するシンボルが１〜複数種が表示される。この表示枚数は使用者側における障害度合いに応じて任意に変更可能となっている。１０ｃは関連語表示領域で、例えば「乗る」、「好き」、「きらい」等の関連シンボルが表示される。１０ｄはメッセージ領域で、「じてんしゃすき」などの文字による表示が行われる。１０ｅ〜１０ｇはそれぞれページ捲り領域である。
なお、表示画面の設定は親などの管理者が裏画面にてよって行う。

図２におけるコミュニケーション支援機能部２０ａは、コミュニケーションブックに格納されている会話情報シンボルのカテゴリを基準にして、例えば図３で示すようにシンボルと関連語句の集合を表示部１０上に一覧表示する。
利用者によるカテゴリの指定及びシンボルと関連語句の２つのシンボルの選定をトリガーとして２つの会話情報から合成される文章を音声メッセージとしてスピーカ１３より自動発声する。

シンボル認知機能部２０ｂは、コミュニケーション支援機能部２０ａに先立って使用される機能で、コミュニケーションブックに収録されている会話情報シンボル１枚ずつ表示し、その音声メッセージを発声する機能である。
このシンボル認知機能部２０ｂでは、シンボルを表示する時間やコミュニケーションブックに収録されている会話情報シンボルから特定のカテゴリに属するシンボルのみの指定ができ、また会話情報シンボルの表示順序に関しても任意に設定可能となっている。

コミュニケーション支援機器の使用対象者としては知的障害者を想定しており、その障害程度は個々により異なってくる。このためコミュニケーション支援機器の表示形式や操作方法などのユーザビリティに関する機能を配置することが重要となる。

ユーザビリティ機能部２１はその要望にそって設けられたもので、画面構成・操作方法設定機能部２１ａ及び操作履歴記録機能部２１ｂを有している。
画面構成・操作方法設定機能部２１ａは、画面に表示する会話情報シンボルの表示数を１枚、４枚、９枚の如く障害の重度に応じて表示数を設定する。また、操作方法のユーザビリティとしては、会話シンボル選択時における利用者の判定時間と応答時間を設定する機能を備えている。
操作履歴記録部２１ｂは、コミュニケーション支援機器使用時の操作履歴を記録することで、利用者の障害特性に合わせたユーザビリティ設定を調整するための機能で、この機能はコミュニケーション支援機器操作履歴と、パソコンでの操作履歴解析の２つの機能により実現されている。

情報メンテナンス機能部２２は、情報交換通信機能部２２ａを有している。
コミュニケーション支援装置は、コミュニケーション支援機器（情報端末機１）とカスタマイズ支援機器（パソコン２）とで構成されるが、両者の共有情報としてはコミュニケーションブックと操作履歴情報の２種類となる。情報メンテナンス機能は、これらの情報をコミュニケーション支援機器とカスタマイズ支援機器間を接続して情報を同期するための機能である。
情報の同期に関しては、通信可能状態にある２台の機器に格納されている共有情報における情報の差異を検出し、更新に必要な箇所のみが透過される。
また、情報の同期手順については、情報端末機とパソコンのそれぞれから行なわれる。

図４はカスタマイズ支援機器を構築する機能図で、このカスタマイズ端末機２はコミュニケーションブックの作成を目的とするカスタマイズ機能部３０と、ユーザビリティ解析機能部３１及び情報メンテナンス機能部３２を備えている。

カスタマイズ機能部３０における第１は、シンボル編集機能部３０ａを備えていることである。この機能はパソコンで管理可能な画像データ、文字データ、音声データなどのマルチメディア情報を組み合わせて管理するための会話情報シンボルを作成する。この機能におけるマルチメディア情報の作成自体は外部の機能に依存するが、会話情報シンボルとしての管理情報の関連付けを管理する。
カスタマイズ機能部３０の第２は、コミュニケーションブック作成機能部３０ｂを備えていることである。
コミュニケーション作成機能部３０ｂは、シンボル編集機能部３０ａで作成された複数の会話情報シンボルを階層構造で管理するためのものである。この機能では会話情報シンボルの集合としてコミュニケーションブックを作成するだけでなく、個々の会話情報シンボルに対して、そのシンボルから連想される別の会話情報シンボルを関連語として複数登録することを可能にしている。これによって、会話情報シンボルとそれに対応した複数の関連語の組み合わせによる単語の組み合わせによる文書作成を実現している。

ユーザビリティ解析機能部３１は、シンボル認知度解析機能部３１ａと操作履歴解析機能部３１ｂを備えている。
カスタマイズ機能部３０によって作成されたコミュニケーションブックは、コミュニケーション支援機器へ転送されてコミュニケーションの媒体として使用されるが、しかし、コミュニケーション支援機器はカスタマイズ支援機器から切り離された状態で持ち歩くことが想定される。このため、コミュニケーションブックに収録された会話情報シンボルの利用頻度や視認性、さらにはコミュニケーション支援機器の操作性など正確に把握することが困難となる。
この問題を解決するために、前述したようにコミュニケーション支援機器には操作履歴記録機能部２１ｂが配置されている。この操作履歴記録機能部２１ｂに記録された出力データには、コミュニケーションブックの収録された会話情報の利用回数や操作速度などの情報が格納されており、ユーザビリティ解析機能部３１はこれらの情報を数値化して統計情報の出力を行う。

シンボル認知度解析機能部３１ａは、コミュニケーション支援機器１における会話情報シンボルの利用頻度、シンボル認知機能における会話シンボル表示から応答操作までに要した時間を会話補助シンボル単位に積算すると共に、シンボル総数に対する使用比率・平均反応速度グラフ化して表示する。この解析によって視認性の劣る会話補助シンボルの再検討や使用頻度の低いシンボルの削除などによるコミュニケーションブックの最適化を実現している。
操作履歴解析機能部３１ｂは、コミュニケーション支援機器に対する指示内容を時系列に表示し、使用者がいかなる操作を行ったかを画面上の仮想モデル空間に再現し、使用者の操作特性を解析し支援する。この解析を行うことで使用者の障害特性に合ったユーザビリティの確保を実現している。

情報メンテナンス機能部３２は情報交換通信機能部３２ａを有しており、その機能はコミュニケーション支援機器側の情報メンテナンス機能２２と同様である。

図５はコミュニケーション支援機器とカスタマイズ支援機器とのデータ同期フローを示したものである。
カスタマイズ支援機器２において、スキャナ等よりの入力手段より得られた情報に基づいて作成されたコミュニケーションブック情報はコミュニケーション支援機器１に転送される。コミュニケーション支援機器では、転送されたコミュニケーションブック情報を参照しながらコミュニケーション機能を実行し、その記録を保存して操作記録とし、カスタマイズ支援機器に転送する。カスタマイズ支援機器は転送された操作記録を解析し、操作記録に基づいてコミュニケーションブックを改定する。
したがって、コミュニケーション支援機器に搭載されるコミュニケーションブックは、初期訓練用から軽度障害用と常にその利用者の障害度に適合したもとすることができる。

図６はコミュニケーション支援機器の処理フローを示したものである。
ステップＳ１で初期化処理が行なわれると初期画面が表示部１０に表示される。利用者による画面入力を待った後（Ｓ２）に、Ｓ３でカテゴリの切換えがあったか否かが判断される。切換信号ありの場合には、Ｓ４で選択カテゴリの収録シンボルの先頭ページとＳ５での選択カテゴリの関連語先頭ページが例えば図３のように表示され、Ｓ２に戻って次の画面入力を待つ。カテゴリ表示領域１０ａに表示された表示画面のカテゴリが意に添わなかった場合には、ページ捲り領域１０ｅを押圧することによりカテゴリを切換えて所望のカテゴリ（図３では「のりもの」）を表示する。

カテゴリ選択が終わると、ステップＳ６でページ捲り領域１０ｆ押圧によるシンボル切換信号の有無を判断する。利用者はシンボル表示領域１０ｂに表示されたシンボルが意に添わなかった場合にはページ捲り領域１０ｆを押圧するが、その切換信号ありと判断された場合にはＳ７で表示中シンボルの次ページ情報をＲＡＭから参照し表示する。Ｓ６でのシンボル切換で切換信号なしのときにはＳ８でシンボル選択の有無が判断される。選択信号で、その選択されたシンボルが自転車であるとすると、Ｓ９ではそのシンボル自転車に対応する音声ファイルを再生し、Ｓ１０においてメッセージ領域１０ｄに［じてんしゃ］が表示される。

ステップＳ１１ではシンボル選択信号なしのとき関連語切換の有無が判断される。ページ捲り領域１０ｇによる切換信号ありの場合には、Ｓ１２において表示中カテゴリの関連語の次ページの情報をＲＡＭから参照し表示する。関連語切換信号なしのときには、Ｓ１３で関連語選択の有無が判断され、選択信号ありのときにはＳ１４において対応する関連語の音声ファイルを再生し、Ｓ１５でメッセージ領域１０ｄに「じてんしゃすき」の関連語を追加表示する。

ステップＳ１６では、関連語選択信号なしのときにメッセージ領域選択の有無が判断され、選択信号ありのときにはＳ１７で表示中のシンボルと関連語の音声ファイルを連続して再生する。Ｓ１６でメッセージ領域選択信号なしのときにＳ１８で終了指示の有無が判断され、終了時にはＳ１９で終了処理が行なわれ表示情報およびＲＡＭに格納された情報が初期化される。終了指示が出されなかった場合には、以下同様にして利用者による訓練が実行される。

なお、コミュニケーション支援機器の表示部への表示機能としては、上記したコミュニケーション以外に図７，図８のような機能を有している。
すなわち、図７（ａ）は５０音キーボードで、任意の言葉、文章を情報端末機の表示部から直接入力することにより発声する機能となっている。（ｂ）図は自己紹介機能を示したもので、利用者の顔写真、音声、氏名等を情報端末機のＲＡＭに登録して使用する。（ｃ）図はタイマー機能を示したもので、時間の経過を視覚的に表示して設定時刻となったときにシンボルと音声で知らせる。
図８（ａ）〜（ｃ）図はスケジューラ機能示したもので、カレンダーに開始時刻と終了時刻を設定して作業時間を自己管理する。この他カレンダーにチェック項目を設定し、達成率管理が可能となっている。

本発明の実施形態を示す構成図。 本発明のコミュニケーション支援機器の機能図。 本発明の使用形態を示す概念図。 本発明のカスタマイズ支援機器の機能図。 本発明のコミュニケーション支援装置のデータ同期フロー。 本発明のコミュニケーション支援機器の処理フロー。 本発明の画面表示例で、（ａ）は５０音、（ｂ）は自己紹介、（ｃ）タイマー図。 本発明の画面表示例で、（ａ）〜（ｃ）はスケジュール図。

符号の説明

１…コミュニケーション支援機器（情報端末機）
２…カスタマイズ支援機器（パソコン）
３…スキャナ
４…デジタルカメラ
５…マイク
１１…カーソルボタン
１２…プログラム選択ボタン
１３…スピーカ
２０…コミュニケーション機能部
２１…ユーザビリティ機能部
２２…情報メンテナンス機能部
３０…カーソルボタン機能部
３１…ユーザビリティ解析機能部
３２…情報メンテナンス機能部

Claims (4)

1. 視聴覚による会話訓練を行うための会話情報を編集するカスタマイズ支援機器と、このカスタマイズ支援機器によって作成された会話情報が伝送手段を介して転送され、転送された会話情報に基づき利用者が会話訓練するコミュニケーション支援機器とを有する支援装置において、
   前記カスタマイズ支援機器は、視聴覚による会話訓練を行うための絵シンボルと音声を含む会話情報を収集・編集してコミュニケーションブックを作成して記憶部に記憶し、入力された会話情報のデータに基づいてコミュニケーションブックより当該会話情報を前記コミュニケーション支援機器に転送するカスタマイズ機能部と、コミュニケーション支援機器より転送された利用者の操作履歴を解析し、
   当該利用者向けの会話情報のデータを更新するユーザビリティ解析機能部と、前記コミュニケーション支援機器とのデータの授受を行う情報メンテナンス機能部とを備えたことを特徴としたコミュニケーション支援システム。
2. 前記カスタマイズ機能部は、管理可能な画像データ、文字データ、音声データを含むマルチメディア情報を組み合わせて会話情報を作成するシンボル編集機能部と、このシンボル編集機能部で作成された複数の会話情報を階層的に管理するコミュニケーションブック作成機能部とを有し、前記ユーザビリティ解析機能部は、前記コミュニケーション支援機器より転送された会話情報の利用頻度、会話情報の表示から応答操作までに要した時間を解析するシンボル認知度解析機能部と、利用者がいかなる操作を行ったかを画面上に再現して操作特性を解析する操作履歴解析機能部とを備えたことを特徴とした請求項１記載のコミュニケーション支援システム。
3. 前記シンボル認知度解析機能部による解析は、会話情報の表示から応答操作までに要した時間を会話シンボル単位で積算し、シンボル総数に対する使用比率・平均反応速度グラフ化してカスタマイズ支援機器の表示部に表示することを特徴とした請求項２記載のコミュニケーション支援システム。
4. 視聴覚による会話訓練を行うための絵シンボルと音声を含む会話情報を編集するカスタマイズ支援機器と、このカスタマイズ支援機器によって作成された会話情報が伝送手段を介して転送され、転送された会話情報に基づいて利用者が会話訓練するコミュニケーション支援機器とを有する支援装置において、前記コミュニケーション支援機器に、利用者の会話情報シンボル選択時の判定，応答時間を含む操作履歴を記録する手段を設け、前記カスタマイズ支援機器には、前記操作履歴を解析する手段を設け、コミュニケーション支援機器とカスタマイズ支援機器とは伝送手段を介して互いに会話情報の同期化を可能にしたことを特徴としたコミュニケーション支援システム。
   
   

Images