JP2017003885A - 情報出力装置、情報出力方法、及びプログラム - Google Patents

Abstract

【課題】感覚や運動の学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報出力装置を提供することである。【解決手段】感覚情報処理装置は、測定感覚情報を受信する受信部と、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する変換部と、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する情報処理部と、を備える。【選択図】図２

Description

体性感覚を始めとする弁別能力の低い感覚を測定し、測定結果に関する情報を出力（提示）する情報出力装置、情報出力方法、及びプログラムに関するものである。

体性感覚は、自分の身体をコントロールして運動を行う際に重要となる感覚である。体性感覚としては、筋緊張度合いや関節位置などが知られている。例えば、1秒を切る早い運動やなめらか運動に対しては、リアルタイムの運動に対してはフィードバック情報を利用せず、内部モデルを利用して制御し、運動後にフィードバック情報から内部モデルを修正して次回の運動精度の改善に活かしている。運動時の内部モデルの学習は、フィードバック誤差学習で学習されると考えられている。フィードバック誤差学習では、目標軌道と実現軌道の間の誤差を誤差信号（教師信号）として内部モデルの修正が行われている。ただし、この誤差に対して、体性感覚の空間・時間分解能が低い場合には、内部モデルの習得には時間がかかる。

従来、単純な基礎運動時（腕の位置や姿勢の制御）に視覚情報や聴覚情報を単体で提示した時の運動学習の学習速度と定着効果の違いについて研究が行われている（非特許文献１参照）。また、複合運動としての動きを聴覚提示する試みが行われている（非特許文献２参照）。

また、上肢運動と姿勢制御において、視覚情報を利用することで習熟効果は高くなるが、保持には聴覚が優れていることが知られている（非特許文献１、３参照）。さらに、押圧力訓練のために視覚情報を利用する場合、リアルタイムでフィードバックすると、力の安定性は向上するが、定着精度は低下することも知られている（非特許文献４参照）。

Ronsse, Renaud, et al. "Motor learning with augmented feedback: modality-dependent behavioral and neural consequences." Cerebral cortex 21.6 (2011): 1283-1294. 宝里直幸, 有田浩之, 阪口豊, 身体運動の可聴化: その概念と運動学習支援への応用, 情報処理学会 インタラクション2011 東口大樹, 大矢敏久, 高橋秀平, 西川大樹, 上 村一樹, 内山靖, 聴覚および視覚フィードバックが運動学習の習熟過程・保持に及ぼす特性の違い, 日本理学 療法学術大会, 2012 道用大介, 押圧力制御訓練における視覚フィードバックに関する基礎研究, 人間工 学 42.4 (2006): 227-233.

弁別能力の低い感覚の弁別能力の向上技術に関する要望が出されている。弁別能力の低い感覚だけで学習しても学習効果は芳しくなく、上記したように、体性感覚の場合において複合運動としての動きを聴覚提示する試みが行われているがその効果は十分ではない。

また、上記学習には、体性感覚に限らず弁別能力の低い感覚（例えば外国語の聞き分けなど）や、運動などの学習があるが、上記学習の速度を促進したり、より効果的に定着させたりすることを目的とした方法（例えば、マルチモーダルインタラクション方法）は未だ十分に確立されていない。

さらに、複数感覚を提示することの効果検証や、複数の押圧力制御に対する検証と、押圧力制御における音の提示方法に対する検証は十分になされていない。

この発明は上記事情に着目してなされたもので、その目的とするところは、弁別能力の低い感覚の学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報出力装置、情報出力方法、及びプログラムを提供することにある。

上記目的を達成するためにこの発明の情報出力装置、情報出力方法、及びプログラムは、以下のように構成されている。

（１）この発明の感覚情報処理装置は、測定感覚情報を受信する受信部と、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する変換部と、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する情報処理部と、を備える。

（２）さらに上記（１）の感覚情報処理装置は、前記第１の感覚として、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報を対象とする。

（３）さらに上記（１）の感覚情報処理装置は、前記第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とし、前記視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、前記聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含む。

（４）さらに上記（３）の感覚情報処理装置は、前記情報処理部は、前記変換された前記第２の感覚情報に対応する前記視覚情報、前記聴覚情報、及び前記力覚刺激の内、２つ以上の情報を出力する。

（５）さらに上記（１）の感覚情報処理装置は、前記情報処理部は、前記変換された前記第２の感覚情報に基づく出力情報を離散的な値として出力する。

（６）さらに上記（１）の感覚情報処理装置は、前記情報処理部は、前記測定感覚情報に含まれる測定値の極値や時間変化量から、前記フィードバックの要否を判定する。

（７）この発明の感覚情報処理方法は、測定感覚情報を受信し、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換し、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する。

（８）この発明のコンピュータプログラムは、測定感覚情報を受信する手順と、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する手順と、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する手順と、を実行させる。

すなわちこの発明によれば、学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報出力装置、情報出力方法、及びプログラムを提供することができる。

（１）この発明の感覚情報処理装置によれば、測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換され、測定感覚情報に基づきフィードバックが必要と判定された場合に、変換された前記第２の感覚情報に基づく出力情報が出力される。これにより、例えば、第１の感覚情報（体性感覚）よりも空間・時間分解能の高い第２の感覚情報（視覚、聴覚、力覚など）を利用したフィードバックを行うことができる。しかも、測定感覚情報に基づきより効果的なタイミングでのフィードバックを行うことができる。

（２）さらに、この発明の感覚情報処理装置によれば、第１の感覚情報（筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報）よりも空間・時間分解能の高い第２の感覚情報（視覚、聴覚、力覚など）を利用したフィードバックを行うことができる。

（３）さらに、この発明の感覚情報処理装置によれば、第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とすることができ、視覚情報であれば、数値、グラフ、画像、映像、及び色の少なくとも一つによるフィードバックを行うことができ、聴覚情報であれば、音の周波数、及び音の大きさ、音色の少なくとも一つによるフィードバックを行うことができる。

（４）さらに、この発明の感覚情報処理装置によれば、視覚情報、聴覚情報、及び力覚刺激の内、２つ以上の情報によるフィードバックを行うことができる。

（５）さらに、この発明の感覚情報処理装置によれば、第２の感覚情報に基づく出力情報を離散的な値（例えば白盤の音階に対応させた値）として出力することができ、弁別が容易となる。

（６）さらに、この発明の感覚情報処理装置によれば、測定感覚情報に含まれる測定値の極値や時間変化量に応じて、フィードバックを制御することができる。例えば、測定値が初めて極値を超えるまでや変化が大きい場合にはフィードバックを行わず、測定値が初めて極値を超えた後や変化が小さくなってからフィードバックを行うなどで、学習速度を促進したり、より効果的に定着させたりすることができる。

（７）この発明の感覚情報処理方法及びそのプログラムによれば、上記（１）と同様の効果が得られる。

多感覚ＦＢ（Feedback）による学習支援処理（基本処理）の一例を示すフローチャートである。 学習支援処理を実行するための情報処理システム（基本構成）の一例を示す概略ブロック図である。 学習支援処理を実行するための情報処理システム（オプション構成あり）の一例を示す概略ブロック図である。 図３に示す情報処理システムの実現例を示す模式図である。 情報処理システムによる全体処理の一例を示すフローチャートである。 図５のフローチャート中の目標値設定処理の一例を説明するフローチャートである。 図５のフローチャート中の目標値提示処理及び感覚間情報変換処理の一例を説明するフローチャートである。 図５のフローチャート中のＦＢ提示処理の一例を説明するフローチャートである。 図５のフローチャート中の感覚間情報変換処理の一例を説明するフローチャートである。 目標値設定処理、目標値提示処理、及び感覚間情報変換処理の一例を説明するための情報処理システムの概略ブロック図である。 感覚間情報変換処理の一例を説明するための情報処理システムの概略ブロック図である。 図５のフローチャート中の継続判定処理の一例を説明するフローチャートである。 継続判定処理の一例を説明するための情報処理システムの概略ブロック図である。 図５及び図１２のフローチャート中のＦＢ可否判定処理の一例を説明するフローチャートである。 図１４のフローチャート中のt = 0時処理の一例を説明するフローチャートである。 図１４のフローチャート中のt ≠ 0時処理の一例を説明するフローチャートである。 ＦＢ提示処理の一例を説明するための情報処理システムの概略ブロック図である。 感覚間情報変換処理の一例を説明するための図である。 ＦＢ提示処理の一例を説明するための図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。以下では、弁別能力の低い感覚として体性感覚を例に挙げて説明するが、外国語の聞き取りなど弁別能力の低い感覚であれば、これに限定されない。

図１は、多感覚ＦＢ（Feedback）による学習支援処理（基本処理）の一例を示すフローチャートである。図２は、学習支援処理を実行するための情報処理システム（基本構成）の一例を示す図である。

図２に示すように、本実施形態に係る情報処理システムは、情報処理装置１、体性感覚データ検出装置２、情報提示装置３を備える。情報処理装置１は、例えば１台又は複数台のコンピュータ（汎用のパーソナルコンピュータ含む）により構成することができる。情報処理装置１は、ＦＢ（Feedback）可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、体性感覚データ受信部１５、及び感覚間情報対応付けＤＢ（Database）１６を備える。

ＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、及び体性感覚データ受信部１５は、例えば、１又は複数のＣＰＵ（Central Processing Unit）により構成することができる。これらＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、及び体性感覚データ受信部１５は相互に通信可能に構成されており、例えば、体性感覚データ受信部１５で受信された体性感覚データをＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、及び感覚間情報変換処理部１４の何れに送信することもできる。

また、感覚間情報対応付けＤＢ１６は、例えば、コンピュータに内蔵された又は外付けされた記憶装置により構成することができる。感覚間情報対応付けＤＢ１６は、感覚間情報対応付けＤＢを記憶する。例えば、感覚間情報対応付けＤＢ１６は、比較的弁別能力の低い第１の感覚に対応する複数の第１の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第２の感覚に対応する複数の第２の感覚情報を持ち、それら複数の感覚間それぞれの対応関係を示す感覚間情報対応付けＤＢを記憶する。例えば、この感覚間情報対応付けＤＢに基づき、ある一つの第１の感覚情報に対応する一つの第２の感覚情報を検索することができるので、ある一つの第１の感覚情報を第２の感覚情報へ変換することができる。また、この感覚間情報対応付けＤＢに基づき、ある一つの第１の感覚情報を複数の第２の感覚情報へ変換することや、ある複数の第１の感覚情報を複数の第２の感覚情報へ変換することができる。
例えば、第１の感覚としてＤＢが持つ複数の感覚情報の内、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報を対象とすることができ、第２の感覚としてＤＢが持つ複数の感覚情報の内、視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とすることができる。視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含むことができる。

体性感覚データ検出装置２は、例えば、力加減検出装置であり、圧力センサや光センサ、曲げセンサ（図４参照）等により構成することができる。例えば、曲げセンサは、比較的弁別能力の低い第１の感覚（加圧）を測定し測定結果を示す信号を出力する。体性感覚データ検出装置２は、曲げセンサからの信号に基づき体性感覚データ（測定感覚情報）を検出し、体性感覚データを情報処理装置１の体性感覚データ受信部１５へ送信する。

情報提示装置３は、スクリーン及びスピーカ、振動子などの力覚提示デバイスのうちの少なくとも一つにより構成することができる。或いは、情報提示装置３は、プリンタ等で構成するようにしてもよく、上記スクリーンで表示される情報をプリンタ等でプリントするようにしてもよい。例えば、情報提示装置３は出力部３１を備え、出力部３１は出力値提示部３１１を備える。出力値提示部３１１は、情報処理装置１のＦＢ可否判定処理部１１からのＦＢ可否判定を受信したり、目標値設定部１２からの目標値を受信したりする。情報提示装置３の詳細な動作等については後に詳しく説明する。

図１に示すように、情報処理装置１（目標値設定部１２）は、多感覚（視覚、聴覚、力覚など弁別能力が比較的高い感覚）による目標値提示処理を実行し（ＳＴ１０１）、例えば情報提示装置３（出力部３１）は目標値を表示する。体性感覚データ検出装置２は、弁別能力が比較的低い第１の感覚（体性感覚（筋緊張度合い、関節角度、関節位置、力の大きさ、身体位置の少なくとも一つ）・運動情報等など）の計測処理を実行する（ＳＴ１０２）。例えば、体性感覚データ検出装置２の曲げセンサは押圧（第１の感覚に基づく押し込み動作に対応する押圧）を検出する。体性感覚データ検出装置２は検出された押圧値から体性感覚データ（測定感覚情報）を計測し、体性感覚データ受信部１５は、体性感覚データ検出装置２により計測感覚情報を受信する。感覚間情報変換処理部１４は、感覚間情報対応付けＤＢを参照し、測定感覚情報に対応する計測感覚情報を多感覚（視覚、聴覚、力覚など弁別能力が比較的高い第２の感覚）情報へ変換する変換処理を実行する（ＳＴ１０３）。例えば、感覚間情報対応付けＤＢが、比較的弁別能力の低い第１の感覚に対応する複数の第１の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第２の感覚に対応する複数の第２の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第３の感覚に対応する複数の第３の感覚情報との対応関係を示す感覚間情報対応付けＤＢであれば、測定感覚情報に対応する第１の感覚情報を検索し、測定感覚情報をこの検索された第１の感覚情報に対応する第２の感覚情報と第３の感覚情報へ変換することができる。

継続判定処理部１３は、体性感覚データ検出装置２により計測された計測感覚情報に基づき、到達度判断処理を実行し（ＳＴ１０４）、目標値設定部１２は、目標値設定処理を実行し（ＳＴ１０５）、ＦＢ可否判定処理部１１は、多感覚（視覚、聴覚、力覚など弁別能力が高い感覚の内、判断処理で設定された感覚）情報でのＦＢ提示処理を実行する（ＳＴ１０６）。目標値設定部１２は、目標値到達度（つまり計測感覚情報や経過時間）に応じて目標値を維持したり、目標値を変更したりする。例えば、目標値設定部１２は、目標値到達度が不十分であれば目標値を維持し、目標値到達度が十分であれば目標値を更新したりする。

また、ＦＢ可否判定処理部１１は、ＦＢ提示到達度（つまり計測感覚情報や経過時間）に応じて、変換された多感覚情報に基づくＦＢ提示処理を実行したり、ＦＢ提示処理を保留したりする。言い換えれば、ＦＢ可否判定処理部１１は、測定感覚情報に含まれる測定値の極値や時間変化量から、ＦＢ提示処理を実行したり、ＦＢ提示処理を保留したりする。例えば、ＦＢ可否判定処理部１１は、ＦＢ提示到達度が不十分であれば、ＦＢ提示処理を保留し、ＦＢ提示到達度が十分であれば、変換された多感覚情報に基づくＦＢ提示処理を実行する。例えば、測定値が初めて極値を超えるまでや変化が大きい場合にはフィードバックを行わず、測定値が初めて極値を超えた後や変化が小さくなってからフィードバックを行うなどで、学習速度を促進したり、より効果的に定着させたりすることができる。

以下、楽器演奏を模した視聴覚ＦＢによる学習支援（体性感覚（力加減）に対する運動学習支援）の一例について説明する。

概要は、次の通りである。

例えば、押圧力の大きさを（比較的弁別能力の低い第１の感覚に基づく動作から測定された値）、弁別能力の高い音の高さ（比較的弁別能力の高い第２の感覚情報）に変換し（楽器に見立てる）、さらに離散的に提示することで複数の押圧力に対する訓練を行う。また、メロディに合わせた提示をして定着率を向上させたり、訓練の継続性を高めるため、本実施形態で説明するシステムにより曲を演奏する。例えば、押圧力の大きさを曲中の一音へ変換し、曲として演奏可能な出力情報を提示する。また、聴覚（第２の感覚情報）によるフィードバックに加えて、視覚（第３の感覚情報）によるフィードバックを加えることにより、定着時の精度を向上させる。フィードバックを与えるタイミングを工夫する。

効果は、次の通りである。

例えば、押圧力制御の学習速度と定着率を向上させることができる。また、複数の押圧力制御の同時訓練として利用できる。また、聴覚フィードバックで定着率を向上させることができるのに加えて、視覚フィードバックで定着時の精度を向上させることが可能である。また、フィードバックを与えるタイミングを工夫することにより、定着時の精度が向上し、安定する。

図３は、学習支援処理を実行するための情報処理システム（オプション構成あり）の一例を示す図である。また、図４は、図３に示す情報処理システムの実現例を示す図である。

図３及び図４に示す情報処理システムは、図２に示す情報処理システムの基本構成をベースに構成されており、共通部分の説明は省略する。図３に示すように、情報処理システムの情報提示装置３は、さらに、入力部３２を備える。入力部３２は、目標値群選択部３２１を備える。図４に示すように、例えば、出力部３１は、スクリーン及びスピーカであり、入力部３２は、キーボードやマウスであり、目標値群選択部３２１は、キーボードを構成する各キーやマウスである。

また、図４に示すように、体性感覚データ検出装置２を構成する曲げセンサをボール等の内側に貼り付け、ユーザ（指）等によるボールへの加圧を曲げセンサで検出する。即ち、体性感覚データ検出装置２は、曲げセンサからの出力信号に基づき体性感覚データを検出し、体性感覚データを情報処理装置１の体性感覚データ受信部１５へ送信する。

また、図３に示す情報処理システムの情報処理装置１は、さらに、目標値群ＤＢ１７を備える。目標値群ＤＢ１７は、コンピュータに内蔵された又は外付けされた記憶装置により構成することができる。目標値群ＤＢ１７は、目標値としての加圧値を記憶する。

図５は、情報処理システムによる全体処理の一例を示すフローチャートである。図５に示すように、情報処理装置１（目標値設定部１２）は、目標値提示処理を実行し（ＳＴ５０１）、目標値提示処理を実行する（ＳＴ５０１）。また、情報処理装置１（感覚間情報変換処理部１４）は、感覚間情報変換処理を実行し（ＳＴ５０４）、情報処理装置１（継続判定処理部１３）は、継続判定処理を実行し（ＳＴ５０５）、情報処理装置１（ＦＢ可否判定処理部１１）は、ＦＢ可否判定処理を実行する（ＳＴ５０６）。情報処理装置１（ＦＢ可否判定処理部１１）及び情報提示装置３（出力部３１）は、ＦＢ提示処理を実行する（ＳＴ５０７）。なお、各処理については、この後、詳細に説明する。

続いて、図６及び図１０を参照して、図５のフローチャート中の目標値設定処理（ＳＴ５０１）の一例について詳細に説明する。例えば、目標値は、第１の感覚に基づく押圧値である。

例えば、情報提示装置３（出力部３１）は、目標値群ＤＢ１７に基づき目標値群を出力（表示）する。ユーザは、入力部３２の目標値群選択部３２１を介して、表示された目標値群の中から目標値群を選択する。つまり、目標値群選択部３２１は、ユーザの入力操作に対応した入力信号を受け取り（ＳＴ６０１、ＹＥＳ）、目標値群ＤＢ１７の目標値群ＤＢから目標値群を一つ選択する（ＳＴ６０２）。もしくは、システムが自動的に目標値群を選択する事も可能である。

目標値設定部１２は、目標値が設定された回数nを判定し(n = 0,1,2,…)（ＳＴ６０３）、選択された目標値群の内の(n+1)番目の値を目標値としてＦＢ可否判定処理部１１及び感覚間情報変換処理部１４へ設定する（ＳＴ６０４）。さらに目標値設定部１２は、設定した目標値を出力値提示部３１１へ出力し（ＳＴ６０５）、回数nを保持する（ＳＴ６０６）。

続いて、図７及び図１０を参照して、図５のフローチャート中の目標値提示処理（ＳＴ５０２）及び感覚間情報変換処理（ＳＴ５０４）の一例について詳細に説明する。

情報処理装置１の感覚間情報変換処理部１４は、目標値設定部１２から目標値を受け取り（ＳＴ７０１）、感覚間情報変換処理を実行する（ＳＴ５０４）。感覚間情報変換処理部１４は、受け取った目標値に対応する感覚情報に変換する（ＳＴ７０２）。出力値提示部３１１は、変換された感覚情報を提示する（ＳＴ７０３）。時刻ｔを計測開始し（ＳＴ７０４）、目標値設定部１２は、ＦＢ可否判定処理部１１に目標値を渡す（ＳＴ７０６）。

続いて、図８及び図１７を参照して、図５のフローチャート中のＦＢ提示処理（ＳＴ５０７）の一例について詳細に説明する。

例えば、情報提示装置３（出力値提示部３１１）は、ＦＢ可否判定処理部１１から感覚情報を受け取ると（ＳＴ８０１、ＹＥＳ）、受け取った感覚情報を提示する（ＳＴ８０２）。例えば、ＦＢ可否判定処理部１１は、目標値設定部１２から目標値を受け取り、感覚間情報変換処理部１４から体性感覚値を受け取り、目標値に対する達成度（下記判断処理においては体性感覚値のピーク値を超えているか否か）に応じて、体性感覚値に対応する感覚情報を出力する。これにより、情報提示装置の出力値提示部３１１は、体性感覚値に対応する感覚情報を出力する。

続いて、図９及び図１１を参照して、図５のフローチャート中の感覚間情報変換処理（ＳＴ５０４）の一例について詳細に説明する。

体性感覚データ受信部１５は、体性感覚データ検出装置２から体性感覚データ（体性感覚値）を受け取り、感覚間情報変換処理部１４は、体性感覚データ受信部１５から体性感覚値を受け取る（ＳＴ９０１）。例えば、体性感覚データ検出装置２の曲げセンサが、比較的弁別能力の低い第１の感覚（加圧）を測定し測定結果を示す信号を出力し、体性感覚データ検出装置２はこの信号に基づき体性感覚データを検出する。感覚間情報変換処理部１４は、ＦＢ可否判定処理部１１に体性感覚値（時刻tにおける）を渡す（ＳＴ９０２）。

さらに、感覚間情報変換処理部１４は、感覚間情報対応付けＤＢ１６から、体性感覚値に合致するものを参照し（ＳＴ９０３）、体性感覚値に対応する感覚情報を取得し（ＳＴ９０４）、ＦＢ可否判定処理部１１に感覚情報を渡す（ＳＴ９０５）。つまり、感覚間情報変換処理部１４は、感覚間情報対応付けＤＢ１６に基づき、測定結果に対応する第１の感覚値（体性感覚値）から第２の感覚値（視覚、聴覚等の感覚情報）へ変換する。第２の感覚値は１つ以上である。

続いて、図１２及び図１３を参照して、図５のフローチャート中の継続判定処理（ＳＴ５０５）の一例について詳細に説明する。

継続判定処理部１３は、一回の目標値提示の継続時間を超えているか否か判定し（ＳＴ１２０１）、超えていなければ（ＳＴ１２０１、ＮＯ）、ＦＢ可否判定処理へ移行する（ＳＴ１２０５）。超えていれば（ＳＴ１２０１、ＹＥＳ）、継続判定処理部１３は、目標値群ＤＢ１７に(n+2)番目の目標値が存在するか否か判定する（ＳＴ１２０２）。目標値群ＤＢ１７に(n+2)番目の目標値が存在しなければ（ＳＴ１２０２、ＮＯ）、継続判定処理部１３は、処理を終了し、存在すれば（ＳＴ１２０２、ＹＥＳ）、nの値を一つ増やして目標値設定部１２に渡し(n = n + 1)（ＳＴ１２０３）、目標値設定処理へ移行する（ＳＴ１２０４）。

続いて、図１４を参照して、図５及び図１２のフローチャート中のＦＢ可否判定処理（ＳＴ５０６）（ＳＴ１２０５）の一例について詳細に説明する。

ＦＢ可否判定処理部１１は、目標値設定部１２から目標値(n回目)を受け取り（ＳＴ１４０１）、感覚間情報変換処理部１４から体性感覚値(時刻tにおける)を受け取る（ＳＴ１４０２）。n = 0 であれば（ＳＴ１４０３、ＹＥＳ）、ＦＢ可否判定処理部１１は、目標値(n=0)を保持する（ＳＴ１４０４）。時刻t = 0 であれば（ＳＴ１４０５、ＹＥＳ）、ＦＢ可否判定処理部１１は、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４０７、ＮＯ）、ＦＢ可否判定処理部１１は、t ≠ 0 時処理へ移行する（ＳＴ１４０６）。t = 0 時処理及びt ≠ 0 時処理は、後に詳しく説明する。

ＦＢ可否判定処理部１１は、目標値(n回目)が目標値(n-1)回目よりも大きいか判定し（ＳＴ１４０８）、目標値(n回目)が目標値(n-1)回目よりも大きい場合（ＳＴ１４０８、ＹＥＳ）、時刻t = 0 ならば（ＳＴ１４０９、ＹＥＳ）、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４０９、ＮＯ）、t ≠ 0 時処理へ移行する（ＳＴ１４０６）。目標値(n回目)が目標値(n-1)回目よりも大きくない場合（ＳＴ１４０８、ＮＯ）、ＦＢ可否判定処理部１１は、時刻t = 0 ならば（ＳＴ１４１０、ＹＥＳ）、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４１０、ＮＯ）、判定フラグをチェックする（ＳＴ１４１１）。

判定フラグがオンであれば（ＳＴ１４１１、ＹＥＳ）、ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも小さいか判定し（ＳＴ１４１２）、小さい場合には（ＳＴ１４１２、ＹＥＳ）、時刻tでの体性感覚値を保持し（ＳＴ１４１３）、tの値を一つ増加するか（t = t + 1）（ＳＴ１４１４）、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも小さくない場合には（ＳＴ１４１２、ＮＯ）、時刻tの体性感覚値をピーク値として保持し（ＳＴ１４１５）、判定フラグをオフに設定し（ＳＴ１４１６）、tの値を一つ増加する（t = t + 1）（ＳＴ１４１４）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。

続いて、図１５を参照して、図１４のフローチャート中のt = 0時処理（ＳＴ１４０６）の一例について詳細に説明する。

継続判定処理部１３は、判定フラグをチェックし（ＳＴ１５０１）、判定フラグがオンであれば（ＳＴ１５０１、ＹＥＳ）、体性感覚値（t = 0）を保持し（ＳＴ１６０２）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０３）。

続いて、図１６を参照して、図１４のフローチャート中のt ≠ 0時処理（ＳＴ１４０７）の一例について詳細に説明する。

継続判定処理部１３は、判定フラグをチェックし（ＳＴ１６０１）、判定フラグがオンであれば（ＳＴ１６０１、ＹＥＳ）、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも大きいか判定し（ＳＴ１６０２）、大きい場合には（ＳＴ１６０２、ＹＥＳ）、時刻tでの体性感覚値を保持し（ＳＴ１６０３）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０５）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも大きくない場合には（ＳＴ１６０２、ＮＯ）、時刻tの体性感覚値をピーク値として保持し（ＳＴ１６０４）、判定フラグをオフに設定し（ＳＴ１６０６）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０５）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。

続いて、図１８を参照し、感覚間情報変換処理部１４による感覚間情報変換処理についてさらに詳しく説明する。

目標値提示後に押し込み度（押圧）が一定の割合以上で変化（一つ前の目標値が無い場合、もしくは一つ前の目標値が現在の目標値より低い場合は上昇、一つ前の目標値が現在の目標値より高い場合は下降）している期間を変化期と呼び、一定の割合以上で変化していない（押し込みを維持している）区間を維持期と呼ぶ。また、変化期終了時点の押し込み度をピーク値と呼ぶ。さらに、一回の目標値提示の継続時間をｔ_totと呼ぶ。

tは時間を表し、p[t]はある時間tにおける押し込み度を表す。f[t]は聴覚フィードバックの提示周波数、y[t]は視覚フィードバックの提示位置を表す。k(k = 0, 1, 2, …)は段階数を表し、n(n = 0, 1, 2, …)は目標値提示回数(試行回数)を表す。F[k]、Y[k]はそれぞれのkに応じて定められた周波数、提示位置に対応しており、離散的な値（弁別が容易に可能な値、例えば白盤の音階に対応させている）である。

変換対応式は、C × (k-1) < p[t] < C × k のとき、以下の通りである。
・ f[t] = F[k]
・ y[t] = Y[k]
図１８に示す「ｃ」は定数で、同じ音、同じ視聴提示位置の範囲を示す。目標値P_ｆ[n]において周波数F[k]、位置Y[k]となり、目標値P_ｆ[n]を含む範囲Cを下回ると、周波数F[k-1]、位置Y[k-1]となり、目標値P_ｆ[n]を含む範囲Cを上回ると、周波数F[k+1]、位置Y[k+1]となる。

続いて、図１９を参照し、フィードバック提示例について説明する。図１９に示すポイントＡとＢにおけるフィードバック提示例を説明する。

音提示例では、目標音提示（周波数F[k]）とすると（F[k] = 523.25Hz：ド(C5)の音）、ポイントＢではf[t] = F[k-1] = 493.88Hz：シ(B4)の音となり、その後のタイミングで、ポイントＡではf[t] = F[k] = 523.25Hz：ド(C5)の音となる。

また、画面表示例では、目標位置提示（位置Y[k]）とすると、ポイントＢではy[t] = Y[k-1]となり、ポイントＡではy[t] = Y[k]となる。

続いて、図１８及び図１９を参照し、フィードバックのタイミングの一例について説明する。ＦＢ可否判定処理部１１は、フィードバックのタイミングを制御する。例えば、ピーク値以降の維持期にフィードバックを提示し、変化期にはフィードバックを提示しない。変化期にはフィードバックを提示しないことにより、学習効果の定着精度の向上を期待することができる。学習対象者が目標値と認識している押圧力を認識しないまま学習（訓練）を行うと、実際の目標値との乖離が生じ、学習効果の定着精度の向上が阻害される可能性がある。視覚フィードバック及び聴覚フィードバックともに同様のことが言える。

手指の押圧力訓練の際、目標値に達するまでの変化期（上昇期）にリアルタイムで視覚フィードバックを与えると、定着時の精度の向上が阻害されることがある。一方、目標値に達してからの維持期にリアルタイム視覚フィードバックを与える事で定着時の制御の安定性が向上する。

上記説明した情報処理システムによれば、例えば、体性感覚よりも空間・時間分解能の高い視覚、聴覚、力覚などを利用したフィードバック（例えばマルチモーダルフィードバック）を行うことができる。また、体性感覚よりも空間・時間分解能の高いフィードバックを与えることによって、内部モデルの構築が効果的に進み、運動学習の学習速度と定着率を向上させることができる。

さらに、本情報処理システムによれば、運動学習だけでなく、弁別能力に着目した幅広い学習支援にも利用できる。例えば、英語の聞き分けなどにも利用できる。

なお、上記した情報処理システム（情報処理装置１等）による各処理の手順はソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムをダウンロードしこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。或いは、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等を通じてこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。

例えば、情報処理システム（情報処理装置１等）は、上記プログラムをダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。また、情報処理システムは、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報処理システムは、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…情報処理装置、２…体性感覚データ検出装置、３…情報提示装置、１１…ＦＢ可否判定処理部、１２…目標値設定部、１３…継続判定処理部、１４…感覚間情報変換処理部、１５…体性感覚データ受信部、１６…感覚間情報対応付けＤＢ、１７…目標値群ＤＢ、３１…出力部、３２…入力部、３１１…出力値提示部、３２１…目標値群選択部。

Claims (8)

1. 測定感覚情報を受信する受信部と、
   第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する変換部と、
   前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する情報処理部と、
   を備える感覚情報処理装置。
2. 前記第１の感覚として、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報を対象とすることを特徴とする請求項１記載の感覚情報処理装置。
3. 前記第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とし、
   前記視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、
   前記聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含むことを特徴とする請求項１記載の感覚情報処理装置。
4. 前記情報処理部は、前記変換された前記第２の感覚情報に対応する前記視覚情報、前記聴覚情報、及び前記力覚刺激の内、２つ以上の情報を出力する請求項３記載の感覚情報処理装置。
5. 前記情報処理部は、前記変換された前記第２の感覚情報に基づく出力情報を離散的な値として出力することを特徴とする請求項１記載の感覚情報処理装置。
6. 前記情報処理部は、前記測定感覚情報に含まれる測定値の極値や時間変化量から、前記フィードバックの要否を判定する請求項１記載の感覚情報処理装置。
7. 測定感覚情報を受信し、
   第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換し、
   前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する感覚情報処理方法。
8. コンピュータに、
   測定感覚情報を受信する手順と、
   第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する手順と、
   前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する手順と、
   を実行させるためのプログラム。