JP2018013625A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2018013625A
JP2018013625A JP2016143371A JP2016143371A JP2018013625A JP 2018013625 A JP2018013625 A JP 2018013625A JP 2016143371 A JP2016143371 A JP 2016143371A JP 2016143371 A JP2016143371 A JP 2016143371A JP 2018013625 A JP2018013625 A JP 2018013625A
Authority
JP
Japan
Prior art keywords
information
sensory
sense
sensory information
target value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016143371A
Other languages
English (en)
Inventor
小林 明美
Akiyoshi Kobayashi
明美 小林
良輔 青木
Ryosuke Aoki
良輔 青木
高嶋 洋一
Yoichi Takashima
洋一 高嶋
山田 智広
Tomohiro Yamada
智広 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016143371A priority Critical patent/JP2018013625A/ja
Publication of JP2018013625A publication Critical patent/JP2018013625A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】弁別能力の低い感覚の学習速度を促進したり、より効果的に定着させたりするための情報を出力することである。【解決手段】情報処理装置は、測定感覚情報を受信する手段と、第1の感覚に対応する複数の第1の感覚情報と、第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報との間の対応関係を示すデータベースに基づき、測定感覚情報に対応する第1の感覚情報から第2の感覚情報へ変換する手段と、変換された第2の感覚情報に基づく出力情報を連続値として出力する手段とを備える。【選択図】図2

Description

体性感覚を始めとする弁別能力の低い感覚を測定し、測定結果に関する情報を出力(提示)する情報処理装置、情報処理方法、及び情報処理プログラムに関するものである。
体性感覚は、自分の身体をコントロールして運動を行う際に重要となる感覚である。体性感覚としては、筋緊張度合いや関節位置などが知られている。従来、単純な基礎運動時(例えば、腕の位置や姿勢の制御)に視覚情報や聴覚情報を単体で提示した時の運動学習の学習速度および定着効果の違いについて研究が行われている(例えば、非特許文献1,2参照)。また、弁別能力の低い感覚(例えば、体性感覚)の情報に対して、弁別能力の高い複数の感覚でフィードバックする事により、弁別能力の低い感覚の学習速度を促進させたり、より効果的に定着させたりする情報処理装置、情報処理方法、及びプログラムが提案されている(例えば、非特許文献3参照)。
上記学習には、体性感覚に限らず弁別能力の低い感覚(例えば外国語の聞き分けなど)や、運動などの学習がある。上記学習の速度を促進したり、より効果的に定着させたりすることを目的とした複数の感覚フィードバック技術がでてきているものの、未だ十分に確立されていない。例えば、非特許文献3の提示方法は、弁別能力を高めるために単純な離散提示を行っているだけであり、その提示方法は人間の知覚特性を十分に反映しているとは言えない。
Renaud Ronsse, et al. "Motor Learning with Augmented Feedback: Modality-Dependent Behavioral and Neural Consequences" Cerebral Cortex 21.6 (2011): 1283-1294. 東口大樹、他5名、「聴覚および視覚フィードバックが運動学習の習熟過程・保持に及ぼす特性の違い」、日本理学療法学術大会、2012年 小林明美、他5名、「力加減の学習における視聴覚フィードバックの効果検証」、ヒューマンインターフェースシンポジウム、2015年
この発明は上記事情に着目してなされたもので、その目的とするところは、弁別能力の低い感覚から弁別能力の高い感覚へ変換し、それを提示する場合において、人間の知覚特性を考慮した提示を行うことによって、弁別能力の低い感覚の学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報処理装置、情報処理方法、及びプログラム提供することにある。
上記目的を達成するためにこの発明の情報処理装置、情報処理方法、及び情報処理プログラムは、以下のように構成されている。
(1)この発明の情報処理装置は、測定感覚情報を受信する手段と、第1の感覚に対応する複数の第1の感覚情報と、第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報との間の対応関係を示すデータベースに基づき、測定感覚情報に対応する第1の感覚情報から第2の感覚情報へ変換する手段と、変換された第2の感覚情報に基づく出力情報を連続値として出力する手段とを備える。
(2)この発明の情報処理装置は、測定感覚情報を受信する手段と、第1の感覚に対応する複数の第1の感覚情報と、第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、第1の感覚より弁別能力の高い、且つ、第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換する手段と、変換された第2の感覚情報および変換された第3の感覚情報に基づく出力情報を、第2の感覚情報と第3の感覚情報とでそれぞれ異なる段階に分けて出力する手段とを備える。
(3)この発明の情報処理装置は、測定感覚情報を受信する手段と、第1の感覚に対応する複数の第1の感覚情報と、第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、第1の感覚より弁別能力の高い、且つ、第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換する手段と、変換された第2の感覚情報および変換された第3の感覚情報に基づく出力情報を、第2の感覚情報と第3の感覚情報とのどちらかを連続値として出力する手段とを備える。
(4)この発明の情報処理方法は、上記(1)〜(3)に記載の情報処理装置の動作方法と対応するように処理を行う。
(5)この発明のコンピュータプログラムは、コンピュータを、上記(1)〜(3)のいずれか1つに記載の情報処理装置の各手段として実行させるように構成される。
(1)この発明の情報処理装置によれば、測定感覚情報に対応する第1の感覚情報から第2の感覚情報へ変換され、変換された第2の感覚情報に基づく出力情報が連続値として出力される。これにより、例えば、第1の感覚情報(体性感覚)よりも空間・時間分解能の高い第2の感覚情報(視覚、聴覚、力覚など)を利用したフィードバックを行うことができる。
(2)この発明の情報処理装置によれば、測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換され、変換された第2の感覚情報および第3の感覚情報に基づく出力情報が、第2の感覚情報と第3の感覚情報とでそれぞれ異なる段階に分けて出力される。これにより、例えば第2の感覚情報(聴覚)よりも空間特徴量を多く含む第3の感覚情報(視覚)に対して、第2の感覚情報より多い段階に分けて出力することによって、ユーザの知覚特性を反映させたフィードバックを行うことができる。
(3)この発明の情報処理装置によれば、測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換され、変換された第2の感覚情報および第3の感覚情報に基づく出力情報が、第2の感覚情報と第3の感覚情報とのどちらかを連続値として出力される。これにより、上記(1)の特徴に加え、ユーザの知覚特性を反映させたフィードバックを行うことができる。
(4)この発明の情報処理方法および情報処理プログラムによれば、上記(1)〜(3)と同様の効果が得られる。
すなわちこの発明によれば、弁別能力の低い感覚の学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報処理装置、情報処理方法、及びプログラムを提供することができる。
多感覚FB(Feedback)による学習支援処理(基本処理)の一例を示すフローチャート。 学習支援処理を実行するための情報処理システム(基本構成)の一例を示す概略ブロック図。 学習支援処理を実行するための情報処理システム(オプション構成あり)の一例を示す概略ブロック図。 図3に示す情報処理システムの実現例を示す模式図。 情報処理システムによる全体処理の一例を示すフローチャート。 図5のフローチャート中の目標値設定処理の一例を説明するフローチャート。 図5のフローチャート中の目標値提示処理および感覚間情報変換処理の一例を説明するフローチャート。 図5のフローチャート中の感覚間情報変換処理の一例を説明するフローチャート。 図5のフローチャート中の継続判定処理の一例を説明するフローチャート。 従来の感覚間情報変換処理の一例を説明するための図。 感覚間情報変換処理の一例を説明するための図。 感覚間情報変換処理の一例を説明するための図。
以下、図面を参照してこの発明に係わる実施形態を説明する。以下では、弁別能力の低い感覚として体性感覚を例に挙げて説明する。しかしながら、他の事例に適用してもよく、例えば外国語の聞き取り能力を向上させる目的で用いられてもよい。
図1は、多感覚FB(Feedback)による学習支援処理(基本処理)の一例を示すフローチャートである。図2は、学習支援処理を実行するための情報処理システム(基本構成)の一例を示す図である。
図2に示すように、本実施形態に係る情報処理システムは、情報処理装置1、体性感覚データ検出装置2、情報提示装置3を備える。情報処理装置1は、例えば1台または複数台のコンピュータ(汎用のパーソナルコンピュータを含む)により構成することができる。情報処理装置1は、目標値設定部11、継続判定処理部12、感覚間情報変換処理部13、体性感覚データ受信部14、および感覚間情報対応付けDB(Database)15(以降、単に「DB」と称することもある)を備える。
目標値設定部11、継続判定処理部12、感覚間情報変換処理部13、および体性感覚データ受信部14は、例えば、1つまたは複数のCPU(Central Processing Unit)により構成することができる。目標値設定部11、継続判定処理部12、感覚間情報変換処理部13、および体性感覚データ受信部14は相互に通信可能に構成されており、例えば、体性感覚データ受信部14で受信された体性感覚データを目標値設定部11、継続判定処理部12、および感覚間情報変換処理部13の何れに送信することもできる。
また、感覚間情報対応付けDB15は、例えば、コンピュータに内蔵または外付けされた記憶装置により構成することができる。例えば、感覚間情報対応付けDB15は、比較的弁別能力の低い第1の感覚に対応する複数の第1の感覚情報と、比較的弁別能力の高い(前記第1の感覚より弁別能力の高い)第2の感覚に対応する複数の第2の感覚情報を持ち、それら複数の感覚間それぞれの対応関係を記憶する。例えば、この感覚間情報対応付けDB15に基づき、ある一つの第1の感覚情報に対応する第2の感覚情報を検索することができるので、ある一つの第1の感覚情報を第2の感覚情報へ変換することができる。また、この感覚間情報対応付けDB15に基づき、ある一つの第1の感覚情報を複数の第2の感覚情報へ変換することや、ある複数の第1の感覚情報を複数の第2の感覚情報へ変換することもできる。
例えば、第1の感覚としてDBが持つ複数の感覚情報の内、筋緊張度合い、関節角度、力の大きさや方向、および身体位置の少なくとも一つを含む体性感覚情報を対象とすることができ、第2の感覚としてDBが持つ複数の感覚情報の内、視覚情報、聴覚情報、および力覚刺激のうちの少なくとも一つを対象とすることができる。視覚情報は、数値、グラフ、画像、映像、および色の少なくとも一つを含み、聴覚情報は、音の周波数、および音の大きさ、音色の少なくとも一つを含むことができる。
体性感覚データ検出装置2は、例えば、力加減検出装置であり、力覚センサ(図4参照)や光センサ、ひずみセンサ等により構成することができる。例えば、力覚センサは、比較的弁別能力の低い第1の感覚(加圧)を測定し測定結果を示す信号を出力する。体性感覚データ検出装置2は、力覚センサからの信号に基づき体性感覚データ(測定感覚情報)を検出し、体性感覚データを情報処理装置1の体性感覚データ受信部14へ送信する。
情報提示装置3は、スクリーンおよびスピーカ、振動子などの力覚提示デバイスのうちの少なくとも一つにより構成することができる。或いは、情報提示装置3は、プリンタ等で構成するようにしてもよく、上記スクリーンで表示される情報をプリンタ等でプリントするようにしてもよい。例えば、情報提示装置3は出力部31を備え、出力部31は出力値提示部311を備える。出力値提示部311は、目標値設定部11からの目標値を受信したりする。情報提示装置3の詳細な動作等については後に詳しく説明する。
図1に示すように、情報処理装置1(目標値設定部11)は、目標値設定処理(ST101)を実行する。目標値設定部11は、目標値到達度(つまり計測感覚情報や経過時間)に応じて目標値を維持したり、目標値を変更したりする。例えば、目標値設定部は、目標値到達度が不十分であれば目標値を維持し、目標値到達度が十分であれば目標値を更新したりする。また、目標値設定部11は、多感覚(視覚、聴覚、力覚など弁別能力が比較的高い感覚)による目標値提示処理(ST102)を実行する。この時、例えば情報提示装置3(出力部31)が目標値を表示する。
体性感覚データ検出装置2は、弁別能力が比較的低い第1の感覚(体性感覚(筋緊張度合い、関節角度、関節位置、力の大きさ、身体位置の少なくとも一つ)・運動情報等など)の計測処理(ST103)を実行する。例えば、体性感覚データ検出装置2の力覚センサは押圧(第1の感覚に基づく押圧)を検出する。体性感覚データ検出装置2は検出された押圧値から体性感覚データ(測定感覚情報)を計測し、測定感覚情報を体性感覚データ受信部14へと出力する。
感覚間情報変換処理部13は、感覚間情報対応付けDB15を参照し、測定感覚情報に対応する計測感覚情報を多感覚(視覚、聴覚、力覚など弁別能力が比較的高い第2の感覚)情報へ変換する変換処理(ST104)を実行する。例えば、感覚間情報対応付けDB15が、比較的弁別能力の低い第1の感覚に対応する複数の第1の感覚情報と、比較的弁別能力の高い(第1の感覚より弁別能力の高い)第2の感覚に対応する複数の第2の感覚情報と、比較的弁別能力の高い(第1の感覚より弁別能力の高い)、且つ、第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報とを対応付けて記憶していれば、測定感覚情報に対応する第1の感覚情報を検索し、測定感覚情報をこの検索された第1の感覚情報に対応する第2の感覚情報および第3の感覚情報へ変換することができる。情報処理装置1は、ST104で変換された多感覚の内、どの感覚情報で出力するかを判断する判断処理で設定された感覚情報でのFB提示処理(ST105)を行う。継続判定処理部12は、体性感覚データ検出装置2により計測された計測感覚情報に基づき、処理を継続するか否かを判断する継続判定処理(ST106)を実行する。
以下、楽器演奏を模した視聴覚FBによる学習支援(体性感覚(力加減)に対する運動学習支援)の一例について説明する。
概要は、次の通りである。
例えば、押圧力の大きさを(比較的弁別能力の低い第1の感覚に基づく動作から測定された値)、弁別能力の高い音の高さ(比較的弁別能力の高い第2の感覚情報)に変換し(楽器に見立てる)、さらに離散的、もしくは連続値で提示することで複数の押圧力に対する訓練を行う。また、提示する感覚の空間知覚特性に合わせて、それぞれ異なる段階に分けて変化するような提示を行う。また、離散的でなく連続提示も可能にすることにより、任意の大きさの目標値が設定でき、より細かな感覚の学習が可能になる。また、メロディに合わせた提示をすることによって、定着率を向上させたり、訓練の継続性を高めたりすることができるため、本実施形態で説明するシステムにより曲を演奏することも考えられる。例えば、押圧力の大きさを曲中の一音へ変換し、曲として演奏可能な出力情報を提示する。また、聴覚(第2の感覚情報)によるフィードバックに加えて、視覚(第3の感覚情報)によるフィードバックを加えることにより、定着時の精度を向上させる。
効果は、次の通りである。
例えば、押圧力制御の学習速度と定着率を向上させることができる。また、複数の押圧力制御の同時訓練として利用できる。さらに、聴覚フィードバックで定着率を向上させることができるのに加えて、視覚フィードバックで定着時の精度を向上させることが可能である。
フィードバックの種類によっては、提示幅を変えることで空間知覚特性により適した提示となり、学習効率が向上する。また、連続値を与えるタイミングを工夫することにより、定着時の精度が向上し、定着率も安定する。さらに、連続提示できる事により、任意の大きさでより細かな感覚の学習が可能になる。
図3は、学習支援処理を実行するための情報処理システム(オプション構成あり)の一例を示す図である。また、図4は、図3に示す情報処理システムの実現例を示す図である。
図3および図4に示す情報処理システムは、図2に示す情報処理システムの基本構成をベースに構成されており、共通部分の説明は省略する。図3に示すように、情報処理システムの情報提示装置3は、さらに、入力部32を備える。入力部32は、目標値群選択部321を備える。図4に示すように、例えば、出力部31は、スクリーンおよびスピーカであり、入力部32は、キーボードやマウスであり、目標値群選択部321は、キーボードを構成する各キーやマウスである。
また、図4に示すように、体性感覚データ検出装置2を構成する力覚センサを、ユーザ(指)等が触れる面に接着し加圧を検出する。即ち、体性感覚データ検出装置2は、力覚センサからの出力信号に基づき体性感覚データを検出し、体性感覚データを情報処理装置1の体性感覚データ受信部14へ送信する。
また、図3に示す情報処理システムの情報処理装置1は、さらに、目標値群DB16を備える。目標値群DB16は、コンピュータに内蔵または外付けされた記憶装置により構成することができる。目標値群DB16は、目標値としての加圧値を記憶する。
図5は、情報処理システムによる全体処理の一例を示すフローチャートである。図5に示すように、情報処理装置1(目標値設定部11)は、目標値設定処理(ST501)を実行して、目標値提示処理(ST502)を実行する。また、情報処理装置1(感覚間情報変換処理部13)は、感覚間情報変換処理(ST504)を実行し、情報提示装置3(出力部31)は、出力値提示部で感覚情報を提示(ST505)する。情報処理装置1(継続判定処理部12)は、継続判定処理(ST506)を実行する。なお、各処理について上記で説明されていない処理については、この後、詳細に説明する。
続いて、図6を参照して、図5のフローチャート中の目標値設定処理(ST501)の一例について詳細に説明する。例えば、目標値は、第1の感覚に基づく押圧値である。
例えば、情報提示装置3(出力部31)は、目標値群DB16に基づき目標値群を出力(表示)する。ユーザは、入力部32の目標値群選択部321を介して、表示された目標値群の中から目標値群を選択する。つまり、目標値群選択部321は、ユーザの入力操作に対応した入力信号を受け取り(ST601)、目標値群DB16から目標値群を一つ選択する(ST602)。もしくは、システムが自動的に目標値群を選択する事も可能であり、その場合は、ST601およびST602は省略されてもよい。
目標値設定部11は、目標値が設定された回数n(n=0,1,2,・・・)を判定し(ST603)、選択された目標値群の内の(n+1)番目の値を目標値として感覚間情報変換処理部13へ設定する(ST604)。さらに目標値設定部11は、設定した目標値を出力値提示部311へ出力し(ST605)、回数nを保持する(ST606)。
続いて、図7を参照して、図5のフローチャート中の目標値提示処理(ST502)および感覚間情報変換処理(ST504)の一例について詳細に説明する。
情報処理装置1の感覚間情報変換処理部13は、目標値設定部から目標値を受け取り(ST701)、感覚間情報変換処理(ST504)を実行する。感覚間情報変換処理部13は、受け取った目標値に対応する感覚情報に変換(ST702)する。出力値提示部311は、変換された感覚情報を提示(ST703)し、時刻tを計測開始(ST704)する。
続いて、図5のフローチャート中のST505の処理の一例について詳細に説明する。
例えば、情報提示装置3(出力値提示部311)は、目標値設定部11から目標値を受け取り、感覚間情報変換処理部13から体性感覚値を受け取り、体性感覚値に対応する感覚情報を出力する。これにより、情報提示装置3の出力値提示部311は、体性感覚値に対応する感覚情報を出力する。
続いて、図8を参照して、図5のフローチャート中の感覚間情報変換処理(ST504)の一例について詳細に説明する。
体性感覚データ受信部14は、体性感覚データ検出装置2から体性感覚データ(体性感覚値)を受け取り、感覚間情報変換処理部13は、体性感覚データ受信部14から体性感覚値を受け取る(ST801)。例えば、体性感覚データ検出装置2の力覚センサが、比較的弁別能力の低い第1の感覚(加圧)を測定し測定結果を示す信号を出力し、体性感覚データ検出装置2はこの信号に基づき体性感覚データを検出する。
次に、感覚間情報変換処理部13は、感覚間情報対応付けDB15から、体性感覚値に合致するものを参照し(ST802)、体性感覚値に対応する感覚情報を取得し(ST803)、出力値提示部に感覚情報を渡す(ST804)。つまり、感覚間情報変換処理部13は、感覚間情報対応付けDB15に基づき、測定結果に対応する第1の感覚値(体性感覚値)から第2の感覚値(視覚、聴覚等の感覚情報)へ変換する。第2の感覚値は1つ以上である。
続いて、図9を参照して、図5のフローチャート中の継続判定処理(ST506)の一例について詳細に説明する。
継続判定処理部12は、一回の目標値提示の継続時間を超えているか否か判定し(ST901)、超えていなければ処理を終了する。超えていれば継続判定処理部12は、目標値群DB16に(n+2)番目の目標値が存在するか否か判定する(ST902)。目標値群DB16に(n+2)番目の目標値が存在しなければ、継続判定処理部12は処理を終了し、存在すればnの値を一つ増やして(n=n+1)目標値設定部に渡し(ST903)、目標値設定処理(ST501)へ移行する。
続いて、図10を参照し、従来の感覚間情報変換処理についてさらに詳しく説明する。図10では、横軸に時間t、縦軸に力の強さpを示し、力覚センサなどによって計測された力の強さを時系列で表している。
以下では、k(k=0,1,2,・・・)は段階数を表し、n(n=0,1,2,・・・)は目標値提示回数(試行回数)を表す。また、F[k]、Y[k]はそれぞれのkに応じて定められた周波数、提示位置に対応しており、離散的な値(例えば白盤の音階に対応させるような、弁別が容易に可能な値)である。
図10において、感覚間情報変換処理の変換対応式は、C×(k−1)<p[t]<C×kにおいて、f[t]=F[k],y[t]=Y[k]である。ここで、p[t]はある時間tにおける力の強さを表し、f[t]は聴覚フィードバックの提示周波数、y[t]は視覚フィードバックの提示位置を表す。
また、「C」は定数で、同じ音、同じ視聴提示位置の範囲を示す。目標値P[n]において周波数F[k]、位置Y[k]となり、目標値P[n]を含む範囲Cを下回ると、周波数F[k−1]、位置Y[k−1]となり、目標値P[n]を含む範囲Cを上回ると、周波数F[k+1]、位置Y[k+1]となる。
即ち、従来は提示される感覚情報のレベル分けが、例えば提示する聴覚情報と視覚情報とで一定となるように提示していた。つまり、提示情報が感覚によらずに同じ段階数(図10では定数のC)で変化していた。しかしながら、例えば視覚と聴覚を比べた場合、聴覚情報に対して視覚情報は空間特徴量を多く含むため、空間認知に対しては視覚情報が優れている。そのため、視覚情報での制御の方が細かな調整が容易となり、提示する感覚の空間知覚特性に合わせて、それぞれ異なる段階数で変化するような提示方法が望ましい。
そこで、図11Aおよび図11Bに例示するように、変換対応式を次のように変更する。即ち、C×(k−1)<p[t]<C×kのとき、f[t]=F[k](k=0,1,2,・・・)とし、D×(l−1)<p[t]<D×lのとき、y[t]=Y[l](l=0,1,2,・・・)とする。これにより、提示される感覚情報のレベル分けが、提示する聴覚情報と視覚情報とで異なる提示をすることができる。例えば、聴覚情報は従来通り定数Cを用いて周波数Fを提示し、一方、視覚情報については定数Cよりも狭い範囲である定数Dを用いて位置Yを提示する。
上記離散値の当てはめ方は任意で与えることができる(例えばピアノの白盤に対応など)。これにより、空間知覚特性により適した提示となり、学習効率が向上する。例として、FBの際に「聴覚提示→大きな範囲で合う、視覚提示→細かな範囲を合わせる」と提示することで学習速度を向上させる。
また、各フィードバックについては、離散的で与える以外に、連続値で与えることも可能である。デフォルトでは連続値は線形に変化するが、f=f×2(x/12)のように与えることも可能である。ここで、fは正の定数、xは実数とし、それぞれの変数の値の範囲は、得られる周波数が可聴範囲内(おおよそ20Hz〜20kHz)となるように与えるものとする。上記の式で与えた場合、xを整数とすることにより、音階に対応させた離散値をとることが可能となる。
上記説明した情報処理システムによれば、例えば、体性感覚よりも空間・時間分解能の高い視覚、聴覚、力覚などを利用したフィードバック(例えばマルチモーダルフィードバック)を行うことができる。また、体性感覚よりも空間・時間分解能の高いフィードバックを与えることによって、内部モデルの構築が効果的に進み、運動学習の学習速度と定着率を向上させることができる。
さらに、本情報処理システムによれば、運動学習だけでなく、弁別能力に着目した幅広い学習支援にも利用できる。例えば、英語の聞き分けなどにも利用できる。
なお、上記した情報処理システム(情報処理装置等)による各処理の手順はソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムをダウンロードしこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。或いは、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等を通じてこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。
例えば、情報処理システム(情報処理装置等)は、上記プログラムをダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。また、情報処理システムは、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報処理システムは、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。
その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…情報処理装置、2…体性感覚データ検出装置、3…情報提示装置、11…目標値設定部、12…継続判定処理部、13…感覚間情報変換処理部、14…体性感覚データ受信部、15…感覚間情報対応付けDB、16…目標値群DB、31…出力部、32…入力部、311…出力値提示部、321…目標値群選択部。

Claims (7)

  1. 測定感覚情報を受信する手段と、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報へ変換する手段と、
    変換された前記第2の感覚情報に基づく出力情報を連続値として出力する手段と
    を備える情報処理装置。
  2. 測定感覚情報を受信する手段と、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、前記第1の感覚より弁別能力の高い、且つ、前記第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換する手段と、
    変換された前記第2の感覚情報および前記第3の感覚情報に基づく出力情報を、前記第2の感覚情報と前記第3の感覚情報とでそれぞれ異なる段階に分けて出力する手段と
    を備える情報処理装置。
  3. 測定感覚情報を受信する手段と、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、前記第1の感覚より弁別能力の高い、且つ、前記第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換する手段と、
    変換された前記第2の感覚情報および前記第3の感覚情報に基づく出力情報を、前記第2の感覚情報と前記第3の感覚情報とのどちらかを連続値として出力する手段と
    を備える情報処理装置。
  4. 測定感覚情報を受信することと、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報へ変換することと、
    変換された前記第2の感覚情報に基づく出力情報を連続値として出力することと
    を備える情報処理方法。
  5. 測定感覚情報を受信することと、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、前記第1の感覚より弁別能力の高い、且つ、前記第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換することと、
    変換された前記第2の感覚情報および前記第3の感覚情報に基づく出力情報を、前記第2の感覚情報と前記第3の感覚情報とでそれぞれ異なる段階に分けて出力することと
    を備える情報処理方法。
  6. 測定感覚情報を受信することと、
    第1の感覚に対応する複数の第1の感覚情報と、前記第1の感覚より弁別能力の高い第2の感覚に対応する複数の第2の感覚情報と、前記第1の感覚より弁別能力の高い、且つ、前記第2の感覚とは異なる第3の感覚に対応する複数の第3の感覚情報との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第1の感覚情報から第2の感覚情報および第3の感覚情報へ変換することと、
    変換された前記第2の感覚情報および前記第3の感覚情報に基づく出力情報を、前記第2の感覚情報と前記第3の感覚情報とのどちらかを連続値として出力することと
    を備える情報処理装置。
  7. コンピュータを、請求項1乃至請求項3のいずれか一項に記載の情報処理装置の前記各手段として実行させるための情報処理プログラム。
JP2016143371A 2016-07-21 2016-07-21 情報処理装置、情報処理方法、及び情報処理プログラム Pending JP2018013625A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016143371A JP2018013625A (ja) 2016-07-21 2016-07-21 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016143371A JP2018013625A (ja) 2016-07-21 2016-07-21 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2018013625A true JP2018013625A (ja) 2018-01-25

Family

ID=61020184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016143371A Pending JP2018013625A (ja) 2016-07-21 2016-07-21 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP2018013625A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000504854A (ja) * 1996-02-13 2000-04-18 マサチューセッツ・インスティテュート・オブ・テクノロジー 仮想環境における人間の動作軌道学習装置
JP2003052770A (ja) * 2001-08-10 2003-02-25 Shozo Tsujio 上肢運動療法装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000504854A (ja) * 1996-02-13 2000-04-18 マサチューセッツ・インスティテュート・オブ・テクノロジー 仮想環境における人間の動作軌道学習装置
JP2003052770A (ja) * 2001-08-10 2003-02-25 Shozo Tsujio 上肢運動療法装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
前田太郎: ""空間感性を拡張するマルチモーダル感覚情報取得・創出システムの実現"", 「電子情報通信学会2014年総合大会講演論文集 基礎・境界」, JPN6019015771, 4 March 2014 (2014-03-04), JP, pages 74 - 75, ISSN: 0004031049 *
小林明美、外5名: ""力加減の学習における視聴覚フィードバックの効果検証"", 「ヒューマンインタフェースシンポジウム2015 論文集」, JPN6019015769, 1 September 2015 (2015-09-01), JP, pages 173 - 180, ISSN: 0004149597 *

Similar Documents

Publication Publication Date Title
US10950137B2 (en) Smart piano system
US10121388B2 (en) Methods, systems, and apparatuses to convey chorded input
US20070218432A1 (en) System and Method for Controlling the Presentation of Material and Operation of External Devices
US20120237906A9 (en) System and Method for Controlling the Presentation of Material and Operation of External Devices
CN102232206B (zh) 用于传达数据值的传感输出
Marky et al. Let’s frets! assisting guitar students during practice via capacitive sensing
KR20210070270A (ko) 정보 처리 장치
Pardue et al. Real-time aural and visual feedback for improving violin intonation
JP2014228726A (ja) 楽曲評価装置
Allingham et al. Motor performance in violin bowing: Effects of attentional focus on acoustical, physiological and physical parameters of a sound-producing action
Pardue Violin augmentation techniques for learning assistance
JP2018013625A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6530975B2 (ja) 学習支援装置、学習支援方法、及びプログラム
CN110890095A (zh) 语音检测方法、推荐方法、装置、存储介质和电子设备
JP4626310B2 (ja) 発音評価装置
JP4779365B2 (ja) 発音矯正支援装置
Kritsis et al. Design and interaction of 3d virtual music instruments for steam education using web technologies
Petry et al. Scaffolding the Music Listening and Music Making Experience for the Deaf
KR101131823B1 (ko) 중국어 학습장치 및 방법
CN106205283B (zh) 一种手戴式智能乐器演奏方法
Karam et al. Designing a model human cochlea: Issues and challenges in crossmodal audio-haptic displays
KR102634347B1 (ko) 사용자와의 인터랙션을 이용한 인지 기능 훈련 및 검사 장치
Sakajiri et al. Development of voice pitch control system using two dimensional tactile display for the deafblind or the hearing impaired persons
KR102236861B1 (ko) 언어별 주파수 대역을 이용한 언어 습득 보조 시스템
KR102556571B1 (ko) 인지 기능 및 청각 기능 개선을 위한 단계별 훈련 및 검사를 제공하는 장치, 방법 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191112