JP6530975B2 - Learning support apparatus, learning support method, and program - Google Patents
Learning support apparatus, learning support method, and program Download PDFInfo
- Publication number
- JP6530975B2 JP6530975B2 JP2015119786A JP2015119786A JP6530975B2 JP 6530975 B2 JP6530975 B2 JP 6530975B2 JP 2015119786 A JP2015119786 A JP 2015119786A JP 2015119786 A JP2015119786 A JP 2015119786A JP 6530975 B2 JP6530975 B2 JP 6530975B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- sense
- sensation
- sensory information
- sensory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
体性感覚を始めとする弁別能力の低い感覚を測定し、測定結果に関する情報を出力（提示）する情報出力装置、情報出力方法、及びプログラムに関するものである。 The present invention relates to an information output device, an information output method, and a program for measuring a sense of low discrimination ability including somatic sensation and outputting (presenting) information on a measurement result.
体性感覚は、自分の身体をコントロールして運動を行う際に重要となる感覚である。体性感覚としては、筋緊張度合いや関節位置などが知られている。例えば、1秒を切る早い運動やなめらか運動に対しては、リアルタイムの運動に対してはフィードバック情報を利用せず、内部モデルを利用して制御し、運動後にフィードバック情報から内部モデルを修正して次回の運動精度の改善に活かしている。運動時の内部モデルの学習は、フィードバック誤差学習で学習されると考えられている。フィードバック誤差学習では、目標軌道と実現軌道の間の誤差を誤差信号（教師信号）として内部モデルの修正が行われている。ただし、この誤差に対して、体性感覚の空間・時間分解能が低い場合には、内部モデルの習得には時間がかかる。 Somatosensory is a sensation that is important when controlling one's body and exercising. As somatic sensations, the degree of muscle tension and the position of joints are known. For example, for fast motions and smooth motions less than 1 second, feedback information is not used for real-time motions, control is performed using the internal model, and after the motion, the internal model is corrected from the feedback information. It is used to improve the accuracy of the next exercise. The learning of the internal model during exercise is considered to be learned by feedback error learning. In feedback error learning, correction of the internal model is performed with an error between the target trajectory and the realized trajectory as an error signal (teacher signal). However, it takes time to learn the internal model when the spatial and temporal resolution of somatic sensation is low for this error.
従来、単純な基礎運動時（腕の位置や姿勢の制御）に視覚情報や聴覚情報を単体で提示した時の運動学習の学習速度と定着効果の違いについて研究が行われている（非特許文献１参照）。また、複合運動としての動きを聴覚提示する試みが行われている（非特許文献２参照）。 Conventionally, research has been conducted on the difference between the learning speed and the fixing effect of motor learning when visual information and auditory information are presented alone during simple basic exercise (control of the position and posture of the arm) (non-patent literature) 1). In addition, an attempt has been made to aurally present the motion as a compound exercise (see Non-Patent Document 2).
また、上肢運動と姿勢制御において、視覚情報を利用することで習熟効果は高くなるが、保持には聴覚が優れていることが知られている（非特許文献１、３参照）。さらに、押圧力訓練のために視覚情報を利用する場合、リアルタイムでフィードバックすると、力の安定性は向上するが、定着精度は低下することも知られている（非特許文献４参照）。 Moreover, in upper-limb movement and posture control, although the learning effect becomes high by utilizing visual information, it is known that the auditory sense is excellent for holding (see Non-Patent Documents 1 and 3). Furthermore, when visual information is used for pressure training, it is known that feedback in real time improves the stability of force but decreases the fixing accuracy (see Non-Patent Document 4).
弁別能力の低い感覚の弁別能力の向上技術に関する要望が出されている。弁別能力の低い感覚だけで学習しても学習効果は芳しくなく、上記したように、体性感覚の場合において複合運動としての動きを聴覚提示する試みが行われているがその効果は十分ではない。 There is a need for a technique for improving the ability to discriminate a sense of low discrimination ability. Even if learning with only a sense with low discrimination ability does not have a good learning effect, as mentioned above, in the case of somatic sensation, an attempt is made to aurally show movement as a complex movement, but the effect is not sufficient .
また、上記学習には、体性感覚に限らず弁別能力の低い感覚（例えば外国語の聞き分けなど）や、運動などの学習があるが、上記学習の速度を促進したり、より効果的に定着させたりすることを目的とした方法（例えば、マルチモーダルインタラクション方法）は未だ十分に確立されていない。 In addition, although the above learning includes not only somatic sensation but sense of low discrimination ability (for example, discrimination of foreign language etc.), exercise such as exercise, etc., the speed of the above learning can be promoted, or more effectively fixed. Methods aimed at causing (eg, multimodal interaction methods) have not yet been well established.
さらに、複数感覚を提示することの効果検証や、複数の押圧力制御に対する検証と、押圧力制御における音の提示方法に対する検証は十分になされていない。 Furthermore, verification of the effects of presenting multiple senses, verification of multiple pressing control, and verification of the method of presenting sound in pressing control have not been sufficiently performed.
この発明は上記事情に着目してなされたもので、その目的とするところは、弁別能力の低い感覚の学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報出力装置、情報出力方法、及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the invention is to output information for promoting learning speed of a sense with low discrimination ability or for more effectively fixing it. Abstract: An apparatus, an information output method, and a program are provided.
上記目的を達成するためにこの発明の情報出力装置、情報出力方法、及びプログラムは、以下のように構成されている。 In order to achieve the above object, an information output apparatus, an information output method, and a program of the present invention are configured as follows.
（１）この発明の感覚情報処理装置は、測定感覚情報を受信する受信部と、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する変換部と、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する情報処理部と、を備える。 (1) A sensory information processing apparatus according to the present invention includes a receiving unit for receiving measured sensory information, a plurality of first sensory information corresponding to a first sensation, and a second higher discrimination ability than the first sensation. A converter for converting the first sensory information corresponding to the measured sensory information into the second sensory information based on a database having a plurality of second sensory information corresponding to the senses and indicating the correspondence between the senses And an information processing unit that determines whether or not feedback is necessary based on the measured sensation information, and outputs output information based on the converted second sensation information when it is determined that feedback is required.
（２）さらに上記（１）の感覚情報処理装置は、前記第１の感覚として、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報を対象とする。 (2) The sensory information processing apparatus according to (1) may further include a somatic sensory information or a foreign language including at least one of muscle tension, joint angle, magnitude of force, and body position as the first sensation. The target is sensory information with low discrimination ability such as the ability to distinguish
（３）さらに上記（１）の感覚情報処理装置は、前記第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とし、前記視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、前記聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含む。 (3) The sensory information processing device according to (1) further targets at least one of visual information, auditory information, and haptic sense as the second sense, and the visual information is a numerical value, a graph, The auditory information includes at least one of a frequency of sound, a magnitude of sound, and a timbre including at least one of an image, a video, and a color.
（４）さらに上記（３）の感覚情報処理装置は、前記情報処理部は、前記変換された前記第２の感覚情報に対応する前記視覚情報、前記聴覚情報、及び前記力覚刺激の内、２つ以上の情報を出力する。 (4) Furthermore, in the sensory information processing device according to (3), the information processing unit may include, among the visual information, the auditory information, and the haptic sense, corresponding to the second sensory information converted. Output two or more pieces of information.
（５）さらに上記（１）の感覚情報処理装置は、前記情報処理部は、前記変換された前記第２の感覚情報に基づく出力情報を離散的な値として出力する。 (5) Further, in the sensory information processing device according to (1), the information processing unit outputs output information based on the converted second sensory information as a discrete value.
（６）さらに上記（１）の感覚情報処理装置は、前記情報処理部は、前記測定感覚情報に含まれる測定値の極値や時間変化量から、前記フィードバックの要否を判定する。 (6) Further, in the sensory information processing apparatus according to (1), the information processing unit determines the necessity of the feedback from the extreme value or the time change amount of the measurement value included in the measurement sensation information.
（７）この発明の感覚情報処理方法は、測定感覚情報を受信し、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換し、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する。 (7) The sensory information processing method according to the present invention receives measured sensory information, and copes with a plurality of first sensory information corresponding to a first sensation and a second sensation having a higher discrimination ability than the first sensation. To convert the first sensory information corresponding to the measured sensory information into the second sensory information, based on the database indicating the correspondence between the senses, Whether or not feedback is necessary is determined based on the above, and when it is determined that feedback is necessary, output information based on the converted second sense information is output.
（８）この発明のコンピュータプログラムは、測定感覚情報を受信する手順と、第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する手順と、前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する手順と、を実行させる。 (8) The computer program according to the present invention corresponds to a procedure for receiving measurement sensation information, a plurality of first sensation information corresponding to a first sensation, and a second sensation having a higher discrimination ability than the first sensation. Procedure for converting the first sensory information corresponding to the measured sensory information into the second sensory information based on a database having a plurality of second sensory information to be transmitted and indicating the correspondence between the senses The necessity of feedback is determined based on the sense information, and the procedure of outputting the output information based on the converted second sense information is executed when it is determined that the feedback is required.
すなわちこの発明によれば、学習速度を促進したり、より効果的に定着させたりするための情報を出力する情報出力装置、情報出力方法、及びプログラムを提供することができる。 That is, according to the present invention, it is possible to provide an information output device, an information output method, and a program for outputting information for promoting learning speed or fixing it more effectively.
（１）この発明の感覚情報処理装置によれば、測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換され、測定感覚情報に基づきフィードバックが必要と判定された場合に、変換された前記第２の感覚情報に基づく出力情報が出力される。これにより、例えば、第１の感覚情報（体性感覚）よりも空間・時間分解能の高い第２の感覚情報（視覚、聴覚、力覚など）を利用したフィードバックを行うことができる。しかも、測定感覚情報に基づきより効果的なタイミングでのフィードバックを行うことができる。 (1) According to the sensory information processing apparatus of the present invention, the first sensory information corresponding to the measured sensory information is converted into the second sensory information, and it is determined that the feedback is necessary based on the measured sensory information. Output information based on the converted second sense information is output. Thereby, for example, it is possible to perform feedback using second sensory information (vision, hearing, force sense, etc.) having higher spatial and temporal resolution than the first sensory information (somatic sensation). In addition, it is possible to perform feedback at more effective timing based on the measured sense information.
（２）さらに、この発明の感覚情報処理装置によれば、第１の感覚情報（筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報）よりも空間・時間分解能の高い第２の感覚情報（視覚、聴覚、力覚など）を利用したフィードバックを行うことができる。 (2) Furthermore, according to the sensory information processing apparatus of the present invention, the first sensory information (a somatic sensory information or foreign language including at least one of muscle tension, joint angle, magnitude of force, and body position) It is possible to perform feedback using second sensory information (vision, hearing, force sense, etc.) that has higher spatial and temporal resolution than sensory information (eg, sensory information with lower discrimination ability).
（３）さらに、この発明の感覚情報処理装置によれば、第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とすることができ、視覚情報であれば、数値、グラフ、画像、映像、及び色の少なくとも一つによるフィードバックを行うことができ、聴覚情報であれば、音の周波数、及び音の大きさ、音色の少なくとも一つによるフィードバックを行うことができる。 (3) Furthermore, according to the sensory information processing apparatus of the present invention, at least one of visual information, auditory information, and haptic stimulation can be targeted as the second sensation, and it is possible to use visual information. , And can perform feedback by at least one of numerical values, graphs, images, images, and colors, and in the case of auditory information, perform feedback by at least one of the frequency of sound, the magnitude of sound, and the timbre. it can.
（４）さらに、この発明の感覚情報処理装置によれば、視覚情報、聴覚情報、及び力覚刺激の内、２つ以上の情報によるフィードバックを行うことができる。 (4) Furthermore, according to the sensory information processing apparatus of the present invention, it is possible to perform feedback by two or more pieces of information among visual information, auditory information, and force sense stimulation.
（５）さらに、この発明の感覚情報処理装置によれば、第２の感覚情報に基づく出力情報を離散的な値（例えば白盤の音階に対応させた値）として出力することができ、弁別が容易となる。 (5) Further, according to the sensory information processing apparatus of the present invention, the output information based on the second sensory information can be output as a discrete value (for example, a value corresponding to the scale of the white board), and the discrimination Becomes easy.
（６）さらに、この発明の感覚情報処理装置によれば、測定感覚情報に含まれる測定値の極値や時間変化量に応じて、フィードバックを制御することができる。例えば、測定値が初めて極値を超えるまでや変化が大きい場合にはフィードバックを行わず、測定値が初めて極値を超えた後や変化が小さくなってからフィードバックを行うなどで、学習速度を促進したり、より効果的に定着させたりすることができる。 (6) Furthermore, according to the sensory information processing apparatus of the present invention, it is possible to control feedback according to the extreme value of the measurement value included in the measurement sensation information or the time change amount. For example, if the measured value first exceeds the extreme value or if the change is large, feedback is not performed, and the learning speed is promoted by performing feedback after the measured value first exceeds the extreme value or after the change becomes small. And can be fixed more effectively.
（７）この発明の感覚情報処理方法及びそのプログラムによれば、上記（１）と同様の効果が得られる。 (7) According to the sensory information processing method and program of the present invention, the same effect as the above (1) can be obtained.
以下、図面を参照してこの発明に係わる実施形態を説明する。以下では、弁別能力の低い感覚として体性感覚を例に挙げて説明するが、外国語の聞き取りなど弁別能力の低い感覚であれば、これに限定されない。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the following, although somatic sensation is described as an example of a sense of low discrimination ability as an example, it is not limited to this as long as it is a sensation of low discrimination ability such as listening to foreign languages.
図１は、多感覚ＦＢ（Feedback）による学習支援処理（基本処理）の一例を示すフローチャートである。図２は、学習支援処理を実行するための情報処理システム（基本構成）の一例を示す図である。 FIG. 1 is a flowchart showing an example of learning support processing (basic processing) by multisensory FB (feedback). FIG. 2 is a diagram showing an example of an information processing system (basic configuration) for executing the learning support process.
図２に示すように、本実施形態に係る情報処理システムは、情報処理装置１、体性感覚データ検出装置２、情報提示装置３を備える。情報処理装置１は、例えば１台又は複数台のコンピュータ（汎用のパーソナルコンピュータ含む）により構成することができる。情報処理装置１は、ＦＢ（Feedback）可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、体性感覚データ受信部１５、及び感覚間情報対応付けＤＢ（Database）１６を備える。 As shown in FIG. 2, the information processing system according to the present embodiment includes an information processing device 1, a somatic sensation data detection device 2, and an information presentation device 3. The information processing apparatus 1 can be configured by, for example, one or more computers (including a general-purpose personal computer). The information processing apparatus 1 includes an FB (feedback) possibility determination processing unit 11, a target value setting unit 12, a continuation determination processing unit 13, an inter-sensor information conversion processing unit 14, a somatic sensory data reception unit 15, and an inter-sensor information association. DB (Database) 16 is provided.
ＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、及び体性感覚データ受信部１５は、例えば、１又は複数のＣＰＵ（Central Processing Unit）により構成することができる。これらＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、感覚間情報変換処理部１４、及び体性感覚データ受信部１５は相互に通信可能に構成されており、例えば、体性感覚データ受信部１５で受信された体性感覚データをＦＢ可否判定処理部１１、目標値設定部１２、継続判定処理部１３、及び感覚間情報変換処理部１４の何れに送信することもできる。 The FB availability determination processing unit 11, the target value setting unit 12, the continuation determination processing unit 13, the inter-sensor information conversion processing unit 14, and the somatic sensation data reception unit 15 are, for example, one or more CPUs (central processing units). It can be configured. The FB availability determination processing unit 11, the target value setting unit 12, the continuation determination processing unit 13, the inter-sensor information conversion processing unit 14, and the somatic sensation data reception unit 15 are configured to be mutually communicable, for example, the body The somatosensory data received by the sexual sensation data receiver 15 can be transmitted to any of the FB availability determination processor 11, the target value setting unit 12, the continuation determination processor 13, and the inter-sensor information conversion processor 14. .
また、感覚間情報対応付けＤＢ１６は、例えば、コンピュータに内蔵された又は外付けされた記憶装置により構成することができる。感覚間情報対応付けＤＢ１６は、感覚間情報対応付けＤＢを記憶する。例えば、感覚間情報対応付けＤＢ１６は、比較的弁別能力の低い第１の感覚に対応する複数の第１の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第２の感覚に対応する複数の第２の感覚情報を持ち、それら複数の感覚間それぞれの対応関係を示す感覚間情報対応付けＤＢを記憶する。例えば、この感覚間情報対応付けＤＢに基づき、ある一つの第１の感覚情報に対応する一つの第２の感覚情報を検索することができるので、ある一つの第１の感覚情報を第２の感覚情報へ変換することができる。また、この感覚間情報対応付けＤＢに基づき、ある一つの第１の感覚情報を複数の第２の感覚情報へ変換することや、ある複数の第１の感覚情報を複数の第２の感覚情報へ変換することができる。
例えば、第１の感覚としてＤＢが持つ複数の感覚情報の内、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報を対象とすることができ、第２の感覚としてＤＢが持つ複数の感覚情報の内、視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とすることができる。視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含むことができる。
Further, the inter-sensory information association DB 16 can be configured by, for example, a storage device incorporated in or externally attached to a computer. The inter-sensory information association DB 16 stores an inter-sensory information association DB. For example, the inter-sensor information correspondence DB 16 has a plurality of first sensory information corresponding to the first sensation relatively low in discrimination ability and the relatively high discrimination ability (higher in discrimination ability than the first sensation) An inter-sensor information association DB is stored which has a plurality of pieces of second sensation information corresponding to the second sensation and indicates the correspondence between the plurality of sensations. For example, since one piece of second sense information corresponding to one piece of first sense information can be searched based on the inter-sensor information correspondence DB, one piece of first sense information is It can be converted to sensory information. In addition, based on the inter-sensory information association DB, converting one first sensory information into a plurality of second sensory information, or converting a plurality of first sensory information into a plurality of second sensory information Can be converted to
For example, it is possible to target somatosensory information including at least one of muscle tension, joint angle, magnitude of force, and body position among a plurality of sensory information possessed by DB as a first sensation, Among the plurality of sensory information possessed by the DB as the second sensation, at least one of visual information, auditory information, and haptic stimuli can be targeted. The visual information may include at least one of a numerical value, a graph, an image, an image, and a color, and the auditory information may include at least one of the frequency of the sound, and the magnitude and timbre of the sound.
体性感覚データ検出装置２は、例えば、力加減検出装置であり、圧力センサや光センサ、曲げセンサ（図４参照）等により構成することができる。例えば、曲げセンサは、比較的弁別能力の低い第１の感覚（加圧）を測定し測定結果を示す信号を出力する。体性感覚データ検出装置２は、曲げセンサからの信号に基づき体性感覚データ（測定感覚情報）を検出し、体性感覚データを情報処理装置１の体性感覚データ受信部１５へ送信する。 The somatic sensation data detection device 2 is, for example, a force adjustment detection device, and can be configured by a pressure sensor, an optical sensor, a bending sensor (see FIG. 4), and the like. For example, the bending sensor measures a first sensation (pressurization) with relatively low discrimination ability and outputs a signal indicating the measurement result. The somatic sensation data detection device 2 detects somatic sensation data (measurement sensation information) based on the signal from the bending sensor, and transmits somatic sensation data to the somatic sensation data reception unit 15 of the information processing device 1.
情報提示装置３は、スクリーン及びスピーカ、振動子などの力覚提示デバイスのうちの少なくとも一つにより構成することができる。或いは、情報提示装置３は、プリンタ等で構成するようにしてもよく、上記スクリーンで表示される情報をプリンタ等でプリントするようにしてもよい。例えば、情報提示装置３は出力部３１を備え、出力部３１は出力値提示部３１１を備える。出力値提示部３１１は、情報処理装置１のＦＢ可否判定処理部１１からのＦＢ可否判定を受信したり、目標値設定部１２からの目標値を受信したりする。情報提示装置３の詳細な動作等については後に詳しく説明する。 The information presentation device 3 can be configured by at least one of a screen, a speaker, and a force sense presentation device such as a vibrator. Alternatively, the information presentation device 3 may be configured by a printer or the like, and the information displayed on the screen may be printed by the printer or the like. For example, the information presentation device 3 includes an output unit 31, and the output unit 31 includes an output value presentation unit 311. The output value presentation unit 311 receives the FB availability determination from the FB availability determination processing unit 11 of the information processing device 1 or receives the target value from the target value setting unit 12. The detailed operation and the like of the information presentation device 3 will be described in detail later.
図１に示すように、情報処理装置１（目標値設定部１２）は、多感覚（視覚、聴覚、力覚など弁別能力が比較的高い感覚）による目標値提示処理を実行し（ＳＴ１０１）、例えば情報提示装置３（出力部３１）は目標値を表示する。体性感覚データ検出装置２は、弁別能力が比較的低い第１の感覚（体性感覚（筋緊張度合い、関節角度、関節位置、力の大きさ、身体位置の少なくとも一つ）・運動情報等など）の計測処理を実行する（ＳＴ１０２）。例えば、体性感覚データ検出装置２の曲げセンサは押圧（第１の感覚に基づく押し込み動作に対応する押圧）を検出する。体性感覚データ検出装置２は検出された押圧値から体性感覚データ（測定感覚情報）を計測し、体性感覚データ受信部１５は、体性感覚データ検出装置２により計測感覚情報を受信する。感覚間情報変換処理部１４は、感覚間情報対応付けＤＢを参照し、測定感覚情報に対応する計測感覚情報を多感覚（視覚、聴覚、力覚など弁別能力が比較的高い第２の感覚）情報へ変換する変換処理を実行する（ＳＴ１０３）。例えば、感覚間情報対応付けＤＢが、比較的弁別能力の低い第１の感覚に対応する複数の第１の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第２の感覚に対応する複数の第２の感覚情報と、比較的弁別能力の高い（前記第１の感覚より弁別能力の高い）第３の感覚に対応する複数の第３の感覚情報との対応関係を示す感覚間情報対応付けＤＢであれば、測定感覚情報に対応する第１の感覚情報を検索し、測定感覚情報をこの検索された第１の感覚情報に対応する第２の感覚情報と第３の感覚情報へ変換することができる。 As shown in FIG. 1, the information processing apparatus 1 (target value setting unit 12) executes target value presentation processing by multiple senses (feelings with relatively high discrimination ability such as visual sense, auditory sense, force sense) (ST101). For example, the information presentation device 3 (output unit 31) displays the target value. The somatosensory data detection device 2 has a first sensation with relatively low discriminative ability (a somatosensory degree (at least one of muscle tone, joint angle, joint position, magnitude of force, body position, etc.) Etc.) is executed (ST102). For example, the bending sensor of the somatic sensation data detection device 2 detects a press (a press corresponding to the pressing operation based on the first sense). The somatic sensation data detection device 2 measures somatic sensation data (measurement sensation information) from the detected pressure value, and the somatic sensation data reception unit 15 receives the measurement sensation information by the somatic sensation data detection device 2 . The inter-sensory information conversion processing unit 14 refers to the inter-sensory information association DB, and makes the measured sensory information corresponding to the measured sensory information multi-sensory (the second sensation with relatively high discrimination ability such as visual sense, auditory, force sense) A conversion process of converting into information is executed (ST103). For example, the inter-sensor information correspondence DB is relatively high in discrimination ability with a plurality of first sense information corresponding to the first sensation relatively low in discrimination ability (the discrimination ability is higher than the first sensation) A plurality of second sense information corresponding to the second sense and a plurality of third sense information corresponding to a third sense having a relatively high discrimination ability (higher in discrimination ability than the first sense) In the case of the inter-sensory information association DB indicating the correspondence, the first sensory information corresponding to the measured sensory information is searched, and the measured sensory information is converted to the second sensory information corresponding to the retrieved first sensory information. And third sensory information.
継続判定処理部１３は、体性感覚データ検出装置２により計測された計測感覚情報に基づき、到達度判断処理を実行し（ＳＴ１０４）、目標値設定部１２は、目標値設定処理を実行し（ＳＴ１０５）、ＦＢ可否判定処理部１１は、多感覚（視覚、聴覚、力覚など弁別能力が高い感覚の内、判断処理で設定された感覚）情報でのＦＢ提示処理を実行する（ＳＴ１０６）。目標値設定部１２は、目標値到達度（つまり計測感覚情報や経過時間）に応じて目標値を維持したり、目標値を変更したりする。例えば、目標値設定部１２は、目標値到達度が不十分であれば目標値を維持し、目標値到達度が十分であれば目標値を更新したりする。 The continuation determination processing unit 13 executes the attainment degree determination process based on the measurement sensation information measured by the somatic sensation data detection device 2 (ST104), and the target value setting unit 12 executes the target value setting process ( In step ST105, the FB determination processing unit 11 executes FB presentation processing with multisensory (senses set in the determination processing among senses having high discrimination ability such as visual sense, auditory sense, and force sense) information (ST106). The target value setting unit 12 maintains the target value or changes the target value in accordance with the target value attainment degree (that is, measured sensation information or elapsed time). For example, the target value setting unit 12 maintains the target value if the target value attainment degree is insufficient, and updates the target value if the target value attainment degree is sufficient.
また、ＦＢ可否判定処理部１１は、ＦＢ提示到達度（つまり計測感覚情報や経過時間）に応じて、変換された多感覚情報に基づくＦＢ提示処理を実行したり、ＦＢ提示処理を保留したりする。言い換えれば、ＦＢ可否判定処理部１１は、測定感覚情報に含まれる測定値の極値や時間変化量から、ＦＢ提示処理を実行したり、ＦＢ提示処理を保留したりする。例えば、ＦＢ可否判定処理部１１は、ＦＢ提示到達度が不十分であれば、ＦＢ提示処理を保留し、ＦＢ提示到達度が十分であれば、変換された多感覚情報に基づくＦＢ提示処理を実行する。例えば、測定値が初めて極値を超えるまでや変化が大きい場合にはフィードバックを行わず、測定値が初めて極値を超えた後や変化が小さくなってからフィードバックを行うなどで、学習速度を促進したり、より効果的に定着させたりすることができる。 In addition, the FB availability determination processing unit 11 executes the FB presentation processing based on the converted multi-sensory information or suspends the FB presentation processing according to the FB presentation attainment (that is, measured sensation information or elapsed time). Do. In other words, the FB availability determination processing unit 11 executes the FB presentation process or suspends the FB presentation process from the extremum value and the time change amount of the measurement value included in the measurement sensation information. For example, the FB availability determination processing unit 11 suspends the FB presentation process if the FB presentation attainment level is insufficient, and the FB presentation process based on the converted multi-sensory information if the FB presentation attainment level is sufficient. Run. For example, if the measured value first exceeds the extreme value or if the change is large, feedback is not performed, and the learning speed is promoted by performing feedback after the measured value first exceeds the extreme value or after the change becomes small. And can be fixed more effectively.
以下、楽器演奏を模した視聴覚ＦＢによる学習支援（体性感覚（力加減）に対する運動学習支援）の一例について説明する。 Hereinafter, an example of learning support (motion learning support for somatic feeling (force adjustment)) by the audio-visual feedback imitating musical instrument performance will be described.
概要は、次の通りである。 The outline is as follows.
例えば、押圧力の大きさを（比較的弁別能力の低い第１の感覚に基づく動作から測定された値）、弁別能力の高い音の高さ（比較的弁別能力の高い第２の感覚情報）に変換し（楽器に見立てる）、さらに離散的に提示することで複数の押圧力に対する訓練を行う。また、メロディに合わせた提示をして定着率を向上させたり、訓練の継続性を高めるため、本実施形態で説明するシステムにより曲を演奏する。例えば、押圧力の大きさを曲中の一音へ変換し、曲として演奏可能な出力情報を提示する。また、聴覚（第２の感覚情報）によるフィードバックに加えて、視覚（第３の感覚情報）によるフィードバックを加えることにより、定着時の精度を向上させる。フィードバックを与えるタイミングを工夫する。 For example, the magnitude of the pressing force (a value measured from the operation based on the first sense with relatively low discrimination ability), the pitch of the sound with high discrimination ability (second sensory information with relatively high discrimination ability) Training for multiple pressing forces by converting into (appearing as an instrument) and presenting discretely. In addition, in order to improve the retention rate by presenting in accordance with the melody or to improve the continuity of the training, the music is played by the system described in the present embodiment. For example, the magnitude of the pressing force is converted into one note in the song, and output information that can be played as the song is presented. Further, in addition to feedback by auditory sense (second sensory information), visual feedback (third sensory information) is added to improve the accuracy in fixing. Devise a timing for giving feedback.
効果は、次の通りである。 The effects are as follows.
例えば、押圧力制御の学習速度と定着率を向上させることができる。また、複数の押圧力制御の同時訓練として利用できる。また、聴覚フィードバックで定着率を向上させることができるのに加えて、視覚フィードバックで定着時の精度を向上させることが可能である。また、フィードバックを与えるタイミングを工夫することにより、定着時の精度が向上し、安定する。 For example, the learning speed and fixing rate of pressing force control can be improved. Moreover, it can utilize as simultaneous training of several pressing force control. Moreover, in addition to the fact that the fixation rate can be improved by auditory feedback, it is possible to improve the fixing accuracy by visual feedback. In addition, by devising the timing of giving feedback, the accuracy at the time of fixing is improved and stabilized.
図３は、学習支援処理を実行するための情報処理システム（オプション構成あり）の一例を示す図である。また、図４は、図３に示す情報処理システムの実現例を示す図である。 FIG. 3 is a diagram showing an example of the information processing system (with optional configuration) for executing the learning support process. FIG. 4 is a diagram showing an implementation example of the information processing system shown in FIG.
図３及び図４に示す情報処理システムは、図２に示す情報処理システムの基本構成をベースに構成されており、共通部分の説明は省略する。図３に示すように、情報処理システムの情報提示装置３は、さらに、入力部３２を備える。入力部３２は、目標値群選択部３２１を備える。図４に示すように、例えば、出力部３１は、スクリーン及びスピーカであり、入力部３２は、キーボードやマウスであり、目標値群選択部３２１は、キーボードを構成する各キーやマウスである。 The information processing system shown in FIG. 3 and FIG. 4 is configured based on the basic configuration of the information processing system shown in FIG. 2, and the description of the common part is omitted. As shown in FIG. 3, the information presentation apparatus 3 of the information processing system further includes an input unit 32. The input unit 32 includes a target value group selection unit 321. As shown in FIG. 4, for example, the output unit 31 is a screen and a speaker, the input unit 32 is a keyboard and a mouse, and the target value group selection unit 321 is each key and a mouse constituting the keyboard.
また、図４に示すように、体性感覚データ検出装置２を構成する曲げセンサをボール等の内側に貼り付け、ユーザ（指）等によるボールへの加圧を曲げセンサで検出する。即ち、体性感覚データ検出装置２は、曲げセンサからの出力信号に基づき体性感覚データを検出し、体性感覚データを情報処理装置１の体性感覚データ受信部１５へ送信する。 Further, as shown in FIG. 4, a bending sensor constituting the somatic sensation data detection device 2 is attached to the inside of a ball or the like, and the pressure on the ball by the user (finger) or the like is detected by the bending sensor. That is, the somatic sensation data detection device 2 detects somatic sensation data based on the output signal from the bending sensor, and transmits somatic sensation data to the somatic sensation data receiving unit 15 of the information processing device 1.
また、図３に示す情報処理システムの情報処理装置１は、さらに、目標値群ＤＢ１７を備える。目標値群ＤＢ１７は、コンピュータに内蔵された又は外付けされた記憶装置により構成することができる。目標値群ＤＢ１７は、目標値としての加圧値を記憶する。 Further, the information processing apparatus 1 of the information processing system shown in FIG. 3 further includes the target value group DB 17. The target value group DB 17 can be configured by a storage device built in or externally attached to a computer. The target value group DB 17 stores the pressure value as the target value.
図５は、情報処理システムによる全体処理の一例を示すフローチャートである。図５に示すように、情報処理装置１（目標値設定部１２）は、目標値提示処理を実行し（ＳＴ５０１）、目標値提示処理を実行する（ＳＴ５０１）。また、情報処理装置１（感覚間情報変換処理部１４）は、感覚間情報変換処理を実行し（ＳＴ５０４）、情報処理装置１（継続判定処理部１３）は、継続判定処理を実行し（ＳＴ５０５）、情報処理装置１（ＦＢ可否判定処理部１１）は、ＦＢ可否判定処理を実行する（ＳＴ５０６）。情報処理装置１（ＦＢ可否判定処理部１１）及び情報提示装置３（出力部３１）は、ＦＢ提示処理を実行する（ＳＴ５０７）。なお、各処理については、この後、詳細に説明する。 FIG. 5 is a flowchart showing an example of the entire processing by the information processing system. As shown in FIG. 5, the information processing apparatus 1 (target value setting unit 12) executes target value presentation processing (ST501), and executes target value presentation processing (ST501). Further, the information processing apparatus 1 (inter-sensory information conversion processing unit 14) executes inter-sensory information conversion processing (ST 504), and the information processing apparatus 1 (continuation determination processing unit 13) executes continuation determination processing (ST 505). The information processing apparatus 1 (FB availability determination processing unit 11) executes an FB availability determination process (ST 506). The information processing device 1 (FB possibility determination processing unit 11) and the information presentation device 3 (output unit 31) execute FB presentation processing (ST 507). Each process will be described in detail later.
続いて、図６及び図１０を参照して、図５のフローチャート中の目標値設定処理（ＳＴ５０１）の一例について詳細に説明する。例えば、目標値は、第１の感覚に基づく押圧値である。 Subsequently, an example of the target value setting process (ST501) in the flowchart of FIG. 5 will be described in detail with reference to FIGS. 6 and 10. For example, the target value is a pressure value based on the first sense.
例えば、情報提示装置３（出力部３１）は、目標値群ＤＢ１７に基づき目標値群を出力（表示）する。ユーザは、入力部３２の目標値群選択部３２１を介して、表示された目標値群の中から目標値群を選択する。つまり、目標値群選択部３２１は、ユーザの入力操作に対応した入力信号を受け取り（ＳＴ６０１、ＹＥＳ）、目標値群ＤＢ１７の目標値群ＤＢから目標値群を一つ選択する（ＳＴ６０２）。もしくは、システムが自動的に目標値群を選択する事も可能である。 For example, the information presentation device 3 (output unit 31) outputs (displays) a target value group based on the target value group DB 17. The user selects a target value group from among the displayed target value groups via the target value group selection unit 321 of the input unit 32. That is, the target value group selection unit 321 receives an input signal corresponding to the user's input operation (ST601, YES), and selects one target value group from the target value group DB of the target value group DB 17 (ST602). Alternatively, the system can automatically select the target value group.
目標値設定部１２は、目標値が設定された回数nを判定し(n = 0,1,2,…)（ＳＴ６０３）、選択された目標値群の内の(n+1)番目の値を目標値としてＦＢ可否判定処理部１１及び感覚間情報変換処理部１４へ設定する（ＳＴ６０４）。さらに目標値設定部１２は、設定した目標値を出力値提示部３１１へ出力し（ＳＴ６０５）、回数nを保持する（ＳＴ６０６）。 The target value setting unit 12 determines the number n of times the target value is set (n = 0, 1, 2,...) (ST 603), and the (n + 1) th value among the selected target value group Are set as the target values in the FB availability determination processing unit 11 and the inter-sensory information conversion processing unit 14 (ST 604). Furthermore, the target value setting unit 12 outputs the set target value to the output value presentation unit 311 (ST 605), and holds the number n (ST 606).
続いて、図７及び図１０を参照して、図５のフローチャート中の目標値提示処理（ＳＴ５０２）及び感覚間情報変換処理（ＳＴ５０４）の一例について詳細に説明する。 Subsequently, an example of the target value presentation process (ST 502) and the inter-sensory information conversion process (ST 504) in the flowchart of FIG. 5 will be described in detail with reference to FIGS. 7 and 10.
情報処理装置１の感覚間情報変換処理部１４は、目標値設定部１２から目標値を受け取り（ＳＴ７０１）、感覚間情報変換処理を実行する（ＳＴ５０４）。感覚間情報変換処理部１４は、受け取った目標値に対応する感覚情報に変換する（ＳＴ７０２）。出力値提示部３１１は、変換された感覚情報を提示する（ＳＴ７０３）。時刻ｔを計測開始し（ＳＴ７０４）、目標値設定部１２は、ＦＢ可否判定処理部１１に目標値を渡す（ＳＴ７０６）。 The inter-sensory information conversion processing unit 14 of the information processing device 1 receives the target value from the target value setting unit 12 (ST 701), and executes inter-sensory information conversion processing (ST 504). The inter-sensory information conversion processing unit 14 converts it into sensory information corresponding to the received target value (ST702). The output value presentation unit 311 presents the converted sensory information (ST703). Measurement of time t is started (ST704), and the target value setting unit 12 passes the target value to the FB determination processing unit 11 (ST706).
続いて、図８及び図１７を参照して、図５のフローチャート中のＦＢ提示処理（ＳＴ５０７）の一例について詳細に説明する。 Subsequently, an example of the FB presentation process (ST 507) in the flowchart of FIG. 5 will be described in detail with reference to FIG. 8 and FIG.
例えば、情報提示装置３（出力値提示部３１１）は、ＦＢ可否判定処理部１１から感覚情報を受け取ると（ＳＴ８０１、ＹＥＳ）、受け取った感覚情報を提示する（ＳＴ８０２）。例えば、ＦＢ可否判定処理部１１は、目標値設定部１２から目標値を受け取り、感覚間情報変換処理部１４から体性感覚値を受け取り、目標値に対する達成度（下記判断処理においては体性感覚値のピーク値を超えているか否か）に応じて、体性感覚値に対応する感覚情報を出力する。これにより、情報提示装置の出力値提示部３１１は、体性感覚値に対応する感覚情報を出力する。 For example, when the information presentation device 3 (output value presentation unit 311) receives the sensation information from the FB determination processing unit 11 (ST801, YES), the information presentation device 3 presents the received sensation information (ST802). For example, the FB determination processing unit 11 receives the target value from the target value setting unit 12, receives the somatic sensation value from the inter-sensor information conversion processing unit 14, and determines the degree of achievement for the target value (the somatic sensation in the determination processing described below). According to whether or not the peak value of the value is exceeded, sensory information corresponding to the somatosensory value is output. Thereby, the output value presentation unit 311 of the information presentation apparatus outputs sensation information corresponding to the somatic sensation value.
続いて、図９及び図１１を参照して、図５のフローチャート中の感覚間情報変換処理（ＳＴ５０４）の一例について詳細に説明する。 Subsequently, an example of the inter-sensory information conversion process (ST 504) in the flowchart of FIG. 5 will be described in detail with reference to FIG. 9 and FIG.
体性感覚データ受信部１５は、体性感覚データ検出装置２から体性感覚データ（体性感覚値）を受け取り、感覚間情報変換処理部１４は、体性感覚データ受信部１５から体性感覚値を受け取る（ＳＴ９０１）。例えば、体性感覚データ検出装置２の曲げセンサが、比較的弁別能力の低い第１の感覚（加圧）を測定し測定結果を示す信号を出力し、体性感覚データ検出装置２はこの信号に基づき体性感覚データを検出する。感覚間情報変換処理部１４は、ＦＢ可否判定処理部１１に体性感覚値（時刻tにおける）を渡す（ＳＴ９０２）。 The somatic sensation data receiving unit 15 receives somatic sensation data (somatic sensation value) from the somatic sensation data detection device 2, and the inter-sensory information conversion processing unit 14 receives the somatic sensation from the somatic sensation data receiving unit 15. Receive a value (ST 901). For example, the bending sensor of the somatosensory data detection device 2 measures a first sensation (pressure) having a relatively low discrimination ability and outputs a signal indicating the measurement result, and the somatosensory data detection device 2 outputs this signal Somatosensory data is detected based on The inter-sensory information conversion processing unit 14 passes the somatic sensation value (at time t) to the FB possibility determination processing unit 11 (ST 902).
さらに、感覚間情報変換処理部１４は、感覚間情報対応付けＤＢ１６から、体性感覚値に合致するものを参照し（ＳＴ９０３）、体性感覚値に対応する感覚情報を取得し（ＳＴ９０４）、ＦＢ可否判定処理部１１に感覚情報を渡す（ＳＴ９０５）。つまり、感覚間情報変換処理部１４は、感覚間情報対応付けＤＢ１６に基づき、測定結果に対応する第１の感覚値（体性感覚値）から第２の感覚値（視覚、聴覚等の感覚情報）へ変換する。第２の感覚値は１つ以上である。 Further, the inter-sensory information conversion processing unit 14 refers to the information matching the somatic sensation value from the inter-sensory information association DB 16 (ST 903), and acquires the sensory information corresponding to the somatosensory value (ST 904). The sensory information is passed to the FB determination processing unit 11 (ST 905). That is, based on the inter-sensory information correspondence DB 16, the inter-sensory information conversion processing unit 14 generates sensory information such as visual sense and auditory information from the first sensory value (somatosensory sense value) corresponding to the measurement result. Convert to). The second sense value is one or more.
続いて、図１２及び図１３を参照して、図５のフローチャート中の継続判定処理（ＳＴ５０５）の一例について詳細に説明する。 Subsequently, an example of the continuation determination process (ST 505) in the flowchart of FIG. 5 will be described in detail with reference to FIGS. 12 and 13.
継続判定処理部１３は、一回の目標値提示の継続時間を超えているか否か判定し（ＳＴ１２０１）、超えていなければ（ＳＴ１２０１、ＮＯ）、ＦＢ可否判定処理へ移行する（ＳＴ１２０５）。超えていれば（ＳＴ１２０１、ＹＥＳ）、継続判定処理部１３は、目標値群ＤＢ１７に(n+2)番目の目標値が存在するか否か判定する（ＳＴ１２０２）。目標値群ＤＢ１７に(n+2)番目の目標値が存在しなければ（ＳＴ１２０２、ＮＯ）、継続判定処理部１３は、処理を終了し、存在すれば（ＳＴ１２０２、ＹＥＳ）、nの値を一つ増やして目標値設定部１２に渡し(n = n + 1)（ＳＴ１２０３）、目標値設定処理へ移行する（ＳＴ１２０４）。 Continuation determination processing unit 13 determines whether or not the duration of one target value presentation has exceeded (ST1201), and if it does not exceed (ST1201, NO), moves to FB availability determination processing (ST1205). If it exceeds (ST1201, YES), the continuation determination processing unit 13 determines whether the (n + 2) th target value exists in the target value group DB 17 (ST1202). If the (n + 2) th target value does not exist in the target value group DB 17 (ST1202, NO), the continuation determination processing unit 13 ends the processing, and if it exists (ST1202, YES), the value of n is The value is incremented by one and transferred to the target value setting unit 12 (n = n + 1) (ST1203), and the process shifts to target value setting processing (ST1204).
続いて、図１４を参照して、図５及び図１２のフローチャート中のＦＢ可否判定処理（ＳＴ５０６）（ＳＴ１２０５）の一例について詳細に説明する。 Subsequently, an example of the FB availability determination process (ST 506) (ST 1205) in the flowcharts of FIGS. 5 and 12 will be described in detail with reference to FIG.
ＦＢ可否判定処理部１１は、目標値設定部１２から目標値(n回目)を受け取り（ＳＴ１４０１）、感覚間情報変換処理部１４から体性感覚値(時刻tにおける)を受け取る（ＳＴ１４０２）。n = 0 であれば（ＳＴ１４０３、ＹＥＳ）、ＦＢ可否判定処理部１１は、目標値(n=0)を保持する（ＳＴ１４０４）。時刻t = 0 であれば（ＳＴ１４０５、ＹＥＳ）、ＦＢ可否判定処理部１１は、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４０７、ＮＯ）、ＦＢ可否判定処理部１１は、t ≠ 0 時処理へ移行する（ＳＴ１４０６）。t = 0 時処理及びt ≠ 0 時処理は、後に詳しく説明する。 The FB determination processing unit 11 receives the target value (n-th time) from the target value setting unit 12 (ST1401), and receives the somatic sensation value (at time t) from the inter-sensor information conversion processing unit 14 (ST1402). If n = 0 (ST1403, YES), the FB determination processing unit 11 holds the target value (n = 0) (ST1404). If the time t = 0 (ST1405, YES), the FB availability determination processing unit 11 proceeds to the process at t = 0 (ST1406), and if the time t ≠ 0 (ST1407, NO), the FB availability determination process The unit 11 transfers to t ≠ 0 processing (ST1406). The t = 0 time process and the t ≠ 0 time process will be described in detail later.
ＦＢ可否判定処理部１１は、目標値(n回目)が目標値(n-1)回目よりも大きいか判定し（ＳＴ１４０８）、目標値(n回目)が目標値(n-1)回目よりも大きい場合（ＳＴ１４０８、ＹＥＳ）、時刻t = 0 ならば（ＳＴ１４０９、ＹＥＳ）、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４０９、ＮＯ）、t ≠ 0 時処理へ移行する（ＳＴ１４０６）。目標値(n回目)が目標値(n-1)回目よりも大きくない場合（ＳＴ１４０８、ＮＯ）、ＦＢ可否判定処理部１１は、時刻t = 0 ならば（ＳＴ１４１０、ＹＥＳ）、t = 0 時処理へ移行し（ＳＴ１４０６）、時刻t ≠ 0 であれば（ＳＴ１４１０、ＮＯ）、判定フラグをチェックする（ＳＴ１４１１）。 The FB availability determination processing unit 11 determines whether the target value (nth time) is larger than the target value (n-1) th time (ST1408), and the target value (nth time) is higher than the target value (n-1) th time If it is larger (ST1408, YES), if time t = 0 (ST1409, YES), processing proceeds to t = 0 processing (ST 1406), and if time t ≠ 0 (ST 1409, NO), t ≠ 0 processing It transfers to (ST1406). If the target value (n-th time) is not larger than the target value (n-1) -th time (ST1408, NO), FB availability determination processing unit 11 determines that time t = 0 (ST1410, YES), t = 0 hours The process shifts to processing (ST1406), and if time t ≠ 0 (ST1410, NO), the determination flag is checked (ST1411).
判定フラグがオンであれば（ＳＴ１４１１、ＹＥＳ）、ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも小さいか判定し（ＳＴ１４１２）、小さい場合には（ＳＴ１４１２、ＹＥＳ）、時刻tでの体性感覚値を保持し（ＳＴ１４１３）、tの値を一つ増加するか（t = t + 1）（ＳＴ１４１４）、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも小さくない場合には（ＳＴ１４１２、ＮＯ）、時刻tの体性感覚値をピーク値として保持し（ＳＴ１４１５）、判定フラグをオフに設定し（ＳＴ１４１６）、tの値を一つ増加する（t = t + 1）（ＳＴ１４１４）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。 If the determination flag is on (ST1411, YES), the FB possibility determination processing unit 11 determines whether the somatic sensation value at time t is smaller than the somatic sensation value at time (t-1) (ST1412) ), If smaller (ST1412, YES), hold the somatosensory value at time t (ST1413) and increase the value of t by 1 (t = t + 1) (ST 1414) or automatically If the time is obtained, it is not necessary to increase the value of t. If the somatic sensation value at time t is not smaller than the somatic sensation value at time (t-1) (ST1412, NO), the FB availability determination processing unit 11 determines the somatic sensation value at time t. If the peak value is held (ST1415), the judgment flag is set to OFF (ST1416), and the value of t is incremented by one (t = t + 1) (ST1414), or if the time is automatically acquired There is no need to increase the value of t.
続いて、図１５を参照して、図１４のフローチャート中のt = 0時処理（ＳＴ１４０６）の一例について詳細に説明する。 Subsequently, an example of the t = 0 o'clock process (ST1406) in the flowchart of FIG. 14 will be described in detail with reference to FIG.
継続判定処理部１３は、判定フラグをチェックし（ＳＴ１５０１）、判定フラグがオンであれば（ＳＴ１５０１、ＹＥＳ）、体性感覚値（t = 0）を保持し（ＳＴ１６０２）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０３）。 Continuation determination processing unit 13 checks the determination flag (ST1501), and if the determination flag is on (ST1501, YES), holds the somatosensory sense value (t = 0) (ST1602) and sets the value of t to one. (T = t + 1) (ST 1603).
続いて、図１６を参照して、図１４のフローチャート中のt ≠ 0時処理（ＳＴ１４０７）の一例について詳細に説明する。 Next, with reference to FIG. 16, an example of the t o o'clock process (ST 1407) in the flowchart of FIG. 14 will be described in detail.
継続判定処理部１３は、判定フラグをチェックし（ＳＴ１６０１）、判定フラグがオンであれば（ＳＴ１６０１、ＹＥＳ）、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも大きいか判定し（ＳＴ１６０２）、大きい場合には（ＳＴ１６０２、ＹＥＳ）、時刻tでの体性感覚値を保持し（ＳＴ１６０３）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０５）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。ＦＢ可否判定処理部１１は、時刻tでの体性感覚値は時刻(t-1)での体性感覚値よりも大きくない場合には（ＳＴ１６０２、ＮＯ）、時刻tの体性感覚値をピーク値として保持し（ＳＴ１６０４）、判定フラグをオフに設定し（ＳＴ１６０６）、tの値を一つ増加する（t = t + 1）（ＳＴ１６０５）か、もしくは自動で時刻が取得される場合はtの値を増加する必要はない。 Continuation determination processing unit 13 checks the determination flag (ST1601), and if the determination flag is on (ST1601, YES), the somatic sensation value at time t is the somatic sensation value at time (t-1) If it is larger (ST1602, YES), the somatosensory value at time t is held (ST1603), and the value of t is increased by one (t = t + 1). (ST1605) or when time is automatically obtained, it is not necessary to increase the value of t. If the somatic sensation value at time t is not larger than the somatic sensation value at time (t-1) (ST1602, NO), the FB availability determination processing unit 11 determines the somatic sensation value at time t. If the peak value is held (ST1604), the judgment flag is set to OFF (ST1606), and the value of t is incremented by one (t = t + 1) (ST1605), or if the time is automatically acquired There is no need to increase the value of t.
続いて、図１８を参照し、感覚間情報変換処理部１４による感覚間情報変換処理についてさらに詳しく説明する。 Subsequently, the inter-sensory information conversion processing by the inter-sensory information conversion processing unit 14 will be described in more detail with reference to FIG.
目標値提示後に押し込み度（押圧）が一定の割合以上で変化（一つ前の目標値が無い場合、もしくは一つ前の目標値が現在の目標値より低い場合は上昇、一つ前の目標値が現在の目標値より高い場合は下降）している期間を変化期と呼び、一定の割合以上で変化していない（押し込みを維持している）区間を維持期と呼ぶ。また、変化期終了時点の押し込み度をピーク値と呼ぶ。さらに、一回の目標値提示の継続時間をｔtotと呼ぶ。 After the target value is presented, the degree of depression (pressing) changes by a certain percentage or more (If there is no previous target value, or if the previous target value is lower than the current target value, it will rise, the previous target) A period in which the value is higher than the current target value is referred to as a change period, and a period in which the value does not change at a certain rate or more (maintenance of depression) is referred to as a maintenance period. Also, the degree of indentation at the end of the transition period is called a peak value. Furthermore, the duration of one target value presentation is called t tot .
tは時間を表し、p[t]はある時間tにおける押し込み度を表す。f[t]は聴覚フィードバックの提示周波数、y[t]は視覚フィードバックの提示位置を表す。k(k = 0, 1, 2, …)は段階数を表し、n(n = 0, 1, 2, …)は目標値提示回数(試行回数)を表す。F[k]、Y[k]はそれぞれのkに応じて定められた周波数、提示位置に対応しており、離散的な値（弁別が容易に可能な値、例えば白盤の音階に対応させている）である。 t represents time, and p [t] represents the degree of indentation at a certain time t. f [t] represents the presentation frequency of auditory feedback, and y [t] represents the presentation position of visual feedback. k (k = 0, 1, 2, ...) represents the number of steps, and n (n = 0, 1, 2, ...) represents the target value presentation number (the number of trials). F [k] and Y [k] correspond to frequencies and presentation positions determined according to the respective k, and discrete values (values that can be easily discriminated, for example, the scale of the white board ).
変換対応式は、C × (k-1) < p[t] < C × k のとき、以下の通りである。
・ f[t] = F[k]
・ y[t] = Y[k]
図１８に示す「ｃ」は定数で、同じ音、同じ視聴提示位置の範囲を示す。目標値Pｆ[n]において周波数F[k]、位置Y[k]となり、目標値Pｆ[n]を含む範囲Cを下回ると、周波数F[k-1]、位置Y[k-1]となり、目標値Pｆ[n]を含む範囲Cを上回ると、周波数F[k+1]、位置Y[k+1]となる。
The conversion correspondence equation is as follows when C × (k−1) <p [t] <C × k.
F [t] = F [k]
・ Y [t] = Y [k]
“C” shown in FIG. 18 is a constant, and indicates the same sound and the range of the same viewing presentation position. At the target value P f [n], the frequency F [k] becomes the position Y [k], and falls below the range C including the target value P f [n], the frequency F [k-1], the position Y [k-1 When the frequency exceeds the range C including the target value P f [n], the frequency F [k + 1] and the position Y [k + 1] are obtained.
続いて、図１９を参照し、フィードバック提示例について説明する。図１９に示すポイントＡとＢにおけるフィードバック提示例を説明する。 Subsequently, a feedback presentation example will be described with reference to FIG. An example of feedback presentation at points A and B shown in FIG. 19 will be described.
音提示例では、目標音提示（周波数F[k]）とすると（F[k] = 523.25Hz：ド(C5)の音）、ポイントＢではf[t] = F[k-1] = 493.88Hz：シ(B4)の音となり、その後のタイミングで、ポイントＡではf[t] = F[k] = 523.25Hz：ド(C5)の音となる。 In the sound presentation example, assuming target sound presentation (frequency F [k]) (F [k] = 523.25 Hz: sound of de (C5)), point B: f [t] = F [k-1] = 493.88 Hz: A sound of シ (B4), and at a subsequent timing, at point A, a sound of f [t] = F [k] = 523.25 Hz: ((C5).
また、画面表示例では、目標位置提示（位置Y[k]）とすると、ポイントＢではy[t] = Y[k-1]となり、ポイントＡではy[t] = Y[k]となる。 In the screen display example, assuming target position presentation (position Y [k]), y [t] = Y [k-1] at point B and y [t] = Y [k] at point A. .
続いて、図１８及び図１９を参照し、フィードバックのタイミングの一例について説明する。ＦＢ可否判定処理部１１は、フィードバックのタイミングを制御する。例えば、ピーク値以降の維持期にフィードバックを提示し、変化期にはフィードバックを提示しない。変化期にはフィードバックを提示しないことにより、学習効果の定着精度の向上を期待することができる。学習対象者が目標値と認識している押圧力を認識しないまま学習（訓練）を行うと、実際の目標値との乖離が生じ、学習効果の定着精度の向上が阻害される可能性がある。視覚フィードバック及び聴覚フィードバックともに同様のことが言える。 Subsequently, an example of feedback timing will be described with reference to FIGS. 18 and 19. The FB availability determination processing unit 11 controls the timing of feedback. For example, feedback is presented in the maintenance period after the peak value, and no feedback is presented in the change period. By not presenting feedback during the change period, it is possible to expect improvement in the accuracy of the learning effect. If learning (training) is performed without recognizing the pressing force that the learning target recognizes as the target value, deviation from the actual target value may occur, and the improvement of the fixing accuracy of the learning effect may be hindered. . The same is true for both visual and auditory feedback.
手指の押圧力訓練の際、目標値に達するまでの変化期（上昇期）にリアルタイムで視覚フィードバックを与えると、定着時の精度の向上が阻害されることがある。一方、目標値に達してからの維持期にリアルタイム視覚フィードバックを与える事で定着時の制御の安定性が向上する。 In the case of hand pressure training, if visual feedback is given in real time during the change phase (rising phase) to reach the target value, the improvement in the accuracy at the time of fixation may be hindered. On the other hand, by providing real-time visual feedback during the maintenance period after reaching the target value, the stability of control at the time of fixation is improved.
上記説明した情報処理システムによれば、例えば、体性感覚よりも空間・時間分解能の高い視覚、聴覚、力覚などを利用したフィードバック（例えばマルチモーダルフィードバック）を行うことができる。また、体性感覚よりも空間・時間分解能の高いフィードバックを与えることによって、内部モデルの構築が効果的に進み、運動学習の学習速度と定着率を向上させることができる。 According to the above-described information processing system, it is possible to perform feedback (for example, multimodal feedback) using vision, hearing, force sense and the like having higher spatial and temporal resolution than somatic sensation, for example. In addition, by providing feedback with higher spatial and temporal resolution than somatic sensation, construction of the internal model can proceed effectively, and learning speed and retention rate of motor learning can be improved.
さらに、本情報処理システムによれば、運動学習だけでなく、弁別能力に着目した幅広い学習支援にも利用できる。例えば、英語の聞き分けなどにも利用できる。 Furthermore, according to the present information processing system, it can be used not only for motor learning but also for a wide range of learning support focusing on discrimination ability. For example, it can be used to distinguish English.
なお、上記した情報処理システム（情報処理装置１等）による各処理の手順はソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムをダウンロードしこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。或いは、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等を通じてこのプログラムを汎用のコンピュータにインストールして実行するだけで、上記処理を容易に実現することができる。 The procedure of each process by the above-described information processing system (information processing apparatus 1 or the like) can be executed by software. Therefore, the processing can be easily realized only by downloading a program for executing the procedure of the processing and installing and executing the program on a general-purpose computer. Alternatively, the program may be installed and executed on a general-purpose computer through a computer-readable storage medium storing a program for executing the above-described processing procedure, such as a magnetic recording device, an optical disc, a magneto-optical recording medium, or a semiconductor memory. Thus, the above processing can be easily realized.
例えば、情報処理システム（情報処理装置１等）は、上記プログラムをダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。また、情報処理システムは、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報処理システムは、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。 For example, the information processing system (the information processing apparatus 1 or the like) can download the program, store the downloaded program, and complete the installation of the program. Further, the information processing system can read the program from a computer readable storage medium, store the read program, and complete the installation of the program. Thus, the information processing system can easily realize the processing based on the installed program.
その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。 In addition, various modifications can be made without departing from the scope of the present invention.
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
以下、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
測定感覚情報を受信する受信部と、
第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する変換部と、
前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する情報処理部と、
を備える感覚情報処理装置。
［Ｃ２］
前記第１の感覚として、筋緊張度合い、関節角度、力の大きさ、及び身体位置の少なくとも一つを含む体性感覚情報や外国語の聞き分け能力など弁別能力の低い感覚情報を対象とすることを特徴とする［Ｃ１］記載の感覚情報処理装置。
［Ｃ３］
前記第２の感覚として視覚情報、聴覚情報、及び力覚刺激のうちの少なくとも一つを対象とし、
前記視覚情報は、数値、グラフ、画像、映像、及び色の少なくとも一つを含み、
前記聴覚情報は、音の周波数、及び音の大きさ、音色の少なくとも一つを含むことを特徴とする［Ｃ１］記載の感覚情報処理装置。
［Ｃ４］
前記情報処理部は、前記変換された前記第２の感覚情報に対応する前記視覚情報、前記聴覚情報、及び前記力覚刺激の内、２つ以上の情報を出力する［Ｃ３］記載の感覚情報処理装置。
［Ｃ５］
前記情報処理部は、前記変換された前記第２の感覚情報に基づく出力情報を離散的な値として出力することを特徴とする［Ｃ１］記載の感覚情報処理装置。
［Ｃ６］
前記情報処理部は、前記測定感覚情報に含まれる測定値の極値や時間変化量から、前記フィードバックの要否を判定する［Ｃ１］記載の感覚情報処理装置。
［Ｃ７］
測定感覚情報を受信し、
第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換し、
前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する感覚情報処理方法。
［Ｃ８］
コンピュータに、
測定感覚情報を受信する手順と、
第１の感覚に対応する複数の第１の感覚情報と前記第１の感覚より弁別能力の高い第２の感覚に対応する複数の第２の感覚情報を持ち、それらの感覚間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報から第２の感覚情報へ変換する手順と、
前記測定感覚情報に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された前記第２の感覚情報に基づく出力情報を出力する手順と、を実行させるためのプログラム。
In short, the present invention is not limited to the above embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention. In addition, various inventions can be formed by appropriate combinations of a plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components in different embodiments may be combined as appropriate.
Hereinafter, the invention described in the claims at the beginning of the application will be appended.
[C1]
A reception unit that receives measurement sensation information;
A plurality of first sense information corresponding to a first sense and a plurality of second sense information corresponding to a second sense having a higher discrimination ability than the first sense, and the correspondence between the senses A conversion unit configured to convert the first sensory information corresponding to the measured sensory information into second sensory information based on the indicated database;
An information processing unit that determines the necessity of feedback based on the measured sensation information and outputs output information based on the converted second sensation information when it is determined that feedback is necessary;
Sensory information processing apparatus comprising:
[C2]
The first sense is directed to sensory information having low discrimination ability such as somatosensory information including at least one of muscle tension, joint angle, magnitude of force, and body position, and foreign language listening ability [C1] The sensory information processing apparatus according to [C1].
[C3]
Targeting at least one of visual information, auditory information, and haptic stimulation as the second sense,
The visual information includes at least one of a numerical value, a graph, an image, an image, and a color,
The sensory information processing apparatus according to [C1], wherein the auditory information includes at least one of a frequency of a sound, a magnitude of a sound, and a timbre.
[C4]
[C3] The sensory information according to [C3], wherein the information processing unit outputs two or more pieces of the visual information, the auditory information, and the force sense stimulus corresponding to the converted second sensory information. Processing unit.
[C5]
[C1] The sensory information processing apparatus according to [C1], wherein the information processing unit outputs output information based on the converted second sensory information as a discrete value.
[C6]
[C1] The sensory information processing apparatus according to [C1], wherein the information processing unit determines the necessity of the feedback from an extreme value or a time change amount of a measurement value included in the measurement sensation information.
[C7]
Receive measurement sensation information,
A plurality of first sense information corresponding to a first sense and a plurality of second sense information corresponding to a second sense having a higher discrimination ability than the first sense, and the correspondence between the senses Converting the first sensory information corresponding to the measured sensory information into second sensory information based on the indicated database;
The sensory information processing method which determines the necessity of feedback based on the measurement sensation information, and outputs output information based on the converted second sensation information when it is determined that feedback is necessary.
[C8]
On the computer
A procedure for receiving measurement sensation information;
A plurality of first sense information corresponding to a first sense and a plurality of second sense information corresponding to a second sense having a higher discrimination ability than the first sense, and the correspondence between the senses A procedure for converting the first sensory information corresponding to the measured sensory information into second sensory information based on the indicated database;
A program for executing a procedure of determining the necessity of feedback based on the measured sensation information and outputting output information based on the converted second sensation information when it is determined that feedback is necessary.
１…情報処理装置、２…体性感覚データ検出装置、３…情報提示装置、１１…ＦＢ可否判定処理部、１２…目標値設定部、１３…継続判定処理部、１４…感覚間情報変換処理部、１５…体性感覚データ受信部、１６…感覚間情報対応付けＤＢ、１７…目標値群ＤＢ、３１…出力部、３２…入力部、３１１…出力値提示部、３２１…目標値群選択部。 1 ... information processing device, 2 ... somatic sensation data detection device, 3 ... information presentation device, 11 ... FB determination processing unit, 12 ... target value setting unit, 13 ... continuation determination processing unit, 14 ... inter-sensor information conversion processing Part 15 15 somatic sensation data reception part 16 inter-sensor information correspondence DB 17 target value group DB 31 output part 32 input part 311 output value presentation part 321 selection of target value group Department.
Claims (4)
力加減に対応する測定感覚情報を受信する受信部と、
第１の感覚より弁別能力の高い感覚を第２の感覚とし、
第１の感覚に対応する感覚情報を第１の感覚情報とし、
第２の感覚に対応する感覚情報を第２の感覚情報とし、
第２の感覚は複数あり、それぞれが相異なる感覚器の感覚であるとして、
前記第１の感覚情報と前記複数の第２の感覚情報の各々との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報を複数の第２の感覚情報へ変換する変換部と、
所定の目標値と前記測定感覚情報の比較結果に基づきフィードバックの要否を判定し、フィードバックを必要と判定した場合に前記変換された複数の前記第２の感覚情報に基づく出力情報を出力する情報処理部と、
を備え、
前記情報処理部は、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点以後である場合にフィードバックが必要と判定し、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点より前の場合はフィードバックが不要と判定する
学習支援装置。 A learning support device for supporting force learning,
A receiver that receives measurement sensation information corresponding to the force change ;
The second sense is a sense with a higher discrimination ability than the first sense,
The sensory information corresponding to the first sensation is taken as the first sensory information,
The sensory information corresponding to the second sensation is taken as the second sensory information,
There are multiple second senses, each of which is a sense of a different sense,
The first sensory information corresponding to the measured sensory information is converted to a plurality of second sensory information based on a database indicating the correspondence between the first sensory information and each of the plurality of second sensory information A converter to convert,
Information that determines whether or not feedback is necessary based on the comparison result of a predetermined target value and the measured sensation information , and outputs information based on the plurality of converted second sensation information when it is determined that feedback is necessary A processing unit,
Equipped with
The information processing unit determines that feedback is necessary when the measured sense information first reaches the extremum with respect to the target value, and the measured sense information is first determined for the target value. It is determined that feedback is not necessary before reaching the extreme value . Learning support device.
ことを特徴とする請求項１記載の学習支援装置。 Said second sense, vision, hearing, learning support system of claim 1, wherein the corresponding one of sense of force.
力加減に対応する測定感覚情報を受信し、
第１の感覚より弁別能力の高い感覚を第２の感覚とし、
第１の感覚に対応する感覚情報を第１の感覚情報とし、
第２の感覚に対応する感覚情報を第２の感覚情報とし、
第２の感覚は複数あり、それぞれが相異なる感覚器の感覚であるとして、
前記第１の感覚情報と前記複数の第２の感覚情報の各々との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報を複数の第２の感覚情報へ変換し、
所定の目標値と前記測定感覚情報の比較結果に基づきフィードバックの要否を判定し、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点以後である場合にフィードバックが必要と判定し、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点より前の場合はフィードバックが不要と判定し、フィードバックを必要と判定した場合に前記変換された複数の前記第２の感覚情報に基づく出力情報を出力する学習支援方法。 A learning support method for supporting force learning,
Receive measurement sensation information corresponding to the force ,
The second sense is a sense with a higher discrimination ability than the first sense,
The sensory information corresponding to the first sensation is taken as the first sensory information,
The sensory information corresponding to the second sensation is taken as the second sensory information,
There are multiple second senses, each of which is a sense of a different sense,
The first sensory information corresponding to the measured sensory information is converted to a plurality of second sensory information based on a database indicating the correspondence between the first sensory information and each of the plurality of second sensory information Converted,
The necessity of feedback is determined based on the comparison result of the predetermined target value and the measured sensation information , and the feedback is necessary when it is after the time when the measured sensation information first reaches the extreme value with respect to the target value If it is determined that feedback is not necessary if the measured sensation information first reaches the extremum with respect to the target value, it is determined that feedback is not necessary, and the plurality of the converted second values are determined to be necessary. The learning assistance method which outputs the output information based on 2 sense information.
力加減に対応する測定感覚情報を受信する手順と、
第１の感覚より弁別能力の高い感覚を第２の感覚とし、
第１の感覚に対応する感覚情報を第１の感覚情報とし、
第２の感覚に対応する感覚情報を第２の感覚情報とし、
第２の感覚は複数あり、それぞれが相異なる感覚器の感覚であるとして、
前記第１の感覚情報と前記複数の第２の感覚情報の各々との間の対応関係を示すデータベースに基づき、前記測定感覚情報に対応する第１の感覚情報を複数の第２の感覚情報へ変換する手順と、
所定の目標値と前記測定感覚情報の比較結果に基づきフィードバックの要否を判定し、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点以後である場合にフィードバックが必要と判定し、前記目標値に対して前記測定感覚情報が最初に極値に到達する時点より前の場合はフィードバックが不要と判定し、フィードバックを必要と判定した場合に前記変換された複数の前記第２の感覚情報に基づく出力情報を出力する手順と、を実行させるためのプログラム。 In order to support learning of stress , the computer
A procedure for receiving measurement sensation information corresponding to the force ,
The second sense is a sense with a higher discrimination ability than the first sense,
The sensory information corresponding to the first sensation is taken as the first sensory information,
The sensory information corresponding to the second sensation is taken as the second sensory information,
There are multiple second senses, each of which is a sense of a different sense,
The first sensory information corresponding to the measured sensory information is converted to a plurality of second sensory information based on a database indicating the correspondence between the first sensory information and each of the plurality of second sensory information The conversion procedure,
The necessity of feedback is determined based on the comparison result of the predetermined target value and the measured sensation information , and the feedback is necessary when it is after the time when the measured sensation information first reaches the extreme value with respect to the target value If it is determined that feedback is not necessary if the measured sensation information first reaches the extremum with respect to the target value, it is determined that feedback is not necessary, and the plurality of the converted second values are determined to be necessary. A program for causing the output information to be output based on the two sense information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119786A JP6530975B2 (en) | 2015-06-12 | 2015-06-12 | Learning support apparatus, learning support method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119786A JP6530975B2 (en) | 2015-06-12 | 2015-06-12 | Learning support apparatus, learning support method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017003885A JP2017003885A (en) | 2017-01-05 |
| JP6530975B2 true JP6530975B2 (en) | 2019-06-12 |
Family
ID=57754101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015119786A Active JP6530975B2 (en) | 2015-06-12 | 2015-06-12 | Learning support apparatus, learning support method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6530975B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019082904A (en) * | 2017-10-31 | 2019-05-30 | ソニー株式会社 | Information processor, information processing method and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100657917B1 (en) * | 2004-12-11 | 2006-12-14 | 삼성전자주식회사 | Appratus and method for attitude correction |
| DE202009018587U1 (en) * | 2008-02-22 | 2012-03-08 | Dietmar Basta | Device for functional diagnosis vestibular reflex arc based on myogenic potentials |
| US8629342B2 (en) * | 2009-07-02 | 2014-01-14 | The Way Of H, Inc. | Music instruction system |
| JP2011237676A (en) * | 2010-05-12 | 2011-11-24 | Prefectural Univ Of Hiroshima | Utterance training device |
| US8690800B2 (en) * | 2010-05-18 | 2014-04-08 | Erik Lillydahl | Systems and methods for reducing subconscious neuromuscular tension including bruxism |
| EP3003149A4 (en) * | 2013-06-03 | 2017-06-14 | Kacyvenski, Isaiah | Motion sensor and analysis |
-
2015
- 2015-06-12 JP JP2015119786A patent/JP6530975B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017003885A (en) | 2017-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020100671A1 (en) | Information processing device, information processing method, and program | |
| Gonzalez-Sanchez et al. | Characterizing movement fluency in musical performance: Toward a generic measure for technology enhanced learning | |
| JP6172417B1 (en) | Language learning system and language learning program | |
| CN112805765B (en) | Information processing apparatus | |
| Marky et al. | Let’s frets! assisting guitar students during practice via capacitive sensing | |
| Karolus et al. | Emguitar: Assisting guitar playing with electromyography | |
| US20160321953A1 (en) | Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof | |
| US20190347948A1 (en) | Learning tool and method | |
| WO2016002199A1 (en) | Control device for rehabilitation device and rehabilitation device | |
| Allingham et al. | Motor performance in violin bowing: Effects of attentional focus on acoustical, physiological and physical parameters of a sound-producing action | |
| JP6530975B2 (en) | Learning support apparatus, learning support method, and program | |
| Marky et al. | supporting musical practice sessions through HMD-based augmented reality | |
| JP2018013625A (en) | Information processor, information processing method, and information processing program | |
| CN110603536A (en) | Teaching and assessment of spoken skills through fine-grained evaluation of human speech | |
| JP2014174913A (en) | Information equipment and information transfer method | |
| Grindlay | The impact of haptic guidance on musical motor learning | |
| Kritsis et al. | Design and interaction of 3d virtual music instruments for steam education using web technologies | |
| Sakajiri et al. | Development of voice pitch control system using two dimensional tactile display for the deafblind or the hearing impaired persons | |
| Gibbon | Therapy for abnormal vowels in children with speech disorders | |
| KR102634347B1 (en) | Apparatus for training and testing to cognitive function using user interaction | |
| JP2005309172A (en) | Learning support system | |
| KR102564399B1 (en) | Apparatus for improving auditory function that changes training difficulty according to training performance accuracy | |
| JP7060857B2 (en) | Language learning device and language learning program | |
| Yoo et al. | An initial study on pitch correction guidance for string instruments using haptic feedback | |
| Eisner | Perceptual learning in speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6530975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |