JP2017159103A - Muscular activity auralization method, muscular activity auralization device, and program - Google Patents
Muscular activity auralization method, muscular activity auralization device, and program Download PDFInfo
- Publication number
- JP2017159103A JP2017159103A JP2017100582A JP2017100582A JP2017159103A JP 2017159103 A JP2017159103 A JP 2017159103A JP 2017100582 A JP2017100582 A JP 2017100582A JP 2017100582 A JP2017100582 A JP 2017100582A JP 2017159103 A JP2017159103 A JP 2017159103A
- Authority
- JP
- Japan
- Prior art keywords
- muscle
- muscle activity
- acoustic signal
- myoelectric
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、筋活動を可聴化する技術に関する。 The present invention relates to a technique for making muscle activity audible.
２つの部位で得られた筋電位信号を、互いに基本周波数やスペクトル構造が異なる音響信号に変換し、それらの合成信号を出力することで、身体動作の連動性を可聴化してフィードバックする方法がある（例えば、非特許文献１参照）。 There is a method to convert myoelectric potential signals obtained at two sites into acoustic signals having different fundamental frequencies and spectral structures and to output the synthesized signals, thereby making the operability of body movements audible and feeding back. (For example, refer nonpatent literature 1).
しかしながら、各音響信号は各部位近傍の筋活動を別個に表すものであり、これらを単純に合成した合成信号では、複数の筋活動間の関係に基づく情報を明確に提示できない場合がある。 However, each acoustic signal separately represents muscle activity in the vicinity of each part, and there are cases where information based on the relationship between a plurality of muscle activities cannot be clearly presented by a synthesized signal obtained by simply synthesizing these.
本発明はこのような点に鑑みてなされたものであり、複数の筋活動間の関係に基づく情報を明確に可聴化することを目的とする。 The present invention has been made in view of these points, and an object thereof is to clearly make information based on the relationship between a plurality of muscle activities audible.
本発明では、複数の筋電位に由来する複数の値の関係から得られる情報、を表す音響信号を出力する。 In the present invention, an acoustic signal representing information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials is output.
これにより、複数の筋活動間の関係に基づく情報を明確に可聴化できる。 Thereby, information based on the relationship between a plurality of muscle activities can be clearly audible.
本発明の実施形態を説明する。
［概要］
まず概要を説明する。実施形態では、複数の筋電位に由来する（言い換えると、複数の筋電位から導き出される）複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。
An embodiment of the present invention will be described.
[Overview]
First, an outline will be described. In the embodiment, an acoustic signal representing information derived from a relationship between a plurality of values derived from a plurality of myoelectric potentials (in other words, derived from a plurality of myoelectric potentials) is output. “Information obtained from a relationship between a plurality of values” is, for example, a statistical value or a relative value regarding the relationship between a plurality of values. Thus, by using the acoustic signal that directly represents “information obtained from the relationship between a plurality of values derived from a plurality of myoelectric potentials”, information based on the relationship between a plurality of muscle activities can be clearly presented.
「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の１回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。 The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. For example, each of “plural myoelectric potentials” is a time series signal. The “moving subject” may be a person or an animal other than a person. An example of a single “acting subject” is a single actuating subject who is trained in motion. Examples of multiple “acting subjects” include two acting subjects consisting of an acting subject acting as an example and an acting subject performing an action according to the action, an acting subject acting as an example, and an action according to the action. For example, a plurality of action subjects composed of a plurality of action subjects to be performed, or a plurality of action subjects other than the action subject serving as a model.
「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係（例えば順序関係）などである。 “A plurality of values derived from a plurality of myoelectric potentials” may be time-domain values or frequency-domain values. “Information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials” includes, for example, variations in the plurality of values, relative values of the plurality of values, variations in relative values of the plurality of values, and a plurality of muscles. This is the relationship (for example, order relationship) between the start times of the activities of a plurality of muscles obtained from the potential.
「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値（例えば、単調増加関数値）である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。 The “acoustic signal” is, for example, a time series signal, a relationship between a plurality of muscle activity levels, a plurality of muscle activity level variations, a plurality of muscle activity level relative values, or a plurality of muscle activity level relative value variations, Represents at least one of the following. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used.
複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。 The “variation” of a plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a plurality of a single motion subject. It may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of muscle potentials, or a plurality of muscles derived from a plurality of myoelectric potentials obtained at the same measurement site of a plurality of motion subjects It may be a variation in activity level, or may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. An example of “variation” is “statistical variation” such as variance and standard deviation.
複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位（複数回の動作を繰り返した過程で得られた筋電位）に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。 The relative value of multiple muscle activities is the multiple muscle activities derived from multiple myoelectric potentials (myoelectric potentials obtained in the process of repeating multiple actions) obtained at the same measurement location of a single motion subject. May be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a single action subject, or a plurality of It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of the motion subject, or a plurality of values obtained at a plurality of measurement locations of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from myoelectric potential. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.
「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、（Ｆ−１）ばらつきの大きさを音響特徴（例えば、基本周波数、音色、音の大きさなど）にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、（Ｆ−２）ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号（例えば、ステレオ再生される左右の音響信号）である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。 The “acoustic signal representing variation” is an acoustic signal representing the magnitude of variation. An example of “acoustic signal representing variation” is (F-1) an acoustic signal obtained by mapping the magnitude of variation to acoustic features (eg, fundamental frequency, tone color, loudness, etc.). Another example of the “acoustic signal representing variation” is (F-2) a multi-channel acoustic signal (for example, left and right acoustic signals to be reproduced in stereo) having a volume ratio that varies depending on the magnitude of variation. The “acoustic signal representing a relative value” is an acoustic signal representing a relative value or its magnitude. In the example of “acoustic signal representing relative value”, “variation magnitude” in the above examples (F-1) and (F-2) is replaced with “relative value” or “relative value magnitude”. An acoustic signal or the like.
「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値（割った値）とした場合、拮抗筋の活動水準（主動筋活動に対する拮抗筋活動の割合）が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。 The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles. Corresponds to the relationship between the muscle activity corresponding to the potential, the relative value between the muscle activity corresponding to the main muscle potential and the muscle activity corresponding to the antagonist muscle potential, or the main muscle potential It is also possible to represent at least one of a relative value variation between the muscle activity level to be measured and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This “acoustic signal” can represent the “force” of the operation subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. By using the relative value of the main muscle activity and antagonistic muscle activity that accompanies the movement, this degree of force can be fed back.
「音響信号」が、複数の筋電位から得られる複数の筋（例えば、ある動作主体の動作または一連の動作に関与する複数の筋）の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報（例えば、筋活動の開始タイミングのばらつきや相対値や適切さ）を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、（Ｆ−３）互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、（Ｆ−４）複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、（Ｆ−５）複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋（拮抗筋）の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。 The “acoustic signal” may represent a relationship at the start of activity of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain subject or a series of motions). The activity start time means the time when the muscle starts the muscle activity. By this “acoustic signal”, information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed. For example, the “acoustic signal” may represent a variation in “activity start time” of a plurality of muscles, may represent a relative value, may represent a variation in a relative value, or may represent a plurality of muscle activities. The order relationship at the start time may be expressed. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of the acoustic signal representing the order relationship at the time of starting the activity of the plurality of muscles is (F-3) an acoustic signal obtained by synthesizing a plurality of sub time-series signals having different acoustic characteristics. However, each of the plurality of sub time series signals corresponds to each of the plurality of lines, and the order relationship of the start points of the plurality of synthesized sub time series signals is the order at the start of the activities of the plurality of lines. Corresponds to the relationship. An example of the sub time series signal is a signal having an arbitrary waveform, for example, a signal representing a sine wave. In addition, (F-4) an acoustic signal having different acoustic characteristics depending on whether the order relationship of the activity start points of the plurality of muscles is appropriate or inappropriate, or (F-5) the activity start time of the plurality of muscles. An acoustic signal closer to a specific acoustic feature may be used as the order relationship becomes closer to an appropriate order relationship. It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in the ball release operation of the pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. Moreover, you may add the sub time series signal corresponding to the time of the muscular activity start of several muscles (antagonist muscle) which are not concerned with operation | movement or a series of operation | movement. As described above, for example, it is possible to make audible whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order or whether a plurality of muscles unnecessary for the predetermined action have not been activated.
以下、図面を参照しつつ、各実施形態を詳細に説明する。
［第１実施形態］
第１実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。
Hereinafter, each embodiment will be described in detail with reference to the drawings.
[First Embodiment]
In the first embodiment, the relationship between the main muscle activity and the antagonist muscle activity is made audible for the combination of the main muscle and the antagonist muscle involved in the desired motion, and the strength of the motion is fed back.
＜構成＞
図１に例示するように、本形態のシステムは、筋活動可聴化装置１１と音響信号提示装置１２とを有する。本形態の筋活動可聴化装置１１は、筋活動度抽出部１１１と関係由来情報抽出部１１２と音響信号合成部１１３とを有する。図２に例示するように、本形態の筋活動度抽出部１１１は、筋活動度算出部１１１１−ｎおよび１１１２−ｎ（ただし、ｎ＝１，・・・，Ｎであり、Ｎは１以上の整数）である。関係由来情報抽出部１１２は、筋活動度変調部１１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。音響信号合成部１１３は、音響信号生成部１１３１−ｎ（ただし、ｎ＝１，・・・，Ｎ）と合成部１１３２とを有する。なお、Ｎ＝１の場合には、音響信号合成部１１３が合成部１１３２を含まなくてもよい。本形態の筋活動可聴化装置１１は、例えば、プロセッサ（例えば、１個以上のＣＰＵ（central processing unit）を含むハードウェア）やメモリ（例えば、ＲＡＭ（random-access memory）やＲＯＭ（read-only memory））を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置１２は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。
<Configuration>
As illustrated in FIG. 1, the system of the present embodiment includes a muscle activity
＜処理＞
以下、本形態の活動可聴化装置１１の処理を説明する。
<Processing>
Hereinafter, the process of the
≪筋活動度抽出部１１１の処理≫
筋活動度算出部１１１１−ｎには主動筋の筋電位を表す筋電位信号（以下「主動筋電位信号」という）が入力され、筋活動度算出部１１１２−ｎには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号（以下「拮抗筋電位信号」という）が入力される。筋活動度算出部１１１１−ｎと筋活動度算出部１１１２−ｎとの組には、ある動作に関与する主動筋と拮抗筋とからなる組（以下「筋の組」という）に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計Ｎ組の測定箇所（例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面）に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
≪Process of muscle
A myoelectric potential signal indicating the myoelectric potential of the main muscle (hereinafter referred to as “main myoelectric potential signal”) is input to the muscle activity calculating unit 1111-n, and the muscle activity calculating unit 1112-n corresponds to the main muscle. A myoelectric potential signal indicating the myoelectric potential of the antagonistic muscle (hereinafter referred to as “antagonistic myoelectric potential signal”) is input. The set of the muscle activity level calculation unit 1111-n and the muscle activity level calculation unit 1112-n corresponds to a set (hereinafter referred to as “muscle set”) composed of main and antagonist muscles involved in a certain motion. A set of a main muscle potential signal and an antagonistic muscle potential signal is input. These myoelectric potential signals are generated from each muscle, for example, by attaching electrodes to a total of N sets of measurement points (for example, the surface of the main muscle and the corresponding antagonist muscle in the vicinity of the main muscle). It is a time series signal obtained by measuring an action potential. The main muscle potential signal is obtained based on the potential of the electrode at the measurement site near the main muscle, and the antagonistic electron signal is obtained based on the potential of the electrode at the measurement site near the antagonistic muscle.
筋活動度算出部１１１１−ｎは、入力された主動筋電位信号が表す筋電位に対応する筋活動度（以下「主動筋活動度」）を得て出力し、筋活動度算出部１１１２−ｎは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度（以下「拮抗筋活動度」）を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。 The muscle activity level calculation unit 1111-n obtains and outputs a muscle activity level corresponding to the myoelectric potential represented by the input main muscle potential signal (hereinafter, “main muscle activity level”), and outputs the muscle activity level calculation unit 1112-n. Obtains and outputs a muscle activity level (hereinafter referred to as “antagonistic muscle activity level”) corresponding to the myoelectric potential represented by the input antagonistic myoelectric potential signal. Examples of the “muscle activity level” are as described above. For example, the absolute amplitude value or the mean square amplitude value of the myoelectric potential can be used as the muscle activity level. When the input main muscle potential signal and antagonist muscle potential signal are time series signals, the main muscle activity level and antagonist muscle activity level are also time series.
≪関係由来情報抽出部１１２の処理≫
筋活動度変調部１１２１−ｎに、筋活動度算出部１１１１−ｎから出力された主動筋活動度と筋活動度算出部１１１２−ｎから出力された拮抗筋活動度が入力される。筋活動度変調部１１２１−ｎは、入力された主動筋活動度と拮抗筋活動度との間の相対値（すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値）を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部１１２１−ｎは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部１１２１−ｎは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。
<< Processing of Relationship Origin
The active muscle activity level output from the muscle activity level calculation unit 1111-n and the antagonistic muscle activity level output from the muscle activity level calculation unit 1112-n are input to the muscle activity level modulation unit 1121-n. The muscle activity modulation unit 1121-n corresponds to the relative value between the input main muscle activity and the antagonist muscle activity (that is, the muscle activity corresponding to the main muscle myoelectric potential and the myoelectric potential of the antagonist muscle). Relative value between muscle activity levels) is obtained as a “force index”. Examples of “relative value” are as described above. The muscle activity level modulation unit 1121-n obtains, for example, a value obtained by dividing the antagonist muscle activity level by the main muscle activity level as the “force index”. When the main muscle activity level and the antagonistic muscle activity level are in time series, the muscle activity modulation unit 1121-n obtains, for example, a “strength index” at each time, and obtains and outputs a time series of the “strength index”. To do.
≪音響信号合成部１１３の処理≫
筋活動度変調部１１２１−ｎから出力された「力み指標」は音響信号生成部１１３１−ｎに入力される。音響信号生成部１１３１−ｎは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴（基本周波数、音色など）を変えることが望ましい。言い換えると、音響信号生成部１１３１−１〜１１３１−Ｎから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第１音響特徴にマッピングし、筋の組の違いを第２音響特徴（ただし、第２音響特徴は第１音響特徴と異なる）で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い（すなわち、音響信号を出力するスピーカの違い）で表してもよい。
<< Processing of Acoustic
The “force index” output from the muscle activity modulation unit 1121-n is input to the acoustic signal generation unit 1131-n. The acoustic signal generator 1131-n obtains and outputs an acoustic signal representing the input “force index”. The acoustic signal representing the “force index” is an acoustic signal representing the “force index” or its magnitude. An example of such an acoustic signal is an acoustic signal obtained by replacing the “variation magnitude” in the above examples (F-1) and (F-2) with a “force index” or “a magnitude index”. Signal. When the “force index” is time series, the acoustic signal is also time series. However, it is desirable to change the acoustic characteristics (basic frequency, timbre, etc.) for each set of muscles so that the difference between the muscle sets can be recognized. In other words, it is desirable that the acoustic features of the acoustic signals output from the acoustic signal generators 1131-1 to 1131-N are different from each other. For example, an acoustic signal in which a “force index” or its size is mapped to a first acoustic feature, and a difference between muscle pairs is represented by a second acoustic feature (however, the second acoustic feature is different from the first acoustic feature). It may be. Alternatively, a “force index” or a difference in size thereof may be expressed by a difference in acoustic characteristics, and a difference in muscle pairs may be expressed by a difference in channel of an acoustic signal (that is, a difference in speakers outputting an acoustic signal). .
音響信号生成部１１３１−１〜１１３１−Ｎから出力された音響信号は合成部１１３２に入力される。合成部１１３２はそれらを合成した音響信号を出力する。Ｎチャネルの音響信号を出力する場合には、音響信号生成部１１３１−１〜１１３１−Ｎから出力された音響信号を同期させた音響信号を出力する。なお、Ｎ＝１の場合には、合成部１１３２は入力された音響信号をそのまま出力する。前述したように音響信号合成部１１３が合成部１１３２を含まない場合には、音響信号合成部１１３は音響信号生成部１１３１−１から出力された音響信号を出力する。
The acoustic signals output from the acoustic signal generation units 1131-1 to 1131-N are input to the
上述のように出力された音響信号は音響信号提示装置１２に入力される。音響信号提示装置１２は、入力された音響信号を音として出力する。Ｎチャネルの音響信号の場合、音響信号提示装置１２はＮチャネルの音響信号を音として出力する（例えば、ステレオ再生）。
The acoustic signal output as described above is input to the acoustic
＜本形態の特徴＞
以上のように、本形態の筋活動可聴化装置１１は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、Ｎ≧２の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。
<Features of this embodiment>
As described above, the muscle activity
［第１実施形態の変形例１］
本変形例では、「力み指標」のばらつきを表す音響信号を出力する。これにより、利用者は「力み」のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。以下では、これまでに説明した事項との相違点を中心に説明し、すでに説明した事項については同じ参照番号を引用することで説明を簡略化する。
[First Modification of First Embodiment]
In this modification, an acoustic signal representing the variation of the “force index” is output. Thus, the user can audibly grasp the degree of variation in “strengthening” as a difference in how the sound is heard. Below, it demonstrates centering on difference with the matter demonstrated so far, and it simplifies description by quoting the same reference number about the matter already demonstrated.
＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置１１’は、第１実施形態の筋活動可聴化装置１１の関係由来情報抽出部１１２が関係由来情報抽出部１１２’に置換され、音響信号合成部１１３が音響信号合成部１１３’に置換されたものである。図３に例示するように、本変形例の関係由来情報抽出部１１２’は、筋活動度変調部１１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）とばらつき算出部１１２２とを有する。本変形例の音響信号合成部１１３’は音響信号生成部１１３１’を有する。本変形例の筋活動可聴化装置１１’は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。
<Configuration>
As illustrated in FIG. 1, in the muscle activity
＜処理＞
筋活動度抽出部１１１の処理は第１実施形態と同じである。以下では、本変形例の関係由来情報抽出部１１２’の処理、および音響信号合成部１１３’の処理のみを説明する。
<Processing>
The processing of the muscle activity
≪関係由来情報抽出部１１２’の処理≫
筋活動度変調部１１２１−ｎの処理は第１実施形態と同じである。筋活動度変調部１１２１−１〜１１２１−Ｎから出力された「力み指標」は、「サンプル」として、ばらつき算出部１１２２に入力される。ばらつき算出部１１２２は、入力されたサンプルのばらつきを得て出力する。「ばらつき」の例は前述の通りである。サンプルが時系列である場合、ばらつき算出部１１２２は、活動度変調部１１２１−１〜１１２１−Ｎから出力された各時間のサンプル（すなわちＮ個のサンプル）のばらつきを各時間について得て出力してもよいし、活動度変調部１１２１−１〜１１２１−Ｎから出力された各時間区間でのサンプルのばらつきを当該時間区間ごとに得て出力してもよい。これらのばらつきは時系列となる。或いは、ばらつき算出部１１２２は、活動度変調部１１２１−１〜１１２１−Ｎから出力されたすべての「力み指標」のばらつきを得て出力してもよい。
<< Processing of Relationship Origin Information Extraction Unit 112 '>>
The processing of the muscle activity modulation unit 1121-n is the same as that in the first embodiment. The “force index” output from the muscle activity modulation units 1121-1 to 1121-N is input to the
≪音響信号合成部１１３’の処理≫
ばらつき算出部１１２２から出力されたサンプルのばらつきは音響信号生成部１１３１’に入力される。音響信号生成部１１３１’は、入力されたサンプルのばらつきを表す音響信号を得て出力する。このような音響信号の例は、前述の（Ｆ−１）や（Ｆ−２）である。出力された音響信号は音響信号提示装置１２に入力される。
<< Processing of Acoustic Signal Synthesizer 113 '>>
The sample variation output from the
［第２実施形態］
第２実施形態では、事前に取得された筋活動度（筋電位に由来する筋活動度）と、新たに入力された筋活動度との関係を可聴化し、筋活動の相違をフィードバックする。
[Second Embodiment]
In the second embodiment, the relationship between the muscle activity level acquired in advance (the muscle activity level derived from the myoelectric potential) and the newly input muscle activity level is made audible, and the difference in muscle activity is fed back.
＜構成＞
図１に例示するように、本形態の筋活動可聴化装置２１は、第１実施形態の筋活動可聴化装置１１の筋活動度抽出部１１１が筋活動度抽出部２１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部２１２に置換されたものである。図４に例示するように、本形態の筋活動度抽出部１１１は、参照値記憶部２１１１−ｎおよび筋活動算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。関係由来情報抽出部２１２は、相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。本形態の筋活動可聴化装置２１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。
<Configuration>
As illustrated in FIG. 1, in the muscle activity audible hearing device 21 according to the present embodiment, the muscle
＜処理＞
以下では、第１実施形態との相違点である、筋活動度抽出部２１１および関係由来情報抽出部２１２の処理のみを説明する。
<Processing>
Below, only the process of the muscle activity
≪筋活動度抽出部２１１の処理≫
事前処理として、参照値記憶部２１１１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、事前に特定の動作（ボールリリース等）を行った動作主体（以下「参照動作主体」という）の第ｎの筋の近傍の測定箇所で測定された筋電位信号から得られた筋活動度（以下「参照筋活動度」という）が格納される。例えば、第１から第Ｎの筋は「特定の動作」に関与する筋である。参照筋活動度は、例えば「特定の動作」が行われた時間区間の筋電位信号から得られた時系列の筋活動度である。
≪Process of muscle
As a pre-process, the reference value storage unit 2111-n (where n = 1,..., N) has an action subject (hereinafter referred to as “reference action subject”) that has performed a specific action (ball release or the like) in advance. ), The muscle activity level (hereinafter referred to as “reference muscle activity level”) obtained from the myoelectric potential signal measured at the measurement location in the vicinity of the n-th muscle is stored. For example, the first to Nth muscles are muscles involved in “specific movement”. The reference muscle activity level is, for example, a time-series muscle activity level obtained from a myoelectric potential signal in a time interval in which a “specific action” is performed.
筋活動度算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、上述の「特定の動作」に対応する動作を行う動作主体（以下「試行動作主体」という）の第ｎの筋の近傍の測定箇所で測定された筋電位信号が入力される。試行動作主体は参照動作主体と同一の動作主体であってもよいし、異なる動作主体であってもよい。筋活動度算出部２１１２−ｎは、入力された筋電位信号が表す筋電位に対応する筋活動度（以下「試行筋活動度」）を得て出力する。なお、筋活動度算出部２１１２−ｎで得られる筋活動度の種別は、参照値記憶部２１１１−ｎに格納された参照筋活動度の種別と同一であってもよいし、同一でなくてもよい。試行筋活動度は、例えば「『特定の動作』に対応する動作」が行われた時間区間の筋電位信号から得られた時系列の筋活動度である。 The muscle activity level calculation unit 2112-n (where n = 1,..., N) includes the number of action subjects (hereinafter referred to as “trial action subjects”) that perform actions corresponding to the above-mentioned “specific actions”. A myoelectric potential signal measured at a measurement location near n muscles is input. The trial action subject may be the same action subject as the reference action subject or a different action subject. The muscle activity level calculation unit 2112-n obtains and outputs a muscle activity level (hereinafter, “trial muscle activity level”) corresponding to the myoelectric potential represented by the input myoelectric potential signal. It should be noted that the type of muscle activity obtained by the muscle activity level calculator 2112-n may or may not be the same as the type of reference muscle activity stored in the reference value storage unit 2111-n. Also good. The trial muscle activity is, for example, a time-series muscle activity obtained from a myoelectric potential signal in a time interval in which “an action corresponding to“ specific action ”is performed.
≪関係由来情報抽出部２１２の処理≫
相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、参照値記憶部２１１１−ｎから読み出された参照筋活動度と、筋活動度算出部２１１２−ｎから出力された試行筋活動度とが入力される。相対値算出部２１２１−ｎは、参照筋活動度と試行筋活動度との間の相対値を「相対指標」として出力する。「相対値」の例は前述の通りである。参照筋活動度と試行筋活動度とが時系列である場合、相対値算出部２１２１−ｎは、例えば、これらを時間的に同期させ、各時間での「相対指標」を得て出力する。この場合には「相対指標」も時系列となる。なお、時系列である参照筋活動度と試行筋活動度の時間的な同期は、利用者からの入力情報に基づいて行われてもよいし、同期後の参照筋活動度に対応する特徴量と試行筋活動度に対応する特徴量との間の類似度（例えば筋活動度の最大値など）がピークとなるように行われてもよい。
<< Processing of Relationship Origin
The relative value calculation unit 2121-n (where n = 1,..., N) includes the reference muscle activity level read from the reference value storage unit 2111-n and the muscle activity level calculation unit 2112-n. The output trial muscle activity is input. The relative value calculation unit 2121-n outputs a relative value between the reference muscle activity level and the trial muscle activity level as a “relative index”. Examples of “relative value” are as described above. When the reference muscle activity level and the trial muscle activity level are in time series, the relative value calculation unit 2121-n, for example, synchronizes them in time to obtain and output a “relative index” at each time. In this case, the “relative index” is also a time series. The time-series synchronization of the reference muscle activity and the trial muscle activity may be performed based on input information from the user, or a feature amount corresponding to the reference muscle activity after synchronization. And the feature amount corresponding to the trial muscle activity level (for example, the maximum value of the muscle activity level) may be a peak.
以降の処理は第１実施形態と同じである。 The subsequent processing is the same as in the first embodiment.
＜本形態の特徴＞
本形態の筋活動可聴化装置２１は、「特定の動作」を行う参照動作主体の筋活動と、それに対応する動作を行う試行動作主体の筋活動との相対値を表す音響信号を出力する。これにより、筋活動の相対値を可聴的に提示でき、利用者は筋活動の相違の程度を音の聞こえ方の違いとして聴覚的に把握できる。その結果、利用者は、例えば、手本となる動作と試行された動作との筋活動の相違や、動作主体間の筋活動の個人差や、複数回試行された動作での筋活動の相違を認識できる。
<Features of this embodiment>
The muscle activity auralization apparatus 21 according to the present embodiment outputs an acoustic signal representing a relative value between the muscle activity of the reference motion subject that performs the “specific motion” and the muscle activity of the trial motion subject that performs the corresponding motion. Thereby, the relative value of muscle activity can be presented audibly, and the user can audibly grasp the degree of difference in muscle activity as a difference in how sounds are heard. As a result, the user can, for example, determine differences in muscle activity between the model movement and the attempted movement, individual differences in muscle activity among the movement subjects, and differences in muscle activity between the movements that have been tried multiple times. Can be recognized.
［第２実施形態の変形例１］
本変形例では、「相対指標」のばらつきを表す音響信号が出力される。これにより、利用者は「筋活動の相違」のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。
[Modification 1 of the second embodiment]
In the present modification, an acoustic signal representing the variation of the “relative index” is output. Thus, the user can audibly grasp the degree of variation in “difference in muscle activity” as a difference in how the sound is heard.
＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置２１’は、第２実施形態の筋活動可聴化装置２１の関係由来情報抽出部２１２が関係由来情報抽出部２１２’に置換され、音響信号合成部１１３が音響信号合成部１１３’に置換されたものである。図５に例示するように、本変形例の関係由来情報抽出部２１２’は、相対値算出部２１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）とばらつき算出部１１２２とを有する。本変形例の筋活動可聴化装置２１’は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。
<Configuration>
As illustrated in FIG. 1, in the muscle activity audibleization device 21 ′ of this modification, the relationship-derived
＜処理＞
筋活動度抽出部２１１の処理は第２実施形態と同じであり、音響信号合成部１１３’の処理は第１実施形態の変形例１と同じである。以下では、本変形例の関係由来情報抽出部２１２’の処理のみを説明する。
<Processing>
The process of the muscle activity
≪関係由来情報抽出部１１２’の処理≫
相対値算出部２１２１−ｎの処理は第２実施形態と同じである。相対値算出部２１２１−１〜２１２１−Ｎから出力された「相対指標」は、「サンプル」としてばらつき算出部１１２２に入力される。以降の処理は第２実施形態と同じである。
<< Processing of Relationship Origin Information Extraction Unit 112 '>>
The processing of the relative value calculation unit 2121-n is the same as that of the second embodiment. The “relative index” output from the relative value calculation units 2121-1 to 2121-N is input to the
［第３実施形態］
第３実施形態では、複数の筋活動のばらつきを可聴化してフィードバックする。これにより、利用者は、動作に関連する複数の筋活動のばらつきや、複数の動作主体による筋活動のばらつきなどを、音の聞こえ方の違いとして聴覚的に把握できる。
[Third Embodiment]
In the third embodiment, variation in a plurality of muscle activities is made audible and fed back. As a result, the user can audibly grasp the variation in the plurality of muscle activities related to the movement and the variation in the muscle activities by the plurality of movement subjects as the difference in how the sound is heard.
＜構成＞
図１に例示するように、本変形例の筋活動可聴化装置３１は、第１実施形態の筋活動度抽出部１１１が筋活動度抽出部３１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部３１２に置換され、音響信号合成部１１３が音響信号合成部１１３に置換されたものである。図６に例示するように、本形態の筋活動度抽出部３１１は、筋活動算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）を有する。関係由来情報抽出部３１２は、ばらつき算出部１１２２を有する。本形態の筋活動可聴化装置３１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。
<Configuration>
As illustrated in FIG. 1, in the muscle activity audibleization device 31 of the present modification, the muscle activity
＜処理＞
以下では、第１実施形態の変形例１との相違点である、筋活動度抽出部３１１および関係由来情報抽出部３１２の処理のみを説明する。
<Processing>
Below, only the process of the muscle activity
≪筋活動度抽出部３１１の処理≫
筋活動度算出部２１１２−１〜２１１２−Ｎには、単数または複数の動作主体の筋電位信号が入力される。例えば、単数の動作主体の第ｎの筋の近傍の測定箇所で得られた筋電位信号が筋活動度算出部２１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）に入力されてもよいし、第ｎの動作主体（ただし、ｎ＝１，・・・，Ｎ）の特定の筋（すべての動作主体に共通）の近傍の測定箇所で得られた筋電位信号が筋活動度算出部２１１２−ｎに入力されてもよい。筋活動度算出部１１１２−ｎは、入力された筋電位信号が表す筋電位に対応する筋活動度を得て出力する。例えば、筋電位信号が時系列信号である場合、筋活動度も時系列となる。
<< Processing of muscle activity
One or more myoelectric potential signals of the action subject are input to the muscle activity level calculation units 2112-1 to 2112-N. For example, even if a myoelectric potential signal obtained at a measurement location near the n-th muscle of a single motion subject is input to the muscle activity calculation unit 2112-n (where n = 1,..., N). The myoelectric potential signal obtained at the measurement point near the specific muscle of the nth motion subject (where n = 1,..., N) (common to all motion subjects) is used to calculate muscle activity. May be input to the part 2112-n. The muscle activity level calculation unit 1112-n obtains and outputs a muscle activity level corresponding to the myoelectric potential represented by the input myoelectric potential signal. For example, when the myoelectric potential signal is a time series signal, the muscle activity is also time series.
筋活動度は「サンプル」としてばらつき算出部１１２２に入力される。以降の処理は第１実施形態の変形例１と同じである。
The degree of muscle activity is input to the
＜本形態の特徴＞
本形態の筋活動可聴化装置３１は、複数の筋活動のばらつきを表す音響信号を出力する。これにより、筋活動のばらつきを可聴的に提示でき、利用者は筋活動のばらつきの程度を音の聞こえ方の違いとして聴覚的に把握できる。その結果、利用者は、例えば、複数回試行された動作での筋活動のばらつきや、複数の動作主体で試行された動作での筋活動のばらつきを認識できる。
<Features of this embodiment>
The muscle activity audible device 31 according to this embodiment outputs an acoustic signal representing a variation in a plurality of muscle activities. Thereby, variation in muscle activity can be presented audibly, and the user can audibly grasp the degree of variation in muscle activity as a difference in how the sound is heard. As a result, the user can recognize, for example, variations in muscle activity in motions that have been tried a plurality of times and variations in muscle activity in motions that have been attempted by a plurality of motion subjects.
［第４実施形態］
第４実施形態では、複数の筋の活動開始時点の関係を可聴化してフィードバックする。
[Fourth Embodiment]
In the fourth embodiment, the relationship between the start times of activity of a plurality of muscles is made audible and fed back.
＜構成＞
図１に例示するように、本形態の筋活動可聴化装置４１は、第１実施形態の筋活動可聴化装置１１の筋活動度抽出部１１１が筋活動度抽出部３１１に置換され、関係由来情報抽出部１１２が関係由来情報抽出部４１２に置換され、音響信号合成部１１３が音響信号合成部４１３に置換されたものである。図７に例示するように、本形態の関係由来情報抽出部４１２は、筋活動開始同定部４１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）、および開始時点記憶部４１２２を有する。本形態の音響信号合成部４１３は、音響信号生成部４１３１および合成部４１３２を有する。本形態の筋活動可聴化装置４１は、例えば、前述のような汎用または専用のコンピュータが所定のプログラムを実行することで構成される。
<Configuration>
As illustrated in FIG. 1, in the muscle activity audible device 41 of this embodiment, the muscle
＜処理＞
筋活動度抽出部３１１の処理は第３実施形態で説明した通りである。ただし、本形態では、Ｎ≧２であり、筋活動度抽出部３１１の筋活動度算出部２１１２−１から２１１２−Ｎに、一連の動作に関与するＮ個の筋の筋電位信号が入力される。各筋電位信号は時系列信号であり、筋活動度算出部２１１２−ｎは筋活動度の時系列を出力する。その後、以下のように、関係由来情報抽出部４１２および音響信号合成部４１３の処理が行われる。
<Processing>
The processing of the muscle activity
≪関係由来情報抽出部４１２≫
筋活動開始同定部４１２１−ｎ（ただし、ｎ＝１，・・・，Ｎ）には、筋活動度算出部２１１２−ｎから出力された筋活動度の時系列が入力される。筋活動開始同定部４１２１−ｎは、入力された筋活動度の時系列から活動開始時点τｎを得て出力する。例えば、筋活動開始同定部４１２１−ｎは、（Ｓ−１）入力された筋活動度が、筋活動度のベースライン（例えば、筋活動度の平均値や安静時の筋活動度）よりも、閾値以上大きくなった時点を活動開始時点τｎとしてもよいし、（Ｓ−２）入力された筋活動度の変動（例えば、分散や標準偏差）が閾値を超えた時点を活動開始時点τｎとしてもよいし、（Ｓ−３）入力された筋活動度の変化量が閾値を超えた時点を活動開始時点τｎとしてもよいし、（Ｓ−４）入力された筋活動度とその変動の組み合わせが閾値を超えた時点を活動開始時点τｎとしてもよい。筋活動開始同定部４１２１−１〜４１２１−Ｎから出力されたＮ個の活動開始時点τ１〜τＮは開始時点記憶部４１２２に格納される。
≪Relation Origin
The muscle activity start identification unit 4121-n (where n = 1,..., N) receives the time series of the muscle activity level output from the muscle activity level calculation unit 2112-n. The muscle activity start identification unit 4121-n obtains and outputs the activity start time τ n from the time series of the input muscle activity. For example, the muscle activity start identification unit 4121-n (S-1) has an input muscle activity level that is higher than the baseline of the muscle activity level (for example, the average value of the muscle activity level or the muscle activity level at rest). The time when the threshold value is larger than the threshold may be set as the activity start time τ n . (S-2) The time when the input muscle activity fluctuation (for example, variance or standard deviation) exceeds the threshold is set as the activity start time τ. may be used as the n, (S-3) to the time when the amount of change in the input muscle activity exceeds the threshold value may be as an activity start time tau n, the muscle activity which is input (S-4) that The time when the combination of fluctuations exceeds the threshold may be set as the activity start time τ n . The N activity start times τ 1 to τ N output from the muscle activity start identification units 4121-1 to 4121 -N are stored in the start
≪音響信号合成部４１３の処理≫
音響信号合成部４１３は、開始時点記憶部４１２２に格納されたＮ個の活動開始時点τ１〜τＮを用い、Ｎ個の筋の活動開始時点τ１〜τＮの関係を表す音響信号を得て出力する。この音響信号は、Ｎ個の活動開始時点τ１〜τＮのばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、順序関係を表してもよい。Ｎ個の活動開始時点τ１〜τＮの順序関係を表す音響信号の例は、前述の（Ｆ−３）〜（Ｆ−５）である。ここでは前述の（Ｆ−３）の例を説明する。
<< Processing of
Sound
音響信号生成部４１３１は、互いに音響特徴が異なるＮ個のサブ時系列信号（例えば、正弦波）Ｓ１〜ＳＮを生成して出力する。合成部４１３２には、音響信号生成部４１３１から出力されたＮ個のサブ時系列信号Ｓ１〜ＳＮと、開始時点記憶部４１２２から読み出されたＮ個の活動開始時点τ１〜τＮが入力される。合成部４１３２は、サブ時系列信号Ｓ１〜ＳＮの開始時点ｔ１〜ｔＮが活動開始時点τ１〜τＮの順序関係に対応するようにサブ時系列信号Ｓ１〜ＳＮを合成し、音響信号Ｓを出力する。ｔ１〜ｔＮ内でのｔｎの順番とτ１〜τＮ内でのτｎの順番とは同じである。
The acoustic
図８Ａおよび８ＢはＮ＝５の場合の例である。矢印の長さは信号の継続時間を表す。図８Ａの例では、活動開始時点τ１〜τ５が古い順にτ１，τ２，τ３，τ４，τ５となる例である。この場合、サブ時系列信号Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５が、それらの開始時点が古い順にｔ１，ｔ２，ｔ３，ｔ４，ｔ５となるように合成される。図８Ｂの例では、活動開始時点τ１〜τ５が古い順にτ１，τ５，τ２，τ４，τ３となる例である。この場合、サブ時系列信号Ｓ１，Ｓ５，Ｓ２，Ｓ４，Ｓ３が、それらの開始時点が古い順にｔ１，ｔ５，ｔ２，ｔ４，ｔ３となるように合成される。これにより、活動開始時点の順序関係を表す音響信号Ｓが生成できる。仮に、特定の動作における望ましい筋活動開始の順序が図８Ａのようなパターンだとすると、図８Ａで生成される音響信号Ｓは特定の動作にとって望ましい音、図８Ｂで生成される音響信号Sは望ましくない音として提示されることになる。 8A and 8B are examples in the case of N = 5. The length of the arrow represents the duration of the signal. In the example of FIG. 8A, the activity start time points τ 1 to τ 5 are τ 1 , τ 2 , τ 3 , τ 4 , and τ 5 in order from the oldest. In this case, the sub time-series signals S 1 , S 2 , S 3 , S 4 , S 5 are combined so that their starting points are t 1 , t 2 , t 3 , t 4 , t 5 in order from the oldest. The In the example of FIG. 8B, the activity start time points τ 1 to τ 5 are τ 1 , τ 5 , τ 2 , τ 4 , τ 3 in order from the oldest. In this case, the sub time series signals S 1 , S 5 , S 2 , S 4 , S 3 are combined so that their starting points are t 1 , t 5 , t 2 , t 4 , t 3 in order from the oldest. The Thereby, the acoustic signal S representing the order relationship at the time of starting the activity can be generated. If the order of desirable muscular activity start in a specific action is a pattern as shown in FIG. 8A, the acoustic signal S generated in FIG. 8A is a desirable sound for the specific action, and the acoustic signal S generated in FIG. 8B is not desirable. It will be presented as sound.
また、図９Ａおよび図９Ｂのように、サブ時系列信号Ｓ１〜Ｓ５のそれぞれの継続時間を短くしてもよい（例えば、パルス信号）。これにより、サブ時系列信号Ｓ１〜Ｓ５が時間的に時間的に重複することを抑制でき、複数の筋の活動開始時点の順序関係をより明確に提示できる。 Further, as shown in FIGS. 9A and 9B, the durations of the sub time-series signals S 1 to S 5 may be shortened (for example, pulse signals). This can prevent the sub-time-series signal S 1 to S 5 are temporally overlapping in time, it can be more clearly presented order relations activities beginning of multiple sources.
［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
[Other variations]
The present invention is not limited to the embodiment described above. For example, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, this computer reads a program stored in its own recording device and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.
１１，１１’，２１，２１’，３１，４１ 筋活動可聴化装置 11, 11 ', 21, 21', 31, 41 Muscle activity audible device
Claims (7)
前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、さらに、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係を表す時系列信号であり、予め設定された動作または一連の動作に関与する複数の筋の活動開始時点の適切な順序関係と、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係と、が近いほど特定の音響特徴に近づく、筋活動可聴化方法。 A muscle activity audible method for outputting an acoustic signal representing information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials,
The plurality of myoelectric potentials include a myoelectric potential of a main muscle and an myoelectric potential of an antagonist muscle corresponding to the main muscle,
The acoustic signal is a relative value between a muscle activity level corresponding to a myoelectric potential of the main muscle and a muscle activity level corresponding to a myoelectric potential of the antagonist muscle, or a muscle activity corresponding to the myoelectric potential of the main muscle. A degree of force that is at least one of a variation in relative value between the degree of muscle activity and the degree of muscle activity corresponding to the myoelectric potential of the antagonistic muscle, and a plurality of muscle activities obtained from the plurality of myoelectric potentials It is a time-series signal representing an order relation at the start time, and a plurality of muscles obtained from the appropriate order relation at the start time of the activities of a plurality of muscles involved in a preset action or a series of actions and the plurality of myoelectric potentials. A method of making muscle activity audible, in which the closer to the sequence relationship at the start of activity, the closer to a specific acoustic feature.
前記音響信号は、さらに前記複数の筋電位から得られる前記動作または一連の動作に関与しない複数の筋の活動開始時点に対応したサブ音響信号を含む、筋活動可聴化方法。 The method for audible muscle activity according to claim 1,
The method for making muscle activity audible, wherein the acoustic signal further includes a sub-acoustic signal corresponding to an activation start point of a plurality of muscles not involved in the motion or a series of motions obtained from the plurality of myoelectric potentials.
前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、
前記主動筋と前記主動筋に対応する前記拮抗筋とからなる組についての前記音響信号を、前記組ごとに異なるチャネルの信号として出力する、筋活動可聴化方法。 A muscle activity audible method for outputting an acoustic signal representing information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials,
The plurality of myoelectric potentials include a myoelectric potential of a main muscle and an myoelectric potential of an antagonist muscle corresponding to the main muscle,
The acoustic signal is a relative value between a muscle activity level corresponding to a myoelectric potential of the main muscle and a muscle activity level corresponding to a myoelectric potential of the antagonist muscle, or a muscle activity corresponding to the myoelectric potential of the main muscle. A degree of force that is at least one of a variation in relative value between the degree of muscle activity corresponding to the myoelectric potential of the antagonistic muscle, and
A method for audible muscle activity, wherein the acoustic signal for a set including the main muscle and the antagonist muscle corresponding to the main muscle is output as a signal of a different channel for each set.
前記複数の値の関係から得られる情報を表す音響信号を出力する音響信号合成部と、
を有し、
前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、さらに、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係を表す時系列信号であり、予め設定された動作または一連の動作に関与する複数の筋の活動開始時点の適切な順序関係と、前記複数の筋電位から得られる複数の筋の活動開始時点の順序関係と、が近いほど特定の音響特徴に近づく、筋活動可聴化装置。 A relationship-derived information extraction unit for obtaining a relationship between a plurality of values derived from a plurality of input myoelectric potentials;
An acoustic signal synthesizer that outputs an acoustic signal representing information obtained from the relationship between the plurality of values;
Have
The plurality of myoelectric potentials include a myoelectric potential of a main muscle and an myoelectric potential of an antagonist muscle corresponding to the main muscle,
The acoustic signal is a relative value between a muscle activity level corresponding to a myoelectric potential of the main muscle and a muscle activity level corresponding to a myoelectric potential of the antagonist muscle, or a muscle activity corresponding to the myoelectric potential of the main muscle. A degree of force that is at least one of a variation in relative value between the degree of muscle activity and the degree of muscle activity corresponding to the myoelectric potential of the antagonistic muscle, and a plurality of muscle activities obtained from the plurality of myoelectric potentials It is a time-series signal representing an order relation at the start time, and a plurality of muscles obtained from the appropriate order relation at the start time of the activities of a plurality of muscles involved in a preset action or a series of actions and the plurality of myoelectric potentials. The muscular activity audibleization device that approaches a specific acoustic feature as the order relationship at the time of the start of activity approaches.
前記音響信号は、さらに前記複数の筋電位から得られる前記動作または一連の動作に関与しない複数の筋の活動開始時点に対応したサブ音響信号を含む、筋活動可聴化装置。 The muscle activity audible device according to claim 4,
The muscle activity audible device, wherein the acoustic signal further includes a sub-acoustic signal corresponding to an activity start point of a plurality of muscles not involved in the motion or a series of motions obtained from the plurality of myoelectric potentials.
入力された複数の筋電位に由来する複数の値の関係を得る関係由来情報抽出部と、
前記複数の値の関係から得られる情報を表す音響信号を出力する音響信号合成部と、
を有し、
前記複数の筋電位は、主動筋の筋電位、および前記主動筋に対応する拮抗筋の筋電位を含み、
前記音響信号は、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値、または、前記主動筋の筋電位に対応する筋活動度と前記拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかである力み度合いを表し、
前記音響信号合成部は、前記主動筋と前記主動筋に対応する前記拮抗筋とからなる組についての前記音響信号を、前記組ごとに異なるチャネルの信号として出力する、筋活動可聴化装置。 A muscle activity audible device for outputting an acoustic signal representing information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials,
A relationship-derived information extraction unit for obtaining a relationship between a plurality of values derived from a plurality of input myoelectric potentials;
An acoustic signal synthesizer that outputs an acoustic signal representing information obtained from the relationship between the plurality of values;
Have
The plurality of myoelectric potentials include a myoelectric potential of a main muscle and an myoelectric potential of an antagonist muscle corresponding to the main muscle,
The acoustic signal is a relative value between a muscle activity level corresponding to a myoelectric potential of the main muscle and a muscle activity level corresponding to a myoelectric potential of the antagonist muscle, or a muscle activity corresponding to the myoelectric potential of the main muscle. A degree of force that is at least one of a variation in relative value between the degree of muscle activity corresponding to the myoelectric potential of the antagonistic muscle, and
The acoustic signal synthesizer is an muscular activity audible device that outputs the acoustic signal of a group including the main muscle and the antagonist muscle corresponding to the main muscle as a signal of a different channel for each group.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017100582A JP6306246B2 (en) | 2017-05-22 | 2017-05-22 | Muscle activity audible method, muscle activity audible device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017100582A JP6306246B2 (en) | 2017-05-22 | 2017-05-22 | Muscle activity audible method, muscle activity audible device, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016029864A Division JP6197059B2 (en) | 2016-02-19 | 2016-02-19 | Muscle activity audible method, muscle activity audible device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017159103A true JP2017159103A (en) | 2017-09-14 |
| JP6306246B2 JP6306246B2 (en) | 2018-04-04 |
Family
ID=59853378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017100582A Active JP6306246B2 (en) | 2017-05-22 | 2017-05-22 | Muscle activity audible method, muscle activity audible device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6306246B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08229015A (en) * | 1995-02-28 | 1996-09-10 | Matsushita Electric Ind Co Ltd | Myogenic potential feedback device |
| JP2007143710A (en) * | 2005-11-25 | 2007-06-14 | Harada Denshi Kogyo Kk | Myoelectricity intensity monitor device |
| JP2007312921A (en) * | 2006-05-24 | 2007-12-06 | Casio Comput Co Ltd | Biological information measuring apparatus and biological information measuring system |
| JP2011056243A (en) * | 2009-08-11 | 2011-03-24 | Minokonashi Laboratory:Kk | Cordless compact myoelectricity biofeedback device |
| JP2011161025A (en) * | 2010-02-10 | 2011-08-25 | Univ Of Tsukuba | Worn type biological signal presentation device and worn type biological signal presentation method |
| JP2013167778A (en) * | 2012-02-16 | 2013-08-29 | Japan Advanced Institute Of Science & Technology Hokuriku | Drum performance form improvement support system |
-
2017
- 2017-05-22 JP JP2017100582A patent/JP6306246B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08229015A (en) * | 1995-02-28 | 1996-09-10 | Matsushita Electric Ind Co Ltd | Myogenic potential feedback device |
| JP2007143710A (en) * | 2005-11-25 | 2007-06-14 | Harada Denshi Kogyo Kk | Myoelectricity intensity monitor device |
| JP2007312921A (en) * | 2006-05-24 | 2007-12-06 | Casio Comput Co Ltd | Biological information measuring apparatus and biological information measuring system |
| JP2011056243A (en) * | 2009-08-11 | 2011-03-24 | Minokonashi Laboratory:Kk | Cordless compact myoelectricity biofeedback device |
| JP2011161025A (en) * | 2010-02-10 | 2011-08-25 | Univ Of Tsukuba | Worn type biological signal presentation device and worn type biological signal presentation method |
| JP2013167778A (en) * | 2012-02-16 | 2013-08-29 | Japan Advanced Institute Of Science & Technology Hokuriku | Drum performance form improvement support system |
Non-Patent Citations (1)
| Title |
|---|
| 松原正樹 外４名: "身体動作の連動性理解にむけた筋活動可聴化", 日本音響学会２０１２年秋季研究発表会講演論文集, vol. No.2-10-2, JPN6015051640, September 2012 (2012-09-01), JP, pages 919 - 922, ISSN: 0003750547 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6306246B2 (en) | 2018-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Grillo et al. | Influence of smartphones and software on acoustic voice measures | |
| Carullo et al. | Design issues for a portable vocal analyzer | |
| Stober et al. | Towards Music Imagery Information Retrieval: Introducing the OpenMIIR Dataset of EEG Recordings from Music Perception and Imagination. | |
| CN103239237B (en) | Tinnitus diagnostic test device | |
| JP5908025B2 (en) | Muscle activity audible method, muscle activity audible device, and program | |
| Kang et al. | Auditory memory for random time patterns | |
| US11688386B2 (en) | Wearable vibrotactile speech aid | |
| US10636400B2 (en) | Method for producing and streaming music generated from biofeedback | |
| KR20210070270A (en) | information processing unit | |
| CN104688222A (en) | EEG-based (electroencephalogram-based) tone synthesizer | |
| JP2008508542A (en) | Method and apparatus for nonlinear frequency analysis of structured signal | |
| JP6306246B2 (en) | Muscle activity audible method, muscle activity audible device, and program | |
| Tom et al. | Haptic Tutor-A haptics-based music education tool for beginners | |
| JP6197059B2 (en) | Muscle activity audible method, muscle activity audible device, and program | |
| CN203244395U (en) | Tinnitus diagnosis testing device | |
| JP6322780B1 (en) | Haptic content generation device, acoustic content generation device, acoustic playback device, tactile content generation method, and acoustic content generation method | |
| Mehta et al. | Wireless Neck-Surface Accelerometer and Microphone on Flex Circuit with Application to Noise-Robust Monitoring of Lombard Speech. | |
| RU2523340C2 (en) | Method for acoustic representation of spatial information for users | |
| Gygi et al. | Predicting the timing of dynamic events through sound: Bouncing balls | |
| CN116189636B (en) | Accompaniment generation method, device, equipment and storage medium based on electronic musical instrument | |
| RU2685774C1 (en) | Method for assessing a person's sense of rhythm | |
| WO2023067703A1 (en) | Motion training assistance device, motion training assistance method, and program | |
| Stella | Auditory display of brain oscillatory activity with electroencephalography | |
| WO2006022226A1 (en) | Bioparameter output device and program | |
| JP6305958B2 (en) | Ensemble device, ensemble system, method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6306246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |