JP2016150104A - Psychological state feedback method, system, and program - Google Patents

Psychological state feedback method, system, and program Download PDF

Info

Publication number
JP2016150104A
JP2016150104A JP2015028971A JP2015028971A JP2016150104A JP 2016150104 A JP2016150104 A JP 2016150104A JP 2015028971 A JP2015028971 A JP 2015028971A JP 2015028971 A JP2015028971 A JP 2015028971A JP 2016150104 A JP2016150104 A JP 2016150104A
Authority
JP
Japan
Prior art keywords
signal
subject
muscle
psychological state
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015028971A
Other languages
Japanese (ja)
Other versions
JP6431785B2 (en
Inventor
聡貴 木村
Satoki Kimura
聡貴 木村
哲也 井尻
Tetsuya Ijiri
哲也 井尻
岳美 持田
Takemi Mochida
岳美 持田
牧夫 柏野
Makio Kayano
牧夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015028971A priority Critical patent/JP6431785B2/en
Publication of JP2016150104A publication Critical patent/JP2016150104A/en
Application granted granted Critical
Publication of JP6431785B2 publication Critical patent/JP6431785B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a psychological state feedback method, system, and program for feed-backing a present psychological state with respect to a reference psychological state (correct psychological state) to a subject.SOLUTION: In a motion state feedback method, a psychological state of a primary subject is determined or stored at least based on primary biological information acquired from the primary subject who engages in a predetermined motion, and a psychological state of a secondary subject is determined at least based on secondary biological information acquired from the secondary subject who engages in a predetermined motion. The psychological state of the primary subject is compared with the psychological state of the secondary subject, and according to the result of comparison of the psychological state of the primary subject with the psychological state of the secondary subject, an emphasized or dwarfed feedback signal is output.SELECTED DRAWING: Figure 6

Description

この発明は、運動上達のための心理状態をフィードバックする技術に関する。   The present invention relates to a technology for feeding back a psychological state for improving exercise.

野球におけるピッチング、バッティングやゴルフにおけるスイング、パッティング等のスポーツの基本動作を適切に習得する上で、運動のポイントとなる「ばらつき」や「リズム」などを映像や音で可視化・可聴化し、運動のコツを掴みやすくるす手法が提案されている(例えば、非特許文献1)。   In order to properly acquire basic sports activities such as pitching in baseball, swinging and putting in golf, putting, etc., `` variation '' and `` rhythm '' that are the points of exercise are visualized and audible with images and sounds, and exercise A technique for easily grasping the knack has been proposed (for example, Non-Patent Document 1).

運動のコツを掴むことができたとしても、それだけでは不十分で、普段通りのパフォーマンス又はより高いパフォーマンスを発揮するためには、より良い心理状態を保つことも重要である。極度の力みや緊張はパフォーマンスを低下させることが知られている。(例えば、非特許文献2)
また、緊張/リラックス状態を定量化する手法が知られており、例えば、心拍数変動の低周波数成分(LF: 0.05-0.15 Hz)と高周波数成分(HF: 0.15-0.4 Hz)を算出して、HFはリラックス度、LF/HFは緊張度、として評価する(例えば、非特許文献3)。
Even if you can grasp the knack of exercise, it is not enough, and it is also important to maintain a better psychological state in order to perform as usual or higher. Extreme strength and tension is known to reduce performance. (For example, Non-Patent Document 2)
There are also known methods for quantifying tension / relaxation, for example by calculating the low frequency component (LF: 0.05-0.15 Hz) and the high frequency component (HF: 0.15-0.4 Hz) of heart rate variability. , HF is evaluated as relaxation degree, and LF / HF is evaluated as tension degree (for example, Non-Patent Document 3).

http://www.kecl.ntt.co.jp/openhouse/2014/exhibition/25/index.htmlhttp://www.kecl.ntt.co.jp/openhouse/2014/exhibition/25/index.html Psychophysiology, 47 (2010), 1109-1118. Wiley Periodicals, Inc. 「Psychological, muscular and kinematic factors mediate performance under pressure」Psychophysiology, 47 (2010), 1109-1118. Wiley Periodicals, Inc. “Psychological, muscular and kinematic factors mediate performance under pressure” September 2014|Volume5|Article1040| 1-19 「Ahealthy heart is not a metronome: an integrative review of the heart’s anatomy and heart rate variability」(http://www.frontiersin.org/)September 2014 | Volume5 | Article1040 | 1-19 “Ahealthy heart is not a metronome: an integrative review of the heart ’s anatomy and heart rate variability” (http://www.frontiersin.org/)

しかしながら、どのような心理状態が好ましいのか、その判断は難しく、現在の心理状態が好ましい状態なのか、そうでないのかを判断する仕組みが望まれている。
この発明は上記事情に着目してなされたもので、その目的とするところは、基準となる心理状態(正しい心理状態)に対する現在の心理状態を被験者へフィードバックする心理状態のフィードバック方法、システム、及びプログラムを提供することにある。
However, it is difficult to determine what psychological state is preferable, and a mechanism for determining whether the current psychological state is preferable or not is desired.
The present invention has been made by paying attention to the above circumstances, and its purpose is to provide a psychological state feedback method, system for feeding back the current psychological state with respect to a reference psychological state (correct psychological state) to the subject, and To provide a program.

(1)上記目的を達成するために、実施形態に係る心理状態のフィードバック方法は、所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の心理状態を判定し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の心理状態を判定し、前記一次被検者の心理状態と前記二次被検者の心理状態とを比較し、前記一次被検者の心理状態と前記二次被検者の心理状態の比較結果に応じて、誇張した或いは矮小したフィードバック信号を出力する。   (1) In order to achieve the above object, the psychological state feedback method according to the embodiment determines the psychological state of the primary subject based at least on primary biological information acquired from the primary subject during a predetermined exercise. Determining the psychological state of the secondary subject based at least on the secondary biological information acquired from the secondary subject during the predetermined exercise, and the psychological state of the primary subject and the secondary subject And the exaggerated or reduced feedback signal is output according to the comparison result of the psychological state of the primary subject and the psychological state of the secondary subject.

(2)さらに、上記(1)の心理状態のフィードバック方法は、前前記一次生体情報及び前記二次生体情報は少なくとも心電位データを含み、前記一次被検者の心理状態と前記二次被検者の心理状態の比較結果に応じて、誇張或いは矮小した心電位データを前記フィードバック信号として出力する。   (2) Further, in the psychological state feedback method of (1), the primary biometric information and the secondary biometric information include at least electrocardiographic data, and the psychological state of the primary subject and the secondary test are included. Exaggerated or reduced cardiac potential data is output as the feedback signal according to the comparison result of the person's psychological state.

(3)さらに、上記(1)又は(2)の心理状態のフィードバック方法において、前記フィードバック信号は、音響信号、画像信号、映像信号あるいはこれらの組み合わせである。   (3) Further, in the psychological state feedback method of (1) or (2), the feedback signal is an acoustic signal, an image signal, a video signal, or a combination thereof.

(4)実施形態に係る心理状態のフィードバックシステムは、上記(1)乃至(3)の何れか一つに記載の心理状態のフィードバック方法を実行する。
(5)実施形態に係る心理状態のフィードバックプログラムは、上記(1)乃至(3)の何れか一つに記載の心理状態のフィードバック方法をコンピュータに実行させる。
(4) The psychological state feedback system according to the embodiment executes the psychological state feedback method according to any one of the above (1) to (3).
(5) The psychological state feedback program according to the embodiment causes the computer to execute the psychological state feedback method according to any one of (1) to (3).

すなわちこの発明によれば、基準となる心理状態(正しい心理状態)に対する現在の心理状態の判定結果をフィードバックする心理状態のフィードバック方法、システム、及びプログラム提供することができる。   That is, according to the present invention, it is possible to provide a psychological state feedback method, system, and program for feeding back a determination result of a current psychological state with respect to a reference psychological state (correct psychological state).

上記(1)の心理状態のフィードバック方法によれば、所定運動中の上級者やプロ(基準となる選手)から取得された心電位データに基づく心理状態(一次指標)と、実質的に同一の所定運動中の上達志望者から取得された心電位データに基づく心理状態(二次指標)との比較結果(正しい運動との差分)から、上級者やプロの心理状態に対する上達志望者の心理状態(良し悪し)を判定し、判定結果に応じて誇張或いは矮小したフィードバックをして上達志願者の運動上達を支援することが可能となる。上記(4)のシステムおよび(5)のプログラムによっても同様の効果が得られる。   According to the psychological state feedback method of (1) above, it is substantially the same as the psychological state (primary index) based on electrocardiographic data acquired from an advanced person or a professional (reference player) during a predetermined exercise. From the comparison result (difference from correct exercise) with the psychological state (secondary index) based on the electrocardiographic data acquired from the aspiring candidates during the predetermined exercise, the psychological state of the advanced candidate and the professional psychological state (Good or bad) is judged, and feedback that is exaggerated or reduced according to the judgment result can be made to support the improvement of the movement of the improvement candidate. The same effect can be obtained by the system (4) and the program (5).

図1は、運動上達のための心理状態のフィードバックシステムの一例を示す図である。FIG. 1 is a diagram illustrating an example of a feedback system of a psychological state for improving exercise. 図2は、心理状態判定装置のセンシング部の一例を示す図である。FIG. 2 is a diagram illustrating an example of the sensing unit of the psychological state determination device. 図3は、心理状態判定装置の状態判定部の一例を示す図である。FIG. 3 is a diagram illustrating an example of a state determination unit of the psychological state determination device. 図4は、心理状態のフィードバックシステムのフィードバック装置の一例を示す図である。FIG. 4 is a diagram illustrating an example of a feedback device of the psychological state feedback system. 図5は、心理状態判定装置による心理状態の判定処理の一例を示すフローチャートである。FIG. 5 is a flowchart illustrating an example of psychological state determination processing by the psychological state determination device. 図6は、フィードバック装置による心理状態のフィードバック処理の一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of psychological state feedback processing by the feedback device. 図7は、合成音/画像生成部の構成の一例を示すブロック図である。FIG. 7 is a block diagram illustrating an example of the configuration of the synthesized sound / image generation unit. 図8は、動作タイミング照合部の構成の一例を示すブロック図である。FIG. 8 is a block diagram illustrating an example of the configuration of the operation timing verification unit. 図9は、合成音/画像生成部の構成の他の例を示すブロック図である。FIG. 9 is a block diagram illustrating another example of the configuration of the synthesized sound / image generation unit. 図10は、可聴化装置の構成の一例を示すブロック図である。FIG. 10 is a block diagram illustrating an example of the configuration of the audible device.

以下、図面を参照してこの発明に係わる実施形態を説明する。
本実施形態では、フィードバックシステム100を構成する心理状態判定装置130による運動中の心理状態の判定、およびフィードバック装置140による判定結果のフィードバックについて説明する。また、運動の例として、野球の投球動作を取り上げて説明する。なお、本実施形態のフィードバックシステム100を利用する運動としては野球に限定されるものではなく、また本実施形態で説明するフィードバックシステム100は、運動上達や高いパフォーマンスの発揮のためだけに限定されるものではなく、リハビリテーション、技術伝承等に利用することもできる。
Embodiments according to the present invention will be described below with reference to the drawings.
In the present embodiment, description will be given of determination of a mental state during exercise by the psychological state determination device 130 constituting the feedback system 100 and feedback of a determination result by the feedback device 140. As an example of exercise, a baseball pitching operation will be described. The exercise using the feedback system 100 of the present embodiment is not limited to baseball, and the feedback system 100 described in the present embodiment is limited only for improving exercise and demonstrating high performance. It can also be used for rehabilitation and technology transfer.

図1は、運動上達のための心理状態のフィードバックシステムの一例を示す図である。
フィードバックシステム100は、心理状態判定装置130及びフィードバック装置140を備える。心理状態判定装置130は、センシング部131、状態判定部132を備える。
FIG. 1 is a diagram illustrating an example of a feedback system of a psychological state for improving exercise.
The feedback system 100 includes a psychological state determination device 130 and a feedback device 140. The psychological state determination device 130 includes a sensing unit 131 and a state determination unit 132.

心理状態判定装置130およびフィードバック装置140のそれぞれは、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成されてもよい。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。出力装置200は、例えば、液晶ディスプレイ等の表示装置を含む。   Each of the psychological state determination device 130 and the feedback device 140 includes, for example, a processor (for example, hardware including one or more central processing units (CPUs)) or a memory (for example, random-access memory (RAM) or ROM (read). -only memory)), a general-purpose or dedicated computer may be configured to execute a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The output device 200 includes a display device such as a liquid crystal display, for example.

センシング部131は、一次被検者及び二次被検者に取り付けられる少なくとも一つの心電位センサ120からの心電位信号をセンシングする。また、センシング部131は、胸部から取得される信号をセンシングしてもよいし、胸部から得られる信号に代えて手首から得られる信号をセンシングしてもよいし、胸部から得られる信号と手首から得られる信号とをセンシングし両者のセンシング結果からどちらか一方のセンシング結果を利用するようにしてもよい。なお、心電位センサ120を取り付ける被験者(動作主体)は人に限定されるものではなく、動作主体であれば例えば人以外の動物であっても構わない。心電位センサ120は、電極等で構成され、各心電位センサ120は筋の活動レベルに応じた心電位信号(生体情報)を出力する。例えば、複数の心電位センサ120はウェアに取付けられたウェアラブルセンサであって、各心電位センサ120は一次被検者及び二次被検者の体の胸等に対応するようにウェアに取付けられている。これにより、心電位センサ120は一次被検者及び二次被検者の体の胸等からの心電位信号(一次被検者からの一次生体情報及び二次被検者からの二次生体情報)を出力することができ、例えば、投入動作開始前から投球動作終了までの一定期間(即ち所定運動中)にわたる心信号を出力することができる。また、心電位センサ120をリストバンド、ヘアバンド等に取り付け、リストバンド、ヘアバンド等の装着位置に応じた心信号を取得するようにしてもよい。なお、一次生体情報は、上記した心電位信号だけに限定されるものではなく、心電位信号、脈波、呼吸、発汗、脳波、眼球運動、及び瞳孔径のうちの少なくとも一つを一次生体情報とすることができる。   The sensing unit 131 senses a cardiac potential signal from at least one cardiac potential sensor 120 attached to the primary subject and the secondary subject. The sensing unit 131 may sense a signal obtained from the chest, sense a signal obtained from the wrist instead of a signal obtained from the chest, or obtain a signal obtained from the chest and the wrist. It is also possible to sense the obtained signal and use either sensing result from the sensing results of both. The subject (operation subject) to which the electrocardiographic sensor 120 is attached is not limited to a person, and may be an animal other than a person as long as it is an operation subject. The electrocardiogram sensor 120 is composed of electrodes and the like, and each electrocardiogram sensor 120 outputs an electrocardiogram signal (biological information) corresponding to the muscle activity level. For example, the plurality of electrocardiographic sensors 120 are wearable sensors attached to the wear, and each electrocardiographic sensor 120 is attached to the wear so as to correspond to the breasts of the primary and secondary subjects. ing. As a result, the cardiac potential sensor 120 detects cardiac potential signals (such as primary biological information from the primary subject and secondary biological information from the secondary subject) from the breasts and the like of the primary and secondary subjects. ) Can be output, for example, a cardiac signal can be output over a certain period from the start of the throwing operation to the end of the pitching operation (that is, during a predetermined movement). Alternatively, the electrocardiographic sensor 120 may be attached to a wristband, a hair band, or the like, and a heart signal corresponding to the mounting position of the wrist band, the hair band, or the like may be acquired. The primary biological information is not limited to the above-described electrocardiographic signal, and at least one of the electrocardiographic signal, pulse wave, breathing, sweating, brain wave, eye movement, and pupil diameter is used as the primary biological information. It can be.

図2は、心理状態判定装置のセンシング部の一例を示す図である。
心電位センサ120からの複数の心電位信号はセンシング部131に入力される。図2に示すように、センシング部131は、信号増幅器131a等を備えている。センシング部131は、信号増幅器131aにより増幅された心電位信号をセンシングし、例えば、投球動作開始前から投球動作終了までの一定期間にわたる心電位データを取得する。
FIG. 2 is a diagram illustrating an example of the sensing unit of the psychological state determination device.
A plurality of electrocardiographic signals from the electrocardiographic sensor 120 are input to the sensing unit 131. As shown in FIG. 2, the sensing unit 131 includes a signal amplifier 131a and the like. The sensing unit 131 senses the cardiac potential signal amplified by the signal amplifier 131a, and acquires, for example, cardiac potential data over a certain period from the start of the pitching operation to the end of the pitching operation.

例えば、一次被検者に心電位センサ120を取り付け(一次被検者が心電位センサ120が取り付けられたウェアを着用し)、センシング部131が一定期間にわたる心電位データ(一次生体情報)を取得する。同様に、二次被検者に心電位センサ120を取り付け(二次被検者が心電位センサ120が取り付けられたウェアを着用し)、センシング部131が一定期間にわたる心電位データ(二次生体情報)を取得する。なお、一次被検者と二次被検者が同一のウェアを着用してもよいし、一次被検者と二次被検者の体格が異なる場合には異なるウェアを着用してもよいが、この場合、各ウェアにおける心電位センサ120の取り付け位置は実質的に対応する同一の位置となる。   For example, the electrocardiographic sensor 120 is attached to the primary subject (the primary subject wears the wear with the electrocardiographic sensor 120 attached), and the sensing unit 131 acquires electrocardiographic data (primary biological information) over a certain period of time. To do. Similarly, the electrocardiographic sensor 120 is attached to the secondary subject (the secondary subject wears the wear on which the electrocardiographic sensor 120 is attached), and the sensing unit 131 detects the electrocardiographic data (secondary living body) over a certain period. Information). In addition, the primary subject and the secondary subject may wear the same wear, and if the primary subject and the secondary subject have different physiques, different wear may be worn. In this case, the attachment position of the electrocardiographic sensor 120 in each wear is substantially the same corresponding position.

例えば、一次被検者とは、上級者又はプロの投手等であり、二次被検者とは、野球の投球技術を上達したい者(上達志望者)である。上級者又はプロの投手1人からの心電位データを取得し一次被検者からの心電位データとしてもよいし、上級者又はプロの投手100人からの心電位データを取得し一次被検者からの心電位データとしてもよい。例えば、統計的に上級者又はプロの投手100人からの心電位データを処理し理想の心電位データを算出し、算出された心電位データを一次被検者からの心電位データとしてもよい。   For example, the primary examinee is a senior or a professional pitcher, and the secondary examinee is a person who wants to improve baseball pitching skills (aspiring candidates). The electrocardiogram data from one advanced pitcher or professional pitcher may be acquired and used as the electrocardiogram data from the primary subject, or the electrocardiogram data from 100 senior pitchers or professional pitchers may be acquired to obtain the primary subject. The electrocardiographic data from For example, the electrocardiogram data from 100 advanced players or professional pitchers may be statistically processed to calculate ideal electrocardiogram data, and the calculated electrocardiogram data may be used as electrocardiogram data from the primary subject.

また、同一人物の100回の投球動作からの心電位データを取得し一次被検者からの心電位データとしてもよい。例えば、上級者又はプロの投手1人の100回の投球動作からの心電位データを取得し一次被検者からの心電位データとしてもよいし、一次被検者と二次被検者とを同一人物(上達志望者)とし、上達志望者の100回の投球動作(例えば練習中の投球動作)からの心電位データを取得し一次被検者からの心電位データとし、上達志望者の1回の投球動作(例えば試合本番の投球動作)からの心電位データを取得し二次被検者からの心電位データとしてもよい。この場合、例えば、上達志望者が好調時に一次被検者となり、好調時以外(不調時)に二次被検者となる方法が考えられる。また、統計的に100回の投球動作からの心電位データを処理し理想の心電位データを算出し、算出された心電位データを一次被検者からの心電位データとしてもよい。   Alternatively, electrocardiographic data from 100 throwing operations of the same person may be acquired and used as electrocardiographic data from the primary subject. For example, the electrocardiographic data from 100 pitching motions of a senior or professional pitcher may be acquired and used as the electrocardiographic data from the primary subject, or the primary subject and the secondary subject The electrocardiogram data from 100 pitching motions (for example, pitching motions during practice) of the same candidate (skilled candidates) is acquired and used as the cardiac potential data from the primary subject. It is also possible to acquire electrocardiographic data from a single pitching operation (for example, a game pitching operation) and use it as electrocardiographic data from a secondary subject. In this case, for example, a method may be considered in which a candidate who wants to improve becomes a primary subject when favorable, and becomes a secondary subject when not well (during malfunction). Alternatively, the electrocardiographic data from 100 pitching operations may be statistically processed to calculate ideal electrocardiographic data, and the calculated electrocardiographic data may be used as electrocardiographic data from the primary subject.

図3は、心理状態判定装置130の状態判定部132の一例を示す図である。
状態判定部132は、判定器132a、心理状態記憶部132b、切り替え器132c、比較器132dを備える。
FIG. 3 is a diagram illustrating an example of the state determination unit 132 of the psychological state determination device 130.
The state determination unit 132 includes a determination unit 132a, a psychological state storage unit 132b, a switching unit 132c, and a comparator 132d.

例えば、判定器132aは、一次被検者からの心電位データに基づき一次被検者の心理状態を判定し、切り替え器132cは、オペレータからの入力(一次被検者からの情報入力指示)に基づき、一次被検者の心理状態を心理状態記憶部132bへ送り、心理状態記憶部132bは一次被検者の心理状態を基準心理状態として記憶する。また、判定器132aは、二次被検者からの心電位データに基づき二次被検者の心理状態を判定し、切り替え器132cは、オペレータからの入力(二次被検者からの情報入力指示)に基づき、二次被検者の心理状態を比較器132dへ送る。比較器132dは、一次被検者の心理状態と二次被検者の心理状態とを比較し、比較結果(差異)を出力する。例えば、一次被検者の心理状態に対する二次被検者の心理状態(心理状態の良し悪し、)を出力する。なお、比較結果は、一次被検者と二次被検者の心電位データや、心理状態を示す値の変化量等を含んでもよい。   For example, the determiner 132a determines the psychological state of the primary subject based on the electrocardiographic data from the primary subject, and the switch 132c receives input from the operator (information input instruction from the primary subject). The psychological state of the primary subject is sent to the psychological state storage unit 132b, and the psychological state storage unit 132b stores the psychological state of the primary subject as the reference psychological state. The determiner 132a determines the psychological state of the secondary subject based on the electrocardiographic data from the secondary subject, and the switch 132c receives input from the operator (information input from the secondary subject). Based on the instruction), the psychological state of the secondary subject is sent to the comparator 132d. The comparator 132d compares the psychological state of the primary subject with the psychological state of the secondary subject and outputs a comparison result (difference). For example, the psychological state of the secondary subject with respect to the psychological state of the primary subject (the psychological state is good or bad) is output. The comparison result may include electrocardiographic data of the primary subject and the secondary subject, a change amount of a value indicating a psychological state, and the like.

図4は、心理状態のフィードバックシステム100のフィードバック装置140の一例を示す図である。
フィードバック装置140は、信号生成部141と、合成音/画像生成部142と、を備える。
FIG. 4 is a diagram illustrating an example of the feedback device 140 of the psychological state feedback system 100.
The feedback device 140 includes a signal generation unit 141 and a synthesized sound / image generation unit 142.

信号生成部141は、状態判定部132から出力された心理状態(心理状態の良し悪し)を示す信号や、心電位データや、心理状態を示す値の変化量等を受信する。信号生成部141は、受信した心理状態や、心電位データや、心理状態を示す値の変化量等に基づいて、心理状態が良いことを示すものであるか判断する。受信した信号が、心理状態が良いことを示すものである場合、信号生成部141はフィードバックを誇張する信号を出力する。受信した信号が、心理状態が良い事を示すものでない場合、信号生成部141は、フィードバックを矮小する信号を出力する。   The signal generation unit 141 receives a signal indicating a psychological state (a psychological state is good or bad) output from the state determination unit 132, electrocardiographic data, a change amount of a value indicating the psychological state, or the like. The signal generation unit 141 determines whether the psychological state is good based on the received psychological state, electrocardiographic data, a change amount of a value indicating the psychological state, or the like. When the received signal indicates that the psychological state is good, the signal generation unit 141 outputs a signal that exaggerates feedback. If the received signal does not indicate that the psychological state is good, the signal generation unit 141 outputs a signal for reducing feedback.

フィードバックを誇張する信号は、例えば、受信した判定結果をより良い判定とした信号であってもよく、誇張度合のレベルや誇張した物理量を示す信号であってもよい。また、フィードバックを誇張する信号は、誇張するための音響信号や画像(映像)信号を含んでいてもよい。フィードバックを矮小する信号は、例えば、受信した判定結果をより悪い判定とした信号であってもよく、矮小度合のレベルや矮小した物理量を示す信号であってもよい。また、フィードバックを矮小する信号は、矮小するための音響信号や画像(映像)信号を含んでいてもよい。   The signal that exaggerates the feedback may be, for example, a signal that makes the received determination result a better determination, or may be a signal that indicates the level of exaggeration or the exaggerated physical quantity. The signal that exaggerates the feedback may include an audio signal or an image (video) signal for exaggerating the feedback. The signal that reduces the feedback may be, for example, a signal that makes the received determination result worse, or may be a signal that indicates the level of the degree of reduction or the physical quantity that has been reduced. Further, the signal for reducing the feedback may include an acoustic signal or an image (video) signal for reducing the feedback.

なお、上記の例では、信号生成部141は、心理状態が良いか悪いかにより、フィードバックを変更するように信号を出力していたが、心理状態の判定結果は3以上の段階であってもよく、その場合には、信号生成部141は、段階的にフィードバックを誇張或いは矮小する信号を出力する。   In the above example, the signal generation unit 141 outputs a signal so as to change the feedback depending on whether the psychological state is good or bad, but the determination result of the psychological state may be 3 or more stages. In that case, the signal generation unit 141 outputs a signal that exaggerates or reduces the feedback step by step.

合成音/画像生成部142は、信号生成部141からフィードバックを誇張或いは矮小する信号を受信する。合成音/画像生成部142は、受信した信号に応じて、心電位データ、音、音声、等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つを誇張或いは矮小して、外部の出力装置200へ出力する。なお、合成音/画像生成部142には必要に応じて外部から画像或いは音響信号が入力され、これらの画像(又は映像)或いは音響信号を合成することができる。出力装置200は、例えば液晶表示装置などの表示装置やスピーカやイヤホン等を含む。   The synthesized sound / image generation unit 142 receives a signal that exaggerates or reduces feedback from the signal generation unit 141. The synthesized sound / image generating unit 142 exaggerates or reduces at least one of an acoustic signal such as electrocardiographic data, sound, voice, and the like, an image signal, a video signal, and these synthesized signals according to the received signal, Output to the external output device 200. The synthesized sound / image generation unit 142 receives an image or a sound signal from the outside as needed, and can synthesize these images (or images) or the sound signal. The output device 200 includes a display device such as a liquid crystal display device, a speaker, an earphone, and the like.

図5は、心理状態判定装置130による心理状態の判定処理の一例を示すフローチャートである。
例えば、事前に、センシング部131は、一次被検者から一次生体情報(心電位データ)を取得し(ST11)、判定器132aは、一次被検者の一次生体情報から心理状態を判定し(ST12)、心理状態記憶部132bは、一次被検者の心理状態を記憶する(ST13)。例えば、一人の一次被検者からの一次生体情報に基づく心理状態を記憶してもよいし、複数人の一次被検者からの一次生体情報を統計的に分析し一人分の心理状態として記憶してもよいし、複数人の一次被検者からの一次生体情報に基づく複数人分の心理状態として記憶してもよい。
FIG. 5 is a flowchart illustrating an example of psychological state determination processing performed by the psychological state determination device 130.
For example, the sensing unit 131 acquires primary biological information (cardiac potential data) from the primary subject in advance (ST11), and the determiner 132a determines a psychological state from the primary biological information of the primary subject ( ST12), the psychological state storage unit 132b stores the psychological state of the primary subject (ST13). For example, a psychological state based on primary biometric information from one primary subject may be stored, or primary biometric information from a plurality of primary subjects is statistically analyzed and stored as a single psychological state. Alternatively, it may be stored as a psychological state for a plurality of persons based on primary biometric information from a plurality of primary subjects.

続いて、センシング部131は、二次被検者から二次生体情報(心電位データ)を取得し(ST14)、判定器132aは、一次被検者の一次生体情報から心理状態を判定し(ST15)、比較器132dは、一次被検者からの心理状態と二次被検者からの心理状態とを比較し(ST16)、比較結果を出力する(ST17)。例えば、一次被検者の心理状態の変化特性と二次被検者の心理状態の変化特性に基づき、一次被検者の心理状態と二次被検者の心理状態とを対応付けて、差分を検出する。差分の検出方法については各種方法を適用することができる。比較器132dは、一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを出力する。例えば、一次被検者及び二次被検者からの心電位データの取得と並行して、一次被検者及び二次被検者から筋電位データを取得し、筋電位データの変化特性を利用し、一次被検者及び二次被検者からの心電位データを対応付けることができる。投球動作中の一次被検者からの筋電位データと実質的に同一の投球動作中の二次被検者からの筋電位データは、特定の動作タイミングで類似の特徴量を含む。「特定の動作タイミング」とは、一連の動作イベントからなる動作(例えば、投球動作)における特定の動作イベント(例えば、足挙げやボールリリースなど)のタイミング(時間または時間区間)を意味する。時系列の一次被検者の筋電位データと時系列の二次被検者の筋電位データから特定の動作タイミングで得られた特徴量を抽出し、一次被検者の筋電位データと二次被検者の筋電位データから抽出された特徴量に基づき、一次被検者の筋電位データと心電位データと、二次被検者の筋電位データと心電位データとを対応付けて、心電位データの比較、心電位データの差分検出が可能となる。   Subsequently, the sensing unit 131 acquires secondary biological information (cardiac potential data) from the secondary subject (ST14), and the determiner 132a determines the psychological state from the primary biological information of the primary subject ( ST15), the comparator 132d compares the psychological state from the primary subject with the psychological state from the secondary subject (ST16), and outputs the comparison result (ST17). For example, based on the change characteristic of the psychological state of the primary subject and the change characteristic of the psychological state of the secondary subject, the psychological state of the primary subject and the psychological state of the secondary subject are associated and the difference Is detected. Various methods can be applied to the difference detection method. The comparator 132d outputs whether the psychological state of the secondary subject is good or bad with respect to the psychological state of the primary subject. For example, in parallel with the acquisition of electrocardiographic data from primary and secondary subjects, acquire myoelectric data from primary and secondary subjects and use the characteristics of changes in myoelectric data Thus, the electrocardiographic data from the primary subject and the secondary subject can be associated with each other. The myoelectric potential data from the secondary subject during the pitching motion that is substantially the same as the myoelectric potential data from the primary subject during the pitching motion includes similar feature quantities at specific motion timings. “Specific operation timing” means the timing (time or time interval) of a specific operation event (for example, a foot lift or a ball release) in an operation (for example, a pitching operation) composed of a series of operation events. Extract feature values obtained at specific operation timings from time-series primary subject myoelectric potential data and time-series secondary subject myoelectric potential data. Based on the feature amount extracted from the myoelectric potential data of the subject, the myoelectric potential data and cardiac potential data of the primary subject are associated with the myoelectric potential data and cardiac potential data of the secondary subject, Comparison of potential data and detection of difference in cardiac potential data are possible.

例えば、一人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、一人の一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを比較結果として出力することができる。また、複数人分の一次被検者の心理状態と二次被検者の心理状態とを比較し、各一次被検者の心理状態に対する二次被検者の心理状態の良し悪しを出力することもできる。なお、状態判定部は、心理状態とともに二次被験者の心電位をフィードバック装置140へ出力してもよい。   For example, compare the psychological state of one primary subject with the psychological state of a secondary subject, and compare the quality of the secondary subject's psychological state with respect to the psychological state of one primary subject Can be output as In addition, the psychological state of the primary subject and the psychological state of the secondary subject are compared, and the quality of the secondary subject's psychological state with respect to the psychological state of each primary subject is output. You can also. The state determination unit may output the cardiac potential of the secondary subject to the feedback device 140 together with the psychological state.

また、試合本番中の第1の時刻(5回の守備)における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第1の心理状態を判定し、試合本番中の第2の時刻(7回の守備)における所定運動中の二次被検者から取得された心電位データに基づき二次被検者の第2の心理状態を判定し、第1の心理状態と第2の心理状態を比較し、比較結果として、時間経過(例えば疲労)による二次被検者の心理状態の変化を出力することもできる。   Further, the first psychological state of the secondary subject is determined based on the electrocardiographic data acquired from the secondary subject during the predetermined exercise at the first time (5 defensives) during the game performance, The second psychological state of the secondary subject is determined based on the electrocardiographic data acquired from the secondary subject during the predetermined exercise at the second time (7 times defensive) during the game performance, and the first It is also possible to compare the psychological state of the subject and the second psychological state, and output a change in the psychological state of the secondary subject over time (for example, fatigue) as a comparison result.

本実施形態では、心理状態記憶部132bが、基準(正解)となる心理状態を保持するケースについて説明したが、基準となる心理状態をサーバ等から受信し、受信した心理状態を用いるようにしてもよい。   In this embodiment, the case where the psychological state storage unit 132b holds the psychological state serving as a reference (correct answer) has been described. However, the psychological state serving as a reference is received from a server or the like, and the received psychological state is used. Also good.

図6は、フィードバック装置140による心理状態のフィードバック処理の一例を示すフローチャートである。
まず、信号生成部141が、判定結果を受信する(ステップST21)。信号生成部141は、判定結果(心理状態の良し悪し、心電位データ、心理状態を示す値の変化量等)から、二次被験者の心理状態が良いか悪いかを判断する(ステップST22)。信号生成部141は、受信した信号が、心理状態が良いことを示すものである場合、フィードバックを誇張する信号を合成音/画像生成部142へ出力する。信号生成部141は、受信した信号が、心理状態が良い事を示すものでない場合、フィードバックを矮小する信号を合成音/画像生成部142へ出力する。
FIG. 6 is a flowchart showing an example of psychological state feedback processing by the feedback device 140.
First, the signal generation unit 141 receives a determination result (step ST21). The signal generation unit 141 determines whether the psychological state of the secondary subject is good or bad from the determination result (good or bad psychological state, electrocardiographic data, amount of change in the value indicating the psychological state, etc.) (step ST22). When the received signal indicates that the psychological state is good, the signal generation unit 141 outputs a signal that exaggerates feedback to the synthesized sound / image generation unit 142. When the received signal does not indicate that the psychological state is good, the signal generation unit 141 outputs a signal for reducing feedback to the synthesized sound / image generation unit 142.

合成音/画像生成部142は、信号生成部141からフィードバックを誇張或いは矮小する信号を受信する。合成音/画像生成部142は、フィードバックを誇張する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号およびこれらの合成信号の少なくとも1つを含む信号を誇張して(ステップST23)、外部の出力装置200へフィードバック信号を出力する。合成音/画像生成部142は、フィードバックを矮小する信号を受信した場合、心電位、音、音声等の音響信号、画像信号、映像信号、およびこれらの合成信号の少なくとも1つを含む信号を矮小して(ステップST24)、外部の出力装置200へフィードバック信号を出力する。   The synthesized sound / image generation unit 142 receives a signal that exaggerates or reduces feedback from the signal generation unit 141. When the synthesized sound / image generating unit 142 receives a signal that exaggerates feedback, the synthesized sound / image generating unit 142 exaggerates a signal including at least one of an acoustic signal such as an electrocardiogram, sound, and sound, an image signal, a video signal, and a synthesized signal thereof. (Step ST23), and outputs a feedback signal to the external output device 200. When the synthesized sound / image generating unit 142 receives a signal for reducing feedback, the synthesized sound / image generating unit 142 reduces an acoustic signal such as an electrocardiogram, sound, and sound, an image signal, a video signal, and a signal including at least one of these synthesized signals. Then, a feedback signal is output to the external output device 200 (step ST24).

なお、フィードバックを誇張する場合、合成音/画像生成部142は、心電位をより良い値に修正して出力してもよく、良い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して大きな音量の音信号を出力してもよく、基準とする音に対して他の音を重畳した音信号を出力してもよい。また、合成音/画像生成部142は、二次被験者を褒めたり励ましたりする音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「○」や「◎」等の記号の画像信号を出力してもよく、笑顔の画像信号を出力してもよく、二次被験者を褒めたり励ましたりする等の言葉を含む画像信号を出力してもよく、外部から取得した画像信号あるいは映像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号などの音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。   When exaggerating the feedback, the synthesized sound / image generating unit 142 may output the electrocardiogram after correcting the electrocardiogram to a better value, and the difference between the electrocardiogram after the amendment to the good value and the actual electrocardiogram. May be output, a sound signal having a louder volume than the reference sound may be output, or a sound signal in which another sound is superimposed on the reference sound may be output. Further, the synthesized sound / image generation unit 142 may output an audio signal that gives up or encourages the secondary subject. The synthesized sound / image generation unit 142 may output an image signal of a predetermined color, may output an image signal of a symbol such as “◯” or “◎”, and outputs an image signal of a smile Alternatively, an image signal including words such as giving up or encouraging the secondary subject may be output, or an image signal or video signal acquired from the outside may be processed and output. Furthermore, the synthesized sound / image generation unit 142 may be a synthesized signal that is a combination of at least two of the above-described sound signals, acoustic signals such as audio signals, image signals, and video signals.

フィードバックを矮小する場合、合成音/画像生成部142は、心電位をより悪い値に修正して出力してもよく、悪い値に修正した後の心電位と実際の心電位との差分を出力してもよく、基準とする音に対して小さな音量の音信号を出力してもよく、無音とするために音信号を省略してもよい。また、合成音/画像生成部142は、二次被験者の心理状態に応じて「もう一歩です」、「まだまだです」等の音声信号を出力してもよい。また、合成音/画像生成部142は、所定の色彩の画像信号を出力してもよく、「△」や「×」等の記号の画像信号を出力してもよく、泣き顔の画像信号を出力してもよく、二次被験者のレベルに応じた言葉を含む画像信号を出力してもよく、外部から取得した画像信号を加工して出力してもよい。さらに、合成音/画像生成部142は、上記の音信号、音声信号等の音響信号、画像信号、および映像信号の少なくとも2つを組み合わせた合成信号であってもかまわない。   When the feedback is reduced, the synthesized sound / image generation unit 142 may output the electrocardiogram corrected to a worse value, and output the difference between the electrocardiogram corrected to the bad value and the actual electrocardiogram. Alternatively, a sound signal having a lower volume than that of the reference sound may be output, and the sound signal may be omitted for silence. Further, the synthesized sound / image generation unit 142 may output an audio signal such as “I am one step further” or “I am not yet” according to the psychological state of the secondary subject. The synthesized sound / image generation unit 142 may output an image signal of a predetermined color, may output an image signal of a symbol such as “Δ” or “x”, and outputs an image signal of a crying face Alternatively, an image signal including words according to the level of the secondary subject may be output, or an image signal acquired from the outside may be processed and output. Furthermore, the synthesized sound / image generating unit 142 may be a synthesized signal that is a combination of at least two of the above-described sound signals, audio signals such as audio signals, image signals, and video signals.

以下、センシング部131と状態判定部132についてまとめる。ここでは、心理状態のセンシングと判定と比較だけでなく、運動状態のセンシングと判定と比較についても説明する。   Hereinafter, the sensing unit 131 and the state determination unit 132 will be summarized. Here, not only the sensing, determination, and comparison of the psychological state, but also the sensing, determination, and comparison of the motion state will be described.

1.センシング部131
センシング部131は、一人ないし複数の対象から生体情報(運動信号及び心理信号)を計測する。生体情報をどのような手段で取得するかは問わない。
1. Sensing unit 131
The sensing unit 131 measures biological information (motion signal and psychological signal) from one or more objects. It does not matter what means the biometric information is acquired.

<運動信号のセンシング>
センシング部131は、一つないし複数の筋から、筋電位信号(生体電極)を計測する。さらに、センシング部131は、一箇所ないし複数の部位の加速度信号(加速度センサ)や圧力信号(圧力センサ)、関節角度信号(曲げセンサ)を計測することもできる。
<Motion signal sensing>
The sensing unit 131 measures a myoelectric potential signal (biological electrode) from one or a plurality of muscles. Furthermore, the sensing unit 131 can also measure an acceleration signal (acceleration sensor), a pressure signal (pressure sensor), and a joint angle signal (bending sensor) at one or more parts.

<心理信号のセンシング>
センシング部131は、例えば心理状態を判定するために、自律神経活動を計測することもできる。例えば、センシング部131は、心電位信号(生体電極)や脈波(光センサ)を計測する。これにより、自律神経活動(興奮/リラックス)を検出できる。
<Psychological signal sensing>
The sensing unit 131 can also measure autonomic nerve activity in order to determine a psychological state, for example. For example, the sensing unit 131 measures a cardiac potential signal (biological electrode) and a pulse wave (photosensor). Thereby, autonomic nerve activity (excitement / relaxation) can be detected.

また、センシング部131は、その他の生理反応を計測することもできる。例えば、センシング部131は、呼吸や発汗、脳波、眼球運動、瞳孔径を計測する。これにより、情動(興奮/リラックス)や感情(サプライズや選好)、注意、意図などを検出できる。   The sensing unit 131 can also measure other physiological reactions. For example, the sensing unit 131 measures respiration, sweating, brain waves, eye movement, and pupil diameter. As a result, emotions (excitement / relaxation), emotions (surprise or preference), attention, intention, etc. can be detected.

野球の装備で考えられる計測対象として、ヘルメット、帽子(脳波)、サングラス(眼球運動(注視方向、マイクロサッケード)、瞳孔径)、手袋(発汗、脈波、圧、加速度)、アンダーウェア(筋電、心電、呼吸、加速度)、シューズ(発汗、脈波、圧、加速度)がある。   Possible measurement targets for baseball equipment include helmet, hat (electroencephalogram), sunglasses (eye movement (gaze direction, microsaccade), pupil diameter), gloves (sweat, pulse wave, pressure, acceleration), underwear (myoelectricity) , Electrocardiogram, breathing, acceleration), shoes (sweat, pulse wave, pressure, acceleration).

2.状態判定部132
<(運動)判定器132a>
判定器132aは、計測された筋電位信号などから、下記のような運動状態を判定する。
判定器132aは、運動パターン(コツや力み)を判定する。例えば、判定器132aは、ある動き(加速度や関節角度の変化)に対する筋活動パターンや筋活動の相互タイミングなどを判定する。
判定器132aは、姿勢パターン(バランス)を判定する。例えば、判定器132aは、足底圧力の変化に対する筋の組み合わせの活動状態や活動タイミングなどを判定する。例えば、判定器132aは、スキーのときの足底の圧力変化と筋の使い方などを判定する。
判定器132aは、筋疲労度を判定する。例えば、判定器132aは、一つないし複数の筋電位信号を周波数解析することで判定(疲労すると、筋活動のパワーが低周波帯域にシフトする)する。例えば、この判定結果は、選手の交代時の判断に用いることができる。
2. State determination unit 132
<(Exercise) determiner 132a>
The determiner 132a determines the following exercise state from the measured myoelectric potential signal or the like.
The determiner 132a determines an exercise pattern (knack or force). For example, the determiner 132a determines a muscle activity pattern for a certain movement (change in acceleration or joint angle), a mutual timing of the muscle activity, and the like.
The determiner 132a determines a posture pattern (balance). For example, the determiner 132a determines an activity state or activity timing of a muscle combination with respect to a change in plantar pressure. For example, the determiner 132a determines the pressure change of the sole and how to use the muscles when skiing.
The determiner 132a determines the degree of muscle fatigue. For example, the determiner 132a performs determination by performing frequency analysis on one or a plurality of myoelectric potential signals (when fatigued, the power of muscle activity shifts to a low frequency band). For example, this determination result can be used for determination at the time of a player change.

<(運動)比較器132d>
比較器132dは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、特定の対象である一次被検者の運動状態と二次被検者の運動状態とを比較する。事前に、判定器132aが、特定の上級者や一流選手など(手本)の一次被検者の運動状態を判定し、比較器132dは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器132dは、ある集団の一次被検者から得られた運動状態と二次被検者から得られた運動状態を比較する。例えば、事前に、判定器132aが、ある集団の一次被検者から得られる運動状態(平均パターン、データマイニングで特徴づけられたパターンなど)を判定し、比較器132dは、一次被検者の運動状態と二次被検者の運動状態とを比較する。
また、比較器132dは、自分(二次被検者)を一次被検者とし、一次被検者の運動状態と二次被検者の運動状態とを比較する。比較器132dは、普段(練習等で100球投げたときの平均値)の運動状態と現在(試合等の本番)の運動状態とを比較する。
<(Motion) Comparator 132d>
The comparator 132d compares the information obtained from one or more primary subjects with the information obtained from the secondary subjects in order to determine changes in exercise status and good / bad.
The comparator 132d compares the exercise state of the primary subject, which is a specific object, with the exercise state of the secondary subject. In advance, the determiner 132a determines the exercise state of a primary subject such as a specific advanced player or first-class player (example), and the comparator 132d determines the exercise state of the primary subject and the secondary subject. Compare the exercise state.
The comparator 132d compares the exercise state obtained from the primary subject with a certain group with the exercise state obtained from the secondary subject. For example, the determiner 132a determines in advance a movement state (an average pattern, a pattern characterized by data mining, etc.) obtained from a certain group of primary subjects, and the comparator 132d The movement state and the movement state of the secondary subject are compared.
Further, the comparator 132d sets itself (secondary subject) as the primary subject, and compares the exercise state of the primary subject with the exercise state of the secondary subject. The comparator 132d compares the normal (average value when throwing 100 balls in practice or the like) and the current (actual such as game) exercise state.

また、比較器132dが、パートナー間の運動状態の関係を比較(判定)するようにしてもよい。例えば、判定器132aが、投手と打者の運動状態(例えば力み度)を判定し、比較器132dは、投手と打者の運動状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。   Further, the comparator 132d may compare (determine) the relationship of the exercise state between the partners. For example, the determiner 132a determines the motion state (for example, the degree of strength) of the pitcher and the batter, and the comparator 132d compares the motion state of the pitcher and the batter. The comparison result can be used to judge the state of compatibility and compatibility.

<(心理状態)判定器132a>
判定器132aは、心電位信号や脈波から得られる心拍数や血流の変動(ゆらぎ)を周波数解析することで自律神経状態(交感神経と副交感神経の活動のバランス=緊張/リラックス)を含む心理状態を判定できる。(例えば、非特許文献3)。緊張/リラックス状態を定量化する手法として、例えば、心拍数変動の低周波数成分(LF: 0.05-0.15 Hz)と高周波数成分(HF: 0.15-0.4 Hz)を算出して、HFはリラックス度、LF/HFは緊張度、として評価することができます。
<(Psychological state) determiner 132a>
The determiner 132a includes an autonomic state (balance of sympathetic and parasympathetic activities = tension / relaxation) by performing frequency analysis of heart rate and blood flow fluctuation (fluctuation) obtained from an electrocardiogram signal or a pulse wave. The psychological state can be determined. (For example, Non-Patent Document 3). To quantify tension / relaxation, for example, calculate the low frequency component (LF: 0.05-0.15 Hz) and the high frequency component (HF: 0.15-0.4 Hz) of the heart rate variability. LF / HF can be evaluated as tension.

他に、判定器132aは、呼吸や発汗、脳波、眼球運動、瞳孔径などから、情動(興奮/リラックス)や感 情(サプライズや選好)、注意、意図などの状態も判定できる
<(心理状態)比較器132d>
比較器132dは、運動状態の変化や良し悪しを判定するため、一人ないし複数の一次被検者から得られた情報と二次被検者から得られた情報とを比較する。
比較器132dは、ある集団の一次被検者から得られた自律神経状態と二次被検者から得られた自律神経状態を比較する。例えば、事前に、判定器132aが、ある集団の一次被検者から得られる自律神経状態(平均値、データマイニングで特徴づけられた値など)を判定し、比較器132dは、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。
また、比較器132dは、自分(二次被検者)を一次被検者とし、一次被検者の自律神経状態と二次被検者の自律神経状態とを比較する。比較器132dは、第1の状況での(普段、例えば練習中)自律神経状態と第2の状況での(現在、例えば試合等の本番中)自律神経状態とを比較する。
また、比較器132dは、パートナー間の心理状態の関係を比較(判定)する。例えば、判定器132aが、投手と打者の心理状態を判定し、比較器132dは、投手と打者の心理状態を比較する。比較結果を駆け引きの様子や相性の判断に用いることができる。
In addition, the determiner 132a can also determine the state of emotion (excitement / relaxation), emotion (surprise / preference), attention, intention, etc. based on breathing, sweating, brain waves, eye movement, pupil diameter, etc. ) Comparator 132d>
The comparator 132d compares the information obtained from one or more primary subjects with the information obtained from the secondary subjects in order to determine changes in exercise status and good / bad.
The comparator 132d compares the autonomic state obtained from the primary subject with a certain group with the autonomic state obtained from the secondary subject. For example, the determiner 132a determines in advance an autonomic state (average value, a value characterized by data mining, etc.) obtained from a group of primary subjects, and the comparator 132d The autonomic state of the subject and the autonomic state of the secondary subject are compared.
The comparator 132d sets itself (secondary subject) as the primary subject, and compares the autonomic state of the primary subject with the autonomic state of the secondary subject. The comparator 132d compares the autonomic nerve state in the first situation (usually during practice, for example) and the autonomic nerve state in the second situation (currently, for example, during a game).
The comparator 132d compares (determines) the psychological relationship between partners. For example, the determiner 132a determines the psychological state of the pitcher and the batter, and the comparator 132d compares the psychological state of the pitcher and the batter. The comparison result can be used to judge the state of compatibility and compatibility.

<(運動状態と心理状態)比較器132d>
比較器132dは、運動状態や自律神経状態を組み合わせることで、「自律神経状態と運動状態の関係性」を比較(判定)する。例えば、緊張すると、運動が乱れるなどの関係がわかる。
続いて、運動状態と自律神経の状態の判定について詳しく説明する。
<(Exercise state and psychological state) comparator 132d>
The comparator 132d compares (determines) “relationship between the autonomic nerve state and the motor state” by combining the motor state and the autonomic nerve state. For example, if you are nervous, you can see the relationship that exercise is disturbed.
Next, the determination of the motion state and the state of the autonomic nerve will be described in detail.

事例1として、実戦におけるプロの投手の総合的な状態モニタリングについて説明する。
1.投手Aが上下半身両方に、筋電位センサ(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身に心電位センサ120(ウェアラブルセンサ)を搭載したコンプレッションインナーウェア(例えばHitoe(登録商標))を着用する。上半身用のウェアには筋電位を計測するために、例えば、着用者の腕、肩、胸囲、腰に対応する複数箇所に筋電位センサが配置されている。また、上半身用のウェアには心電位を計測するために、例えば、着用者の心臓周囲に対応する箇所に心電位センサ120が配置されている。下半身用のウェアには、下半身の疲労度を測定するために、着用者の臀部(下肢のその他の筋でもよい)の筋電位を計測するために、着用者の臀部に対応する複数箇所に筋電位センサが配置されている。
As Example 1, we will explain the comprehensive monitoring of professional pitchers in actual battles.
1. The pitcher A wears compression inner wear (for example, Hitoe (registered trademark)) equipped with a myoelectric potential sensor (wearable sensor) on both upper and lower body. Compression inner wear (for example, Hitoe (registered trademark)) equipped with an electrocardiographic sensor 120 (wearable sensor) is worn on the upper body. In order to measure the myoelectric potential in the upper body wear, for example, myoelectric potential sensors are arranged at a plurality of locations corresponding to the wearer's arm, shoulder, chest circumference, and waist. Further, in order to measure the electrocardiogram in the upper body wear, for example, the electrocardiogram sensor 120 is arranged at a location corresponding to the wearer's heart circumference. The lower body wear includes muscles at multiple locations corresponding to the wearer's buttocks to measure the myoelectric potential of the wearer's buttocks (or other muscles of the lower limbs) in order to measure the fatigue of the lower body. A potential sensor is arranged.

2.状態判定部132は、上半身及び下半身の筋電位を周波数解析し、筋の疲労度合いを推定することができる。一方で、状態判定部132は、心電位に基づく心拍変動の解析から、投手の交感神経と副交感神経の活動バランスを推定することができる。

3.筋電位センサ、心電位センサ120、及びセンシング部131は、普段の練習および試合から投手Aの筋電位および心電位を継続的に測定し、以下に列挙するような様々な状況におけるデータを長期的に取り貯める。
2. The state determination unit 132 can estimate the degree of muscle fatigue by frequency analysis of the myoelectric potentials of the upper and lower bodies. On the other hand, the state determination unit 132 can estimate the activity balance between the pitcher's sympathetic nerve and the parasympathetic nerve from the analysis of the heart rate variability based on the electrocardiogram.

3. The myoelectric sensor, the electrocardiographic sensor 120, and the sensing unit 131 continuously measure the myoelectric potential and electrocardiographic potential of the pitcher A from normal practice and games, and long-term data in various situations as listed below. Save up.

3.1 ブルペンで打者が立っていない非実戦的な状況
3.2 打者と対戦する状況(練習)
3.3 打者と対戦する状況(試合)
以上の状況から取得した以下のようなデータを、生体状態推定器として機能する状態判定部132に投入する。状態判定部132は、「3.1」、「3.2」、及び「3.3」を入力として直近の将来の投球パフォーマンスを推定するためのモデルを逐次更新する。
3.1 Unpractical situation where batter is not standing in bullpen 3.2 Situation where a batter is played (practice)
3.3 Situation where a batter is played (match)
The following data acquired from the above situation is input to the state determination unit 132 that functions as a biological state estimator. The state determination unit 132 sequentially updates a model for estimating the latest future pitching performance with “3.1”, “3.2”, and “3.3” as inputs.

3.4.1 筋電位から推定される客観的筋疲労度
3.4.2 全身の筋活動パターンから推定される運動連鎖の効率
3.4.3 心拍変動から推定される自律神経活動バランス
3.4.4 投球速度、コントロールのばらつき等のパフォーマンス指標
<ユーザ使用例1:実戦場面を想定>
上記3.4.1〜3.4.4の情報は、二次被検者(データを測定されている本人)、および周囲の人間が常時モニターできる状態にある。つまり、フィードバック装置140が、上記3.4.1〜3.4.4の情報を出力する。
3.4.1 Objective muscle fatigue estimated from myoelectric potential 3.4.2 Motor chain efficiency estimated from whole body muscle activity pattern 3.4.2 Autonomic nervous activity balance estimated from heart rate variability 3 4.4 Performance indicators such as pitching speed and control variations <User use case 1: assuming actual battle scene>
The information in the above 3.4.1 to 3.4.4 is in a state where the secondary subject (the person whose data is being measured) and surrounding people can be monitored at all times. That is, the feedback device 140 outputs the information of the above 3.4.1 to 3.4.4.

4.試合前半:投手Aは、試合開始直後(立ち上がり)のパフォーマンスが不安定であることが課題の一つである。長期的なデータ計測から、心電位から推定されるメンタルの状態が過緊張状態に陥ることが、頻繁に生じることがわかっている。さらに、過緊張状態と投球パフォーマンスの低下に相関があることもわかっている。そのため、試合中にそのような状況に陥った場合、投手コーチが「間を取る」などの対応をすることによって、投手Aが大きくパフォーマンスを乱すことは少なくなった。   4). First half of the game: One of the challenges for pitcher A is that the performance immediately after the start of the game (rise) is unstable. From long-term data measurements, it is known that the mental state estimated from the electrocardiogram frequently falls into an overstress state. In addition, it has been found that there is a correlation between overstressing and a decrease in throwing performance. For this reason, when such a situation occurs during the match, the pitcher coach rarely disturbs the performance by taking action such as “getting a gap”.

5.試合中盤:疲労が増大していることが、モニターしている筋電位データから推測されるが、筋活動から推測される筋状態は良い状態を保っていると推測される場合(例えば疲労の蓄積は小さいと推測される場合)、首脳陣は続投させることを決断する。   5. Mid game: When fatigue is increased, it is inferred from the monitored EMG data, but the muscle state inferred from muscle activity is inferior (for example, accumulation of fatigue) The leaders decide to continue.

6.試合後半:筋疲労、メンタル面双方において、状態の劣化が推定され、全身の筋活動パターンにも疲労時特有のパターンが見られた場合、打者に打ち込まれる前に、投手Aを降板させることを決断する。   6). The second half of the game: If both the muscle fatigue and mental aspects of the condition are estimated to be degraded, and the muscle activity pattern throughout the body also shows a pattern specific to fatigue, the pitcher A must be released before being struck by the batter. Make a decision.

7.上記のような使用により、より良いタイミングでの選手交代が可能となるだけでなく、無理をさせる機会が減ることによるケガのリスク減少も期待できる。
<ユーザ使用例2:試合で生じた課題を練習で克服する>
8.投手Aには、試合で普段の練習通りのパフォーマンスを発揮できないという課題がある((メンタルが影響しているのかもしれないが)フィジカルに原因があるのではないかと周囲の人間は推測している)。
7). The use as described above not only makes it possible to change the player at a better timing, but also reduces the risk of injury due to a reduction in the chance of being forced.
<User usage example 2: Overcoming problems in the game through practice>
8). Pitcher A has the problem of not being able to demonstrate the performance as usual in the game (although it may be influenced by mental), the surrounding people speculate that there may be a physical cause )

9.上記課題を克服するために、前項4.1〜4.3各々の投球時の、全身の筋活動パターン、自律神経活動バランスおよび投球パフォーマンス指標を比較する。   9. In order to overcome the above-mentioned problems, the muscle activity pattern of the whole body, the autonomic nerve activity balance, and the pitching performance index at the time of pitching in each of the preceding items 4.1 to 4.3 are compared.

10.その結果、投手Aはブルペンでの投球時のみ非常にリラックスした状態で投球をしており、打者との対戦シーン、特に試合での対戦シーンにおいて、メンタル面での変動が大きいことが判明する。さらには、メンタル面の変動を生じさせる試合状況もピックアップできる。   10. As a result, pitcher A is throwing in a very relaxed state only when throwing with a bullpen, and it is found that there is a great change in the mental aspect in a battle scene with a batter, particularly in a battle scene in a game. Furthermore, it is possible to pick up game situations that cause mental variations.

11.投手Aは「10.」のフィードバックを受けて、当該試合状況下における対応(状況の整理、気持ちの持ち方等)を指導者と議論する。さらに、練習において、当該状況を再現した実戦練習を行うことで、試合時のパフォーマンスの不安定さを改善することが期待できる。   11. Pitcher A receives the feedback of “10.” and discusses with the leader how to deal with the situation of the game (organization of the situation, how to hold feelings, etc.). Furthermore, in practice, it can be expected that the instability of performance at the time of the game will be improved by performing actual battle practice that reproduces the situation.

事例2として、オーバートレーニング予防としての心拍変動解析について説明する。
12.若手野球選手A(投手)は、シーズン中に、多くの試合と並行して、高強度なトレーニングを行わなくてはならない。疲労が蓄積した状態で試合に望むと、パフォーマンスを発揮できないだけでなく、ケガのリスクを増大させることにもつながる。そのため、当日の選手のコンディションをモニタリングすることで、流動的にその日の登板可否を判断する仕組みが有用となる。
As example 2, heart rate variability analysis as prevention of overtraining will be described.
12 The young baseball player A (pitcher) must perform high-intensity training in parallel with many matches during the season. If you want to play a game with accumulated fatigue, you will not only be able to perform well, but also increase the risk of injury. Therefore, a mechanism that fluidly determines whether or not to climb the day can be useful by monitoring the condition of the player on the day.

13.起床時の心電位から得られる心拍変動データからオーバートレーニング症候群を検知する。   13. Overtraining syndrome is detected from heart rate variability data obtained from electrocardiograms when waking up.

若手野球選手Aは起床時から日常的に心電位及び筋電位を計測することで、心拍変動および筋電位データを継続的に取り貯めている。オーバートレーニングに陥った選手には、起床時の心拍数増大や心拍変動の減少が見られることが報告されている。また、筋電位から推定される筋疲労度合いと、心拍変動から推定される疲労度には関連があることも報告されている。これらと本人の主観的な疲労度と合わせて、コンディショニングコーチは投手Aの登板可否を当日の朝に判断する。
同時に、同様の測定において最もコンディションが良いと推定される投手Bを若手野球選手Aの代わりに登板させることを決定する。
The young baseball player A continuously collects heart rate variability and myoelectric potential data by measuring the electrocardiogram and the myoelectric potential on a daily basis from the time of getting up. It has been reported that athletes who fall into overtraining have increased heart rate and decreased heart rate variability when waking up. It has also been reported that the degree of muscle fatigue estimated from myoelectric potential is related to the degree of fatigue estimated from heart rate variability. Together with these and the subjective fatigue level of the person, the conditioning coach determines whether or not pitcher A can climb on the morning of the day.
At the same time, it is determined that pitcher B, which is estimated to be in the best condition in the same measurement, is to be pitched in place of young baseball player A.

図7は、合成音/画像生成部の構成の一例を示すブロック図である。
まず概要を説明する。この実施形態では、特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像と、特定の動作タイミングで得られた当該動作主体の筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)筋活動度画像とを合成し、それによって得られる合成画像を表示する。合成画像は「複数」の画像や筋電位に由来する。そのため、「単数」の画像や筋電位のみに由来する情報からは判断が困難な「動作とそれに伴う筋活動の適切さ」の可視的なフィードバックが可能となる。
FIG. 7 is a block diagram illustrating an example of the configuration of the synthesized sound / image generation unit.
First, an outline will be described. In this embodiment, a superimposed image of a plurality of images of one or more operation subjects obtained at a specific operation timing and myoelectric potential data of the operation subjects obtained at a specific operation timing, such as a plurality of myoelectric potentials, etc. Are combined with the muscle activity degree image derived from the biometric information (in other words, derived from a plurality of myoelectric potentials), and a composite image obtained thereby is displayed. The composite image is derived from “multiple” images and myoelectric potential. Therefore, it is possible to provide visual feedback of “appropriateness of motion and accompanying muscle activity” that is difficult to judge from “single” images and information derived from only myoelectric potential.

「動作主体」は人であってもよいし、人以外(例えば、動物)であってもよい。単数の「動作主体」の例は、動作のフィードバック対象となる一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行うフィードバック対象の動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体(フィードバック対象の動作主体を含む)とからなる複数の動作主体、または手本となる動作主体以外の複数の動作主体(フィードバック対象の動作主体を含む)などである。   The “operation subject” may be a person or a person other than a person (for example, an animal). An example of a single “acting subject” is one actuating subject that is an object of motion feedback. Examples of multiple `` acting subjects '' are two acting subjects consisting of an acting subject acting as a model and an actuating subject subject to feedback, and an act acting as a model and its behavior. A plurality of action subjects (including a feedback target action subject) or a plurality of action subjects other than a model action subject (including a feedback target action subject), etc. .

複数の画像は、単数または複数の動作主体の複数回の動作過程で撮影されたものであってもよいし、複数の動作主体の1回の動作過程で撮影されたものであってもよい。これらの画像は動作主体の全身の画像であってもよいし、動作主体の一部の部位(例えば、上半身や足など)の画像であってもよい。   The plurality of images may be taken in a plurality of operation processes of one or a plurality of operation subjects, or may be taken in a single operation process of a plurality of operation subjects. These images may be images of the whole body of the motion subject, or may be images of a part of the motion subject (for example, the upper body or legs).

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。「複数の筋電位」は、例えば、「複数の画像」に表された動作主体の動作に関与(寄与)する単数または複数の筋の筋電位(例えば、この動作主体の動作に関与する主動筋の筋電位やそれに対応する拮抗筋の筋電位)を含む。   The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. The “plural myoelectric potentials” are, for example, myoelectric potentials of one or more muscles that are involved (contributing) to the motion of the motion subject represented in the “plural images” (for example, main muscles involved in the motion of the motion subject) Of myoelectric potential and antagonistic myoelectric potential of the corresponding antagonist muscle).

「筋活動度画像」は、例えば、複数の筋活動度の関係から得られる値を表す画像、複数の筋活動度のばらつきを表す画像、複数の筋活動度の相対値を表す画像、または複数の筋活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の筋活動度のそれぞれが、複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値(例えば、単調増加関数値)である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。あるいは、「筋活動度画像」が、筋電位または筋活動度を周波数領域に変換して得られた複数の値に由来するもの(周波数スペクトル等)でもよい。以上のような画像により、動作に伴う筋活動の適切さを可視的にフィードバックできる。   The “muscle activity level image” is, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels, an image representing a variation in a plurality of muscle activity levels, an image representing a relative value of a plurality of muscle activity levels, or a plurality of At least one of the images representing the variation in the relative value of the muscle activity level. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used. Alternatively, the “muscle activity image” may be derived from a plurality of values obtained by converting myoelectric potential or muscle activity into the frequency domain (frequency spectrum or the like). With the images as described above, it is possible to visually feedback the appropriateness of the muscle activity accompanying the movement.

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of the plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained in a trial process of a plurality of times at the same measurement location of a single motion subject. In addition, it may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a single action subject, or a plurality of obtained at the same measurement location of a plurality of action subjects. It may be a variation in a plurality of muscle activities derived from a myoelectric potential, or may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. Good. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of a plurality of muscle activity levels may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a single motion subject. It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points, or a plurality of myoelectric potentials obtained at the same measurement point of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from, or a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a plurality of motion subjects. There may be. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.

「ばらつきを表す画像」は、ばらつきの大きさを表した画像である。「ばらつきを表す画像」の例は、(F−1)縦軸と横軸とを時間軸とし、各時間に対応する座標に、当該時間でのばらつきの大きさに応じた「色合い」の点をプロットした等高線プロットや、(F−2)横軸を時間軸とし、縦軸を各時間でのばらつきの大きさを表す軸とし、各時間に対応するばらつきの大きさプロットした時系列グラフや、(F−3)横軸をばらつきの大きさを表す軸とし、縦軸をばらつきの頻度を表す軸とし、各ばらつきの頻度を棒グラフで表したヒストグラムなどである。「相対値を表す画像」は、相対値またはその大きさを表した画像である。「相対値を表す画像」の例は、上記の(F−1)〜(F−3)の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した画像等である。   The “image representing variation” is an image representing the magnitude of variation. In the example of “image representing variation”, (F-1) the vertical axis and the horizontal axis are time axes, and coordinates corresponding to each time have a “color tone” point corresponding to the magnitude of the variation at that time. Or (F-2) a time series graph in which the horizontal axis is the time axis, the vertical axis is the axis representing the magnitude of variation at each time, and the magnitude of variation corresponding to each time is plotted (F-3) A histogram in which the horizontal axis is the axis representing the magnitude of variation, the vertical axis is the axis representing the frequency of variation, and the frequency of each variation is represented by a bar graph. An “image representing a relative value” is an image representing a relative value or its size. An example of “an image representing a relative value” is an image obtained by replacing the “variation magnitude” in the above examples (F-1) to (F-3) with “relative value” or “relative value magnitude”. Etc.

「複数の筋電位」が、動作主体の主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「筋活動度画像」が、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の関係から得られる値を表す画像、当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値を表す画像、または当該主動筋の筋電位に対応する筋活動度と当該拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像の少なくとも何れかを含んでもよい。この画像によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値(割った値)とした場合、拮抗筋の活動水準(主動筋活動に対する拮抗筋活動の割合)を定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。上述の「筋活動度画像」では、動作に伴う主動筋活動と拮抗筋活動との関係を提示できるため、この力み度合をフィードバックできる。   The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles of the motion and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles, and the “muscle activity image” indicates the myogenic activity corresponding to the myoelectric potentials of the main muscles. An image representing a value obtained from the relationship between the degree of muscle activity and the muscle potential corresponding to the myoelectric potential of the antagonistic muscle, the muscle activity corresponding to the muscle potential of the main muscle and the muscle corresponding to the muscle potential of the antagonistic muscle An image showing a relative value between the activity levels, or an image showing a variation in relative values between the muscle activity level corresponding to the myoelectric potential of the main muscle and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. At least one of them may be included. This image can represent the “power” of the subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. In the above-mentioned “muscle activity level image”, the relationship between the main muscle activity and the antagonistic muscle activity associated with the motion can be presented, and this strength level can be fed back.

「筋活動度画像」が複数の筋電位から得られる複数の筋(例えば、ある動作主体の動作または一連の動作に関与する複数の筋)の「活動開始時点」に由来する画像を含んでもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この筋活動度画像により、筋活動の開始タイミングに関する情報(例えば、筋活動の開始タイミングのばらつきや相対値や適切さ)を表現できる。例えば、筋活動度画像が複数の筋の「活動開始時点」のばらつきを表す画像を含んでもよいし、相対値を表す画像を含んでもよいし、相対値のばらつきを表す画像を含んでもよいし、複数の筋の活動開始時点の順序関係に由来する画像を含むことにしてもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係に由来する画像の例は、(F−4)各筋に対応する色合いの点を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、(F−5)各筋に対応する識別子(番号等)を当該筋の活動開始時点を表す時間軸の位置にプロットした画像や、(F−6)複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで「色合い」や「明るさ」が相違する画像や、(F−7)複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど、特定の「色合い」や「明るさ」に近づく画像や、(F−8)複数の筋の活動開始時点の順序関係が適切な順序関係にどれだけ近いかを表すスコアやその大きさを表す図形を含む画像などである。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したかをフィードバックできる。   The “muscle activity image” may include an image derived from “activity start time” of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain motion subject or a series of motions). . The activity start time means the time when the muscle starts the muscle activity. Information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed by this muscle activity level image. For example, the muscle activity level image may include an image representing a variation in “activity start time” of a plurality of muscles, an image representing a relative value, or an image representing a variation in relative value. In addition, an image derived from an order relationship at the time of starting the activity of a plurality of muscles may be included. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of an image derived from an order relationship between the activity start points of a plurality of muscles is (F-4) an image in which the color points corresponding to each muscle are plotted at the position of the time axis representing the activity start time of the muscles, (F-5) An image in which identifiers (numbers, etc.) corresponding to each muscle are plotted on the position of the time axis representing the activity start time of the muscle, or (F-6) the order relationship between the activity start times of a plurality of muscles. Images that differ in “color” and “brightness” between appropriate and inappropriate cases, and (F-7) The closer the order relationship at the start of activity of multiple muscles is to the closer the appropriate order relationship, An image that approaches a specific “color” or “brightness”, or (F-8) a figure that indicates how close the order relationship at the start of activity of multiple muscles is to an appropriate order relationship, or a figure that indicates the size An image including It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in a ball release operation of a pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. As described above, for example, it is possible to feed back whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order.

筋活動度画像が複数の「統合特徴量」に由来する画像を含んでもよい。ただし、「統合特徴量」のそれぞれは、特定の動作タイミングで得られた複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位のそれぞれと、の両方に由来する特徴量である。例えば、各統合特徴量は、特定の動作タイミングで得られた画像とその画像に表れた動作に関与する筋の筋電位との両方に由来する。これにより、動作イベントでの姿勢と筋活動との相関関係を可視化してフィードバックできる。   The muscle activity level image may include an image derived from a plurality of “integrated feature amounts”. However, each of the “integrated feature amounts” is a feature amount derived from both a plurality of images obtained at a specific operation timing and each of a plurality of myoelectric potentials obtained at a specific operation timing. is there. For example, each integrated feature amount is derived from both an image obtained at a specific operation timing and a myoelectric potential of a muscle involved in the operation appearing in the image. This makes it possible to visualize and correlate the correlation between the posture and the muscle activity in the motion event.

「特定の動作タイミング」とは、一連の動作イベントからなる動作(例えば、投球運動)における特定の動作イベント(例えば、足挙げやボールリリースなど)のタイミング(時間または時間区間)を意味する。実施形態では、動作主体の画像、動作主体の筋電位、またはそれらの両方に由来する特徴量に基づいて、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の「複数の画像」を抽出し、動作主体の時系列の筋電位から特定の動作タイミングで得られた動作主体の「複数の筋電位」を抽出する。特に、画像と筋電位との両方に由来する特徴量に基づくことで、「特定の動作タイミング」での「複数の画像」および「複数の筋電位」を精度よく抽出できる。   The “specific operation timing” means the timing (time or time interval) of a specific operation event (for example, a foot lift or a ball release) in an operation (for example, pitching exercise) composed of a series of operation events. In the embodiment, based on the feature amount derived from the action subject image, the action subject myoelectric potential, or both, the action subject's “multiple” obtained from the action subject time-series image at a specific action timing. The “image” is extracted, and “the plurality of myoelectric potentials” of the motion subject obtained at a specific motion timing is extracted from the time series myoelectric potentials of the motion subject. In particular, it is possible to accurately extract “a plurality of images” and “a plurality of myoelectric potentials” at a “specific operation timing” based on feature amounts derived from both images and myoelectric potentials.

なお、「複数の心電位」、「心活動度画像」、「心活動度」、複数の心活動度の「ばらつき」、複数の心活動度の相対値、についても、「複数の筋電位」、「筋活動度画像」、「筋活動度」、複数の筋活動度の「ばらつき」、複数の筋活動度の相対値に関する上記記載と同様に説明することができる。   In addition, “multiple electromyograms”, “cardiac activity images”, “cardiac activity”, “variation” of multiple cardiac activities, and relative values of multiple cardiac activities are also “multiple myoelectric potentials”. , “Muscle activity level image”, “muscle activity level”, “variation” of a plurality of muscle activity levels, and the above description regarding relative values of a plurality of muscle activity levels.

例えば、「複数の心電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。「複数の心電位」は、例えば、「複数の画像」に表された動作主体の動作に関与(寄与)する単数または複数の心電位を含む。信号生成部141の出力が誇張或いは矮小した心電位信号である場合には、誇張或いは矮小した心電位信号は心電位信号として可視化装置11に入力されてもよい。   For example, the “plural electrocardiograms” may be obtained in a plurality of operation processes by one or a plurality of action subjects, or may be obtained at measurement points of one or more action subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. The “plural electrocardiograms” include, for example, one or a plurality of electrocardiograms that participate (contribute) to the action of the subject of action represented in the “plural images”. When the output of the signal generation unit 141 is an exaggerated or reduced electrocardiogram signal, the exaggerated or reduced electrocardiogram signal may be input to the visualization device 11 as an electrocardiogram signal.

「心活動度画像」は、例えば、複数の心活動度の関係から得られる値を表す画像、複数の心活動度のばらつきを表す画像、複数の心活動度の相対値を表す画像、または複数の心活動度の相対値のばらつきを表す画像、の少なくとも何れかを含む。ただし、複数の心活動度のそれぞれが、複数の心電位のそれぞれに対応する。「心活動度」は、心電位またはその関数値である。心電位の関数値の例は、心拍数であり、所定の時間区間での心拍数を「心活動度」とすることができる。あるいは、「心活動度画像」が、心活動度を周波数領域に変換して得られた複数の値に由来するもの(周波数スペクトル等)でもよい。以上のような画像により、動作に伴う心活動の状態を可視的にフィードバックできる。   The “cardiac activity level image” is, for example, an image representing a value obtained from a relationship between a plurality of cardiac activity levels, an image representing a plurality of cardiac activity variation, an image representing a relative value of a plurality of cardiac activity levels, or a plurality of At least one of the images representing the variation in the relative value of the heart activity level. However, each of the plurality of cardiac activity levels corresponds to each of the plurality of electrocardiograms. “Cardiac activity” is a cardiac potential or a function value thereof. An example of the function value of the electrocardiogram is a heart rate, and the heart rate in a predetermined time interval can be referred to as “cardiac activity”. Alternatively, the “cardiac activity image” may be derived from a plurality of values obtained by converting the cardiac activity into the frequency domain (frequency spectrum or the like). With the above image, the state of the heart activity accompanying the motion can be visually fed back.

複数の心活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で複数回の動作の試行過程で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of the plurality of cardiac activities may be a variation in a plurality of cardiac activities derived from a plurality of electrocardiograms obtained in a trial process of a plurality of times at the same measurement location of a single action subject. In addition, it may be a variation in a plurality of cardiac activities derived from a plurality of electrocardiograms obtained at a single measurement location of an action subject, or a plurality of electrocardiograms obtained at the same measurement location of a plurality of action subjects. May be a plurality of cardiac activity variability derived from the above, or may be a plurality of cardiac activity variability derived from a plurality of electrocardiograms obtained at measurement points of a plurality of motion subjects. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の心活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよいし、複数の動作主体の測定箇所で得られた複数の心電位に由来する複数の心活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of a plurality of cardiac activity levels may be a relative value between a plurality of muscle activity levels derived from a plurality of cardiac potentials obtained at the same measurement location of a single motion subject, or a single motion subject. It may be a relative value between a plurality of cardiac activities derived from a plurality of electrocardiograms obtained at a plurality of measurement locations, or may be derived from a plurality of electrocardiograms obtained at the same measurement location of a plurality of action subjects. It may be a relative value between a plurality of cardiac activity levels, or may be a relative value between a plurality of cardiac activity levels derived from a plurality of electrocardiograms obtained at measurement points of a plurality of motion subjects. . Examples of the “relative value” are “difference” having a positive / negative distinction, “difference” or “ratio” having no positive / negative distinction, or a function value of any of these.

以下、図面を用いて各実施形態を詳細に説明する。     Hereinafter, each embodiment will be described in detail with reference to the drawings.

[第1実施形態]
第1実施形態を説明する。
<構成>
図7に例示するように、合成音/画像生成部142は、例えば可視化装置11を有する。出力装置200は、画像提示装置12を有する。なお、可視化装置11の一部の構成は、信号生成部141に含まれていてもよい。可視化装置11は、動作タイミング検出部111と特徴量算出部112と特徴量記憶部113と動作タイミング照合部114と照合結果記憶部115と重畳画像作成部116と筋活動度(又は心活動度)画像生成部117と合成部118とを有する。図8に例示するように、動作タイミング照合部114は、特徴量抽出部1141と類似度算出部1142と動作タイミング検出部1143と画像抽出部1144と筋活動度(又は心活動度)抽出部1145と終了判定部1146とを有する。可視化装置11は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータ、スマートフォンやタブレットなどのモバイル端末が所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。画像提示装置12は、例えば、液晶ディスプレイ等の表示装置である。
[First Embodiment]
A first embodiment will be described.
<Configuration>
As illustrated in FIG. 7, the synthesized sound / image generation unit 142 includes, for example, the visualization device 11. The output device 200 includes an image presentation device 12. Note that a part of the configuration of the visualization device 11 may be included in the signal generation unit 141. The visualization device 11 includes an operation timing detection unit 111, a feature amount calculation unit 112, a feature amount storage unit 113, an operation timing collation unit 114, a collation result storage unit 115, a superimposed image creation unit 116, and muscle activity (or cardiac activity). An image generation unit 117 and a synthesis unit 118 are included. As illustrated in FIG. 8, the motion timing collation unit 114 includes a feature amount extraction unit 1141, a similarity calculation unit 1142, an operation timing detection unit 1143, an image extraction unit 1144, and a muscle activity (or cardiac activity) extraction unit 1145. And an end determination unit 1146. The visualization device 11 is a general-purpose device including, for example, a processor (for example, hardware including one or more CPUs (central processing units)) and a memory (for example, RAM (random-access memory) and ROM (read-only memory)). Alternatively, a dedicated computer, a mobile terminal such as a smartphone or a tablet is configured to execute a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The image presentation device 12 is a display device such as a liquid crystal display.

<事前処理>
事前処理では、特定の動作タイミングでの動作イベントに対応する特徴量を取得する。まず、動作タイミング検出部111に、特定の動作主体(例えば一次被験者)の一連の動作をカメラで撮影して得られた時系列の画像(映像)およびこの動作主体の一連の筋活動(又は心活動)を測定して得られた時系列の筋電位を表す筋電位信号(又は心電位を表す心電位信号)の少なくとも一方、ならびに、1個以上の動作タイミングを指定するためのタイミング指定情報が入力される。映像および筋電位信号(又は心電位信号)は、事前に得られて記憶装置(図示せず)に格納されていたものであってもよいし、リアルタイムに得られるものであってもよい。
<Pre-processing>
In the pre-processing, a feature amount corresponding to an operation event at a specific operation timing is acquired. First, the motion timing detection unit 111 has a time-series image (video) obtained by photographing a series of motions of a specific motion subject (for example, a primary subject) with a camera and a series of muscle activities (or minds) of the motion subject. Timing designation information for designating at least one of a myoelectric signal representing a time-series myoelectric potential (or a cardiac potential signal representing a cardiac potential) obtained by measuring (activity) and one or more operation timings. Entered. The video and myoelectric potential signal (or cardiac potential signal) may be obtained in advance and stored in a storage device (not shown), or may be obtained in real time.

筋電位信号は、例えば、動作主体の動作に関与する単数または複数の筋(主動筋や拮抗筋等)の近傍の単数または複数の測定箇所(例えば、皮膚表面)に電極(例えば筋電位センサ)を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。例えば、1個の測定箇所からは1系統の時系列の筋電位を表す筋電位信号が得られる。例えば、主動筋の筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋の筋電位信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。   The myoelectric potential signal is, for example, an electrode (for example, a myoelectric potential sensor) at one or a plurality of measurement points (for example, skin surface) in the vicinity of one or a plurality of muscles (main muscles, antagonistic muscles, etc.) involved in the motion of the subject. Is a time-series signal obtained by measuring the action potential generated from each muscle. For example, a myoelectric signal representing a time series of myoelectric potential of one system is obtained from one measurement location. For example, the myoelectric potential signal of the main muscle is obtained based on the potential of the electrode at the measurement location near the main muscle, and the myoelectric potential signal of the antagonist muscle is obtained based on the potential of the electrode at the measurement location near the antagonist muscle.

心電位信号は、電極等で構成された心電位センサにより測定される。各心電位センサは心臓の活動レベルに応じた心電位信号(生体情報)を出力する。例えば、心電位センサは、一次被検者及び二次被検者の体(胸等)に対応するようにウェアに取付けられている。例えば、1個の測定箇所からは1系統の時系列の心電位を表す心電位信号が得られる。   The cardiac potential signal is measured by a cardiac potential sensor composed of electrodes or the like. Each cardiac potential sensor outputs a cardiac potential signal (biological information) corresponding to the activity level of the heart. For example, the electrocardiogram sensor is attached to the wear so as to correspond to the body (chest and the like) of the primary subject and the secondary subject. For example, an electrocardiogram signal representing one system of time series electrocardiogram is obtained from one measurement location.

タイミング指定情報は、例えば、ユーザによって任意に選択された特定の動作タイミングを表す時間または時間区間を指定する情報である。これらの時間や時間区間は、相対的な時間であってもよいし、絶対的な時間であってもよい。例えば、投球運動は「(a)脚上げ」「(b)踏み出し」「(c)接地」「(d)ボールリリース」といった複数の動作イベントからなる。このとき「(d)ボールリリース」の動作タイミングを表す時間(または時間区間)を指定するのであれば、投球運動の開始時(「(a)脚上げ」の開始時)に対する「(d)ボールリリース」の開始時(または開始時と終了時)の相対的な時間を指定してもよいし、「(d)ボールリリース」の開始時(または開始時と終了時)の絶対的な時間を指定してもよい。また、タイミング指定情報が2以上の動作タイミングの時間または時間区間を指定してもよい。例えば、タイミング指定情報が「(b)踏み出し」と「(d)ボールリリース」の動作タイミングの時間または時間区間を指定してもよい。また、動作タイミングが時間区間である場合、特定の時間を指定することでこの時間区間が指定されてもよい。この「特定の時間」は、動作タイミングである時間区間を特定するための基準となる時間であり、例えば、動作タイミングである時間区間の開始時間や中心時間などを例示できる。なお、タイミング指定情報は、一次被験者、例えば所定運動中の上級者やプロ(基準となる選手)の動作タイミングであってもよい。   The timing designation information is information that designates, for example, a time or a time interval representing a specific operation timing arbitrarily selected by the user. These times and time intervals may be relative times or absolute times. For example, the pitching motion includes a plurality of motion events such as “(a) leg raising”, “(b) stepping out”, “(c) grounding”, and “(d) ball release”. At this time, if the time (or time interval) indicating the operation timing of “(d) ball release” is designated, “(d) ball with respect to the start of the pitching motion (at the start of“ (a) leg raising ”) You may specify the relative time at the start of “Release” (or at the start and end), or the absolute time at the start of “(d) Ball Release” (or at the start and end) May be specified. Further, the timing designation information may designate a time or time interval of operation timings of two or more. For example, the timing designation information may designate the operation timing time or time interval of “(b) stepping” and “(d) ball release”. When the operation timing is a time interval, this time interval may be specified by specifying a specific time. This “specific time” is a reference time for specifying the time interval that is the operation timing, and examples thereof include the start time and the center time of the time interval that is the operation timing. The timing designation information may be an operation timing of a primary subject, for example, an advanced person or a professional (reference player) who is performing a predetermined exercise.

動作タイミング検出部111は、入力された時系列の画像および/または時系列の筋電位信号から、タイミング指定情報で特定される動作タイミングの画像および/または筋電位信号(又は心電位信号)を抽出する。動作タイミング検出部111は、タイミング指定情報で特定される時間または時間区間の画像および/または筋電位信号(又は心電位信号)のみを抽出してもよいし、さらにその時間または時間区間よりも前の時間区間や後の時間区間の画像および/または筋電位信号(又は心電位信号)を抽出してもよい。あるいは、動作タイミング検出部111は、タイミング指定情報で特定される時間区間よりも狭い時間区間の画像および/または筋電位信号(又は心電位信号)を抽出してもよい。例えば、タイミング指定情報が、投球動作における「(b)踏み出し」の開始時と終了時を指定する場合、動作タイミング検出部111は、「(b)踏み出し」の開始時から終了時までの画像および/または筋電位信号(又は心電位信号)のみを抽出してもよいし、さらに「(b)踏み出し」の開始時よりも前や後の時間区間の画像および/または筋電位信号(又は心電位信号)を抽出してもよい。あるいは、「(b)踏み出し」の開始時から終了時までの時間区間よりも狭い時間区間の画像および/または筋電位信号(又は心電位信号)のみを抽出してもよい。抽出された画像および/または筋電位信号(又は心電位信号)は特徴量算出部112に送られる。複数の動作タイミングに対して画像および/または筋電位信号(又は心電位信号)が抽出された場合には、抽出された画像および/または筋電位信号(又は心電位信号)とそれに対応する動作タイミングを識別する情報とが関連付けられて出力される。   The motion timing detection unit 111 extracts the motion timing image and / or myoelectric signal (or cardiac potential signal) specified by the timing designation information from the input time-series image and / or time-series myoelectric signal. To do. The operation timing detection unit 111 may extract only the image and / or myoelectric potential signal (or electrocardiographic signal) of the time or time interval specified by the timing designation information, and further before that time or time interval. Images and / or myoelectric potential signals (or electrocardiographic signals) of the time interval or the subsequent time interval may be extracted. Alternatively, the operation timing detection unit 111 may extract an image and / or myoelectric potential signal (or cardiac potential signal) in a time interval narrower than the time interval specified by the timing designation information. For example, when the timing designation information designates the start time and end time of “(b) stepping” in the pitching operation, the operation timing detection unit 111 displays the images from the start time to the end time of “(b) stepping” and Only the myoelectric potential signal (or electrocardiographic signal) may be extracted, and further, the image and / or myoelectric potential signal (or electrocardiographic potential) before and after the start of “(b) stepping”. Signal) may be extracted. Or you may extract only the image and / or myoelectric potential signal (or electrocardiogram signal) of a time interval narrower than the time interval from the start time to the end time of “(b) stepping”. The extracted image and / or myoelectric potential signal (or electrocardiographic signal) is sent to the feature amount calculation unit 112. When images and / or myoelectric potential signals (or cardiac potential signals) are extracted for a plurality of operation timings, the extracted images and / or myoelectric potential signals (or cardiac potential signals) and the corresponding operation timings are extracted. Is output in association with the information for identifying.

特徴量算出部112は、入力された画像および/または筋電位信号が表す筋電位に由来する特徴量(動作タイミングの特徴量)を算出し、或いは、入力された画像および/または心電位信号が表す心電位に由来する特徴量(例えば心拍数)を算出して出力する。入力された画像および/または筋電位信号(又は心電位信号)が複数の動作タイミング(例えば、「(b)踏み出し」と「(d)ボールリリース」の動作タイミング)に対応する場合には、特徴量算出部112は、各動作タイミングに対応する特徴量を算出して出力する。この特徴量は、画像に由来するものであってもよいし、筋電位(又は心電位)に由来するものであってもよいし、画像と筋電位(又は心電位)との両方に由来するものであってもよい。画像と筋電位(又は心電位)との両方に由来する特徴量は、画像に由来する特徴量と筋電位(又は心電位)に由来する特徴量と含むものであってもよいし、画像に対応する値と筋電位(又は心電位)に対応する値との関数値(例えば、相対値)に由来するものであってもよい。筋電位の測定箇所の近傍の筋が関与する動作部位(上半身や足等)の画像に対応する値と、当該測定箇所で得られた筋電位に対応する値と、に由来する特徴量であってもよい。「筋電位に対応する値」は、筋電位または筋電位の関数値である。「筋電位に対応する値」は「筋活動度」と同じであってもよいし、異なっていてもよい。「心電位に対応する値」は、心電位または心電位の関数値である。「心電位に対応する値」は「心活動度」と同じであってもよいし、異なっていてもよい。以下に各特徴量を例示する。   The feature amount calculation unit 112 calculates a feature amount (feature amount of motion timing) derived from the myoelectric potential represented by the input image and / or myoelectric potential signal, or the input image and / or cardiac potential signal is A feature amount (for example, heart rate) derived from the expressed cardiac potential is calculated and output. When the input image and / or myoelectric potential signal (or electrocardiographic signal) corresponds to a plurality of operation timings (for example, “(b) stepping” and “(d) ball release” operation timings) The amount calculation unit 112 calculates and outputs a feature amount corresponding to each operation timing. This feature amount may be derived from an image, may be derived from myoelectric potential (or cardiac potential), or may be derived from both an image and myoelectric potential (or cardiac potential). It may be a thing. The feature amount derived from both the image and the myoelectric potential (or cardiac potential) may include the feature amount derived from the image and the feature amount derived from the myoelectric potential (or cardiac potential). It may be derived from a function value (for example, a relative value) between a corresponding value and a value corresponding to myoelectric potential (or cardiac potential). This is a feature amount derived from a value corresponding to an image of a motion part (upper body, leg, etc.) involving a muscle in the vicinity of a myoelectric potential measurement point and a value corresponding to a myoelectric potential obtained at the measurement point. May be. The “value corresponding to myoelectric potential” is myoelectric potential or a function value of myoelectric potential. The “value corresponding to the myoelectric potential” may be the same as or different from the “muscle activity”. The “value corresponding to the cardiac potential” is a cardiac potential or a function value of the cardiac potential. The “value corresponding to the cardiac potential” may be the same as or different from the “cardiac activity”. Each feature amount is exemplified below.

《動作タイミングの画像に由来する特徴量の例》
画像に由来する特徴量としては前述のMHIがある。以下にMHIによる特徴量を例示する。
《Examples of features derived from motion timing images》
As the feature amount derived from the image, there is the aforementioned MHI. Examples of feature values by MHI are given below.

ただし、H(x,y,t)は時間tでの座標(x,y)の特徴量(MHIのピクセル値)を表す。d(x,y,t)は動き検出関数であり、d(x,y,t)=1は時間tで画像の座標(x,y)のピクセル値に変化があったことを示す。大きいtほど新しい時間を表す。ρは正値の減衰量である。max(α,β)はα≧βのときαを返し、α<βのときにβを返す。H(x,y,t)の初期値は例えば0とする。例えば、動作タイミングが特定の時間tである場合、この時間tでのすべての座標(x,y)でのH(x,y,t)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)を要素とする集合を特徴量とする。例えば、野球の投球動作における、「(a)脚上げ」「(b)踏み出し」「(c)接地」「(d)ボールリリース」という4個の動作イベントにそれぞれ対応する時間tでのH(x1,y1,t),…,H(x2,y2,t)からなる集合を特徴量としている。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、この時間区間[t1,t2]でのすべての座標(x,y)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)でのH(x,y,t)(ただし、t=t1,…,t2)を要素とする集合を特徴量とする。あるいは、時間区間[t1,t2]でのすべての座標(x,y)でのH(x,y,t)を所定の時間区間Tごとに時間平均した値H(x,y,T)(ただし、x=x1,…,x2、y=y1,…,y2、x1<x2、y1<y2)を要素とする集合を特徴量としてもよい。あるいは、ある時間区間においてH(x,y,t)やH(x,y,T)を周波数領域に変換したものを特徴量としてもよい。   However, H (x, y, t) represents the feature quantity (MHI pixel value) of the coordinates (x, y) at time t. d (x, y, t) is a motion detection function, and d (x, y, t) = 1 indicates that the pixel value of the coordinates (x, y) of the image has changed at time t. A larger t represents a new time. ρ is a positive attenuation. max (α, β) returns α when α ≧ β, and returns β when α <β. The initial value of H (x, y, t) is 0, for example. For example, when the operation timing is a specific time t, H (x, y, t) at all coordinates (x, y) at this time t (where x = x1,..., X2, y = y1 ,..., Y2, x1 <x2, y1 <y2) as features. For example, in a baseball pitching motion, H () at time t corresponding to four motion events “(a) leg raising”, “(b) stepping out”, “(c) grounding”, and “(d) ball release”, respectively. A set of x1, y1, t),..., H (x2, y2, t) is a feature quantity. For example, when the operation timing is a specific time interval [t1, t2], all coordinates (x, y) in this time interval [t1, t2] (where x = x1,..., X2, y = y1 ,..., Y2, x1 <x2, y1 <y2), and H (x, y, t) (where t = t1,..., T2) is an element. Alternatively, a value H (x, y, T) (average of H (x, y, t) at all coordinates (x, y) in the time interval [t1, t2] for each predetermined time interval T. However, a set having x = x1,..., X2, y = y1,..., Y2, x1 <x2, y1 <y2) as elements may be used as the feature amount. Or it is good also considering what converted H (x, y, t) and H (x, y, T) into the frequency domain in a certain time section.

《動作タイミングの筋電位(又は心電位)に由来する特徴量の例1》
動作タイミングで筋活動(又は心電位)に特徴的な変化があるような場合(例えば、「(d)ボールリリース」で上肢筋活動に大きなピークが現れる)、筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値の時間変化量、または、筋電位(又は心電位)に対応する値の時間変化量を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさの時間変化量、または、筋電位の大きさの時間変化量を要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個(ただし、Iは1以上の整数)の測定箇所で得られた筋電位信号Vi(t)およびVi(t−1)(ただし、iは測定箇所に対応するチャネルi=1,…,I)が入力される場合、筋電位信号Vi(t),Vi(t−1)がそれぞれ示す筋電位の大きさMi(t),Mi(t−1)の時間変化量ΔMi(t)=Mi(t)−Mi(t−1)または時間変化量ΔM1(t),・・・,ΔMI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での時間変化量ΔMi(t)=Mi(t)−Mi(t−1)からなる集合を特徴量としてもよいし、時間変化量ΔMi(t)を所定の時間区間Tごとに時間平均した時間変化量ΔMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値を周波数領域に変換した値の時間変化量、または、このような周波数領域に変換した値の時間変化量を要素とする集合を特徴量としてもよい。
<< Example 1 of feature amount derived from myoelectric potential (or cardiac potential) at operation timing >>
When there is a characteristic change in muscle activity (or electrocardiogram) at the operation timing (for example, a large peak appears in upper limb muscle activity by “(d) ball release”), myoelectric signal (or electrocardiographic signal) A feature amount may be a time change amount of a value corresponding to the myoelectric potential (or cardiac potential) represented by or a set having a time change amount of a value corresponding to the myoelectric potential (or cardiac potential) as an element. For example, the amount of time change of the magnitude of the myoelectric potential represented by the myoelectric potential signal, or a set having the time change of the magnitude of the myoelectric potential as an element, or the heart rate represented by the electrocardiographic signal may be used as the feature quantity. Specifically, for example, the myoelectric potential signals Vi (t) and Vi (t−1) obtained at I measurement points (where I is an integer equal to or greater than 1) have a specific time t. (Where i is the channel i = 1,..., I corresponding to the measurement location), the myoelectric potential magnitude Mi (t) indicated by the myoelectric potential signals Vi (t) and Vi (t−1), respectively. ), Mi (t−1) time variation ΔMi (t) = Mi (t) −Mi (t−1) or time variation ΔM1 (t),..., ΔMI (t). It may be an amount. For example, when the operation timing is a specific time section [t1, t2], a set of time change amounts ΔMi (t) = Mi (t) −Mi (t−1) in the time section [t1, t2] is obtained. A feature amount may be used, or a set of time change amounts ΔMi (T) obtained by averaging the time change amounts ΔMi (t) for each predetermined time interval T may be used as the feature amount. Alternatively, a time change amount of a value obtained by converting a value corresponding to a myoelectric potential (or cardiac potential) represented by a myoelectric potential signal (or a cardiac potential signal) into a frequency domain, or a temporal change of a value converted into such a frequency domain. A set having a quantity as an element may be used as a feature quantity.

《動作タイミングの筋電位(又は心電位)に由来する特徴量の例2》
入力された筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値、または、筋電位(又は心電位)に対応する値を要素とする集合を特徴量としてもよい。例えば、筋電位信号が表す筋電位の大きさ、または、筋電位の大きさを要素とする集合、または、心電位信号が表す心拍数を特徴量としてもよい。具体的には、例えば、動作タイミングが特定の時間tであり、I個の測定箇所で得られた筋電位信号Vi(t)が示す筋電位の大きさMi(t)またはM1(t),・・・,MI(t)からなる集合を特徴量としてもよい。例えば、動作タイミングが特定の時間区間[t1,t2]である場合、時間区間[t1,t2]での筋電位の大きさMi(t)からなる集合を特徴量としてもよいし、筋電位の大きさMi(t)を所定の時間区間Tごとに時間平均したMi(T)からなる集合を特徴量としてもよい。あるいは、筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値を周波数領域に変換した値、または、このような周波数領域に変換した値を要素とする集合を特徴量としてもよい。
<< Example 2 of feature amount derived from myoelectric potential (or cardiac potential) at operation timing >>
A value corresponding to the myoelectric potential (or cardiac potential) represented by the input myoelectric potential signal (or cardiac potential signal), or a set having a value corresponding to the myoelectric potential (or cardiac potential) as an element may be used as the feature amount. . For example, the magnitude of the myoelectric potential represented by the myoelectric potential signal, a set having the magnitude of the myoelectric potential as an element, or the heart rate represented by the electrocardiographic signal may be used as the feature amount. Specifically, for example, the operation timing is a specific time t, and the myoelectric potential magnitude Mi (t) or M1 (t), which is indicated by the myoelectric potential signal Vi (t) obtained at the I measurement points, .., MI (t) may be a feature amount. For example, when the operation timing is a specific time interval [t1, t2], a set of myoelectric potential magnitudes Mi (t) in the time interval [t1, t2] may be used as the feature amount. A set of Mi (T) obtained by averaging the size Mi (t) for each predetermined time interval T may be used as the feature amount. Alternatively, the value corresponding to the myoelectric potential (or cardiac potential) represented by the myoelectric potential signal (or cardiac potential signal) is converted into the frequency domain, or the set including such a value converted into the frequency domain as an element is characterized. It may be an amount.

《動作タイミングの画像と筋電位(又は心電位)との両方に由来する特徴量の例1》
画像に由来する特徴量と筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)との相対値や、H(x,y,T)とΔMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。具体的には、例えば、チャネルiの測定箇所の近傍の筋が関与する動作部位の単数または複数の座標のH(x,y,t)とΔMi(t)との相対値(例えば、H(x,y,t)/ΔMi(t))や、このようなH(x,y,T)とΔMi(T)との相対値(例えば、H(x,y,T)/ΔMi(T))や、このような相対値を要素とする集合を特徴量としてもよい。また、上述のように時間区間Tごとに時間平均して得られたH(x,y,T)とMi(T)との相対値や、H(x,y,T)とMi(T)との相対値や、このような相対値を要素とする集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。あるいは、画像に由来する特徴量と筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値を周波数領域に変換した値の時間変化量との相対値や、このような相対値を要素とする集合を特徴量としてもよい。
<< Example 1 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential (or Cardiac Potential) >>
A relative value between a feature amount derived from an image and a time change amount of a value corresponding to a myoelectric potential (or cardiac potential) represented by a myoelectric potential signal (or cardiac potential signal), or a set having such a relative value as an element It is good also as a feature-value. For example, the relative value between H (x, y, t) and ΔMi (t) described above, the relative value between H (x, y, T) and ΔMi (T), or such relative value as an element. It is good also considering the set to be a feature-value. Specifically, for example, the relative value (for example, H (x) of H (x, y, t) and ΔMi (t) of a single or plural coordinates of a motion part involving a muscle near the measurement part of channel i. x, y, t) / ΔMi (t)) and relative values of such H (x, y, T) and ΔMi (T) (for example, H (x, y, T) / ΔMi (T) ) Or a set having such relative values as elements may be used as the feature amount. Further, as described above, relative values of H (x, y, T) and Mi (T) obtained by time averaging for each time interval T, or H (x, y, T) and Mi (T). Or a set having such a relative value as an element may be used as the feature amount. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔMi (t), H (x, y, T), and ΔMi (T) with values in the frequency domain may be used. Alternatively, the relative value between the feature amount derived from the image and the time change amount of the value corresponding to the myoelectric potential (or cardiac potential) represented by the myoelectric potential signal (or cardiac potential signal) converted into the frequency domain, or A set having a relative value as an element may be used as the feature amount.

《動作タイミングの画像と筋電位又は心電位)との両方に由来する特徴量の例2》
画像に由来する特徴量と筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に対応する値との相対値や、このような相対値を要素とする集合を特徴量としてもよい。例えば、上述のH(x,y,t)とΔMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とを要素とする集合や、H(x,y,t)とΔMi(t)とMi(t)とを要素とする集合や、H(x,y,T)とΔMi(T)とMi(T)とを要素とする集合を特徴量としてもよい。さらにこのような集合に、動作タイミングの画像と筋電位(又は心電位)との両方に由来する特徴量の例1の特徴量を加えた集合を特徴量としてもよい。また、これらの例においてH(x,y,t)やΔMi(t)やH(x,y,T)やΔMi(T)を周波数領域の値に置換した特徴量であってもよい。
上述のように得られた動作タイミングの特徴量は特徴量記憶部113に格納される。
<< Example 2 of Feature Value Derived from Both Motion Timing Image and Myoelectric Potential or Cardiac Potential >>
A relative value between a feature value derived from an image and a value corresponding to the myoelectric potential (or electrocardiogram) represented by the myoelectric potential signal (or electrocardiogram signal) or a set having such a relative value as an element can be used as the feature value. Good. For example, the above-described set having H (x, y, t) and ΔMi (t) as elements, the set having H (x, y, T) and ΔMi (T) as elements, and H (x, y, t), ΔMi (t), and Mi (t) as elements and a set having H (x, y, T), ΔMi (T), and Mi (T) as elements Also good. Furthermore, a set obtained by adding the feature amount of the feature amount example 1 derived from both the action timing image and the myoelectric potential (or electrocardiogram) to such a set may be used as the feature amount. Further, in these examples, a feature amount obtained by replacing H (x, y, t), ΔMi (t), H (x, y, T), and ΔMi (T) with values in the frequency domain may be used.
The feature quantity of the operation timing obtained as described above is stored in the feature quantity storage unit 113.

<画像生成処理>
動作タイミング照合部114に、特定の動作主体の一連の動作(例えば、投球運動)をカメラで撮影して得られた時系列の画像、および当該動作主体の一連の筋活動(又は心活動)を測定して得られた時系列の筋電位(又は心電位)を表す筋電位信号(又は心電位信号)が入力される。これらの画像および筋電位信号(又は心電位信号)は、単数の動作主体が上述の一連の動作を複数回繰り返し行って得られたもの(単数の動作主体による複数回の動作過程で得られたもの)であってもよいし、複数の動作主体のそれぞれが順番に上述の一連の動作を単数回または複数回行って得られたもの(複数の動作主体による複数回の動作過程で得られたもの)であってもよい。複数の筋電位(又は心電位)は、動作主体の単数の測定箇所で得られたものであってもよいし、筋電位については複数の測定箇所で得られたものであってもよい。動作タイミング照合部114は、特徴量記憶部113から読み出した特徴量を用い、入力された画像および筋電位信号(又は心電位信号)から、動作主体の時系列の画像から特定の動作タイミングで得られた動作主体の複数の画像を抽出し、動作主体の時系列の筋電位(又は心電位)から特定の動作タイミングで得られた動作主体の複数の筋電位(又は心電位)を抽出する。動作タイミング照合部114は、抽出した複数の筋電位(又は心電位)のそれぞれに対応する筋活動度を得、複数の画像および筋活動度(又は心活動度)を照合結果記憶部115に格納する。以下、この処理の詳細を例示する。
<Image generation processing>
A time-series image obtained by photographing a series of motions (for example, pitching motion) of a specific motion subject with the camera and a series of muscle activities (or heart activity) of the motion subject are displayed in the motion timing verification unit 114. A myoelectric signal (or electrocardiogram signal) representing a time-series myoelectric potential (or electrocardiogram) obtained by measurement is input. These images and myoelectric potential signals (or electrocardiographic signals) were obtained by a single action subject repeatedly performing the above-described series of actions a plurality of times (obtained in a plurality of action processes by a single action subject). Or obtained by performing the above-described series of actions one or more times in sequence (obtained in a plurality of action processes by a plurality of action subjects). Thing). The plurality of myoelectric potentials (or cardiac potentials) may be obtained at a single measurement location of the operation subject, or the myoelectric potential may be obtained at a plurality of measurement locations. The operation timing collating unit 114 uses the feature amount read from the feature amount storage unit 113, and obtains from the input image and myoelectric potential signal (or cardiac potential signal) from the time-series image of the operation subject at a specific operation timing. A plurality of images of the action subject are extracted, and a plurality of action subject myoelectric potentials (or cardiac potentials) obtained at a specific action timing are extracted from the time series myoelectric potential (or cardiac potential) of the action subject. The operation timing collation unit 114 obtains muscle activity corresponding to each of the plurality of extracted myoelectric potentials (or cardiac potentials), and stores the plurality of images and muscle activity (or cardiac activity) in the collation result storage unit 115. To do. Hereinafter, details of this processing will be exemplified.

≪動作タイミング照合の詳細の例示≫
図8は、動作タイミング照合部114の構成の一例を示すブロック図である。
動作タイミング照合部114の特徴量抽出部1141に、動作タイミング照合の処理が未処理の時間区間[ts,te](ただし、ts<te)での時系列の画像および時系列の筋電位を表す筋電位信号(又は心電位信号)の少なくとも一方が入力される。時間区間[ts,te]は、1回の一連の動作(例えば、投球動作)が行われる時間区間、またはそれと仮定された時間区間である。時間区間[ts,te]の決定は、例えば、ユーザからの入力に基づいて行われてもよいし、予め定められた時間ごとに区分することによって行われてもよいし、入力された時系列の画像に付加された時間区間を表す情報に基づいて行われてもよい。特徴量抽出部1141は、時間区間[ts,te]に属する複数の時間または時間区間について、当該時間または時間区間での画像および/または筋電位信号(又は心電位信号)が表す筋電位(又は心電位)に由来する特徴量を算出して出力する。ただし、特徴量抽出部1141は、前述の特徴量算出部112と同じ方法で特徴量を算出する。特徴量は類似度算出部1142に送られる。
≪Example of operation timing verification details≫
FIG. 8 is a block diagram illustrating an example of the configuration of the operation timing verification unit 114.
The feature amount extraction unit 1141 of the operation timing verification unit 114 indicates a time-series image and a time-series myoelectric potential in a time interval [ts, te] (where ts <te) where the operation timing verification process is unprocessed. At least one of myoelectric potential signals (or cardiac potential signals) is input. The time interval [ts, te] is a time interval in which a series of operations (for example, a pitching operation) is performed, or a time interval assumed to be a time interval. The determination of the time interval [ts, te] may be performed based on, for example, an input from the user, may be performed by dividing every predetermined time, or may be input time series It may be performed based on information representing a time interval added to the image. For a plurality of times or time intervals belonging to the time interval [ts, te], the feature quantity extraction unit 1141 has a myoelectric potential (or an image and / or myoelectric potential signal (or cardiac potential signal) represented by the time or time interval. The feature quantity derived from the electrocardiogram is calculated and output. However, the feature amount extraction unit 1141 calculates the feature amount by the same method as the feature amount calculation unit 112 described above. The feature amount is sent to the similarity calculation unit 1142.

類似度算出部1142は、得られた各時間または各時間区間での特徴量と、特徴量記憶部113から読み出した動作タイミングの特徴量との類似度を、各時間または各時間区間について算出して出力する。特徴量記憶部113に複数の動作タイミングの特徴量が格納されている場合には、類似度算出部1142は、それぞれの動作タイミングの特徴量について類似度を算出して出力する。類似度は動作タイミング検出部1143に送られる。   The similarity calculation unit 1142 calculates, for each time or each time interval, the similarity between the obtained feature amount at each time or each time interval and the feature value of the operation timing read from the feature amount storage unit 113. Output. When the feature amount storage unit 113 stores a plurality of feature amounts at the operation timing, the similarity calculation unit 1142 calculates and outputs the similarity for each feature amount at the operation timing. The similarity is sent to the operation timing detection unit 1143.

動作タイミング検出部1143は、時間区間[ts,te]内において類似度がピークとなる時間または時間区間を検出する。動作タイミング検出部1143に複数の動作タイミングの類似度が送られる場合には、それぞれの動作タイミングの類似度についてピークとなる時間または時間区間を検出する。なお、ピークの類似度が所定の閾値を超えるという制限を課してもよい。動作タイミング検出部1143は、検出した時間または時間区間を、動作タイミングを表す時間または時間区間として出力する。検出された動作タイミングを表す時間または時間区間は、画像抽出部1144および筋活動度抽出部1145に送られる。   The operation timing detection unit 1143 detects a time or a time interval in which the similarity is a peak within the time interval [ts, te]. When the similarity of a plurality of operation timings is sent to the operation timing detection unit 1143, the time or time interval that is the peak for the similarity of each operation timing is detected. In addition, you may impose the restriction that the similarity of a peak exceeds a predetermined threshold value. The operation timing detection unit 1143 outputs the detected time or time interval as a time or time interval representing the operation timing. The time or time interval representing the detected motion timing is sent to the image extraction unit 1144 and the muscle activity extraction unit 1145.

画像抽出部1144には、時間区間[ts,te]での時系列の画像と動作タイミングを表す時間または時間区間とが入力される。画像抽出部1144は、動作タイミングを表す時間または時間区間での画像(特定の動作タイミングで得られた画像)を抽出し、照合結果記憶部115(図7)に格納する。   The image extraction unit 1144 receives a time-series image in the time interval [ts, te] and a time or time interval representing the operation timing. The image extraction unit 1144 extracts an image (an image obtained at a specific operation timing) in a time or time interval representing the operation timing, and stores it in the matching result storage unit 115 (FIG. 7).

筋活動度(又は心活動度)抽出部1145には、時間区間[ts,te]での時系列の筋電位(又は心電位)を表す筋電位信号(又は心電位信号)と動作タイミングを表す時間または時間区間とが入力される。筋活動度(又は心活動度)抽出部1145は、動作タイミングを表す時間または時間区間での筋電位信号を抽出し、抽出した筋電位信号(又は心電位信号)が表す筋電位又は心電位(特定の動作タイミングで得られた動作主体の筋電位又は心電位)に対応する値を筋活動度(又は心活動度)として算出し、照合結果記憶部115に格納する。「筋活動度(又は心活動度)」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。   The muscle activity level (or cardiac activity level) extracting unit 1145 represents a myoelectric signal (or cardiac potential signal) representing a time-series myoelectric potential (or cardiac potential) and an operation timing in the time interval [ts, te]. A time or time interval is entered. The muscle activity level (or cardiac activity level) extraction unit 1145 extracts a myoelectric potential signal at a time or time interval representing motion timing, and outputs a myoelectric potential or cardiac potential (or electrocardiographic potential) represented by the extracted myoelectric potential signal (or electrocardiographic signal). A value corresponding to an action subject's myoelectric potential or cardiac potential obtained at a specific action timing is calculated as a muscle activity level (or cardiac activity level) and stored in the verification result storage unit 115. Examples of “muscle activity (or cardiac activity)” are as described above. For example, an absolute amplitude value or a mean square amplitude value of myoelectric potential can be used as the muscle activity.

終了判定部1146は、動作タイミング照合部114に入力された時系列の画像および筋電位信号(又は心電位信号)に未処理の時間区間[ts,te]が存在するかを判定する。ここで、未処理の時間区間[ts,te]が存在する場合には動作タイミング照合の処理の最初に戻る。一方、未処理の時間区間[ts,te]が存在しない場合には動作タイミング照合の処理の処理を終了する。   The end determination unit 1146 determines whether an unprocessed time interval [ts, te] exists in the time-series image and myoelectric potential signal (or electrocardiographic signal) input to the operation timing verification unit 114. Here, if there is an unprocessed time interval [ts, te], the process returns to the beginning of the operation timing verification process. On the other hand, when there is no unprocessed time section [ts, te], the process of the operation timing verification process is terminated.

以上により、照合結果記憶部115には、特定の動作タイミングで得られた動作主体の画像と当該動作タイミングで得られた動作主体の筋電位に対応する筋活動度とが複数個格納される(≪動作タイミング照合の詳細の例示≫の終わり)。
動作タイミングでのすべての画像と筋活動度とが照合結果記憶部115に格納されると、次に合成画像の生成に移る。
As described above, the collation result storage unit 115 stores a plurality of motion subject images obtained at specific motion timings and muscle activity levels corresponding to motion subject myoelectric potentials obtained at the motion timings ( << End of Example of Details of Operation Timing Matching >>
When all the images and the muscle activity levels at the operation timing are stored in the collation result storage unit 115, the next step is to generate a composite image.

重畳画像作成部116(図7)は、照合結果記憶部115に格納された動作主体の複数の画像を読み出し、これらを重畳した重畳画像(特定の動作タイミングで得られた単数または複数の動作主体の複数の画像の重畳画像)を生成して出力する。重畳画像は合成部118に送られる。例えば、信号生成部141の出力が重畳する画像(又は映像)信号である場合には、信号生成部141の出力は画像(又は映像)信号として合成部118に入力されてもよい。例えば、信号生成部141の出力が画像等に重畳する文字データである場合には、信号生成部141の出力は重畳画像作成部116に入力されてもよい。   The superimposed image creation unit 116 (FIG. 7) reads out a plurality of images of the operation subject stored in the collation result storage unit 115 and superimposes these images (one or a plurality of operation subjects obtained at a specific operation timing). Are generated and output). The superimposed image is sent to the synthesis unit 118. For example, when the output of the signal generation unit 141 is an image (or video) signal to be superimposed, the output of the signal generation unit 141 may be input to the synthesis unit 118 as an image (or video) signal. For example, when the output of the signal generation unit 141 is character data to be superimposed on an image or the like, the output of the signal generation unit 141 may be input to the superimposed image creation unit 116.

筋活動度(又は心活動度)画像生成部117は、少なくとも、照合結果記憶部115に格納された複数の筋活動度(又は心活動度)を読み出し、これら複数の筋電位度(又は心電位度)に由来する筋活動度画像(又は心活動度画像)を生成して出力する。以下に筋活動度画像(又は心活動度画像)の具体例を示す。   The muscle activity level (or cardiac activity level) image generation unit 117 reads at least a plurality of muscle activity levels (or cardiac activity levels) stored in the verification result storage unit 115, and the plurality of myoelectric potential levels (or cardiac potentials). A muscle activity level image (or a heart activity level image) derived from (degree) is generated and output. Specific examples of muscle activity level images (or cardiac activity level images) are shown below.

≪筋活動度画像の例1≫
筋活動度画像(又は心活動度画像)は、例えば、複数の筋活動度(又は複数の心活動度)の関係から得られる値を表す画像を含む。このとき、複数の筋活動度(又は複数の心活動度)の関係から得られる値は、複数時刻において測定された複数の筋活動度(又は複数の心活動度)の関係から得られる値を含む。例えば、筋活動度画像(又は心活動度画像)は、(1−a)複数の筋活動度(又は心活動度)のばらつきを表す画像、(1−b)複数の筋活動度(又は心活動度)の相対値を表す画像、または(1−c)複数の筋活動度(又は心活動度)の相対値のばらつきを表す画像、の少なくとも何れかを含む。相対値やそのばらつきを表す画像の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
≪Example 1 of muscle activity level image≫
The muscle activity level image (or cardiac activity level image) includes, for example, an image representing a value obtained from a relationship between a plurality of muscle activity levels (or a plurality of cardiac activity levels). At this time, the value obtained from the relationship between the plurality of muscle activity levels (or the plurality of cardiac activity levels) is the value obtained from the relationship between the plurality of muscle activity levels (or the plurality of cardiac activity levels) measured at a plurality of times. Including. For example, the muscle activity level image (or cardiac activity level image) includes (1-a) an image representing variations in a plurality of muscle activity levels (or cardiac activity levels), and (1-b) a plurality of muscle activity levels (or heart rates). At least one of an image representing a relative value of (activity level) and (1-c) an image representing variation of relative values of a plurality of muscle activity levels (or cardiac activity levels). Examples of images representing relative values and their variations are the aforementioned contour plot, time series graph, and histogram.

(1−a)複数の筋活動度(又は心活動度)のばらつきを表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングでの筋活動度(又は心活動度)のばらつきを表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。他の例は、同一の動作主体の複数の測定箇所で得られた筋電位に対応する複数の筋活動度のばらつきを表す画像である。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度(又は心活動度)のばらつきを表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位(又は心電位)に対応する複数の筋活動度(又は心活動度)のばらつきを表す画像である。「ばらつき」の意味は前述の通りであり、例えば、分散や標準偏差等である。   (1-a) An image representing a variation in a plurality of muscle activity levels (or cardiac activity levels) is, for example, a muscle activity level at a specific motion timing (or a sequence of motions performed a plurality of times by the same motion subject (or It is an image showing the variation of (heart activity). Such an image may be obtained for each measurement point of myoelectric potential. Another example is an image representing variations in a plurality of muscle activity levels corresponding to myoelectric potentials obtained at a plurality of measurement locations of the same action subject. Another example is an image representing variation in muscle activity (or cardiac activity) at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing a variation in a plurality of muscle activity levels (or cardiac activity levels) corresponding to myoelectric potentials (or cardiac potentials) obtained at measurement points of a plurality of motion subjects. The meaning of “variation” is as described above, and is, for example, variance or standard deviation.

(1−b)複数の筋活動度(又は心活動度)の相対値を表す画像は、例えば、同一の動作主体によって複数回行われた一連の動作における特定の動作タイミングの筋活動度(又は心活動度)の相対値を表す画像である。具体的には、例えば1回目の動作での筋活動度(又は心活動度)と2回目以降に行われた動作での筋活動度(又は心活動度)との相対値を表す画像である。このような画像は、筋電位の測定箇所ごとに得られてもよい。なお、相対値の例は前述の通りであり、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。他の例は、同一の動作主体の測定箇所で得られた筋電位に対応する複数の筋活動度の相対値を表す画像である。具体的には、例えば、主動筋の筋電位に対応する筋活動度と、拮抗筋の筋電位に対応する筋活動度と、の間の相対値を表す画像である。この画像によって「力み」を表すことができる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す画像では、「力み」を明確に表すことができる。他の例は、複数の動作主体によって行われた一連の動作における特定の動作タイミングでの筋活動度(又は心活動度)の相対値を表す画像である。他の例は、複数の動作主体の測定箇所で得られた筋電位(又は心電位)に対応する複数の筋活動度(又は心活動度)の相対値を表す画像である。   (1-b) An image representing a relative value of a plurality of muscle activity levels (or cardiac activity levels) is, for example, a muscle activity level (or a specific activity timing) in a series of motions performed a plurality of times by the same motion subject (or It is an image showing the relative value of (heart activity). Specifically, for example, an image representing a relative value between a muscle activity level (or cardiac activity level) in a first motion and a muscle activity level (or cardiac activity level) in a motion performed after the second time. . Such an image may be obtained for each measurement point of myoelectric potential. Examples of relative values are as described above, and are “difference” with positive / negative distinction, “difference” without positive / negative distinction, “square error”, or “ratio”, or any of these function values. is there. Another example is an image representing a relative value of a plurality of muscle activity levels corresponding to a myoelectric potential obtained at a measurement location of the same action subject. Specifically, for example, the image represents a relative value between the muscle activity level corresponding to the myoelectric potential of the main muscle and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This image can represent “force”. In particular, in the image representing the value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle, the “force” can be clearly expressed. Another example is an image representing a relative value of muscle activity (or cardiac activity) at a specific motion timing in a series of motions performed by a plurality of motion subjects. Another example is an image representing a relative value of a plurality of muscle activity levels (or cardiac activity levels) corresponding to myoelectric potentials (or cardiac potentials) obtained at measurement points of a plurality of motion subjects.

(1−c)複数の筋活動度(又は心活動度)の相対値のばらつきを表す画像の例は、上述の(1−b)複数の筋活動度(又は心活動度)の相対値の具体例のばらつきを表す画像である。具体例としては、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつきを表す画像である。より具体的には、例えば、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値のばらつきを表す画像である。これらの具体例では「力み」のばらつきを表現できる。   (1-c) An example of an image representing a variation in relative values of a plurality of muscle activity levels (or cardiac activity levels) is the above-described (1-b) relative value of a plurality of muscle activity levels (or cardiac activity levels). It is an image showing the variation of a specific example. As a specific example, it is an image representing a variation in relative value between the muscle activity corresponding to the myoelectric potential of the main muscle and the muscle activity corresponding to the myoelectric potential of the antagonist muscle. More specifically, for example, the image represents a variation in a value obtained by dividing the muscle activity corresponding to the myoelectric potential of the antagonist muscle by the muscle activity corresponding to the myoelectric potential of the main muscle. In these specific examples, variation in “force” can be expressed.

≪筋活動度画像の例2≫
筋活動度(又は心活動度)画像生成部117が、さらに照合結果記憶部115に格納された動作主体の複数の画像(特定の動作タイミングで得られた複数の画像)を読み出し、これら複数の画像のそれぞれと、特定の動作タイミングで得られた複数の筋電位(又は心電位)のそれぞれと、の両方に由来する統合特徴量を得、複数の統合特徴量に由来する筋活動度画像(又は心活動度画像)を生成してもよい。統合特徴量の例は、前述の特徴量算出部112が算出する特徴量として例示した「画像と筋電位(又は心電位)との両方に由来する特徴量」である。例えば、統合特徴量は、筋電位(又は心電位)の測定箇所の近傍の筋が関与する動作部位の画像に対応する値と、当該測定箇所で得られた筋電位(又は心電位)に対応する筋活動度(又は心活動度)と、に由来する特徴量である。特徴量算出部112が生成する特徴量と筋活動度(又は心活動度)画像生成部117が生成する特徴量とは、互いに同一であってもよいし、異なっていてもよい。複数の統合特徴量に由来する筋活動度画像(又は心活動度画像)の例は、複数の統合特徴量のばらつきを表す画像、複数の統合特徴量の相対値を表す画像、複数の統合特徴量の相対値のばらつきを表す画像である。このような筋活動度画像(又は心活動度画像)の例は、前述の等高線プロットや時系列グラフやヒストグラムである。
≪Example 2 of muscle activity image≫
The muscle activity (or cardiac activity) image generation unit 117 further reads out a plurality of images of the subject of action (a plurality of images obtained at a specific operation timing) stored in the matching result storage unit 115, An integrated feature amount derived from both each of the images and each of a plurality of myoelectric potentials (or cardiac potentials) obtained at a specific operation timing is obtained, and a muscle activity image derived from the plurality of integrated feature amounts ( Alternatively, a heart activity level image) may be generated. An example of the integrated feature amount is “a feature amount derived from both an image and a myoelectric potential (or cardiac potential)” exemplified as the feature amount calculated by the feature amount calculating unit 112 described above. For example, the integrated feature value corresponds to a value corresponding to an image of an action site involving a muscle in the vicinity of a measurement location of myoelectric potential (or cardiac potential) and a myoelectric potential (or cardiac potential) obtained at the measurement location. This is a feature amount derived from the muscle activity level (or the heart activity level). The feature amount generated by the feature amount calculation unit 112 and the feature amount generated by the muscle activity (or heart activity) image generation unit 117 may be the same as or different from each other. Examples of muscle activity level images (or cardiac activity level images) derived from a plurality of integrated feature values include an image representing a variation in a plurality of integrated feature values, an image representing a relative value of a plurality of integrated feature values, and a plurality of integrated features. It is an image showing the dispersion | variation in the relative value of quantity. Examples of such muscle activity level images (or cardiac activity level images) are the aforementioned contour plot, time series graph, and histogram.

≪筋活動度画像の例3≫
その他、上述の筋活動度画像(又は心活動度画像)の例1の何れかの画像と筋活動度画像(又は心活動度画像)の例2の何れかの画像とが生成されてもよい。
合成部118は、入力された重畳画像および筋活動度画像(又は心活動度画像)を合成して合成画像を生成して出力する。重畳画像と筋活動度画像(又は心活動度画像)とが重畳した合成画像であってもよいし、これらが重畳していない合成画像であってもよい。重畳画像と筋活動度画像(又は心活動度画像)とを重畳する場合、筋活動度画像(又は心活動度画像)に対応する筋の位置またはその近傍に当該筋活動度画像(又は心活動度画像)を配置することが望ましい。これにより、動作と筋活動との空間的な位置関係の把握が容易になる。画像提示装置12はこの合成画像を表示する。これにより特定の動作タイミングでの動作主体の画像と筋活動(又は心活動)とを同時に表示できる。
≪Example 3 of muscle activity level image≫
In addition, any one of the images in Example 1 of the above-described muscle activity image (or cardiac activity image) and any of the images in Example 2 of the muscle activity image (or cardiac activity image) may be generated. .
The synthesizer 118 synthesizes the input superimposed image and muscle activity level image (or cardiac activity level image) to generate and output a synthesized image. It may be a composite image in which the superimposed image and the muscle activity level image (or cardiac activity level image) are superimposed, or may be a composite image in which these are not superimposed. When superimposing the superimposed image and the muscle activity level image (or cardiac activity level image), the muscle activity level image (or cardiac activity) at or near the position of the muscle corresponding to the muscle activity level image (or cardiac activity level image). It is desirable to place an image). Thereby, it becomes easy to grasp the spatial positional relationship between the motion and the muscle activity. The image presentation device 12 displays this composite image. As a result, an image of an action subject at a specific action timing and muscle activity (or cardiac activity) can be displayed simultaneously.

図9は、合成音/画像生成部の構成の他の例を示すブロック図である。
まず概要を説明する。この実施形態では、筋電位データ、例えば複数の筋電位等の生体情報に由来する(言い換えると、複数の筋電位から導き出される)複数の値の関係から得られる情報、を表す音響信号を出力する。「複数の値の関係から得られる情報」は、例えば、複数の値の関係についての統計値または相対値である。このように、「複数の筋電位に由来する複数の値の関係から得られる情報」を直接表す音響信号を用いることで、複数の筋活動間の関係に基づく情報を明確に提示できる。
FIG. 9 is a block diagram illustrating another example of the configuration of the synthesized sound / image generation unit.
First, an outline will be described. In this embodiment, an acoustic signal representing myoelectric potential data, for example, information derived from biological information such as a plurality of myoelectric potentials (in other words, derived from a plurality of myoelectric potentials) is output. . “Information obtained from a relationship between a plurality of values” is, for example, a statistical value or a relative value regarding the relationship between a plurality of values. Thus, by using the acoustic signal that directly represents “information obtained from the relationship between a plurality of values derived from a plurality of myoelectric potentials”, information based on the relationship between a plurality of muscle activities can be clearly presented.

「複数の筋電位」は、単数または複数の動作主体による複数回の動作過程で得られたものであってもよいし、単数または複数の動作主体の複数の測定箇所で得られたものであってもよいし、それらの両方で得られたものであってもよいし、複数の動作主体の1回の動作過程で得られたものであってもよい。例えば、「複数の筋電位」はそれぞれ時系列信号である。「動作主体」は人であってもよいし、人以外の動物であってもよい。単数の「動作主体」の例は、動作の訓練等を受ける一人の動作主体である。複数の「動作主体」の例は、手本となる動作主体とその動作に習って動作を行う動作主体とからなる二人の動作主体、手本となる動作主体とその動作に習って動作を行う複数の動作主体からなる複数の動作主体、または手本となる動作主体以外の複数の動作主体などである。   The “plural myoelectric potentials” may be obtained by a plurality of motion processes by one or a plurality of motion subjects, or may be obtained at a plurality of measurement points of a single or a plurality of motion subjects. It may be obtained by both of them, or may be obtained by a single operation process of a plurality of operation subjects. For example, each of “plural myoelectric potentials” is a time series signal. The “moving subject” may be a person or an animal other than a person. An example of a single “acting subject” is a single actuating subject who is trained in motion. Examples of multiple “acting subjects” include two acting subjects consisting of an acting subject acting as an example and an acting subject performing an action according to the action, an acting subject acting as an example, and an action according to the action. For example, a plurality of action subjects composed of a plurality of action subjects to be performed, or a plurality of action subjects other than the action subject serving as a model.

「複数の筋電位に由来する複数の値」は、時間領域の値であってもよいし、周波数領域の値であってもよい。「複数の筋電位に由来する複数の値の関係から得られる情報」は、例えば、当該複数の値のばらつき、当該複数の値の相対値、当該複数の値の相対値のばらつき、複数の筋電位から得られる複数の筋の活動開始時点の関係(例えば順序関係)などである。   “A plurality of values derived from a plurality of myoelectric potentials” may be time-domain values or frequency-domain values. “Information obtained from a relationship between a plurality of values derived from a plurality of myoelectric potentials” includes, for example, variations in the plurality of values, relative values of the plurality of values, variations in relative values of the plurality of values, and a plurality of muscles. This is the relationship (for example, order relationship) between the start times of the activities of a plurality of muscles obtained from the potential.

「音響信号」は、例えば時系列信号であり、複数の筋活動度の関係、複数の筋活動度のばらつき、複数の筋活動度の相対値、または複数の筋活動度の相対値のばらつき、の少なくとも何れかを表す。ただし、複数の筋活動度のそれぞれは複数の筋電位のそれぞれに対応する。「筋活動度」は、筋電位またはその関数値である。筋電位の関数値の例は、筋電位の大きさを表す関数値であり、例えば、筋電位の絶対振幅値の広義単調増加関数値(例えば、単調増加関数値)である。例えば、筋電位の絶対振幅値や所定の時間区間での平均二乗振幅値を「筋活動度」とすることができる。筋電位の関数値として、平滑化や直流成分除去を行った筋電位の大きさを表す値を用いてもよい。   The “acoustic signal” is, for example, a time series signal, a relationship between a plurality of muscle activity levels, a plurality of muscle activity level variations, a plurality of muscle activity level relative values, or a plurality of muscle activity level relative value variations, Represents at least one of the following. However, each of the plurality of muscle activity levels corresponds to each of the plurality of myoelectric potentials. “Muscle activity” is a myoelectric potential or a function value thereof. An example of the function value of the myoelectric potential is a function value representing the magnitude of the myoelectric potential, for example, a broad monotonically increasing function value (for example, monotonically increasing function value) of the absolute amplitude value of the myoelectric potential. For example, the absolute amplitude value of the myoelectric potential or the mean square amplitude value in a predetermined time interval can be set as the “muscle activity level”. As the function value of the myoelectric potential, a value representing the magnitude of the myoelectric potential that has been smoothed or removed from the DC component may be used.

複数の筋活動度の「ばらつき」は、単数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度のばらつきであってもよい。「ばらつき」の例は、分散や標準偏差などの「統計的ばらつき」である。   The “variation” of a plurality of muscle activity levels may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of a single motion subject, or a plurality of a single motion subject. It may be a variation in a plurality of muscle activities derived from a plurality of myoelectric potentials obtained at a plurality of muscle potentials, or a plurality of muscles derived from a plurality of myoelectric potentials obtained at the same measurement site of a plurality of motion subjects It may be a variation in activity level, or may be a variation in a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement locations of a plurality of motion subjects. An example of “variation” is “statistical variation” such as variance and standard deviation.

複数の筋活動度の相対値は、単数の動作主体の同じ測定箇所で得られた複数の筋電位(複数回の動作を繰り返した過程で得られた筋電位)に由来する複数の筋活動度の間の相対値であってもよいし、単数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の同じ測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよいし、複数の動作主体の複数の測定箇所で得られた複数の筋電位に由来する複数の筋活動度の間の相対値であってもよい。「相対値」の例は、正負の区別がある「差」、正負の区別がない「差分」、「二乗誤差」、もしくは「比率」、またはこれらの何れかの関数値である。   The relative value of multiple muscle activities is the multiple muscle activities derived from multiple myoelectric potentials (myoelectric potentials obtained in the process of repeating multiple actions) obtained at the same measurement location of a single motion subject. May be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at a plurality of measurement points of a single action subject, or a plurality of It may be a relative value between a plurality of muscle activity levels derived from a plurality of myoelectric potentials obtained at the same measurement location of the motion subject, or a plurality of values obtained at a plurality of measurement locations of a plurality of motion subjects. It may be a relative value between a plurality of muscle activity levels derived from myoelectric potential. Examples of the “relative value” are “difference” with positive / negative distinction, “difference” with no positive / negative distinction, “square error”, or “ratio”, or a function value of any of these.

「ばらつきを表す音響信号」は、ばらつきの大きさを表した音響信号である。「ばらつきを表す音響信号」の例は、(F−1)ばらつきの大きさを音響特徴(例えば、基本周波数、音色、音の大きさなど)にマッピングして得られる音響信号である。「ばらつきを表す音響信号」の他の例は、(F−2)ばらつきの大きさに応じて音量比が異なるマルチチャネルの音響信号(例えば、ステレオ再生される左右の音響信号)である。「相対値を表す音響信号」は、相対値またはその大きさを表した音響信号である。「相対値を表す音響信号」の例は、上記の(F−1)や(F−2)の例の「ばらつきの大きさ」を「相対値」または「相対値の大きさ」に置換した音響信号等である。   The “acoustic signal representing variation” is an acoustic signal representing the magnitude of variation. An example of “acoustic signal representing variation” is (F-1) an acoustic signal obtained by mapping the magnitude of variation to acoustic features (eg, fundamental frequency, tone color, loudness, etc.). Another example of the “acoustic signal representing variation” is (F-2) a multi-channel acoustic signal (for example, left and right acoustic signals to be reproduced in stereo) having a volume ratio that varies depending on the magnitude of variation. The “acoustic signal representing a relative value” is an acoustic signal representing a relative value or its magnitude. In the example of “acoustic signal representing relative value”, “variation magnitude” in the above examples (F-1) and (F-2) is replaced with “relative value” or “relative value magnitude”. An acoustic signal or the like.

「複数の筋電位」が、主動筋の筋電位、および主動筋に対応する拮抗筋の筋電位を含み、「音響信号」が、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との関係、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値、または、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値のばらつき、の少なくとも何れかを表してもよい。この「音響信号」によって動作主体の「力み」を表現できる。特に、この「相対値」を「拮抗筋の筋電位に対応する筋活動度」を「主動筋の筋電位に対応する筋活動度」で除した値(割った値)とした場合、拮抗筋の活動水準(主動筋活動に対する拮抗筋活動の割合)が定量でき、より明確に「力み」を表現できる。なお、「主動筋に対応する拮抗筋」とは、主動筋が収縮する動作において弛緩する筋を意味する。例えば、手首を曲げの動作では、手首屈筋が主動筋として収縮し、伸筋が拮抗筋として弛緩する。逆に手首をのばす動作では、伸筋が主動筋として収縮し、手首屈筋が抗筋として弛緩する。手首を曲げようとするとき、主動筋である手首屈筋は活動し、拮抗筋である伸筋の活動は抑制されることが望ましい。しかし、拮抗筋が過剰に活動すると、いわゆる「力み」状態となり、運動を阻害する。動作に伴う主動筋活動と拮抗筋活動との相対値を用いると、この力み度合をフィードバックできる。   The “multiple myoelectric potentials” include the myoelectric potentials of the main muscles and the myoelectric potentials of the antagonistic muscles corresponding to the main muscles. Corresponds to the relationship between the muscle activity corresponding to the potential, the relative value between the muscle activity corresponding to the main muscle potential and the muscle activity corresponding to the antagonist muscle potential, or the main muscle potential It is also possible to represent at least one of a relative value variation between the muscle activity level to be measured and the muscle activity level corresponding to the myoelectric potential of the antagonist muscle. This “acoustic signal” can represent the “force” of the operation subject. In particular, when this "relative value" is a value obtained by dividing "muscle activity corresponding to myoelectric potential of antagonistic muscle" by "muscle activity corresponding to myoelectric potential of main muscle" (divided value), Activity level (ratio of antagonistic muscle activity to main muscle activity) can be quantified, and "force" can be expressed more clearly. The “antagonist muscle corresponding to the main muscle” means a muscle that relaxes in an operation in which the main muscle contracts. For example, in the operation of bending the wrist, the wrist flexor muscles contract as the main muscles and the extensor muscles relax as the antagonistic muscles. Conversely, in the action of stretching the wrist, the extensor is contracted as the main muscle and the wrist flexor is relaxed as the antimuscle. When bending the wrist, it is desirable that the wrist flexor muscle that is the main muscle is active and the activity of the extensor that is the antagonist muscle is suppressed. However, if the antagonistic muscle is excessively active, it becomes a so-called “force” state and inhibits exercise. By using the relative value of the main muscle activity and antagonistic muscle activity that accompanies the movement, this degree of force can be fed back.

「音響信号」が、複数の筋電位から得られる複数の筋(例えば、ある動作主体の動作または一連の動作に関与する複数の筋)の活動開始時点の関係を表してもよい。活動開始時点とは、筋が筋活動を開始する時点を意味する。この「音響信号」によって、筋活動の開始タイミングに関する情報(例えば、筋活動の開始タイミングのばらつきや相対値や適切さ)を表現できる。例えば、「音響信号」が複数の筋の「活動開始時点」のばらつきを表してもよいし、相対値を表してもよいし、相対値のばらつきを表してもよいし、複数の筋の活動開始時点の順序関係を表してもよい。「活動開始時点」の相対値は、複数の筋の「活動開始時点」の何れかに対する他の「活動開始時点」の相対値であってもよいし、所定の基準時点に対する複数の筋の「活動開始時点」の相対値であってもよい。複数の筋の活動開始時点の順序関係を表す音響信号の例は、(F−3)互いに音響特徴が異なる複数のサブ時系列信号を合成した音響信号である。ただし、複数のサブ時系列信号のぞれぞれは、複数の筋のそれぞれに対応し、合成された複数のサブ時系列信号の開始点の順序関係は、複数の筋の活動開始時の順序関係に対応する。サブ時系列信号の例は、任意の波形の信号であり、例えば、正弦波を表す信号である。その他、(F−4)複数の筋の活動開始時点の順序関係が適切である場合と不適切である場合とで音響特徴が異なる音響信号や、(F−5)複数の筋の活動開始時点の順序関係が適切な順序関係に近いほど特定の音響特徴に近づく音響信号などでもよい。なお、複数の筋の活動開始時点の順序関係が適切であるか否かは動作に応じて異なる。例えば、投球運動のボールリリースの動作では、肩を動かす筋、ひじを動かす筋、手首を動かす筋、指を動かす筋の順序で筋活動が開始時される順序関係が適切である。このような適切な順序関係は動作に応じて予め設定しておけばよい。また、動作または一連の動作に関与しない複数の筋(拮抗筋)の筋活動開始時に対応したサブ時系列信号を加えてもよい。以上により、例えば、所定の動作に関与する複数の筋が適切な順序で活動を開始したか、あるいは所定の動作に不要な複数の筋が活動していなかったかを可聴化できる。   The “acoustic signal” may represent a relationship at the start of activity of a plurality of muscles obtained from a plurality of myoelectric potentials (for example, a plurality of muscles involved in a motion of a certain subject or a series of motions). The activity start time means the time when the muscle starts the muscle activity. By this “acoustic signal”, information on the start timing of muscle activity (for example, variation in the start timing of muscle activity, relative value, and appropriateness) can be expressed. For example, the “acoustic signal” may represent a variation in “activity start time” of a plurality of muscles, may represent a relative value, may represent a variation in a relative value, or may represent a plurality of muscle activities. The order relationship at the start time may be expressed. The relative value of the “activity start time” may be a relative value of another “activity start time” with respect to any of the “activity start time” of the plurality of muscles, It may be a relative value of “activity start time”. An example of the acoustic signal representing the order relationship at the time of starting the activity of the plurality of muscles is (F-3) an acoustic signal obtained by synthesizing a plurality of sub time-series signals having different acoustic characteristics. However, each of the plurality of sub time series signals corresponds to each of the plurality of lines, and the order relationship of the start points of the plurality of synthesized sub time series signals is the order at the start of the activities of the plurality of lines. Corresponds to the relationship. An example of the sub time series signal is a signal having an arbitrary waveform, for example, a signal representing a sine wave. In addition, (F-4) an acoustic signal having different acoustic characteristics depending on whether the order relationship of the activity start points of the plurality of muscles is appropriate or inappropriate, or (F-5) the activity start time of the plurality of muscles. An acoustic signal closer to a specific acoustic feature may be used as the order relationship becomes closer to an appropriate order relationship. It should be noted that whether or not the order relationship at the start of activity of a plurality of muscles is appropriate depends on the operation. For example, in the ball release operation of the pitching exercise, an order relationship in which muscle activity is started in the order of a muscle that moves the shoulder, a muscle that moves the elbow, a muscle that moves the wrist, and a muscle that moves the finger is appropriate. Such an appropriate order relationship may be set in advance according to the operation. Moreover, you may add the sub time series signal corresponding to the time of the muscular activity start of several muscles (antagonist muscle) which are not concerned with operation | movement or a series of operation | movement. As described above, for example, it is possible to make audible whether a plurality of muscles involved in a predetermined action have started activities in an appropriate order or whether a plurality of muscles unnecessary for the predetermined action have not been activated.

以下、図面を参照しつつ、各実施形態を詳細に説明する。
[第2実施形態]
第2実施形態では、所望の動作に関与する主動筋と拮抗筋の組み合わせについて、主動筋活動と拮抗筋活動との関係を可聴化し、その動作の力み度合をフィードバックする。
Hereinafter, each embodiment will be described in detail with reference to the drawings.
[Second Embodiment]
In the second embodiment, the relationship between the main muscle activity and the antagonist muscle activity is made audible for the combination of the main muscle and the antagonist muscle involved in the desired motion, and the strength of the motion is fed back.

<構成>
図9に例示するように、合成音/画像生成部142は、例えば、筋活動可聴化装置21を有し、出力装置200は音響信号提示装置22を有する。なお、可聴化装置21の一部は、信号生成部141に含まれていてもよい。本形態の筋活動可聴化装置21は、筋活動度抽出部211と関係由来情報抽出部212と音響信号合成部213とを有する。
<Configuration>
As illustrated in FIG. 9, the synthesized sound / image generation unit 142 includes, for example, a muscle activity audible device 21, and the output device 200 includes an acoustic signal presentation device 22. Note that a part of the audible device 21 may be included in the signal generation unit 141. The muscle activity audible device 21 of this embodiment includes a muscle activity level extraction unit 211, a relationship-derived information extraction unit 212, and an acoustic signal synthesis unit 213.

図10は、可聴化装置21の構成の一例を示すブロック図である。
図10に例示するように、筋活動度抽出部211は、筋活動度算出部2111−nおよび2112−n(ただし、n=1,・・・,Nであり、Nは1以上の整数)を有する。関係由来情報抽出部212は、筋活動度変調部2121−n(ただし、n=1,・・・,N)を有する。音響信号合成部213は、音響信号生成部2131−n(ただし、n=1,・・・,N)と合成部2132とを有する。なお、N=1の場合には、音響信号合成部213が合成部2132を含まなくてもよい。本形態の可聴化装置21は、例えば、プロセッサ(例えば、1個以上のCPU(central processing unit)を含むハードウェア)やメモリ(例えば、RAM(random-access memory)やROM(read-only memory))を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このプログラムはコンピュータにインストールされてもよいし、予めコンピュータに記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。音響信号提示装置22は、音響信号を音として出力する単数または複数のスピーカや、ヘッドフォン等である。
FIG. 10 is a block diagram showing an example of the configuration of the audible device 21.
As illustrated in FIG. 10, the muscle activity level extraction unit 211 includes muscle activity level calculation units 2111-n and 2112-n (where n = 1,..., N, where N is an integer equal to or greater than 1). Have The relationship-derived information extraction unit 212 includes a muscle activity modulation unit 2121-n (where n = 1,..., N). The acoustic signal synthesis unit 213 includes an acoustic signal generation unit 2131-n (where n = 1,..., N) and a synthesis unit 2132. Note that when N = 1, the acoustic signal synthesis unit 213 may not include the synthesis unit 2132. The audible device 21 of the present embodiment includes, for example, a processor (for example, hardware including one or more central processing units (CPUs)) and a memory (for example, random-access memory (RAM) and read-only memory (ROM)). A general-purpose or dedicated computer provided with a) executes a predetermined program. This program may be installed in the computer, or may be recorded in the computer in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . The acoustic signal presentation device 22 is one or a plurality of speakers or headphones that output an acoustic signal as sound.

<処理>
以下、本形態の活動可聴化装置21の処理を説明する。
≪筋活動度抽出部211の処理≫
筋活動度算出部2111−nには主動筋の筋電位を表す筋電位信号(以下「主動筋電位信号」という)が入力され、筋活動度算出部2112−nには当該主動筋に対応する拮抗筋の筋電位を表す筋電位信号(以下「拮抗筋電位信号」という)が入力される。筋活動度算出部2111−nと筋活動度算出部2112−nとの組には、ある動作に関与する主動筋と拮抗筋とからなる組(以下「筋の組」という)に対応する、主動筋電位信号と拮抗筋電位信号とからなる組が入力される。これらの筋電位信号は、例えば、単数または複数の動作主体の合計N組の測定箇所(例えば、主動筋とそれに対応する拮抗筋の近傍の皮膚表面)に電極を取り付け、それぞれの筋から発生する活動電位を計測することで得られる時系列信号である。主動筋電位信号は主動筋の近傍の測定箇所の電極の電位に基づいて得られ、拮抗筋電子信号は拮抗筋の近傍の測定箇所の電極の電位に基づいて得られる。
<Processing>
Hereinafter, the process of the activity auralization apparatus 21 of this form is demonstrated.
≪Process of muscle activity extraction unit 211≫
A myoelectric potential signal representing the myoelectric potential of the main muscle (hereinafter referred to as “main myoelectric potential signal”) is input to the muscle activity calculating unit 2111-n, and the muscle activity calculating unit 2112-n corresponds to the main muscle. A myoelectric potential signal indicating the myoelectric potential of the antagonistic muscle (hereinafter referred to as “antagonistic myoelectric potential signal”) is input. The set of the muscle activity level calculation unit 2111-n and the muscle activity level calculation unit 2112-n corresponds to a set of main muscles and antagonist muscles involved in a certain motion (hereinafter referred to as “muscle set”). A set of a main muscle potential signal and an antagonistic muscle potential signal is input. These myoelectric potential signals are generated from each muscle, for example, by attaching electrodes to a total of N sets of measurement points (for example, the surface of the main muscle and the corresponding antagonist muscle in the vicinity of the main muscle). It is a time series signal obtained by measuring an action potential. The main muscle potential signal is obtained based on the potential of the electrode at the measurement site near the main muscle, and the antagonistic electron signal is obtained based on the potential of the electrode at the measurement site near the antagonistic muscle.

筋活動度算出部2111−nは、入力された主動筋電位信号が表す筋電位に対応する筋活動度(以下「主動筋活動度」)を得て出力し、筋活動度算出部2112−nは、入力された拮抗筋電位信号が表す筋電位に対応する筋活動度(以下「拮抗筋活動度」)を得て出力する。「筋活動度」の例は前述の通りであり、例えば、筋電位の絶対振幅値や平均二乗振幅値を筋活動度とすることができる。入力された主動筋電位信号および拮抗筋電位信号が時系列信号である場合、主動筋活動度および拮抗筋活動度も時系列となる。   The muscle activity level calculation unit 2111-n obtains and outputs a muscle activity level corresponding to the myoelectric potential represented by the input main muscle potential signal (hereinafter, “main muscle activity level”), and outputs the muscle activity level calculation unit 2112-n. Obtains and outputs a muscle activity level (hereinafter referred to as “antagonistic muscle activity level”) corresponding to the myoelectric potential represented by the input antagonistic myoelectric potential signal. Examples of the “muscle activity level” are as described above. For example, the absolute amplitude value or the mean square amplitude value of the myoelectric potential can be used as the muscle activity level. When the input main muscle potential signal and antagonist muscle potential signal are time series signals, the main muscle activity level and antagonist muscle activity level are also time series.

≪関係由来情報抽出部212の処理≫
筋活動度変調部2121−nに、筋活動度算出部2111−nから出力された主動筋活動度と筋活動度算出部2112−nから出力された拮抗筋活動度が入力される。筋活動度変調部2121−nは、入力された主動筋活動度と拮抗筋活動度との間の相対値(すなわち、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値)を「力み指標」として得る。「相対値」の例は前述の通りである。筋活動度変調部2121−nは、例えば、拮抗筋活動度を主動筋活動度で除した値を「力み指標」として得る。主動筋活動度および拮抗筋活動度が時系列である場合、筋活動度変調部2121−nは、例えば各時間で「力み指標」を求め、「力み指標」の時系列を得て出力する。
<< Processing of Relationship Origin Information Extraction Unit 212 >>
The active muscle activity level output from the muscle activity level calculation unit 2111-n and the antagonistic muscle activity level output from the muscle activity level calculation unit 2112-n are input to the muscle activity level modulation unit 2121-n. The muscle activity modulation unit 2121-n corresponds to the relative value between the input main muscle activity and the antagonist muscle activity (that is, the muscle activity corresponding to the main muscle myoelectric potential and the myoelectric potential of the antagonist muscle). Relative value between muscle activity levels) is obtained as a “force index”. Examples of “relative value” are as described above. The muscle activity level modulation unit 2121-n obtains, for example, a value obtained by dividing the antagonist muscle activity level by the main muscle activity level as a “force index”. When the main muscle activity level and the antagonistic muscle activity level are in time series, the muscle activity modulation unit 2121-n obtains, for example, a “strength index” at each time, and obtains and outputs the “strength index” time series. To do.

≪音響信号合成部213の処理≫
筋活動度変調部2121−nから出力された「力み指標」は音響信号生成部2131−nに入力される。音響信号生成部2131−nは、入力された「力み指標」を表す音響信号を得て出力する。「力み指標」を表す音響信号は、「力み指標」またはその大きさを表した音響信号である。このような音響信号の例は、前述の(F−1)や(F−2)の例の「ばらつきの大きさ」を「力み指標」または「力み指標の大きさ」に置換した音響信号である。また「力み指標」が時系列である場合には音響信号も時系列となる。ただし、筋の組の違いが認識されるように、筋の組ごとに音響特徴(基本周波数、音色など)を変えることが望ましい。言い換えると、音響信号生成部2131−1〜2131−Nから出力される音響信号の音響特徴が互いに異なることが望ましい。例えば、「力み指標」またはその大きさを第1音響特徴にマッピングし、筋の組の違いを第2音響特徴(ただし、第2音響特徴は第1音響特徴と異なる)で表した音響信号であってもよい。或いは、「力み指標」またはその大きさの違いを音響特徴の違いで表し、筋の組の違いを音響信号のチャネルの違い(すなわち、音響信号を出力するスピーカの違い)で表してもよい。
<< Processing of Acoustic Signal Synthesizer 213 >>
The “force index” output from the muscle activity modulation unit 2121-n is input to the acoustic signal generation unit 2131-n. The acoustic signal generation unit 2131-n obtains and outputs an acoustic signal representing the input “force index”. The acoustic signal representing the “force index” is an acoustic signal representing the “force index” or its magnitude. An example of such an acoustic signal is an acoustic signal obtained by replacing the “variation magnitude” in the above examples (F-1) and (F-2) with a “force index” or “a magnitude index”. Signal. When the “force index” is time series, the acoustic signal is also time series. However, it is desirable to change the acoustic characteristics (basic frequency, timbre, etc.) for each set of muscles so that the difference between the muscle sets can be recognized. In other words, it is desirable that the acoustic features of the acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N are different from each other. For example, an acoustic signal in which a “force index” or its size is mapped to a first acoustic feature, and a difference between muscle pairs is represented by a second acoustic feature (however, the second acoustic feature is different from the first acoustic feature). It may be. Alternatively, a “force index” or a difference in size thereof may be expressed by a difference in acoustic characteristics, and a difference in muscle pairs may be expressed by a difference in channel of an acoustic signal (that is, a difference in speakers outputting an acoustic signal). .

音響信号生成部2131−1〜2131−Nから出力された音響信号は合成部2132に入力される。合成部2132はそれらを合成した音響信号を出力する。Nチャネルの音響信号を出力する場合には、音響信号生成部2131−1〜2131−Nから出力された音響信号を同期させた音響信号を出力する。なお、N=1の場合には、合成部2132は入力された音響信号をそのまま出力する。信号生成部141の出力が重畳する音響信号である場合には、音響信号として合成部2132に入力されてもよい。前述したように音響信号合成部213が合成部2132を含まない場合には、音響信号合成部213は音響信号生成部2131−1から出力された音響信号を出力する。   The acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N are input to the synthesis unit 2132. The synthesizer 2132 outputs an acoustic signal obtained by synthesizing them. When outputting an N-channel acoustic signal, an acoustic signal obtained by synchronizing the acoustic signals output from the acoustic signal generation units 2131-1 to 2131 -N is output. When N = 1, the synthesis unit 2132 outputs the input acoustic signal as it is. When the output of the signal generation unit 141 is a superposed acoustic signal, it may be input to the synthesis unit 2132 as an acoustic signal. As described above, when the acoustic signal synthesis unit 213 does not include the synthesis unit 2132, the acoustic signal synthesis unit 213 outputs the acoustic signal output from the acoustic signal generation unit 2131-1.

上述のように出力された音響信号は音響信号提示装置22に入力される。音響信号提示装置22は、入力された音響信号を音として出力する。Nチャネルの音響信号の場合、音響信号提示装置22はNチャネルの音響信号を音として出力する(例えば、ステレオ再生)。   The acoustic signal output as described above is input to the acoustic signal presentation device 22. The acoustic signal presentation device 22 outputs the input acoustic signal as a sound. In the case of an N-channel acoustic signal, the acoustic signal presentation device 22 outputs the N-channel acoustic signal as sound (for example, stereo reproduction).

<本形態の特徴>
以上のように、本形態の可聴化装置21は、主動筋の筋電位および主動筋に対応する拮抗筋の筋電位を含む複数の筋電位を用い、主動筋の筋電位に対応する筋活動度と拮抗筋の筋電位に対応する筋活動度との間の相対値を表す音響信号を出力する。これにより、「力み」の程度を可聴的に提示できる。特に、拮抗筋の筋電位に対応する筋活動度を主動筋の筋電位に対応する筋活動度で除した値を表す音響信号を出力することで、より明確に「力み」の程度を提示できる。また、N≧2の場合には、複数の筋の組での「力み」の程度や、それらの相関関係を可聴的に提示できる。以上により、利用者は複数の筋の組に対応する「力み」の程度を音の聞こえ方の違いとして聴覚的に把握できる。
<Features of this embodiment>
As described above, the audible device 21 of the present embodiment uses a plurality of myoelectric potentials including the myoelectric potential of the main muscle and the myoelectric potential of the antagonistic muscle corresponding to the main muscle, and the muscle activity level corresponding to the myoelectric potential of the main muscle. And an acoustic signal representing a relative value between the muscle activity corresponding to the myoelectric potential of the antagonistic muscle. Thereby, the degree of “strength” can be presented audibly. In particular, by outputting an acoustic signal representing the value of the muscle activity corresponding to the myoelectric potential of the antagonist muscle divided by the muscle activity corresponding to the myoelectric potential of the main muscle, the degree of “strength” is presented more clearly. it can. In the case of N ≧ 2, the degree of “strengthening” in a plurality of muscle pairs and the correlation between them can be presented audibly. As described above, the user can audibly grasp the degree of “strengthening” corresponding to a plurality of muscle pairs as a difference in how the sound is heard.

なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。   The present invention is not limited to the embodiment described above. For example, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。   When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, this computer reads a program stored in its own recording device and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.
In addition, various modifications can be made without departing from the scope of the present invention.
In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

100…運動上達のためのフィードバックシステム
120…心電位センサ
130…心理状態判定装置
131…センシング部
132…状態判定部
132a…判定器
132b…心理状態記憶部
132c…切り替え器
132d…比較器
140…フィードバック装置
141…信号生成部
142…合成音/画像生成部
200…出力装置
DESCRIPTION OF SYMBOLS 100 ... Feedback system 120 for exercise improvement ... Electrocardiogram sensor 130 ... Psychological state determination apparatus 131 ... Sensing part 132 ... State determination part 132a ... Determinator 132b ... Psychological state memory | storage part 132c ... Switch 132d ... Comparator 140 ... Feedback Device 141 ... Signal generation unit 142 ... Synthetic sound / image generation unit 200 ... Output device

Claims (5)

所定運動中の一次被検者から取得された一次生体情報に少なくとも基づき前記一次被検者の心理状態を判定または記憶し、所定運動中の二次被検者から取得された二次生体情報に少なくとも基づき前記二次被検者の心理状態を判定し、
前記一次被検者の心理状態と前記二次被検者の心理状態とを比較し、
前記一次被検者の心理状態と前記二次被検者の心理状態の比較結果に応じて、誇張した或いは矮小したフィードバック信号を出力する心理状態のフィードバック方法。
Determine or store the psychological state of the primary subject based at least on the primary biological information acquired from the primary subject during the predetermined exercise, and store the secondary biological information acquired from the secondary subject during the predetermined exercise. Determine the psychological state of the secondary subject based at least on
Comparing the psychological state of the primary subject and the psychological state of the secondary subject;
A psychological state feedback method for outputting an exaggerated or reduced feedback signal according to a comparison result between the psychological state of the primary subject and the psychological state of the secondary subject.
前記一次生体情報及び前記二次生体情報は少なくとも心電位データを含む、請求項1に記載の心理状態のフィードバック方法。   The psychological state feedback method according to claim 1, wherein the primary biological information and the secondary biological information include at least electrocardiographic data. 前記フィードバック信号は、音響信号、画像信号、映像信号あるいはこれらの組み合わせを含む請求項1又は請求項2記載の心理状態のフィードバック方法。   The psychological state feedback method according to claim 1, wherein the feedback signal includes an acoustic signal, an image signal, a video signal, or a combination thereof. 請求項1乃至3の何れか一つに記載の心理状態のフィードバック方法を実行する心理状態のフィードバックシステム。   A psychological state feedback system for executing the psychological state feedback method according to any one of claims 1 to 3. 請求項1乃至3の何れか一つに記載の心理状態のフィードバック方法をコンピュータに実行させるための心理状態のフィードバックプログラム。   A psychological state feedback program for causing a computer to execute the psychological state feedback method according to any one of claims 1 to 3.
JP2015028971A 2015-02-17 2015-02-17 Psychological state feedback method, system, and program Active JP6431785B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015028971A JP6431785B2 (en) 2015-02-17 2015-02-17 Psychological state feedback method, system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015028971A JP6431785B2 (en) 2015-02-17 2015-02-17 Psychological state feedback method, system, and program

Publications (2)

Publication Number Publication Date
JP2016150104A true JP2016150104A (en) 2016-08-22
JP6431785B2 JP6431785B2 (en) 2018-11-28

Family

ID=56695715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015028971A Active JP6431785B2 (en) 2015-02-17 2015-02-17 Psychological state feedback method, system, and program

Country Status (1)

Country Link
JP (1) JP6431785B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018064739A (en) * 2016-10-19 2018-04-26 マツダ株式会社 Driving state determination device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10501156A (en) * 1994-05-26 1998-02-03 ビー カーショッド,ドナルド Exercise measuring device
JP2012524636A (en) * 2009-04-24 2012-10-18 アドバンスド ブレイン モニタリング,インコーポレイテッド Adaptive behavior trainer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10501156A (en) * 1994-05-26 1998-02-03 ビー カーショッド,ドナルド Exercise measuring device
JP2012524636A (en) * 2009-04-24 2012-10-18 アドバンスド ブレイン モニタリング,インコーポレイテッド Adaptive behavior trainer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018064739A (en) * 2016-10-19 2018-04-26 マツダ株式会社 Driving state determination device

Also Published As

Publication number Publication date
JP6431785B2 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
US12064260B2 (en) Methods and systems for providing a preferred fitness state of a user
JP6307457B2 (en) Exercise state feedback method, system, and program
WO2018214530A1 (en) Method and system for competitive state assessment of athletes
WO2017160828A1 (en) Brainwave virtual reality apparatus and method
US11660419B2 (en) Systems, devices, and methods for generating and manipulating objects in a virtual reality or multi-sensory environment to maintain a positive state of a user
US20120016255A1 (en) Respiration characteristic analysis apparatus and respiration characteristic analysis system
JP2012524636A (en) Adaptive behavior trainer
JP6330009B2 (en) Feedback method, system, and program for exercise state and psychological state
US20120016254A1 (en) Respiration characteristic analysis apparatus and respiration characteristic analysis system
WO2018106146A3 (en) Method and system for the non-invasive screening of physiological parameters and pathologies
JP5610159B2 (en) Breathing training apparatus and breathing training system
Wellner et al. Does a virtual audience influence rowing?
WO2013040642A1 (en) Activity training apparatus and method
JP6431785B2 (en) Psychological state feedback method, system, and program
JP2016150119A (en) Motion state determination method, device, and program
US20230107691A1 (en) Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor
JP6093787B2 (en) Feedback method, system, and program for exercise state and psychological state
Mohammad et al. The h 3 r explanation corpus human-human and base human-robot interaction dataset
JP6435302B2 (en) Exercise state and psychological state determination method, apparatus, and program
JP6127078B2 (en) Exercise state and psychological state determination method, apparatus, and program
JP5622202B2 (en) Breathing training apparatus and breathing training system
JP5633875B2 (en) Ventilation characteristics judgment device
Drijfhout Improving eSports performance: conducting stress measurements during Fifa gameplay
JP2016150117A (en) Psychological state determination method, device, and program
JP6186736B2 (en) Competition practice support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R150 Certificate of patent or registration of utility model

Ref document number: 6431785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150