JP6821549B2 - Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components - Google Patents

Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components Download PDF

Info

Publication number
JP6821549B2
JP6821549B2 JP2017240664A JP2017240664A JP6821549B2 JP 6821549 B2 JP6821549 B2 JP 6821549B2 JP 2017240664 A JP2017240664 A JP 2017240664A JP 2017240664 A JP2017240664 A JP 2017240664A JP 6821549 B2 JP6821549 B2 JP 6821549B2
Authority
JP
Japan
Prior art keywords
signal
myoelectric
data
degree
acceleration component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017240664A
Other languages
Japanese (ja)
Other versions
JP2019107067A (en
Inventor
大作 若松
大作 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017240664A priority Critical patent/JP6821549B2/en
Publication of JP2019107067A publication Critical patent/JP2019107067A/en
Application granted granted Critical
Publication of JP6821549B2 publication Critical patent/JP6821549B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、人の生体信号を検知する技術に関する。 The present invention relates to a technique for detecting a human biological signal.

近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここでセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が使用される。また、このようなセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用されている。 In recent years, techniques have been developed in which various biological signals caused by various activities of humans and animals are detected by sensors and the biological data obtained by signal processing is used in various situations. Here, as the sensor, for example, a wristwatch type pulse sensor, an earphone type pulse sensor, a headband type brain wave sensor, or the like is used. In addition, the biological signal detected by such a sensor is processed and processed by, for example, a smartphone carried by a user, and is used in various applications.

このようなセンサを利用した具体的技術例として、本願発明者は、生体信号としての筋電信号を検出する筋電センサを備え、笑みや噛み締めといった顔表情を識別することができるデバイスを発明している(特許文献1参照)。ここで、この筋電センサのリファレンス用電極及び検出用電極はそれぞれ、左及び右(又は、右及び左)の耳介周辺から頬近傍の何処か1点の皮膚表面に接するように配置される。 As a specific technical example using such a sensor, the inventor of the present application has invented a device provided with a myoelectric sensor that detects a myoelectric signal as a biological signal and capable of identifying facial expressions such as smiles and clenching. (See Patent Document 1). Here, the reference electrode and the detection electrode of this myoelectric sensor are arranged so as to be in contact with the skin surface at some point near the cheek from around the left and right (or right and left) auricles, respectively. ..

また、このデバイスは筋電信号処理として、アーチファクト(目的信号以外のノイズ信号)に係る第1の周波数帯におけるパワー値VLFと、第1の顔表情時の信号に係る第2の周波数帯におけるパワー値LFとを算出し、第1のパワーVLFが第1の基準パワーVLFBase以下であり、且つ、第2のパワーLFが第2の基準パワーLFBaseよりも大きい場合に、第1の顔表情時であると判定するのである。 In addition, as myoelectric signal processing, this device has a power value VLF in the first frequency band related to artifacts (noise signals other than the target signal) and power in the second frequency band related to the signal at the time of the first facial expression. When the value LF is calculated and the first power VLF is equal to or less than the first reference power VLFBase and the second power LF is larger than the second reference power LFBase, at the time of the first facial expression. It is determined that there is.

さらに、本願発明者は、特許文献2において、筋電信号の周波数軸のパワー特徴量を基準となる特徴量と比較するため、類似度として周波数ワーピングにより距離を求める方法を開示している。 Further, the inventor of the present application discloses in Patent Document 2 a method of obtaining a distance by frequency warping as a similarity in order to compare the power feature amount of the frequency axis of the myoelectric signal with the reference feature amount.

特開2017−029323号公報JP-A-2017-0292323 特開2017−140198号公報JP-A-2017-140198

このように、本願発明者は、様々な生体信号処理手法の研究開発を行ってきたが、特に、信号の周波数の分析を行わずに生体信号の発生を判定するとの課題に取り組んできた。 As described above, the inventor of the present application has been researching and developing various biological signal processing methods, and in particular, has tackled the problem of determining the generation of biological signals without analyzing the frequency of the signal.

例えば、上記の特許文献1に開示したデバイスでは、特定の周波数に対する基準パワーを事前に計測する必要があり、また、上記の特許文献2に開示した手法においても、周波数に対するパワーを特徴量ベクトル(スペクトラムの山の形)として類似度を求める必要があった。これに対し、周波数分析を行わずに生体信号が発生したか否かの判定を行うことによって、より計算量の少ない処理も実現し易くなる。 For example, in the device disclosed in the above-mentioned Patent Document 1, it is necessary to measure the reference power for a specific frequency in advance, and in the method disclosed in the above-mentioned Patent Document 2, the power with respect to the frequency is used as a feature vector (feature amount vector). It was necessary to find the similarity as the shape of the mountain of the spectrum). On the other hand, by determining whether or not a biological signal is generated without performing frequency analysis, it becomes easier to realize processing with a smaller amount of calculation.

さらに、本願発明者は、様々な生体信号判定処理の実験を実施する中で、まばたき等で混入する大きな振幅のアーチファクトにも頑健である処理を実現することも、重要な課題であると認識してきた。ちなみに、このアーチファクトは、まばたき等によって電極がずれることで発生することが分かっている。 Furthermore, the inventor of the present application has recognized that it is also an important issue to realize a process that is robust against large-amplitude artifacts mixed in by blinking, etc., while conducting various experiments on biological signal determination processing. It was. By the way, it is known that this artifact is generated when the electrodes are displaced due to blinking or the like.

そこで、本発明は、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健である生体信号処理装置、プログラム及び方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a biological signal processing device, a program, and a method that do not require frequency analysis in determining the generation of biological signals and are robust against the generation of noise due to electrode misalignment.

本発明によれば、筋電信号を含み得る入力信号を処理する生体信号処理装置であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
を有する生体信号処理装置が提供される。
According to the present invention, it is a biological signal processing device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
When the representative value exceeds a predetermined threshold value, a biological signal processing device including a signal generation determination means for determining that the myoelectric signal has been generated is provided.

また、本発明による生体信号処理装置の一実施形態として、本生体信号処理装置は、当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、バイアス変動成分を抽出する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することも好ましい。 Further, as an embodiment of the biometric signal processing device according to the present invention, the biometric signal processing device includes band-stop filter processing for reducing noise related to a commercial power source for the input signal before generating the acceleration component data. It is also preferable to further have a pre-filter processing means for performing a low-pass filter processing for extracting a bias fluctuation component.

さらに、本発明による生体信号処理装置の信号発生判定手段は、当該代表値の時系列データが、時間経過とともに、第1の閾値のラインを下方から横切って上方へ向かい、その後、第1の閾値よりも小さい第2の閾値のラインを上方から横切って下方へ向かう一通りの振舞いとしてのヒステリシスをn度(nは自然数)示した際、当該生体信号がn回発生したと判定することも好ましい。 Further, in the signal generation determination means of the biological signal processing device according to the present invention, the time-series data of the representative value moves upward from the lower side across the line of the first threshold value with the passage of time, and then the first threshold value is obtained. It is also preferable to determine that the biological signal has been generated n times when the hysteresis as a general behavior that crosses the line of the second threshold value smaller than the upper side and goes downward is n degrees (n is a natural number). ..

また、本発明による生体信号処理装置の他の実施形態として、本生体信号処理装置は、当該筋電信号が発生したとの判定に係る時間区間において、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、発生した当該筋電信号の種別を判定する生体信号判別手段を更に有することも好ましい。 Further, as another embodiment of the biological signal processing device according to the present invention, the biological signal processing device calculates the average power frequency of the input signal in the time interval related to the determination that the myoelectric signal has been generated. It is also preferable to further have a biological signal discriminating means for determining the type of the generated myoelectric signal based on the height of the average power frequency.

さらに、上記生体信号判別の他の実施形態として、本生体信号処理装置は、当該筋電信号の発生に係る特徴量として、当該入力信号の標準偏差と平均パワー周波数とを含む量が規定された上で、
MT(Mahalanobis Taguchi)法、MTA(Mahalanobis-Taguchi Adjoint)法、T法、及びRT(Recognition Taguchi)法のうちのいずれか1つに基づき、ある種別の筋電信号が発生している状態と筋電信号が発生していない状態とを合わせた状態であって、当該ある種別の筋電信号以外の信号であるノイズとしてのアーチファクトが発生していない状態での当該入力信号に係る当該特徴量によって第1の単位空間を設定し、また、筋電信号が発生していない状態での当該入力信号に係る当該特徴量によって第2の単位空間を設定し、さらに、当該ある種別の筋電信号が発生している状態での当該入力信号に係る当該特徴量によって第3の単位空間を設定し、
何らかの筋電信号が発生したとの判定に係る時間区間において、当該入力信号に係る当該特徴量を算出し、算出した当該特徴量について、第1の単位空間、第2の単位空間、及び第3の単位空間のそれぞれから離隔した度合いである第1の離隔度合い、第2の離隔度合い、及び第3の離隔度合いを算出し、
第2の離隔度合いから、第1の離隔度合いと、第3の離隔度合いとを差し引いた量が、所定閾値を超えている場合、当該何らかの筋電信号は当該ある種別の筋電信号であると判定する
生体信号判別手段を更に有することも好ましい。
Further, as another embodiment of the above-mentioned biological signal discrimination, the present biological signal processing apparatus defines an amount including the standard deviation and the average power frequency of the input signal as the feature amount related to the generation of the myoelectric signal. Above,
A state and muscle in which a certain type of myoelectric signal is generated based on any one of the MT (Mahalanobis Taguchi) method, the MTA (Mahalanobis-Taguchi Adjoint) method, the T method, and the RT (Recognition Taguchi) method. Depending on the feature amount related to the input signal in the state where no electric signal is generated and no artifact as noise, which is a signal other than the certain type of myoelectric signal, is generated . A first unit space is set, a second unit space is set according to the feature amount related to the input signal in a state where no myoelectric signal is generated, and a certain type of myoelectric signal is further set. A third unit space is set according to the feature amount related to the input signal in the generated state, and the third unit space is set.
In the time interval related to the determination that some myoelectric signal has been generated, the feature amount related to the input signal is calculated, and the calculated feature amount is used in the first unit space, the second unit space, and the third unit space. The first degree of separation, the second degree of separation, and the third degree of separation, which are the degrees of separation from each of the unit spaces of, are calculated.
When the amount obtained by subtracting the first degree of separation and the third degree of separation from the second degree of separation exceeds a predetermined threshold value, it is considered that some myoelectric signal is a certain type of myoelectric signal. It is also preferable to further have a biological signal discriminating means for determining.

また、本発明の生体信号処理装置において、当該筋電信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。さらに、当該筋電信号は、口角上げに係る筋肉に起因する筋電信号であることも好ましい。 Further, in the biometric signal processing device of the present invention, the myoelectric signal is a device attached to the user's head, and the reference electrode is one skin from around the auricle to the vicinity of the cheek on the left (or right). It is also preferable that the signal is acquired by a device having an electrode configuration that is in contact with a position and the detection electrode is in contact with one skin position near the cheek from the area around the right (or left) pinna. Further, the myoelectric signal is also preferably a myoelectric signal due to muscle of the corner of the mouth up.

本発明によれば、また、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。
According to the present invention, it is also a program that functions a computer mounted on a device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
When the representative value exceeds a predetermined threshold value, a biometric signal processing program that causes a computer to function as a signal generation determination means for determining that the myoelectric signal has been generated is provided.

本発明によれば、さらに、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成するステップと、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とするステップと、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行うステップと
を有する生体信号処理方法が提供される。
According to the present invention, further, it is a biological signal processing method by a computer mounted on a device for processing an input signal that may include a myoelectric signal.
A step of performing a second-order difference filter processing on the input signal to generate acceleration component data as a second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. The step of using a value indicating the degree of bias of the data in the above as a representative value related to the degree of bias of the data, and
When the representative value exceeds a predetermined threshold value, a biological signal processing method including a step of determining that the myoelectric signal has been generated is provided.

本発明の生体信号処理装置、プログラム及び方法によれば、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健である生体信号処理が実現される。 According to the biological signal processing apparatus, program and method of the present invention, frequency analysis is not required in determining the generation of biological signals, and biological signal processing that is robust against the generation of noise due to electrode misalignment is realized.

本発明による生体信号処理装置の一実施形態を示す模式図である。It is a schematic diagram which shows one Embodiment of the biological signal processing apparatus by this invention. 本発明に係る生体信号処理を実施した実施例を説明するためのグラフである。It is a graph for demonstrating the Example which carried out the biological signal processing which concerns on this invention. 本発明に係る生体信号処理を実施した実施例を説明するためのグラフである。It is a graph for demonstrating the Example which carried out the biological signal processing which concerns on this invention. 本発明に係る代表値を算出するのに用いられる重みを説明するためのグラフである。It is a graph for demonstrating the weight used for calculating the representative value which concerns on this invention. 代表値のヒステリシスを利用した信号発生判定処理の一実施形態を示すグラフである。It is a graph which shows one Embodiment of the signal generation determination processing using the hysteresis of a typical value. 本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。It is a flowchart which shows the outline of one Embodiment of the biological signal processing method by this invention. 本発明による生体信号処理装置の他の実施形態を示す模式図である。It is a schematic diagram which shows the other embodiment of the biological signal processing apparatus by this invention. 本発明による生体信号処理装置の更なる他の実施形態を示す模式図である。It is a schematic diagram which shows the further other embodiment of the biological signal processing apparatus by this invention.

以下では、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[生体信号処理装置]
図1は、本発明による生体信号処理装置の一実施形態を示す模式図である。
[Biosignal processing device]
FIG. 1 is a schematic view showing an embodiment of a biological signal processing device according to the present invention.

図1には、本発明による生体信号処理装置の一実施形態としての筋電センサ付メガネ1が示されている。筋電センサ付メガネ1は、生体(例えば人であるユーザ)の頭部に取り付けて、生体信号を取得可能なメガネ型の装置である。この装置で取得される生体信号は、本実施形態において、顔面内部位の動き又は表情に係る動きに起因して発生する電気信号としての「筋電信号」となっている。また、取得される生体信号には、このような動きによって発生する「電極ズレに起因する(ノイズ)信号」等も混入し得る。 FIG. 1 shows glasses 1 with an myoelectric sensor as an embodiment of the biological signal processing device according to the present invention. The glasses 1 with an myoelectric sensor is a glasses-type device that can be attached to the head of a living body (for example, a human user) to acquire a biological signal. In the present embodiment, the biological signal acquired by this device is a "myoelectric signal" as an electric signal generated due to the movement of a portion in the face or the movement related to a facial expression. In addition, the acquired biological signal may include a "(noise) signal caused by electrode misalignment" or the like generated by such movement.

ここで、検出対象となる顔面内部位の動き又は表情に係る動きとしては、例えば、(微笑に係る)口角上げ、噛み締め(若しくは食い縛り)、咀嚼、及び瞬目(まばたき動作)のうちの少なくとも1つを設定することができる。 Here, as the movement related to the movement of the intrafaceal part to be detected or the movement related to the facial expression, for example, at least one of (smiling) raising the corner of the mouth, clenching (or clenching), chewing, and blinking (blinking motion). One can be set.

同じく図1に示すように、筋電センサ付メガネ1は、
(a)生体信号を取り込み処理する部分である信号処理ボックス11を備えた、装置本体部としてのフレーム部と、
(b)頭部の皮膚に接触する位置であってフレーム部11の重量の少なくとも一部を受け止め可能な位置に配された、生体信号を受信するための電極部としてのプラス電極パッド13及びマイナス電極パッド14と、
(c)プラス電極パッド13及びマイナス電極パッド14を介して受信された生体信号を信号処理ボックス11へ伝えるための導電路を備えた弾性支持部と、
(d)鼻の上部近傍に接触する位置に配され、生体信号受信の際のグランド(GND)電極又はノイズキャンセル用電極を備えた鼻パッド電極部15と
を有している。なお、上記(d)のノイズキャンセル用電極は、商用電源等に起因するコモンモードノイズを低減させるDRL(Driven Right Leg)電極であってもよい。
Similarly, as shown in FIG. 1, the glasses 1 with an electromyographic sensor
(A) A frame portion as a main body of the device provided with a signal processing box 11 which is a portion for capturing and processing biological signals, and
(B) A positive electrode pad 13 and a negative electrode portion as an electrode portion for receiving a biological signal, which are arranged at a position in contact with the skin of the head and capable of receiving at least a part of the weight of the frame portion 11. Electrode pad 14 and
(C) An elastic support portion provided with a conductive path for transmitting a biological signal received via the positive electrode pad 13 and the negative electrode pad 14 to the signal processing box 11.
(D) It has a nose pad electrode portion 15 which is arranged at a position in contact with the vicinity of the upper part of the nose and is provided with a ground (GND) electrode or a noise canceling electrode when receiving a biological signal. The noise canceling electrode (d) may be a DRL (Driven Right Leg) electrode that reduces common mode noise caused by a commercial power source or the like.

また、上記(b)のプラス電極パッド13は、生体信号受信の際の検出電極又はプラス電極として機能し、一方、マイナス電極パッド14は、生体信号受信の際のリファレンス電極又はマイナス電極として機能する。生体信号は、これらプラス電極パッド13とマイナス電極パッド14との間の電位差として検出・取得されることになる。 Further, the positive electrode pad 13 of the above (b) functions as a detection electrode or a positive electrode when receiving a biological signal, while the negative electrode pad 14 functions as a reference electrode or a negative electrode when receiving a biological signal. .. The biological signal is detected and acquired as a potential difference between the positive electrode pad 13 and the negative electrode pad 14.

このように、筋電センサ付メガネ1では、プラス電極パッド13及びマイナス電極パッド14といった電極部が、生体信号を受信する手段としてだけではなく、装置本体部を支持する手段としても機能している。また、弾性支持部は、弾性をもってこれら「電極部」と装置本体部とを接続している。その結果、例えば装着された頭部が大きく動いたとしても、これらの電極部を、弾性支持部という弾性部位を介して伝わる装置本体部の重量をもって、頭部の皮膚の所定位置近傍に安定して接触させ続けることが可能となる。 As described above, in the glasses 1 with the myoelectric sensor, the electrode portions such as the positive electrode pad 13 and the negative electrode pad 14 function not only as a means for receiving the biological signal but also as a means for supporting the device main body portion. .. Further, the elastic support portion elastically connects these "electrode portions" to the device main body portion. As a result, for example, even if the attached head moves significantly, these electrode portions are stabilized in the vicinity of a predetermined position on the skin of the head with the weight of the device main body portion transmitted through the elastic portion called the elastic support portion. It becomes possible to keep in contact with each other.

ここで、1つの装着例を説明する。ヒトの頬骨は顔の正面から見ると横に張り出しているが、プラス電極パッド13及びマイナス電極パッド14を、例えばこの頬骨の最も幅広の箇所より若干上方の皮膚に当接させれば、左右の「電極部」の間隔が頬骨の最大幅よりも狭くなっていて頬骨上部の広がった部分に引っ掛かることになるので、これにより、筋電センサ付メガネ1が安定して支持される。 Here, one mounting example will be described. The human cheekbones project laterally when viewed from the front of the face, but if the positive electrode pads 13 and the negative electrode pads 14 are brought into contact with the skin slightly above the widest part of the cheekbones, the left and right sides Since the distance between the "electrode portions" is narrower than the maximum width of the cheekbone and is caught in the widened portion of the upper part of the cheekbone, the glasses 1 with an myoelectric sensor are stably supported.

また、筋電センサ付メガネ1は、図示していないが、電極部から信号処理ボックス11へ生体信号を取り込むための導電路を備えており、電極部で受信された生体信号を、信号処理ボックス11へ安定して確実に取り込むことを可能にする。すなわち、導電路は、左右の信号処理ボックス11と各電極部との間をつなぐ安定した電気的伝送路として機能する。 Further, although not shown, the glasses 1 with a myoelectric sensor is provided with a conductive path for taking a biological signal from the electrode portion into the signal processing box 11, and the biological signal received by the electrode portion is sent to the signal processing box. It enables stable and reliable uptake to 11. That is, the conductive path functions as a stable electrical transmission path that connects the left and right signal processing boxes 11 and each electrode portion.

なお、変更態様として、GND電極又はノイズキャンセル用電極としての機能を、メガネ1のモダン部に持たせることもできる。この場合、鼻パッド電極部15を省略し、鼻パッドレスとすることも可能となる。また、更なる変更態様として、このモダン部の電極と鼻パッド電極部15とを電気的に導通させ、それら複数の電極をGND電極として機能させてもよい。 As a modification, the modern part of the glasses 1 may have a function as a GND electrode or a noise canceling electrode. In this case, the nasal pad electrode portion 15 can be omitted to make the nasal padless. Further, as a further modification, the electrodes of the modern portion and the nasal pad electrode portion 15 may be electrically conductive, and the plurality of electrodes may function as GND electrodes.

さらに当然ではあるが、プラス電極パッド13及びマイナス電極パッド14がそれぞれ左のテンプル部分及び右のテンプル部分に接続する入れ替わった形であっても構わない。いずれにしても、プラス電極パッド13及びマイナス電極パッド14を左右に分けて配置することによって、左右2つの筋肉活動を捉えることができる。顔表情「笑み」を作る筋肉活動は一般に、左右のいずれか一方ではなく両方で同時に発生する。そのため、1チャンネルを構成する1組の電極を左右のいずれか一方のみに配置するよりも、1組をなす電極の各々を左右に分けて配置する方が、左右の筋肉活動の全体を捉えることになるので結局、より安定した大きな筋電信号を得ることができるのである。 Further, as a matter of course, the positive electrode pad 13 and the negative electrode pad 14 may be in an interchangeable shape connected to the left temple portion and the right temple portion, respectively. In any case, by arranging the positive electrode pad 13 and the negative electrode pad 14 separately on the left and right, it is possible to capture the two left and right muscle activities. The muscular activity that creates the facial expression "smile" generally occurs simultaneously on both sides, not on either side. Therefore, rather than arranging one set of electrodes that make up one channel on either the left or right side, it is better to arrange each of the electrodes that make up one set separately on the left and right to capture the entire left and right muscle activity. Therefore, in the end, a more stable and large myoelectric signal can be obtained.

また、このように左右の電極を離隔させておくことによって、例えば左右の眼球運動や歯の食い縛り(噛み締め)等の頭部内の筋肉活動に起因する様々な筋電信号や、さらには口の開閉や咀嚼に伴って生じる皮膚表面の凹凸を原因とする皮膚と電極との間の接触抵抗の変化等の種々の信号を、より確実に捉えることも可能となるのである。 In addition, by separating the left and right electrodes in this way, various myoelectric signals caused by muscle activity in the head such as left and right eye movements and tooth clenching (clenching), and even the mouth. It is also possible to more reliably capture various signals such as changes in contact resistance between the skin and electrodes caused by irregularities on the skin surface caused by opening and closing of the skin and chewing.

さらに、弾性支持部は、本実施形態において2つ設けられており、それぞれプラス電極パッド13及びマイナス電極パッド14を、こめかみより下側の皮膚の位置であって、顔を正面から見た際の頬骨における最も幅広の個所より少し上の皮膚の位置へ弾性をもって押し当て(当接させ)、これにより筋電センサ付メガネ1を支持する支持構造として機能している。また、プラス電極パッド13及びマイナス電極パッド14のいずれも、頬上部からこめかみを介し耳の付け根までの範囲内のいずれかの位置で皮膚に接触することができるように、この弾性支持部のフレーム部に対する位置が調整されている。 Further, two elastic support portions are provided in the present embodiment, and the positive electrode pad 13 and the negative electrode pad 14, respectively, are located at the position of the skin below the temple and when the face is viewed from the front. It elastically presses (contacts) the skin slightly above the widest part of the cheekbone, thereby functioning as a support structure for supporting the glasses 1 with an myoelectric sensor. Further, both the positive electrode pad 13 and the negative electrode pad 14 can come into contact with the skin at any position within the range from the upper cheek to the base of the ear via the temple, and the frame of the elastic support portion. The position with respect to the part is adjusted.

同じく図1に示すように、本実施形態において、右側のテンプル部分に配置された信号処理ボックス11は、処理部駆動用の電池を内蔵しており、一方、左側のテンプル部分に配置された信号処理ボックス11は、この電池からの供給電力をもって、取得した生体信号の処理を行う生体信号処理部12を含んでいる。これら左右の信号処理ボックス11のそれぞれの重量は略(ほぼ)同等に設定されていることも好ましい。これにより、筋電センサ付メガネ1の重量における左右のバランスをとることができ、偏りのない良好な装着感を実現することができる。 Similarly, as shown in FIG. 1, in the present embodiment, the signal processing box 11 arranged in the temple portion on the right side has a built-in battery for driving the processing unit, while the signal arranged in the temple portion on the left side. The processing box 11 includes a biological signal processing unit 12 that processes the acquired biological signal with the power supplied from the battery. It is also preferable that the weights of the left and right signal processing boxes 11 are set to be substantially (almost) equal. As a result, it is possible to balance the left and right sides of the weight of the glasses 1 with the myoelectric sensor, and it is possible to realize a good wearing feeling without bias.

ちなみに、これらの電池や生体信号処理部12を、ボックスにではなくフレーム部に内蔵させ、筋電センサ付メガネ1全体を、外観上通常のメガネと大きく変わらないデザインにすることもできる。このような処理部のコンパクト化は、後に詳細に説明する実施形態の生体信号処理部12を用いることによって可能となっている。 By the way, these batteries and the biological signal processing unit 12 can be built in the frame unit instead of the box, and the entire glasses 1 with the myoelectric sensor can be designed to be the same in appearance as ordinary glasses. Such compactification of the processing unit is possible by using the biological signal processing unit 12 of the embodiment, which will be described in detail later.

また、上述したように、プラス電極パッド13及びマイナス電極パッド14が頬上部からこめかみを介し耳の付け根までの範囲内の位置で皮膚に接触している場合、取得可能な生体信号は、筋電信号に限定されるものではない。例えば、耳付近の位置から検知可能である眼電位信号や脳波といった生体電位に基づく生体信号の他、生体用電位センサ以外のセンサデバイスが必要となるが、体温や発汗に係る信号や脈波等を検出し取得することも可能となっている。 Further, as described above, when the positive electrode pad 13 and the negative electrode pad 14 are in contact with the skin at a position within the range from the upper cheek to the base of the ear via the temple, the biological signal that can be acquired is myoelectric telegraph. It is not limited to the issue. For example, in addition to biological signals based on biopotentials such as electrooculogram signals and brain waves that can be detected from a position near the ear, sensor devices other than biopotential sensors are required, but signals related to body temperature and sweating, pulse waves, etc. It is also possible to detect and acquire.

[生体信号処理部の構成]
同じく図1によれば、信号処理ボックス11に含まれる生体信号処理部12は、生体信号を含み得る入力信号の処理部であり、
(A)入力信号の「加速度成分データ」を生成する加速度成分生成部123と、
(B)「加速度成分データ」における所定時間区間でのデータの偏り具合に係る「代表値」を算出する代表値算出部124と、
(C)算出された「代表値」の大きさに基づいて生体信号の発生を判定する信号発生判定部125と
を有することを特徴としている。ここで「代表値」として、例えば標準偏差SDを用いてもよいが、より好ましくは後に詳述する、標準偏差SDを重み付けした値SDWを採用することができる。
[Structure of biological signal processing unit]
Similarly, according to FIG. 1, the biological signal processing unit 12 included in the signal processing box 11 is an input signal processing unit that can include a biological signal.
(A) Acceleration component generation unit 123 that generates "acceleration component data" of the input signal, and
(B) The representative value calculation unit 124 that calculates the "representative value" related to the degree of bias of the data in the predetermined time interval in the "acceleration component data", and
(C) It is characterized by having a signal generation determination unit 125 for determining the generation of a biological signal based on the size of the calculated "representative value". Here, for example, the standard deviation SD may be used as the “representative value”, but more preferably, the value SD W weighted with the standard deviation SD, which will be described in detail later, can be adopted.

このように、生体信号処理部12は、生体信号が発生しているか否かの判定において、多大な計算量を必要とする周波数分析を行うのではなく、「加速度成分データ」における「代表値」を算出して判定処理を行っている。本願発明者は、このようなより計算負担の少ない処理を適用することによって、電極ずれによるノイズが発生した際にもそれに影響されず、検出対象の生体信号が発生したか否かをより確実に判定することができることを見出した。 In this way, the biological signal processing unit 12 does not perform frequency analysis that requires a large amount of calculation in determining whether or not a biological signal is generated, but rather a "representative value" in the "acceleration component data". Is calculated and the judgment process is performed. By applying such a process with less calculation load, the inventor of the present application is not affected by noise due to electrode misalignment, and more reliably determines whether or not the biological signal to be detected is generated. It was found that it can be judged.

実際、筋電信号等の生体信号は、人工的な機械等による振動とは異なり、例えば多数の細胞の活動に起因して発生するので、幅の広い周波数成分を有する交流信号となっている。本生体信号処理部12によれば、このような生体信号発生の判定を行うにあたり、「加速度成分データ」の「代表値」に着目するので、多大な計算を必要とする周波数分析が不要となり、また、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現されるのである。 In fact, a biological signal such as a myoelectric signal is an AC signal having a wide frequency component because it is generated due to the activity of a large number of cells, for example, unlike vibration caused by an artificial machine or the like. According to the biological signal processing unit 12, in determining the generation of such a biological signal, attention is paid to the "representative value" of the "acceleration component data", so that frequency analysis, which requires a large amount of calculation, becomes unnecessary. In addition, robust biological signal processing is realized even when noise is generated due to electrode misalignment.

同じく図1に示す実施形態の機能ブロック図において、生体信号処理部12は、信号変換部121と、ノッチフィルタ部122a及び低域通過フィルタ(LPF,Low-Pass filter)部122bを含む前フィルタ処理部122と、2階差分フィルタ部123aを含む加速度成分生成部123と、代表値算出部124と、信号発生判定部125と、生体信号判別部126とを機能構成部としている。 Similarly, in the functional block diagram of the embodiment shown in FIG. 1, the biometric signal processing unit 12 includes a signal conversion unit 121, a notch filter unit 122a, and a low-pass filter (LPF, Low-pass filter) unit 122b. The functional components are an acceleration component generation unit 123 including a second-order difference filter unit 123a, a representative value calculation unit 124, a signal generation determination unit 125, and a biological signal determination unit 126.

ここで、生体信号処理部12は、本発明による生体信号処理プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この生体信号処理プログラムを実行することによって、生体信号処理を実施する。また、上記の機能構成部は、生体信号処理部12に保存された生体信号処理プログラムの機能と捉えることができる。さらに、図1における生体信号処理部12の機能構成部間を矢印で接続して示した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。なお、左側の信号処理ボックス11には、生体信号処理部12と合わせて信号インタフェース127が更に設けられていることも好ましい。 Here, the biological signal processing unit 12 stores one embodiment of the biological signal processing program according to the present invention, and also has a computer function. By executing this biological signal processing program, the biological signal is processed. Perform the process. Further, the above-mentioned functional component can be regarded as a function of the biological signal processing program stored in the biological signal processing unit 12. Further, the processing flow shown by connecting the functional components of the biological signal processing unit 12 in FIG. 1 with arrows is also understood as an embodiment of the biological signal processing method according to the present invention. It is also preferable that the signal processing box 11 on the left side is further provided with a signal interface 127 together with the biological signal processing unit 12.

同じく図1において、信号変換部121は、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するDRL回路を有している。このDRL回路は、
(a)プラス電極パッド13と電気的に接続されたプラス(検出用)電極と、
(b)マイナス電極パッド14と電気的に接続されたマイナス(リファレンス)電極と
の電位差の交流成分を、
(c)鼻パッド電極15と電気的に接続されたGND電極
におけるGND電位との差動増幅によって増幅し、このアナログの生体信号を一定のサンプリング周波数でデジタル化する。
Similarly, in FIG. 1, the signal conversion unit 121 has a DRL circuit as a myoelectric sensor that reduces common mode noise caused by a commercial power source or the like. This DRL circuit
(A) A positive electrode (for detection) electrically connected to the positive electrode pad 13 and
(B) The AC component of the potential difference between the negative electrode pad 14 and the electrically connected negative (reference) electrode.
(C) Amplification is performed by differential amplification between the nasal pad electrode 15 and the GND potential of the electrically connected GND electrode, and this analog biological signal is digitized at a constant sampling frequency.

これにより、例えば、プラスマイナス0.1〜数百μVの範囲の皮膚電位検出が可能となる。また、このデジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ/デジタル(A/D)変換を行うことも好ましい。なお、このような回路構成は、例えばNeurosky社製のTGAM1を利用して実現可能となっている。 This makes it possible to detect the skin potential in the range of plus or minus 0.1 to several hundred μV, for example. Further, as a condition for this digitization, it is also preferable to perform analog / digital (A / D) conversion at a sampling frequency of 500 Hz or more and a quantization rate of 10 bits or more. It should be noted that such a circuit configuration can be realized by using, for example, TGAM1 manufactured by Neurosky.

前フィルタ処理部122は、ノッチフィルタ部122a及びローパスフィルタ(LPF)部122bを有している。このうち、ノッチフィルタ部122aは、加速度成分データを生成する前の入力信号に対し、(混入する場合の少なくない)商用電源に係る周期的ノイズを低減する帯域除去フィルタ処理を実施する。ちなみに、上述したNeurosky社製のTGAM1は、商用電源由来のノイズを軽減するノッチフィルタを搭載しており、ノッチフィルタ部122aとしてこれを利用することができる。 The pre-filter processing unit 122 has a notch filter unit 122a and a low-pass filter (LPF) unit 122b. Of these, the notch filter unit 122a performs band-stop filter processing for reducing periodic noise related to a commercial power source (which is often mixed) with respect to the input signal before generating the acceleration component data. Incidentally, the above-mentioned TGAM1 manufactured by Neurosky is equipped with a notch filter that reduces noise derived from a commercial power source, and this can be used as the notch filter unit 122a.

一方、LPF部122bは、帯域除去フィルタ処理の施された入力信号に対し、バイアス変動成分を抽出するLPF処理を実施する。具体的にLPF部122bは、入力信号に対し高域通過フィルタ(HPF,High-Pass Filter)処理を実施し、その結果を元の入力信号から差し引くことによって、LPF処理としてもよい。ここで、HPFとして、例えばDCブロッカ(DC Blocker)を使用することができる。 On the other hand, the LPF unit 122b performs LPF processing for extracting a bias fluctuation component from the input signal subjected to the band removal filter processing. Specifically, the LPF unit 122b may perform LPF processing by performing a high-pass filter (HPF, High-Pass Filter) process on the input signal and subtracting the result from the original input signal. Here, for example, a DC blocker can be used as the HPF.

DCブロッカは、入力信号から直流バイアス成分(超低周波数成分)を除去し、交流成分を取り出すためのフィルタであり、次式
(1) y[n]=x[n]−x[n-1]+r*y[n-1]
のような差分方程式の下で機能する。ここで、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数rは0〜1の値をとり、r=0の場合、このフィルタは次に説明する差分フィルタと等価になる。ちなみに、後に図2を用いて説明する実施例では、r=0.9に設定されている。
The DC blocker is a filter for removing the DC bias component (ultra-low frequency component) from the input signal and extracting the AC component. The following equation (1) y [n] = x [n] −x [n-1 ] + r * y [n-1]
It works under the difference equation like. Here, n is the sample position (sample index), and x [n] and y [n] are the input signal and the output signal of the sample position n, respectively. Further, the coefficient r takes a value of 0 to 1, and when r = 0, this filter is equivalent to the difference filter described below. Incidentally, in the embodiment described later with reference to FIG. 2, r = 0.9 is set.

加速度成分生成部123は、2階差分フィルタ部123aを有し、LPF処理の施された入力信号の加速度成分データを生成する。具体的に、この2階差分フィルタ部123aは、当該入力信号に対して差分フィルタ処理を2回実施する構成とすることができる。ここで使用される差分フィルタの原理を示す差分方程式は、次式
(2) y[n]=x[n]−x[n-1]
の通りとなる。上式(2)において、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。
The acceleration component generation unit 123 has a second-order difference filter unit 123a, and generates acceleration component data of the input signal subjected to LPF processing. Specifically, the second-order difference filter unit 123a can be configured to perform the difference filter process twice on the input signal. The difference equation showing the principle of the difference filter used here is the following equation (2) y [n] = x [n] −x [n-1]
It becomes the street. In the above equation (2), n is the sample position (sample index), and x [n] and y [n] are the input signal and the output signal of the sample position n, respectively.

なお一般に、加速度成分生成部123のようにデジタルフィルタを使用する場合、高度なデジタルフィルタになるほど計算量がより増大することになる。この計算量の増大は、本筋電センサ付メガネ1のようなモバイルデバイスにおいてはバッテリーの持続時間の低下をもたらし、大きな問題となる。これに対し、加速度成分生成部123は、三角関数を含むフィルタを使用したりせず、次数の少ないフィルタを用いて生体信号の処理を行っているので、問題となる計算量の増大を抑制することができるのである。 In general, when a digital filter is used like the acceleration component generation unit 123, the more advanced the digital filter, the larger the amount of calculation. This increase in the amount of calculation causes a decrease in battery life in a mobile device such as the glasses 1 with a myoelectric sensor, which is a big problem. On the other hand, the acceleration component generation unit 123 does not use a filter including trigonometric functions, but uses a filter having a low order to process the biological signal, so that the increase in the amount of calculation which becomes a problem is suppressed. You can do it.

同じく図1において、代表値算出部124は、加速度成分生成部123で生成された加速度成分データを、所定時間区間(ウィンドウ分析区間)に分割し、各ウィンドウ分析区間でのデータの偏り具合に係る代表値を算出する。一般に、生体センサから出力される時系列データは、逐次リアルタイムに分析することによって、ユーザインタフェースを介し、ユーザにリアルタイムにフィードバック可能となり、非常に利用し易くなる。この際、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析することによって、概ねリアルタイムな分析処理が可能となるのである。 Similarly, in FIG. 1, the representative value calculation unit 124 divides the acceleration component data generated by the acceleration component generation unit 123 into predetermined time intervals (window analysis sections), and relates to the degree of data bias in each window analysis section. Calculate the representative value. In general, the time-series data output from the biosensor can be fed back to the user in real time via the user interface by sequentially analyzing it in real time, which makes it very easy to use. At this time, by providing a window analysis section in advance and performing sequential analysis while shifting the analysis section, it is possible to perform analysis processing in substantially real time.

本実施形態において、代表値算出部124は、信号変換部121におけるデジタル化のサンプリング周波数が512Hzである場合、ウィンドウ分析区間を128サンプルとし、加速度成分の時系列データを0.25秒毎(128サンプル毎)に区切りながら、区切った区間毎に、当該区間内の加速度成分データにおける標準偏差SDを算出する。変更態様として、加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間として標準偏差SDを算出してもよい。 In the present embodiment, when the sampling frequency of digitization in the signal conversion unit 121 is 512 Hz, the representative value calculation unit 124 sets the window analysis section to 128 samples and collects the time series data of the acceleration component every 0.25 seconds (every 128 samples). ), The standard deviation SD in the acceleration component data in the section is calculated for each section. As a modification, every time 64 samples of time series data of acceleration components are input, the standard deviation SD may be calculated using the most recently input 128 samples as the window analysis interval.

なお、ここで算出される値は当然に、標準偏差SDに限定されるものではなく、ウィンドウ分析区間での加速度成分データの偏り具合に係る値ならば種々の値が採用可能である。 Naturally, the value calculated here is not limited to the standard deviation SD, and various values can be adopted as long as it is a value related to the degree of bias of the acceleration component data in the window analysis section.

代表値算出部124は、また、各ウィンドウ分析区間における加速度成分が所定範囲内に連続して留まっている時間区間の長さ(サンプル数長len_th)について単調減少関数となる重みWを算出する。この重みWについては、後に図2及び図4に示した実施例を用いて詳細に説明する。 The representative value calculation unit 124 also calculates a weight W that is a monotonically decreasing function for the length of the time interval (sample length len_th) in which the acceleration component in each window analysis interval remains continuously within a predetermined range. The weight W will be described in detail later with reference to the examples shown in FIGS. 2 and 4.

その後、代表値算出部124は、算出した標準偏差SDを、同じく算出した重みWによって重み付けした値を代表値SDWに決定する。具体的には、次式
(3) SDW[k]=W[k]*SD[k]
によって代表値SDW[k]を算出する。ここで上式(3)において、kはウィンドウ位置(ウィンドウ・インデックス)であり、SDW[k]、W[k]及びSD[k]における[k]は、それぞれウィンドウ位置kでの値であることを示す。
After that, the representative value calculation unit 124 determines the value obtained by weighting the calculated standard deviation SD with the similarly calculated weight W as the representative value SD W. Specifically, the following equation (3) SD W [k] = W [k] * SD [k]
The representative value SD W [k] is calculated by. Here, in the above equation (3), k is the window position (window index), and [k] in SD W [k], W [k] and SD [k] is the value at the window position k, respectively. Indicates that there is.

信号発生判定部125は、代表値算出部124で算出された代表値SDWを用いて、生体信号が発生したか否かの判定を行う。例えば、算出された代表値SDW[k]が所定閾値を超える値であれば、ウィンドウ位置kにおいて何らかの生体信号が発生したとの判定を行ってもよい。また変更態様として、後に図5を用いて詳細に説明するが、代表値SDWの時系列データが所定のヒステリシスをn度(nは自然数)示した際、生体信号がn回発生したと判定することもできる。 The signal generation determination unit 125 uses the representative value SD W calculated by the representative value calculation unit 124 to determine whether or not a biological signal has been generated. For example, if the calculated representative value SD W [k] exceeds a predetermined threshold value, it may be determined that some biological signal has been generated at the window position k. Further, as a modification mode, which will be described in detail later with reference to FIG. 5, when the time series data of the representative value SD W shows a predetermined hysteresis of n degrees (n is a natural number), it is determined that the biological signal is generated n times. You can also do it.

同じく図1において、生体信号判別部126は、生体信号が発生したとの判定に係る時間区間において、発生した生体信号の種別を判定する。例えば、発生した生体信号は食い縛り動作によるもの、又は口角上げ動作によるものとの判定を行う。この生体信号判別部126での処理については、後に、図6のフローチャートを用いて全体のフローを概観する際、詳細に説明を行う。 Similarly, in FIG. 1, the biological signal discrimination unit 126 determines the type of the generated biological signal in the time interval related to the determination that the biological signal has been generated. For example, it is determined that the generated biological signal is due to the binding motion or the mouth angle raising motion. The processing by the biological signal discriminating unit 126 will be described in detail later when the overall flow is overviewed using the flowchart of FIG.

ちなみに、信号発生判定部125や生体信号判別部126における判定結果の情報は、信号インタフェース127を介し、例えばユーザの携帯した携帯端末2へ送信され、携帯端末2において様々なアプリで利用されることも好ましい。この場合、例えば単位時間(1時間や1日等)当たりの生体信号発生回数(例えば口角上げに係る筋電信号の場合には「笑み」の起こった回数)や、生体活動量(例えば「笑み」に係る筋肉の収縮活動の量)が時系列のグラフとして表示されてもよい。また、これらの情報がログとして記録されてもよく、さらには、筋電センサ付メガネ1のレンズ部に設けられた(図示していない)ディスプレイに表示させることも可能である。 By the way, the information of the determination result in the signal generation determination unit 125 and the biological signal determination unit 126 is transmitted to, for example, the mobile terminal 2 carried by the user via the signal interface 127, and is used in various applications in the mobile terminal 2. Is also preferable. In this case, for example, the number of biological signal generations per unit time (1 hour, 1 day, etc.) (for example, the number of "smiles" in the case of a myoelectric signal related to raising the angle of the mouth) and the amount of biological activity (for example, "smile"). The amount of muscle contraction activity) related to "" may be displayed as a time-series graph. Further, such information may be recorded as a log, and further, it can be displayed on a display (not shown) provided in the lens portion of the glasses 1 with an EMG sensor.

なお、信号インタフェース127と携帯端末2とは、無線又は有線(ケーブル)をもって通信接続されている。このうち、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線(ケーブル)は、USB(Universal Serial Bus)で接続されるものであってもよい。なお、携帯端末2は、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。 The signal interface 127 and the mobile terminal 2 are communicated and connected wirelessly or by wire (cable). Of these, the wireless can be, for example, a wireless LAN such as Bluetooth (registered trademark) or Wi-Fi (registered trademark). Further, the wired (cable) may be connected by USB (Universal Serial Bus). The mobile terminal 2 can be a smartphone, a mobile phone, a PDA (Personal Digital Assistant), a tablet computer, or the like, but may be another information processing device such as a personal computer.

以下、実際の生体信号を含む入力信号を用い、本発明に係る生体信号処理を実施した実施例を説明する。 Hereinafter, an example in which the biological signal processing according to the present invention is carried out using an input signal including an actual biological signal will be described.

図2及び図3は、本発明に係る生体信号処理を実施した実施例を説明するためのグラフである。なお本実施例では、生体信号処理装置として、図1に示す筋電センサ付メガネ1が使用されている。 2 and 3 are graphs for explaining an example in which the biological signal processing according to the present invention is carried out. In this embodiment, the glasses 1 with an electromyographic sensor shown in FIG. 1 are used as the biological signal processing device.

図2(A)に、
(a)「筋電信号・ノイズ:無し」:筋電信号もノイズも存在しない入力信号の波形、
(b)「筋電信号・ノイズ:有り」:筋電信号及びノイズが存在する入力信号の波形、
(c)「筋電信号:有り」:筋電信号が存在する(ノイズは存在しない)入力信号の波形、及び
(d)「ノイズ:有り」:ノイズが存在する(筋電信号は存在しない)入力信号の波形
を示す。
In FIG. 2 (A),
(A) "Myoelectric signal / noise: None": Waveform of the input signal with no myoelectric signal or noise,
(B) "Myoelectric signal / noise: Yes": Waveform of myoelectric signal and input signal in which noise is present,
(C) "Myoelectric signal: Yes": Myoelectric signal exists (no noise exists) Input signal waveform, and (d) "Noise: Yes": Noise exists (No myoelectric signal exists) The waveform of the input signal is shown.

これらの入力信号波形は、Neurosky社製のTGAM1を用い、サンプリング周波数を512Hzとしてサンプリングされた信号を128サンプル数分毎に抽出し、抽出された一単位を1つの点として当該点を線分で結んだ折れ線グラフの波形となっている。なお、商用電源由来の交流成分を含む誘導ノイズを除去するため、TGAM1において予めノッチフィルタ処理が実施されている。また、上記の「ノイズ」は実際に、皮膚の盛り上がり等で電極がずれを起こした際に発生するノイズであることが分かっている。 For these input signal waveforms, TGAM1 manufactured by Neurosky is used, and a signal sampled at a sampling frequency of 512 Hz is extracted every 128 samples every few minutes, and the extracted unit is used as one point and the point is defined as a line segment. It is the waveform of the connected line graph. In addition, in order to remove the induced noise including the AC component derived from the commercial power source, the notch filter processing is performed in advance in TGAM1. Further, it is known that the above-mentioned "noise" is actually noise generated when the electrodes are displaced due to swelling of the skin or the like.

このうち、図2(A)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の入力信号波形によれば、(口角上げや食い縛りといった)筋肉活動に起因する筋電信号は、非常に幅の広い周波数成分を有することが分かる。 Of these, according to the input signal waveforms of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2 (A), myoelectric signals caused by muscle activity (such as raising the corner of the mouth and binding) Is found to have a very wide frequency component.

一方、図2(A)の「筋電信号・ノイズ:無し」の入力信号波形によれば、無表情時は、振幅の小さい信号波形となることが分かる。 On the other hand, according to the input signal waveform of “Myoelectric signal / noise: None” in FIG. 2 (A), it can be seen that the signal waveform has a small amplitude when there is no expression.

また、図2(A)の「ノイズ:有り」の入力信号波形によれば、電極ずれに起因するノイズは、振幅の非常に大きい(場合によっては振幅が測定レンジを超えて飽和するほどの)信号波形を示すことが分かる。 Further, according to the input signal waveform of “Noise: Yes” in FIG. 2 (A), the noise caused by the electrode displacement has a very large amplitude (in some cases, the amplitude is saturated beyond the measurement range). It can be seen that it shows a signal waveform.

さらに、図3(A)には、
(e)「まばたきによる信号」:強めにまばたきを行った際の入力信号の波形
も示されている。この入力信号波形によれば、本実施例のようにメガネ型の装置を使用した場合にまばたきを強く行うと、アーチファクトが混入することが分かる。
Further, in FIG. 3 (A),
(E) "Signal by blinking": The waveform of the input signal when blinking strongly is also shown. According to this input signal waveform, it can be seen that when the eyeglass-type device is used as in the present embodiment and the blinking is strong, artifacts are mixed.

次に、図2(A)及び図3(A)に示したこれらの入力信号に対し、LPF部122b(図1)でLPF処理を実施し、次いで加速度成分生成部123(図1)で2階差分フィルタ処理を実施した結果を、図2(B)及び図3(B)に示す。 Next, the LPF unit 122b (FIG. 1) performs LPF processing on these input signals shown in FIGS. 2 (A) and 3 (A), and then the acceleration component generation unit 123 (FIG. 1) 2 The results of performing the order difference filter processing are shown in FIGS. 2 (B) and 3 (B).

このうち、図2(B)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の場合、加速度成分の波形は、振幅の大きい区間が連続して生じた形となっていることが分かる。 Of these, in the case of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2B, the waveform of the acceleration component has a form in which a section having a large amplitude is continuously generated. You can see that.

一方、図2(B)の「筋電信号・ノイズ:無し」及び「ノイズ:有り」や図3(B)の「まばたきによる信号」の場合、加速度成分の波形は、振幅の小さい区間が連続して生じた形となっていることが分かる。 On the other hand, in the case of "myoelectric signal / noise: none" and "noise: yes" in FIG. 2 (B) and "signal due to blinking" in FIG. 3 (B), the waveform of the acceleration component has continuous sections with small amplitude. It can be seen that the shape is formed by.

ここでさらに、図2(B)及び図3(B)に示したグラフの振幅(加速度成分)における度数分布を図2(C)及び図3(C)に示す。これらのヒストグラムにおいて、加速度成分のゼロ点を挟んだ位置に伸長した2本の垂線はそれぞれ、同振幅の平均値位置から見た、プラス標準偏差分の位置及びマイナス標準偏差分の位置を示している。 Here, further, the frequency distribution in the amplitude (acceleration component) of the graphs shown in FIGS. 2 (B) and 3 (B) is shown in FIGS. 2 (C) and 3 (C). In these histograms, the two perpendiculars extending to the positions sandwiching the zero point of the acceleration component indicate the positions of the plus standard deviation and the minus standard deviation, respectively, as seen from the average value position of the same amplitude. There is.

このうち、図2(C)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の場合、2本の垂線の間隔は比較的に広くなっている。すなわち、加速度成分の振幅の大きな周期性に対応して度数分布の標準偏差SDはより大きくなっていることが分かる。一方、図2(C)の「筋電信号・ノイズ:無し」及び「ノイズ:有り」や図3(C)の「まばたきによる信号」の場合、2本の垂線の間隔は比較的に狭くなっている。したがって、加速度成分について振幅の小さい区間が連続していることに対応して度数分布の標準偏差SDはより小さくなっているのである。 Of these, in the case of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2C, the distance between the two perpendiculars is relatively wide. That is, it can be seen that the standard deviation SD of the frequency distribution becomes larger corresponding to the large periodicity of the amplitude of the acceleration component. On the other hand, in the case of "myoelectric signal / noise: none" and "noise: yes" in FIG. 2C and "signal due to blinking" in FIG. 3C, the distance between the two perpendiculars is relatively narrow. ing. Therefore, the standard deviation SD of the frequency distribution becomes smaller corresponding to the continuity of the sections with small amplitudes for the acceleration component.

本発明では、この標準偏差SDのような偏り具合に係る量についての性質を利用して、「ノイズ」以外の「筋電信号」が発生しているのか否かを判定するのである。 In the present invention, it is determined whether or not a "myoelectric signal" other than "noise" is generated by utilizing the property of the amount related to the degree of bias such as the standard deviation SD.

この点、従来、メガネ型の筋電センサを用いて例えば「口角上げ」の筋電信号を検出する際、例えば図3(A)に示したような「まばたき」による大振幅の鋭いアーチファクトを、「口角上げ」の筋電信号として誤判定してしまう問題が生じていた。これに対し、以上に説明したような加速度成分の標準偏差SDに着目して信号処理を行うことによって、例えば「まばたき」に係るアーチファクトは、標準偏差SDの小さな「ノイズ」として筋電信号発生に含めないといった処置が可能となるのである。 In this regard, conventionally, when detecting an electromyographic signal of, for example, "raising the corner of the mouth" using a glasses-type myoelectric sensor, a sharp artifact with a large amplitude due to "blinking" as shown in FIG. There was a problem that it was erroneously judged as an electromyographic signal of "raising the corner of the mouth". On the other hand, by performing signal processing focusing on the standard deviation SD of the acceleration component as described above, for example, an artifact related to "blinking" can generate a myoelectric signal as a small "noise" of the standard deviation SD. It is possible to take measures such as not including it.

ちなみに、上記の「まばたき」に係るアーチファクトは、強くまばたきを行うことによって電極接触面圧が変化することに起因して発生すると考えられる。このようなアーチファクトと同様のものとして、素早い頷き、急な振り向き、急な傾げといった頭部の素早い動きにより電極接触面圧が変化することによって生じるアーチファクトも実際に検出されている。 By the way, it is considered that the above-mentioned artifact related to "blinking" is caused by a change in the electrode contact surface pressure due to strong blinking. Similar to such artifacts, artifacts caused by changes in electrode contact surface pressure due to quick movements of the head such as quick nodding, sudden turning, and sudden tilting have actually been detected.

これに対し、加速度成分の標準偏差SDに着目した本発明に係る信号処理は、これらのアーチファクトを筋電信号として判定するエラーを大幅に低減することができるのである。すなわち、電極接触圧の変化によって生じるバイアス変動や短時間パルス状の高バイアス変動の誤検出を、抑制することが可能となるのである。 On the other hand, the signal processing according to the present invention focusing on the standard deviation SD of the acceleration component can significantly reduce the error of determining these artifacts as myoelectric signals. That is, it is possible to suppress erroneous detection of bias fluctuations caused by changes in electrode contact pressure and short-time pulsed high bias fluctuations.

次に、代表値SDWを算出するのに用いられる重みWの導出について説明を行う。 Next, the derivation of the weight W used to calculate the representative value SD W will be described.

図2(B)における、筋肉活動が活発でない「筋電信号・ノイズ:無し」や、電極ズレに起因するノイズのみが見られる「ノイズ:有り」においては、加速度成分が所定範囲内に連続して留まっている時間区間、言い換えると加速度成分の振幅の絶対値が所定閾値以下に収まっている時間区間(同図に示したlen_thの区間)が、「筋電信号・ノイズ:有り」及び「筋電信号:有り」での同時間区間と比較して相当に長くなっていることが分かる。 In FIG. 2B, in "myoelectric signal / noise: none" in which muscle activity is not active and "noise: yes" in which only noise due to electrode misalignment is observed, the acceleration component is continuous within a predetermined range. The time interval in which the acceleration component stays, in other words, the time interval in which the absolute value of the amplitude of the acceleration component is within the predetermined threshold (len_th interval shown in the figure) is "myoelectric signal / noise: yes" and "muscle". It can be seen that it is considerably longer than the same time section in "Electric signal: Yes".

そこで、この時間区間が長くなると急速に小さくなるような(又は少なくともこの時間区間について単調減少関数となる)「重みW」を決定し、代表値SDWにそのような特性を盛り込むことによって、筋電信号の無い場合やノイズのみの場合における筋電信号発生との誤判定を、より確実に回避することが可能となるのである。 Therefore, by determining a "weight W" that rapidly decreases as this time interval becomes longer (or at least becomes a monotonically decreasing function for this time interval), and incorporating such a characteristic into the representative value SD W , the muscle It is possible to more reliably avoid the erroneous determination that the myoelectric signal is generated when there is no electric signal or when there is only noise.

以下具体的に、重みWの導出を説明する。ここで最初に、重み算出対象のウィンドウ分析区間の先頭から加速度成分の振幅を走査し、予め設定した閾値th未満の振幅が連続しているサンプル数長len_thを決定する。また、ノイズ区間を規定することになる観測サンプル数obsを予め設定しておく。例えば、th=10、及びobs=15と設定することができる。 The derivation of the weight W will be specifically described below. Here, first, the amplitude of the acceleration component is scanned from the beginning of the window analysis section to be weighted, and the sample number length len_th in which the amplitude less than the preset threshold value th is continuous is determined. In addition, the number of observation samples obs that defines the noise interval is set in advance. For example, th = 10 and obs = 15 can be set.

ちなみに、ウィンドウ分析区間内に、閾値th未満の振幅連続区間が複数存在する場合、サンプル数長len_thはそれらの区間の合計サンプル数としてもよい。または、そのうち最も時間区間の長い振幅連続区間におけるサンプル数を、サンプル数長len_thとすることも可能である。 Incidentally, when there are a plurality of amplitude continuous sections having a threshold value less than th in the window analysis section, the sample number length len_th may be the total number of samples in those sections. Alternatively, the number of samples in the longest amplitude continuous interval among them can be set to the sample number length len_th.

図4は、本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである。 FIG. 4 is a graph for explaining the weight W used to calculate the representative value SD W according to the present invention.

図4(A)には、サンプル数長len_thの関数としての指数重みWが示されている。この指数重みWは、次式
(4) W=exp(1−len_th/obs)
によって規定されている。また、図4(A)ではobs=15であって、Len_th=15ならばW=1.0となる。さらに、len_thが大きくなるにつれて指数重みWは急激に減少し、ゼロに漸近する。実際、len_thがウィンドウ分析区間長(128サンプル)相当となると、指数重みWは概ねゼロとなる。
FIG. 4A shows the exponential weight W as a function of the sample length len_th. This exponential weight W is calculated by the following equation (4) W = exp (1−len_th / obs).
Is stipulated by. Further, in FIG. 4 (A), obs = 15, and if Len_th = 15, W = 1.0. Furthermore, as len_th increases, the exponential weight W decreases sharply and asymptotically approaches zero. In fact, when len_th corresponds to the window analysis interval length (128 samples), the exponential weight W becomes almost zero.

一方、図4(B)には、同じくobs=15の場合における、サンプル数長len_thの関数としての反比例重みWが示されている。反比例重みWは、次式
(5) W=1/((len_th−obs)/a+1)
によって規定される。ここで、aはobsを超える値(a>obs)をとって分母を正値にすることが好ましい。図4(B)の反比例重みWは、a=obs*obs(=225)の場合であり、Len_th=15ならばW=1.0となる。また、len_thが大きくなるにつれて反比例重みWは減少し、ゼロに近づく。
On the other hand, FIG. 4B shows the inverse proportional weight W as a function of the sample number length len_th in the same case of obs = 15. The inverse proportional weight W is calculated by the following equation (5) W = 1 / ((len_th−obs) / a + 1)
Specified by. Here, it is preferable that a takes a value exceeding obs (a> obs) and sets the denominator to a positive value. The inverse proportional weight W in FIG. 4B is the case of a = obs * obs (= 225), and if Len_th = 15, W = 1.0. Also, as len_th increases, the inverse proportional weight W decreases and approaches zero.

勿論、重みWは、以上に示したものに限定されるものではない。len_thの単調減少関数であれば重みWとして採用可能であり、また好ましくは、len_thの増加とともにゼロに近づく関数、より好適にはゼロに漸近する関数であれば、種々のものが重みWとして用いることができる。例えば、重みWを負の傾きを有するlen_thの一次関数としてもよいが、図4(A)に示した指数重みWの方が、より確実な生体信号発生判定に資することになる。 Of course, the weight W is not limited to those shown above. A monotonically decreasing function of len_th can be adopted as a weight W, and preferably, a function approaching zero as len_th increases, and more preferably a function asymptotic to zero, various functions are used as weight W. be able to. For example, the weight W may be a linear function of len_th having a negative slope, but the exponential weight W shown in FIG. 4A contributes to a more reliable determination of biological signal generation.

ここで、代表値算出部124(図1)は、以上のように導出された重みWを用いて、算出された標準偏差SDを重み付けし、上記の式(3):SDW[k]=W[k]*SD[k](k:ウィンドウ位置)によって代表値SDW[k]を決定する。次いで、信号発生判定部125(図1)は、算出された代表値SDW[k]が所定閾値を超える値であれば、ウィンドウ位置kにおいて何らかの生体信号が発生したとの判定を行うのである。 Here, the representative value calculation unit 124 (FIG. 1) weights the calculated standard deviation SD by using the weight W derived as described above, and the above equation (3): SD W [k] = The representative value SD W [k] is determined by W [k] * SD [k] (k: window position). Next, the signal generation determination unit 125 (FIG. 1) determines that some biological signal has been generated at the window position k if the calculated representative value SD W [k] exceeds a predetermined threshold value. ..

以下、この信号発生判定の好適な変更態様として、代表値SDWの時系列データのヒステリシスを利用する方法を説明する。 Hereinafter, a method of utilizing the hysteresis of the time series data of the representative value SD W will be described as a preferred modification mode of this signal generation determination.

図5は、代表値SDWのヒステリシスを利用した信号発生判定処理の一実施形態を示すグラフである。この図5のグラフは、算出された代表値SDWの時系列データ点を線分で結んだ折れ線グラフとなっている。 FIG. 5 is a graph showing an embodiment of signal generation determination processing using the hysteresis of the representative value SD W. The graph of FIG. 5 is a line graph connecting the time-series data points of the calculated representative value SD W with a line segment.

信号発生判定部125(図1)は、
(a)代表値SDW(の推移を示す折れ線)が閾値Thhのラインを下方(値の小さい方)から横切って上方(値の大きい方)に向かう点をカウント開始点(丸印)とし、
(b)代表値SDW(の推移を示す折れ線)が閾値Thl(<Thh)のラインを上方(値の大きい方)から横切って下方(値の小さい方)に向かう点をカウント終了点(三角印)として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に1だけカウントを増分する。
The signal generation determination unit 125 (FIG. 1)
(A) The point at which the representative value SD W (the polygonal line indicating the transition) crosses the threshold Thh line from the lower side (the smaller value) to the upper side (the larger value) is set as the count start point (circle).
(B) The point at which the representative value SD W (the polygonal line indicating the transition) crosses the line with the threshold value Thr (<Thh) from above (larger value) to downward (smaller value) is the end point (triangle). Mark), as
The count is incremented by 1 for each pair of these count start points and the subsequent count end points.

図5の実施例では、この組が4つ存在しているので、これらの4つの組がグラフで決定された段階で、生体信号が4回発生したと判定される(生体信号の発生数が4とカウントされる)。ここで、開始点の閾値(thh)及び終了点の閾値(thl)を適切に設定することによって、信号発生判定結果のチャタリングを防止することも可能となるのである。 In the embodiment of FIG. 5, since there are four of these sets, it is determined that the biological signal has been generated four times at the stage when these four sets are determined by the graph (the number of biological signals generated is determined). It counts as 4). Here, by appropriately setting the threshold value (thh) of the start point and the threshold value (thl) of the end point, it is possible to prevent chattering of the signal generation determination result.

さらに、信号発生判定部125は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が決定されない際、このカウント開始点からその時点までで1回をカウントした上で、この時間閾値Tmax経過後は、代表値SDWが閾値Thlを下回るまでノイズ判定期間であるとしてもよい。この場合、図5の実施例では、結局、生体信号の発生回数は5回であると決定されることになる。 Further, when the count end point is not determined even after a predetermined time threshold T max has elapsed after the signal generation determination unit 125 determines the count start point, the signal generation determination unit 125 performs once from this count start point to that point. After counting, after the lapse of this time threshold value T max, the noise determination period may be set until the representative value SD W falls below the threshold value Thr. In this case, in the embodiment of FIG. 5, it is finally determined that the number of times the biological signal is generated is five.

[生体信号処理方法]
図6は、本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。なお、図6に示した本実施形態のフローには、生体信号判別部126(図1)による生体信号種別判定処理が含まれているが、この種別判定処理については別途詳細に説明を行う。
[Biomedical signal processing method]
FIG. 6 is a flowchart showing an outline of an embodiment of the biological signal processing method according to the present invention. The flow of the present embodiment shown in FIG. 6 includes a biological signal type determination process by the biological signal determination unit 126 (FIG. 1), and this type determination process will be described in detail separately.

(S101)取得した入力信号を差動増幅してデジタル化し、バッファリングを行う。
(S102)バッファリングされた入力信号に対し、商用電源に係る周期的ノイズを低減するノッチフィルタ処理を実施する。
(S103)ノッチフィルタ処理を施された入力信号に対し、LPF処理を実施する。
(S104)LPF処理を施された入力信号に対し、2階差分フィルタ処理を実施する。
(S105)2階差分フィルタ処理を施され、時系列の加速度成分データとなった入力信号を、所定のウィンドウ分析区間に分割する。
(S101) The acquired input signal is differentially amplified and digitized for buffering.
(S102) A notch filter process for reducing periodic noise related to a commercial power source is performed on the buffered input signal.
(S103) LPF processing is performed on the input signal that has been subjected to the notch filter processing.
(S104) The second-order difference filter processing is performed on the input signal subjected to the LPF processing.
(S105) The input signal that has been subjected to the second-order difference filter processing and has become the acceleration component data of the time series is divided into a predetermined window analysis section.

(S106)ウィンドウ分析区間毎に重みWを算出する。
(S107)ウィンドウ分析区間毎に代表値SDWを算出する。
(S108)ウィンドウ分析区間毎に、代表値SDWが所定閾値Thを上回っているか(SDW>Th)否かを判定する。
(S109a)ステップS108で上回っている(SDW>Th)との判定を行った場合、当該ウィンドウ分析区間において何らかの生体信号が発生したと判断し、その種別を判定すべくステップS110に移行する。
(S106) The weight W is calculated for each window analysis section.
(S107) The representative value SD W is calculated for each window analysis section.
(S108) For each window analysis section, it is determined whether or not the representative value SD W exceeds the predetermined threshold value Th (SD W > Th).
(S109a) When it is determined in step S108 that the number exceeds (SD W > Th), it is determined that some biological signal has been generated in the window analysis section, and the process proceeds to step S110 to determine the type.

(S110)生体信号が発生したと判定されたウィンドウ分析区間において、生体信号種別判定を行う。この判定処理については、この後、詳細に説明する。
(S111)種別を判定された生体信号の発生回数、すなわち該当生体現象の生起回数をカウントする。このカウントについても後に説明を行う。
(S109b)一方、ステップS108で上回っていない(SDW≦Th)との判定を行った場合、当該ウィンドウ分析区間では生体信号は発生していないと判断し、その旨を生体信号発生回数に反映すべくステップS111に移行する。
(S110) In the window analysis section where it is determined that the biological signal has been generated, the biological signal type determination is performed. This determination process will be described in detail later.
(S111) The number of occurrences of the biological signal whose type is determined, that is, the number of occurrences of the corresponding biological phenomenon is counted. This count will also be described later.
(S109b) On the other hand, when it is determined in step S108 that the number does not exceed (SD W ≤ Th), it is determined that no biological signal is generated in the window analysis section, and this is reflected in the number of times the biological signal is generated. The process proceeds to step S111.

以下、生体信号判別部126(図1)によって実施される上記ステップS110及びS111の生体信号種別判定処理及び発生回数カウント処理を説明する。 Hereinafter, the biological signal type determination process and the number of occurrence count process in steps S110 and S111, which are carried out by the biological signal determination unit 126 (FIG. 1), will be described.

生体信号判別部126は、この種別判定の一実施形態として、生体信号が発生したとの判定に係る時間区間において、入力信号の平均パワー周波数(MPF,mean power frequency)を算出し、MPFの高さに基づいて、発生した生体信号の種別を判定することも好ましい。 As an embodiment of this type determination, the biological signal discrimination unit 126 calculates the average power frequency (MPF, mean power frequency) of the input signal in the time interval related to the determination that the biological signal has been generated, and has a high MPF. It is also preferable to determine the type of the generated biological signal based on the above.

ここで、本願発明者は、筋電センサ付メガネ1を用いて取得した入力信号に対し、高速フーリエ変換(FFT,Fast Fourier Transform)等による周波数解析処理を実施し、各ウィンドウ分析区間においてMPFを算出したところ、このMPF値の閾値判定によって、発生した筋電信号の種別が判断可能であることを見出した。 Here, the inventor of the present application performs frequency analysis processing by fast Fourier transform (FFT, Fast Fourier Transform) or the like on the input signal acquired by using the glasses 1 with myoelectric sensor, and performs MPF in each window analysis section. As a result of the calculation, it was found that the type of the generated myoelectric signal can be determined by the threshold determination of the MPF value.

具体的には、例えば、MPF値が所定閾値を超えている場合、発生している生体信号は食い縛り動作による筋電信号であると判定し、一方、MPF値がこの所定閾値以下である場合、発生している生体信号は、口角上げ動作による筋電信号であると判定することができる。また、図5の縦軸をMPF値としたヒステリシスグラフを生成して、同様に食い縛り動作や口角上げ動作(による筋電信号)の発生回数をカウントすることも可能となる。 Specifically, for example, when the MPF value exceeds a predetermined threshold value, it is determined that the generated biological signal is a myoelectric signal due to a clenching operation, while the MPF value is equal to or less than this predetermined threshold value. , The generated biological signal can be determined to be a myoelectric signal due to the movement of raising the angle of the mouth. It is also possible to generate a hysteresis graph with the vertical axis of FIG. 5 as the MPF value, and similarly count the number of occurrences of the biting motion and the mouth angle raising motion (the myoelectric signal).

さらに、ウィンドウ分析区間において、信号強度、例えば振幅の標準偏差SD’を算出し、この値もMPF値と同様にして発生信号の種別判定に用いることも可能となっている。 Further, in the window analysis section, it is possible to calculate the signal strength, for example, the standard deviation SD'of the amplitude, and use this value for determining the type of the generated signal in the same manner as the MPF value.

ちなみに、一般的にFFT等の周波数解析処理には相当の計算量が必要とされるが、本実施形態では、ステップS108及びS109において何らかの生体信号が発生したと判定された分析区間のみにおいてこのような周波数解析を行うので、種別判定において周波数解析処理を実施するにもかかわらず、計算量を大幅に削減することができるのである。 By the way, in general, a considerable amount of calculation is required for frequency analysis processing such as FFT, but in the present embodiment, this is performed only in the analysis section where it is determined that some biological signal is generated in steps S108 and S109. Since the frequency analysis is performed, the amount of calculation can be significantly reduced even though the frequency analysis process is performed in the type determination.

さらに、生体信号判別部126は、生体信号種別判定の他の実施形態として、生体信号が発生したとの判定に係る時間区間において、標準偏差SD’と入力信号のMPF値(MPF)とを含む特徴量、例えば{SD', MPF}を算出し、この特徴量について、基準状態に該当する入力信号の特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された離隔度合いに基づいて、発生した生体信号の種別を判定することも好ましい。 Further, as another embodiment of the biological signal type determination, the biological signal discrimination unit 126 includes the standard deviation SD'and the MPF value (MPF) of the input signal in the time interval related to the determination that the biological signal has been generated. A feature amount, for example {SD', MPF}, was calculated, and for this feature amount, the degree of separation, which is the degree of separation from the unit space set by the feature amount of the input signal corresponding to the reference state, was calculated and calculated. It is also preferable to determine the type of the generated biological signal based on the degree of separation.

この場合具体的に、生体信号判別部126は、生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、生体信号の発生を判定することができる。 In this case, specifically, the biological signal discrimination unit 126 combined the state in which the biological signal is generated and the state in which the biological signal is not generated from the degree of separation from the unit space related to the reference state in which the biological signal is not generated. The generation of the biological signal can be determined based on the amount obtained by subtracting the degree of separation from the unit space related to the reference state and the degree of separation from the unit space related to the reference state in which the biological signal is generated.

ここで、上記の単位空間及び離隔度合いとして、
(a)MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
(b)MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
(c)T法における単位空間、及び特性値から算出される値、又は
(d)RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することができる。ちなみに、このような生体信号種別判定の方法が有効であることも、本願発明者が実験を通して見出したものである。
Here, as the above unit space and the degree of separation,
(A) A value calculated from the unit space in the MT (Mahalanobis Taguchi) method and the Mahalanobis distance.
(B) A value calculated from the unit space in the MTA (Mahalanobis-Taguchi Adjoint) method and the Mahalanobis distance.
A value calculated from (c) the unit space and the characteristic value in the T method, or (d) a value calculated from the unit space and the RT distance in the RT (Recognition Taguchi) method can be adopted. By the way, the inventor of the present application has also found through experiments that such a method for determining the type of biological signal is effective.

このうち、MT法を用いた場合、例えば口角上げ動作による筋電信号を判別する際には、
(ア)無表情状態及び口角上げ状態(を合わせた状態群)
(イ)無表情状態
(ウ)口角上げ状態
についての3つの単位空間を設計し、入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離1、距離2及び距離3として算出して、(判定用距離)=(距離2)−(距離1)−(距離3)とすることによって、より好適な判定結果が得られることが分かっている。
Of these, when the MT method is used, for example, when discriminating the myoelectric signal due to the operation of raising the angle of the mouth,
(A) Expressionless state and mouth angle raised state (combined state group)
(B) Expressionless state (c) Design three unit spaces for the raised mouth angle state, and calculate the degree of separation from these unit spaces in the input signal as distance 1, distance 2, and distance 3, respectively. It is known that a more suitable determination result can be obtained by setting (distance for determination) = (distance 2)-(distance 1)-(distance 3).

このような判定用距離が所定閾値を超えている場合、発生している生体信号は口角上げ動作による筋電信号であると判定することができる。また、図5の縦軸をこの判定用距離としたヒステリシスグラフを生成して、同様に口角上げ動作(による筋電信号)の発生回数をカウントすることも可能となる。さらに、他の種別の生体信号、例えば食い縛り動作による筋電信号についても、上記と同様に判定用距離を決定して、種別判定や発生回数カウントを実施することができるのである。 When such a determination distance exceeds a predetermined threshold value, it can be determined that the generated biological signal is a myoelectric signal due to the mouth angle raising operation. Further, it is also possible to generate a hysteresis graph in which the vertical axis of FIG. 5 is the determination distance, and similarly count the number of occurrences of the mouth angle raising operation (due to the myoelectric signal). Further, for other types of biological signals, for example, myoelectric signals due to the clinging motion, the determination distance can be determined in the same manner as described above, and the type determination and the number of occurrence counts can be performed.

[生体信号処理装置の他の実施形態]
図7及び図8は、本発明による生体信号処理装置の他の実施形態を示す模式図である。
[Other Embodiments of Biological Signal Processing Device]
7 and 8 are schematic views showing another embodiment of the biological signal processing device according to the present invention.

図7には、本発明による生体信号処理装置としてのヘッドフォン1’が示されている。ヘッドフォン1’は、携帯端末2に連携するウェアラブルデバイスであり、検知された生体信号としての筋電信号を含み得る入力信号を、筋電センサ付メガネ1(図1)と同様に生体信号処理部12において処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。 FIG. 7 shows a headphone 1'as a biological signal processing device according to the present invention. The headphone 1'is a wearable device linked to the mobile terminal 2, and can input an input signal that can include a myoelectric signal as a detected biomedical signal, as in the glasses 1 with a myoelectric sensor (FIG. 1). The process is performed in No. 12, the presence / absence of the myoelectric signal generation and the type of the generated myoelectric signal are determined, and the information related to this determination result is transmitted to the mobile terminal 2 via wireless or wired (cable).

ここで、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線は、例えば携帯端末2のヘッドフォン・マイクロフォン用アナログ音声入出力端子(ジャック)に接続されるものであってもよく、USB(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末2からヘッドフォン1’へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン1’から携帯端末2へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。 Here, the wireless can be, for example, a wireless LAN such as Bluetooth (registered trademark) or Wi-Fi (registered trademark). Further, the wire may be connected to, for example, an analog audio input / output terminal (jack) for headphones / microphones of the mobile terminal 2, or may be connected by USB (Universal Serial Bus). In any case, the audio signal of the content is transmitted from the mobile terminal 2 to the headphone 1'via the wireless or wired system, and the myoelectric message detected by the myoelectric sensor is transmitted from the headphone 1'to the mobile terminal 2. Judgment result information related to the item is transmitted.

また、ヘッドフォン1’の筋電センサも、筋電センサ付メガネ1(図1)と同様、「検出用+(プラス)電極」、「リファレンス用−(マイナス)電極」、及び「DRL(Driven Right Leg)電極」の3つの電極を有している。また、これらの電極配置についても図7に示すように、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するように設定することができる。ちなみに、この場合、検知され得る生体信号には、口角上げ運動や食い縛り運動に起因する筋電信号が含まれる。 In addition, the myoelectric sensor of the headphone 1'also has "detection + (plus) electrode", "reference- (minus) electrode", and "DRL (Driven Right)" as in the case of glasses 1 with myoelectric sensor (FIG. 1). It has three electrodes, "Leg) electrodes". As for the arrangement of these electrodes, as shown in FIG. 7, the reference electrode is in contact with one skin position from around the left (or right) pinna to the vicinity of the cheek, and the detection electrode is in the right (or left) ear. It can be set to touch one skin position near the cheek from the periphery of the auricle. Incidentally, in this case, the biological signals that can be detected include a myoelectric signal caused by a mouth angle raising motion or a clenching motion.

なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、ヘッドフォン1’がオープンエア型のイヤカップやイヤパッドを有さない場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。 Of course, the arrangement of the electrodes of the myoelectric sensor is not limited to the above-mentioned form. For example, if the headphones 1'do not have an open-air earcup or earpad, the electrodes are placed closer to the cheeks from the surface of the support mechanism that contacts the skin around the ears to attach the headphones to the head. You may.

さらに、本発明による生体信号処理装置であって、同様の筋電センサ及びその電極を備えた頭部装着デバイスとして、図8に示したイヤホン1’’も挙げられる。このイヤホン1’’も、検知された生体信号としての筋電信号を含み得る入力信号を処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。また、当該無線又は有線を介し、携帯端末2からイヤホン1’’へ、例えばコンテンツの音声信号が伝送される。 Further, as a biological signal processing device according to the present invention, as a head-mounted device provided with a similar myoelectric sensor and an electrode thereof, the earphone 1 ″ shown in FIG. 8 can be mentioned. This earphone 1'' also processes an input signal that may include a myoelectric signal as a detected biological signal, determines whether or not a myoelectric signal is generated and the type of the generated myoelectric signal, and uses this determination result as a result. Such information is transmitted to the mobile terminal 2 via wireless or wired (cable). Further, for example, an audio signal of content is transmitted from the mobile terminal 2 to the earphone 1 ″ via the wireless or wired system.

ここで以上に説明した、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図7)や、イヤホン1’’(図8)を用いて、例えば、「笑み」を含む顔表情に相当する口角上げ運動に係る筋電信号を検知することもできる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができるのである。 Using the glasses 1 with myoelectric sensor (FIG. 1), headphones 1'(FIG. 7), and earphones 1'' (FIG. 8), which are described above and are worn at positions including the ears, for example, " It is also possible to detect an electromyographic signal related to a mouth angle raising movement corresponding to a facial expression including "smile". By the way, such a myoelectric signal can be used as a user interface when it is a signal due to a user's conscious reaction. On the other hand, if the signal is an unconscious reaction, it can be used as a measurement result of the user's emotion and its transition.

例えば、携帯端末2が再生中のコンテンツの音声をヘッドフォン1’に送信し、ヘッドフォン1’を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することが可能となる。また、ユーザによるヘッドフォン1’の装着/未装着も、筋電信号の検知状況から判断可能となるのである。 For example, the mobile terminal 2 transmits the sound of the content being played to the headphone 1', and by detecting the myoelectric signal during the voice experience of the user wearing the headphone 1', the user holds the content. It becomes possible to acquire information related to emotions. In addition, the user can determine whether or not the headphones 1'is worn / not worn from the detection status of the myoelectric signal.

ちなみに、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図7)や、イヤホン1’’(図8)は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、脈拍、脳波等に係る生体信号を検出することも可能とする。以上に説明したような実施形態の生体信号処理方法は、筋電信号に限らずこのような様々な種別の生体信号の処理にも適用することができるのである。 By the way, the glasses 1 with myoelectric sensor (Fig. 1), headphones 1'(Fig. 7), and earphones 1'' (Fig. 8), which are worn at the position including the ears, have only myoelectric signals from the muscles in the head. It is also possible to detect biological signals related to body temperature, sweating, pulse wave, pulse, brain wave, etc., which can be detected from a position near the ear. The biological signal processing method of the embodiment as described above can be applied not only to the processing of myoelectric signals but also to the processing of various types of biological signals.

特に、筋電信号や脳波等のノイジーな交流信号に対し、より効果的な処理が実施可能となる。すなわち、乾式電極を用いる筋電センサ等によって検出される信号が交流である性質を利用して検出を実施し、一方で、振幅の小さい交流信号は検出せず、さらに乾式電極のズレによるノイズ(アーチファクト)も筋電信号として検出しないので、計算量を小さくしつつより確実に交流信号としての筋電信号を検出することができる。 In particular, more effective processing can be performed on noisy AC signals such as myoelectric signals and brain waves. That is, the detection is performed by utilizing the property that the signal detected by the myoelectric sensor using the dry electrode is AC, while the AC signal having a small amplitude is not detected, and the noise due to the deviation of the dry electrode ( Since the artifact) is not detected as an myoelectric signal, the myoelectric signal as an AC signal can be detected more reliably while reducing the amount of calculation.

以上詳細に説明したように、本発明は、生体信号が発生しているか否かの判定において、一般に多大な計算量を必要とする周波数分析を行うのではなく、加速度成分データにおける代表値を算出して判定処理を行う。これにより、本発明によれば、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現するのである。 As described in detail above, the present invention calculates a representative value in acceleration component data instead of performing frequency analysis, which generally requires a large amount of calculation, in determining whether or not a biological signal is generated. And perform the judgment process. As a result, according to the present invention, frequency analysis is not required in determining the generation of biological signals, and robust biological signal processing is realized even for the generation of noise due to electrode misalignment.

また、本発明によるより精度の高い判定処理を用いることにより、1つの一応用例として、生体信号として大頬骨筋等の口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、「笑み」を定量的に計測し、例えばお笑い電子コンテンツの面白さを、笑み回数や口角上げ活動量から定量化することができる。また、ユーザの口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「笑み」の定量計測を定常的に実施し、ユーザが健全な生活を送っているのかどうかを定量化することもできるのである。 Further, by using the more accurate determination processing according to the present invention, as one application example, when a myoelectric signal caused by a muscle related to raising the angle of the mouth such as the zygomaticus major muscle is used as a determination target, " "Smile" can be quantitatively measured, and for example, the fun of laughter electronic content can be quantified from the number of smiles and the amount of activity to raise the mouth angle. In addition, command instructions from the user triggered by the user's mouth angle raising operation, such as camera shutter operation and zooming, and favorite registration of the content being viewed can be executed. Furthermore, it is possible to constantly carry out quantitative measurement of "smile" to quantify whether or not the user is living a healthy life.

さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生をより確実に判定することも可能とする。したがって、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすこともできるのである。 Furthermore, the present invention also makes it possible to specify various biological signals other than the above-mentioned myoelectric signals and more reliably determine the occurrence of biological phenomena related to the biological signals. Therefore, these judgment results and the measurement results of the number of occurrences can be utilized for evaluation of various types of contents, user interface of biological phenomena by will, and quantification of physical state and emotional / mental state. is there.

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 With respect to the various embodiments of the present invention described above, various changes, modifications and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above explanation is just an example and does not attempt to restrict anything. The present invention is limited only to the scope of claims and their equivalents.

1 筋電センサ付メガネ(生体信号処理装置)
1’ ヘッドフォン(生体信号処理装置)
1’’ イヤホン(生体信号処理装置)
11 信号処理ボックス
12 生体信号処理部
121 信号変換部
122 前フィルタ処理部
122a ノッチフィルタ部
122b LPF部122b
123 加速度成分生成部
123a 2階差分フィルタ部
124 代表値算出部
125 信号発生判定部
126 生体信号判別部
127 信号インタフェース
13 プラス電極パッド
14 マイナス電極パッド
15 鼻パッド電極部
2 携帯端末
1 Glasses with myoelectric sensor (biological signal processor)
1'Headphones (biological signal processor)
1'' Earphone (biological signal processor)
11 Signal processing box 12 Biometric signal processing unit 121 Signal conversion unit 122 Pre-filter processing unit 122a Notch filter unit 122b LPF unit 122b
123 Acceleration component generation unit 123a Second-order difference filter unit 124 Representative value calculation unit 125 Signal generation determination unit 126 Biological signal discrimination unit 127 Signal interface 13 Positive electrode pad 14 Negative electrode pad 15 Nose pad Electrode unit 2 Mobile terminal

Claims (9)

筋電信号を含み得る入力信号を処理する生体信号処理装置であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
を有することを特徴とする生体信号処理装置。
A biological signal processing device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
A biological signal processing device comprising a signal generation determining means for determining that the myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、バイアス変動成分を抽出する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することを特徴とする請求項1に記載の生体信号処理装置。 Further, a pre-filter processing means for performing a band-stop filter process for reducing noise related to a commercial power supply and a low-pass filter process for extracting a bias fluctuation component with respect to the input signal before generating the acceleration component data. The biometric signal processing apparatus according to claim 1, wherein the biosignal processing apparatus is provided. 前記信号発生判定手段は、当該代表値の時系列データが、時間経過とともに、第1の閾値のラインを下方から横切って上方へ向かい、その後、第1の閾値よりも小さい第2の閾値のラインを上方から横切って下方へ向かう一通りの振舞いとしてのヒステリシスをn度(nは自然数)示した際、当該筋電信号がn回発生したと判定することを特徴とする請求項1又は2に記載の生体信号処理装置。 In the signal generation determination means, the time-series data of the representative value moves upward across the line of the first threshold value from below with the passage of time, and then the line of the second threshold value smaller than the first threshold value. 1 or 2 is characterized in that it is determined that the myoelectric signal has been generated n times when the hysteresis as a general behavior that crosses from above to downward is shown to be n degrees (n is a natural number). The biometric signal processor according to the description. 当該筋電信号が発生したとの判定に係る時間区間において、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、発生した当該筋電信号の種別を判定する生体信号判別手段を更に有することを特徴とする請求項1から3のいずれか1項に記載の生体信号処理装置。 A living body that calculates the average power frequency of the input signal in the time interval related to the determination that the myoelectric signal has been generated, and determines the type of the generated myoelectric signal based on the height of the average power frequency. The biological signal processing apparatus according to any one of claims 1 to 3, further comprising a signal discriminating means. 当該筋電信号の発生に係る特徴量として、当該入力信号の標準偏差と平均パワー周波数とを含む量が規定された上で、
MT(Mahalanobis Taguchi)法、MTA(Mahalanobis-Taguchi Adjoint)法、T法、及びRT(Recognition Taguchi)法のうちのいずれか1つに基づき、ある種別の筋電信号が発生している状態と筋電信号が発生していない状態とを合わせた状態であって、当該ある種別の筋電信号以外の信号であるノイズとしてのアーチファクトが発生していない状態での当該入力信号に係る当該特徴量によって第1の単位空間を設定し、また、筋電信号が発生していない状態での当該入力信号に係る当該特徴量によって第2の単位空間を設定し、さらに、当該ある種別の筋電信号が発生している状態での当該入力信号に係る当該特徴量によって第3の単位空間を設定し、
何らかの筋電信号が発生したとの判定に係る時間区間において、当該入力信号に係る当該特徴量を算出し、算出した当該特徴量について、第1の単位空間、第2の単位空間、及び第3の単位空間のそれぞれから離隔した度合いである第1の離隔度合い、第2の離隔度合い、及び第3の離隔度合いを算出し、
第2の離隔度合いから、第1の離隔度合いと、第3の離隔度合いとを差し引いた量が、所定閾値を超えている場合、当該何らかの筋電信号は当該ある種別の筋電信号であると判定する
生体信号判別手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の生体信号処理装置。
As a feature amount related to the generation of the myoelectric signal, an amount including the standard deviation and the average power frequency of the input signal is defined, and then
A state and muscle in which a certain type of myoelectric signal is generated based on any one of the MT (Mahalanobis Taguchi) method, the MTA (Mahalanobis-Taguchi Adjoint) method, the T method, and the RT (Recognition Taguchi) method. Depending on the feature amount related to the input signal in the state where no electric signal is generated and no artifact as noise, which is a signal other than the certain type of myoelectric signal, is generated . A first unit space is set, a second unit space is set according to the feature amount related to the input signal in a state where no myoelectric signal is generated, and a certain type of myoelectric signal is further set. A third unit space is set according to the feature amount related to the input signal in the generated state, and the third unit space is set.
In the time interval related to the determination that some myoelectric signal has been generated, the feature amount related to the input signal is calculated, and the calculated feature amount is used in the first unit space, the second unit space, and the third unit space. The first degree of separation, the second degree of separation, and the third degree of separation, which are the degrees of separation from each of the unit spaces of, are calculated.
When the amount obtained by subtracting the first degree of separation and the third degree of separation from the second degree of separation exceeds a predetermined threshold value, it is considered that some myoelectric signal is a certain type of myoelectric signal. The biological signal processing apparatus according to any one of claims 1 to 4, further comprising a biological signal determining means for determining.
当該筋電信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項1から5のいずれか1項に記載の生体信号処理装置。 The myoelectric signal is a device attached to the user's head, with the reference electrode in contact with one skin position from around the left (or right) pinna to near the cheek, and the detection electrode on the right (or right). The biometric signal according to any one of claims 1 to 5, wherein the signal is obtained by a device having an electrode configuration such that the area around the auricle of the left) is in contact with one skin position near the cheek. Processing equipment. 当該筋電信号は、口角上げに係る筋肉に起因する筋電信号であることを特徴とする請求項1から6のいずれか1項に記載の生体信号処理装置。 The biometric signal processing device according to any one of claims 1 to 6, wherein the myoelectric signal is a myoelectric signal caused by a muscle related to raising the angle of the mouth. 筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
してコンピュータを機能させることを特徴とする生体信号処理プログラム。
A program that activates a computer mounted on a device that processes input signals that may include myoelectric signals.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
A biological signal processing program characterized in that a computer functions as a signal generation determination means for determining that a myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成するステップと、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とするステップと、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行うステップと
を有することを特徴とする生体信号処理方法。
It is a biological signal processing method by a computer mounted on a device that processes an input signal that may include a myoelectric signal.
A step of performing a second-order difference filter processing on the input signal to generate acceleration component data as a second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. The step of using a value indicating the degree of bias of the data in the above as a representative value related to the degree of bias of the data, and
A biological signal processing method comprising a step of determining that a myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
JP2017240664A 2017-12-15 2017-12-15 Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components Active JP6821549B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017240664A JP6821549B2 (en) 2017-12-15 2017-12-15 Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017240664A JP6821549B2 (en) 2017-12-15 2017-12-15 Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components

Publications (2)

Publication Number Publication Date
JP2019107067A JP2019107067A (en) 2019-07-04
JP6821549B2 true JP6821549B2 (en) 2021-01-27

Family

ID=67178107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240664A Active JP6821549B2 (en) 2017-12-15 2017-12-15 Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components

Country Status (1)

Country Link
JP (1) JP6821549B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318430B2 (en) * 2019-09-05 2023-08-01 富士フイルムビジネスイノベーション株式会社 Biological information measuring device, biological information measuring system, and biological information measuring program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730037B2 (en) * 2005-09-27 2011-07-20 パナソニック電工株式会社 Mastication meter
JP5464072B2 (en) * 2010-06-16 2014-04-09 ソニー株式会社 Muscle activity diagnosis apparatus and method, and program
EP3400873A1 (en) * 2013-06-28 2018-11-14 Murata Manufacturing Co., Ltd. Biological state estimating apparatus
JP6452248B2 (en) * 2015-07-30 2019-01-16 Kddi株式会社 Device, terminal, and program for identifying facial expression using myoelectric signal
JP6580497B2 (en) * 2016-02-09 2019-09-25 Kddi株式会社 Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal

Also Published As

Publication number Publication date
JP2019107067A (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6580497B2 (en) Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal
JP5464072B2 (en) Muscle activity diagnosis apparatus and method, and program
Zhang et al. Diet eyeglasses: Recognising food chewing using EMG and smart eyeglasses
US10736560B2 (en) Automatic detection of teeth clenching and/or teeth grinding
JP5042398B1 (en) EEG recording apparatus, hearing aid, EEG recording method and program thereof
JP6521778B2 (en) Program, terminal and system for giving emotional identifier to application using myoelectric signal
JP7009342B2 (en) Devices, programs and methods that can evaluate meals based on the amount of chewing and smiling
JP5574407B2 (en) Facial motion estimation apparatus and facial motion estimation method
JP6452248B2 (en) Device, terminal, and program for identifying facial expression using myoelectric signal
JP2020010803A (en) Biological information processing apparatus and information processing method
US11494001B2 (en) Gesture detection system for personal head wearable device
JP6765352B2 (en) A biological signal acquisition device that elastically connects the main body and electrodes
US20220218941A1 (en) A Wearable System for Behind-The-Ear Sensing and Stimulation
JP6821549B2 (en) Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components
JP6685891B2 (en) Biosignal processing apparatus, program and method using filter processing and frequency determination processing
JP6695817B2 (en) Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space
JP6810682B2 (en) Biological signal processing device, program and method for determining periodic biosignal generation based on representative values of acceleration components
JP7145484B2 (en) Masticatory motion measuring device, masticatory motion measuring method, and method for acquiring data related to masticatory motion
JP7082956B2 (en) Biological signal processing device, program and method for counting biological signals based on reference values according to signal data.
JP7184731B2 (en) Biological signal processing device, program and method for detecting bias in bilaterally acquired biological signals
CN210244579U (en) Pre-alarm and alarm device based on brain wave and triaxial acceleration sensor
JP7373459B2 (en) Biosignal acquisition device equipped with a frame that holds the head from behind
WO2023002664A1 (en) Information processing device, information processing method, and program
WO2023037749A1 (en) Evaluation method, evaluation system, and program
WO2024009944A1 (en) Information processing method, recording medium, and information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210106

R150 Certificate of patent or registration of utility model

Ref document number: 6821549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150