JP6821549B2 - Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components - Google Patents
Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components Download PDFInfo
- Publication number
- JP6821549B2 JP6821549B2 JP2017240664A JP2017240664A JP6821549B2 JP 6821549 B2 JP6821549 B2 JP 6821549B2 JP 2017240664 A JP2017240664 A JP 2017240664A JP 2017240664 A JP2017240664 A JP 2017240664A JP 6821549 B2 JP6821549 B2 JP 6821549B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- myoelectric
- data
- degree
- acceleration component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、人の生体信号を検知する技術に関する。 The present invention relates to a technique for detecting a human biological signal.
近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここでセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が使用される。また、このようなセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用されている。 In recent years, techniques have been developed in which various biological signals caused by various activities of humans and animals are detected by sensors and the biological data obtained by signal processing is used in various situations. Here, as the sensor, for example, a wristwatch type pulse sensor, an earphone type pulse sensor, a headband type brain wave sensor, or the like is used. In addition, the biological signal detected by such a sensor is processed and processed by, for example, a smartphone carried by a user, and is used in various applications.
このようなセンサを利用した具体的技術例として、本願発明者は、生体信号としての筋電信号を検出する筋電センサを備え、笑みや噛み締めといった顔表情を識別することができるデバイスを発明している(特許文献1参照)。ここで、この筋電センサのリファレンス用電極及び検出用電極はそれぞれ、左及び右(又は、右及び左)の耳介周辺から頬近傍の何処か1点の皮膚表面に接するように配置される。 As a specific technical example using such a sensor, the inventor of the present application has invented a device provided with a myoelectric sensor that detects a myoelectric signal as a biological signal and capable of identifying facial expressions such as smiles and clenching. (See Patent Document 1). Here, the reference electrode and the detection electrode of this myoelectric sensor are arranged so as to be in contact with the skin surface at some point near the cheek from around the left and right (or right and left) auricles, respectively. ..
また、このデバイスは筋電信号処理として、アーチファクト(目的信号以外のノイズ信号)に係る第1の周波数帯におけるパワー値VLFと、第1の顔表情時の信号に係る第2の周波数帯におけるパワー値LFとを算出し、第1のパワーVLFが第1の基準パワーVLFBase以下であり、且つ、第2のパワーLFが第2の基準パワーLFBaseよりも大きい場合に、第1の顔表情時であると判定するのである。 In addition, as myoelectric signal processing, this device has a power value VLF in the first frequency band related to artifacts (noise signals other than the target signal) and power in the second frequency band related to the signal at the time of the first facial expression. When the value LF is calculated and the first power VLF is equal to or less than the first reference power VLFBase and the second power LF is larger than the second reference power LFBase, at the time of the first facial expression. It is determined that there is.
さらに、本願発明者は、特許文献2において、筋電信号の周波数軸のパワー特徴量を基準となる特徴量と比較するため、類似度として周波数ワーピングにより距離を求める方法を開示している。 Further, the inventor of the present application discloses in Patent Document 2 a method of obtaining a distance by frequency warping as a similarity in order to compare the power feature amount of the frequency axis of the myoelectric signal with the reference feature amount.
このように、本願発明者は、様々な生体信号処理手法の研究開発を行ってきたが、特に、信号の周波数の分析を行わずに生体信号の発生を判定するとの課題に取り組んできた。 As described above, the inventor of the present application has been researching and developing various biological signal processing methods, and in particular, has tackled the problem of determining the generation of biological signals without analyzing the frequency of the signal.
例えば、上記の特許文献1に開示したデバイスでは、特定の周波数に対する基準パワーを事前に計測する必要があり、また、上記の特許文献2に開示した手法においても、周波数に対するパワーを特徴量ベクトル(スペクトラムの山の形)として類似度を求める必要があった。これに対し、周波数分析を行わずに生体信号が発生したか否かの判定を行うことによって、より計算量の少ない処理も実現し易くなる。
For example, in the device disclosed in the above-mentioned Patent Document 1, it is necessary to measure the reference power for a specific frequency in advance, and in the method disclosed in the above-mentioned
さらに、本願発明者は、様々な生体信号判定処理の実験を実施する中で、まばたき等で混入する大きな振幅のアーチファクトにも頑健である処理を実現することも、重要な課題であると認識してきた。ちなみに、このアーチファクトは、まばたき等によって電極がずれることで発生することが分かっている。 Furthermore, the inventor of the present application has recognized that it is also an important issue to realize a process that is robust against large-amplitude artifacts mixed in by blinking, etc., while conducting various experiments on biological signal determination processing. It was. By the way, it is known that this artifact is generated when the electrodes are displaced due to blinking or the like.
そこで、本発明は、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健である生体信号処理装置、プログラム及び方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a biological signal processing device, a program, and a method that do not require frequency analysis in determining the generation of biological signals and are robust against the generation of noise due to electrode misalignment.
本発明によれば、筋電信号を含み得る入力信号を処理する生体信号処理装置であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
を有する生体信号処理装置が提供される。
According to the present invention, it is a biological signal processing device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
When the representative value exceeds a predetermined threshold value, a biological signal processing device including a signal generation determination means for determining that the myoelectric signal has been generated is provided.
また、本発明による生体信号処理装置の一実施形態として、本生体信号処理装置は、当該加速度成分データを生成する前の当該入力信号に対し、商用電源に係るノイズを低減する帯域除去フィルタ処理と、バイアス変動成分を抽出する低域通過フィルタ処理とを実施する前フィルタ処理手段を更に有することも好ましい。 Further, as an embodiment of the biometric signal processing device according to the present invention, the biometric signal processing device includes band-stop filter processing for reducing noise related to a commercial power source for the input signal before generating the acceleration component data. It is also preferable to further have a pre-filter processing means for performing a low-pass filter processing for extracting a bias fluctuation component.
さらに、本発明による生体信号処理装置の信号発生判定手段は、当該代表値の時系列データが、時間経過とともに、第1の閾値のラインを下方から横切って上方へ向かい、その後、第1の閾値よりも小さい第2の閾値のラインを上方から横切って下方へ向かう一通りの振舞いとしてのヒステリシスをn度(nは自然数)示した際、当該生体信号がn回発生したと判定することも好ましい。 Further, in the signal generation determination means of the biological signal processing device according to the present invention, the time-series data of the representative value moves upward from the lower side across the line of the first threshold value with the passage of time, and then the first threshold value is obtained. It is also preferable to determine that the biological signal has been generated n times when the hysteresis as a general behavior that crosses the line of the second threshold value smaller than the upper side and goes downward is n degrees (n is a natural number). ..
また、本発明による生体信号処理装置の他の実施形態として、本生体信号処理装置は、当該筋電信号が発生したとの判定に係る時間区間において、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、発生した当該筋電信号の種別を判定する生体信号判別手段を更に有することも好ましい。 Further, as another embodiment of the biological signal processing device according to the present invention, the biological signal processing device calculates the average power frequency of the input signal in the time interval related to the determination that the myoelectric signal has been generated. It is also preferable to further have a biological signal discriminating means for determining the type of the generated myoelectric signal based on the height of the average power frequency.
さらに、上記生体信号判別の他の実施形態として、本生体信号処理装置は、当該筋電信号の発生に係る特徴量として、当該入力信号の標準偏差と平均パワー周波数とを含む量が規定された上で、
MT(Mahalanobis Taguchi)法、MTA(Mahalanobis-Taguchi Adjoint)法、T法、及びRT(Recognition Taguchi)法のうちのいずれか1つに基づき、ある種別の筋電信号が発生している状態と筋電信号が発生していない状態とを合わせた状態であって、当該ある種別の筋電信号以外の信号であるノイズとしてのアーチファクトが発生していない状態での当該入力信号に係る当該特徴量によって第1の単位空間を設定し、また、筋電信号が発生していない状態での当該入力信号に係る当該特徴量によって第2の単位空間を設定し、さらに、当該ある種別の筋電信号が発生している状態での当該入力信号に係る当該特徴量によって第3の単位空間を設定し、
何らかの筋電信号が発生したとの判定に係る時間区間において、当該入力信号に係る当該特徴量を算出し、算出した当該特徴量について、第1の単位空間、第2の単位空間、及び第3の単位空間のそれぞれから離隔した度合いである第1の離隔度合い、第2の離隔度合い、及び第3の離隔度合いを算出し、
第2の離隔度合いから、第1の離隔度合いと、第3の離隔度合いとを差し引いた量が、所定閾値を超えている場合、当該何らかの筋電信号は当該ある種別の筋電信号であると判定する
生体信号判別手段を更に有することも好ましい。
Further, as another embodiment of the above-mentioned biological signal discrimination, the present biological signal processing apparatus defines an amount including the standard deviation and the average power frequency of the input signal as the feature amount related to the generation of the myoelectric signal. Above,
A state and muscle in which a certain type of myoelectric signal is generated based on any one of the MT (Mahalanobis Taguchi) method, the MTA (Mahalanobis-Taguchi Adjoint) method, the T method, and the RT (Recognition Taguchi) method. Depending on the feature amount related to the input signal in the state where no electric signal is generated and no artifact as noise, which is a signal other than the certain type of myoelectric signal, is generated . A first unit space is set, a second unit space is set according to the feature amount related to the input signal in a state where no myoelectric signal is generated, and a certain type of myoelectric signal is further set. A third unit space is set according to the feature amount related to the input signal in the generated state, and the third unit space is set.
In the time interval related to the determination that some myoelectric signal has been generated, the feature amount related to the input signal is calculated, and the calculated feature amount is used in the first unit space, the second unit space, and the third unit space. The first degree of separation, the second degree of separation, and the third degree of separation, which are the degrees of separation from each of the unit spaces of, are calculated.
When the amount obtained by subtracting the first degree of separation and the third degree of separation from the second degree of separation exceeds a predetermined threshold value, it is considered that some myoelectric signal is a certain type of myoelectric signal. It is also preferable to further have a biological signal discriminating means for determining.
また、本発明の生体信号処理装置において、当該筋電信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。さらに、当該筋電信号は、口角上げに係る筋肉に起因する筋電信号であることも好ましい。 Further, in the biometric signal processing device of the present invention, the myoelectric signal is a device attached to the user's head, and the reference electrode is one skin from around the auricle to the vicinity of the cheek on the left (or right). It is also preferable that the signal is acquired by a device having an electrode configuration that is in contact with a position and the detection electrode is in contact with one skin position near the cheek from the area around the right (or left) pinna. Further, the myoelectric signal is also preferably a myoelectric signal due to muscle of the corner of the mouth up.
本発明によれば、また、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。
According to the present invention, it is also a program that functions a computer mounted on a device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
When the representative value exceeds a predetermined threshold value, a biometric signal processing program that causes a computer to function as a signal generation determination means for determining that the myoelectric signal has been generated is provided.
本発明によれば、さらに、筋電信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成するステップと、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とするステップと、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行うステップと
を有する生体信号処理方法が提供される。
According to the present invention, further, it is a biological signal processing method by a computer mounted on a device for processing an input signal that may include a myoelectric signal.
A step of performing a second-order difference filter processing on the input signal to generate acceleration component data as a second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. The step of using a value indicating the degree of bias of the data in the above as a representative value related to the degree of bias of the data, and
When the representative value exceeds a predetermined threshold value, a biological signal processing method including a step of determining that the myoelectric signal has been generated is provided.
本発明の生体信号処理装置、プログラム及び方法によれば、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健である生体信号処理が実現される。 According to the biological signal processing apparatus, program and method of the present invention, frequency analysis is not required in determining the generation of biological signals, and biological signal processing that is robust against the generation of noise due to electrode misalignment is realized.
以下では、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[生体信号処理装置]
図1は、本発明による生体信号処理装置の一実施形態を示す模式図である。
[Biosignal processing device]
FIG. 1 is a schematic view showing an embodiment of a biological signal processing device according to the present invention.
図1には、本発明による生体信号処理装置の一実施形態としての筋電センサ付メガネ1が示されている。筋電センサ付メガネ1は、生体(例えば人であるユーザ)の頭部に取り付けて、生体信号を取得可能なメガネ型の装置である。この装置で取得される生体信号は、本実施形態において、顔面内部位の動き又は表情に係る動きに起因して発生する電気信号としての「筋電信号」となっている。また、取得される生体信号には、このような動きによって発生する「電極ズレに起因する(ノイズ)信号」等も混入し得る。 FIG. 1 shows glasses 1 with an myoelectric sensor as an embodiment of the biological signal processing device according to the present invention. The glasses 1 with an myoelectric sensor is a glasses-type device that can be attached to the head of a living body (for example, a human user) to acquire a biological signal. In the present embodiment, the biological signal acquired by this device is a "myoelectric signal" as an electric signal generated due to the movement of a portion in the face or the movement related to a facial expression. In addition, the acquired biological signal may include a "(noise) signal caused by electrode misalignment" or the like generated by such movement.
ここで、検出対象となる顔面内部位の動き又は表情に係る動きとしては、例えば、(微笑に係る)口角上げ、噛み締め(若しくは食い縛り)、咀嚼、及び瞬目(まばたき動作)のうちの少なくとも1つを設定することができる。 Here, as the movement related to the movement of the intrafaceal part to be detected or the movement related to the facial expression, for example, at least one of (smiling) raising the corner of the mouth, clenching (or clenching), chewing, and blinking (blinking motion). One can be set.
同じく図1に示すように、筋電センサ付メガネ1は、
(a)生体信号を取り込み処理する部分である信号処理ボックス11を備えた、装置本体部としてのフレーム部と、
(b)頭部の皮膚に接触する位置であってフレーム部11の重量の少なくとも一部を受け止め可能な位置に配された、生体信号を受信するための電極部としてのプラス電極パッド13及びマイナス電極パッド14と、
(c)プラス電極パッド13及びマイナス電極パッド14を介して受信された生体信号を信号処理ボックス11へ伝えるための導電路を備えた弾性支持部と、
(d)鼻の上部近傍に接触する位置に配され、生体信号受信の際のグランド(GND)電極又はノイズキャンセル用電極を備えた鼻パッド電極部15と
を有している。なお、上記(d)のノイズキャンセル用電極は、商用電源等に起因するコモンモードノイズを低減させるDRL(Driven Right Leg)電極であってもよい。
Similarly, as shown in FIG. 1, the glasses 1 with an electromyographic sensor
(A) A frame portion as a main body of the device provided with a
(B) A positive electrode pad 13 and a negative electrode portion as an electrode portion for receiving a biological signal, which are arranged at a position in contact with the skin of the head and capable of receiving at least a part of the weight of the
(C) An elastic support portion provided with a conductive path for transmitting a biological signal received via the positive electrode pad 13 and the negative electrode pad 14 to the
(D) It has a nose
また、上記(b)のプラス電極パッド13は、生体信号受信の際の検出電極又はプラス電極として機能し、一方、マイナス電極パッド14は、生体信号受信の際のリファレンス電極又はマイナス電極として機能する。生体信号は、これらプラス電極パッド13とマイナス電極パッド14との間の電位差として検出・取得されることになる。 Further, the positive electrode pad 13 of the above (b) functions as a detection electrode or a positive electrode when receiving a biological signal, while the negative electrode pad 14 functions as a reference electrode or a negative electrode when receiving a biological signal. .. The biological signal is detected and acquired as a potential difference between the positive electrode pad 13 and the negative electrode pad 14.
このように、筋電センサ付メガネ1では、プラス電極パッド13及びマイナス電極パッド14といった電極部が、生体信号を受信する手段としてだけではなく、装置本体部を支持する手段としても機能している。また、弾性支持部は、弾性をもってこれら「電極部」と装置本体部とを接続している。その結果、例えば装着された頭部が大きく動いたとしても、これらの電極部を、弾性支持部という弾性部位を介して伝わる装置本体部の重量をもって、頭部の皮膚の所定位置近傍に安定して接触させ続けることが可能となる。 As described above, in the glasses 1 with the myoelectric sensor, the electrode portions such as the positive electrode pad 13 and the negative electrode pad 14 function not only as a means for receiving the biological signal but also as a means for supporting the device main body portion. .. Further, the elastic support portion elastically connects these "electrode portions" to the device main body portion. As a result, for example, even if the attached head moves significantly, these electrode portions are stabilized in the vicinity of a predetermined position on the skin of the head with the weight of the device main body portion transmitted through the elastic portion called the elastic support portion. It becomes possible to keep in contact with each other.
ここで、1つの装着例を説明する。ヒトの頬骨は顔の正面から見ると横に張り出しているが、プラス電極パッド13及びマイナス電極パッド14を、例えばこの頬骨の最も幅広の箇所より若干上方の皮膚に当接させれば、左右の「電極部」の間隔が頬骨の最大幅よりも狭くなっていて頬骨上部の広がった部分に引っ掛かることになるので、これにより、筋電センサ付メガネ1が安定して支持される。 Here, one mounting example will be described. The human cheekbones project laterally when viewed from the front of the face, but if the positive electrode pads 13 and the negative electrode pads 14 are brought into contact with the skin slightly above the widest part of the cheekbones, the left and right sides Since the distance between the "electrode portions" is narrower than the maximum width of the cheekbone and is caught in the widened portion of the upper part of the cheekbone, the glasses 1 with an myoelectric sensor are stably supported.
また、筋電センサ付メガネ1は、図示していないが、電極部から信号処理ボックス11へ生体信号を取り込むための導電路を備えており、電極部で受信された生体信号を、信号処理ボックス11へ安定して確実に取り込むことを可能にする。すなわち、導電路は、左右の信号処理ボックス11と各電極部との間をつなぐ安定した電気的伝送路として機能する。
Further, although not shown, the glasses 1 with a myoelectric sensor is provided with a conductive path for taking a biological signal from the electrode portion into the
なお、変更態様として、GND電極又はノイズキャンセル用電極としての機能を、メガネ1のモダン部に持たせることもできる。この場合、鼻パッド電極部15を省略し、鼻パッドレスとすることも可能となる。また、更なる変更態様として、このモダン部の電極と鼻パッド電極部15とを電気的に導通させ、それら複数の電極をGND電極として機能させてもよい。
As a modification, the modern part of the glasses 1 may have a function as a GND electrode or a noise canceling electrode. In this case, the nasal
さらに当然ではあるが、プラス電極パッド13及びマイナス電極パッド14がそれぞれ左のテンプル部分及び右のテンプル部分に接続する入れ替わった形であっても構わない。いずれにしても、プラス電極パッド13及びマイナス電極パッド14を左右に分けて配置することによって、左右2つの筋肉活動を捉えることができる。顔表情「笑み」を作る筋肉活動は一般に、左右のいずれか一方ではなく両方で同時に発生する。そのため、1チャンネルを構成する1組の電極を左右のいずれか一方のみに配置するよりも、1組をなす電極の各々を左右に分けて配置する方が、左右の筋肉活動の全体を捉えることになるので結局、より安定した大きな筋電信号を得ることができるのである。 Further, as a matter of course, the positive electrode pad 13 and the negative electrode pad 14 may be in an interchangeable shape connected to the left temple portion and the right temple portion, respectively. In any case, by arranging the positive electrode pad 13 and the negative electrode pad 14 separately on the left and right, it is possible to capture the two left and right muscle activities. The muscular activity that creates the facial expression "smile" generally occurs simultaneously on both sides, not on either side. Therefore, rather than arranging one set of electrodes that make up one channel on either the left or right side, it is better to arrange each of the electrodes that make up one set separately on the left and right to capture the entire left and right muscle activity. Therefore, in the end, a more stable and large myoelectric signal can be obtained.
また、このように左右の電極を離隔させておくことによって、例えば左右の眼球運動や歯の食い縛り(噛み締め)等の頭部内の筋肉活動に起因する様々な筋電信号や、さらには口の開閉や咀嚼に伴って生じる皮膚表面の凹凸を原因とする皮膚と電極との間の接触抵抗の変化等の種々の信号を、より確実に捉えることも可能となるのである。 In addition, by separating the left and right electrodes in this way, various myoelectric signals caused by muscle activity in the head such as left and right eye movements and tooth clenching (clenching), and even the mouth. It is also possible to more reliably capture various signals such as changes in contact resistance between the skin and electrodes caused by irregularities on the skin surface caused by opening and closing of the skin and chewing.
さらに、弾性支持部は、本実施形態において2つ設けられており、それぞれプラス電極パッド13及びマイナス電極パッド14を、こめかみより下側の皮膚の位置であって、顔を正面から見た際の頬骨における最も幅広の個所より少し上の皮膚の位置へ弾性をもって押し当て(当接させ)、これにより筋電センサ付メガネ1を支持する支持構造として機能している。また、プラス電極パッド13及びマイナス電極パッド14のいずれも、頬上部からこめかみを介し耳の付け根までの範囲内のいずれかの位置で皮膚に接触することができるように、この弾性支持部のフレーム部に対する位置が調整されている。 Further, two elastic support portions are provided in the present embodiment, and the positive electrode pad 13 and the negative electrode pad 14, respectively, are located at the position of the skin below the temple and when the face is viewed from the front. It elastically presses (contacts) the skin slightly above the widest part of the cheekbone, thereby functioning as a support structure for supporting the glasses 1 with an myoelectric sensor. Further, both the positive electrode pad 13 and the negative electrode pad 14 can come into contact with the skin at any position within the range from the upper cheek to the base of the ear via the temple, and the frame of the elastic support portion. The position with respect to the part is adjusted.
同じく図1に示すように、本実施形態において、右側のテンプル部分に配置された信号処理ボックス11は、処理部駆動用の電池を内蔵しており、一方、左側のテンプル部分に配置された信号処理ボックス11は、この電池からの供給電力をもって、取得した生体信号の処理を行う生体信号処理部12を含んでいる。これら左右の信号処理ボックス11のそれぞれの重量は略(ほぼ)同等に設定されていることも好ましい。これにより、筋電センサ付メガネ1の重量における左右のバランスをとることができ、偏りのない良好な装着感を実現することができる。
Similarly, as shown in FIG. 1, in the present embodiment, the
ちなみに、これらの電池や生体信号処理部12を、ボックスにではなくフレーム部に内蔵させ、筋電センサ付メガネ1全体を、外観上通常のメガネと大きく変わらないデザインにすることもできる。このような処理部のコンパクト化は、後に詳細に説明する実施形態の生体信号処理部12を用いることによって可能となっている。
By the way, these batteries and the biological
また、上述したように、プラス電極パッド13及びマイナス電極パッド14が頬上部からこめかみを介し耳の付け根までの範囲内の位置で皮膚に接触している場合、取得可能な生体信号は、筋電信号に限定されるものではない。例えば、耳付近の位置から検知可能である眼電位信号や脳波といった生体電位に基づく生体信号の他、生体用電位センサ以外のセンサデバイスが必要となるが、体温や発汗に係る信号や脈波等を検出し取得することも可能となっている。 Further, as described above, when the positive electrode pad 13 and the negative electrode pad 14 are in contact with the skin at a position within the range from the upper cheek to the base of the ear via the temple, the biological signal that can be acquired is myoelectric telegraph. It is not limited to the issue. For example, in addition to biological signals based on biopotentials such as electrooculogram signals and brain waves that can be detected from a position near the ear, sensor devices other than biopotential sensors are required, but signals related to body temperature and sweating, pulse waves, etc. It is also possible to detect and acquire.
[生体信号処理部の構成]
同じく図1によれば、信号処理ボックス11に含まれる生体信号処理部12は、生体信号を含み得る入力信号の処理部であり、
(A)入力信号の「加速度成分データ」を生成する加速度成分生成部123と、
(B)「加速度成分データ」における所定時間区間でのデータの偏り具合に係る「代表値」を算出する代表値算出部124と、
(C)算出された「代表値」の大きさに基づいて生体信号の発生を判定する信号発生判定部125と
を有することを特徴としている。ここで「代表値」として、例えば標準偏差SDを用いてもよいが、より好ましくは後に詳述する、標準偏差SDを重み付けした値SDWを採用することができる。
[Structure of biological signal processing unit]
Similarly, according to FIG. 1, the biological
(A) Acceleration
(B) The representative
(C) It is characterized by having a signal
このように、生体信号処理部12は、生体信号が発生しているか否かの判定において、多大な計算量を必要とする周波数分析を行うのではなく、「加速度成分データ」における「代表値」を算出して判定処理を行っている。本願発明者は、このようなより計算負担の少ない処理を適用することによって、電極ずれによるノイズが発生した際にもそれに影響されず、検出対象の生体信号が発生したか否かをより確実に判定することができることを見出した。
In this way, the biological
実際、筋電信号等の生体信号は、人工的な機械等による振動とは異なり、例えば多数の細胞の活動に起因して発生するので、幅の広い周波数成分を有する交流信号となっている。本生体信号処理部12によれば、このような生体信号発生の判定を行うにあたり、「加速度成分データ」の「代表値」に着目するので、多大な計算を必要とする周波数分析が不要となり、また、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現されるのである。
In fact, a biological signal such as a myoelectric signal is an AC signal having a wide frequency component because it is generated due to the activity of a large number of cells, for example, unlike vibration caused by an artificial machine or the like. According to the biological
同じく図1に示す実施形態の機能ブロック図において、生体信号処理部12は、信号変換部121と、ノッチフィルタ部122a及び低域通過フィルタ(LPF,Low-Pass filter)部122bを含む前フィルタ処理部122と、2階差分フィルタ部123aを含む加速度成分生成部123と、代表値算出部124と、信号発生判定部125と、生体信号判別部126とを機能構成部としている。
Similarly, in the functional block diagram of the embodiment shown in FIG. 1, the biometric
ここで、生体信号処理部12は、本発明による生体信号処理プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この生体信号処理プログラムを実行することによって、生体信号処理を実施する。また、上記の機能構成部は、生体信号処理部12に保存された生体信号処理プログラムの機能と捉えることができる。さらに、図1における生体信号処理部12の機能構成部間を矢印で接続して示した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。なお、左側の信号処理ボックス11には、生体信号処理部12と合わせて信号インタフェース127が更に設けられていることも好ましい。
Here, the biological
同じく図1において、信号変換部121は、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するDRL回路を有している。このDRL回路は、
(a)プラス電極パッド13と電気的に接続されたプラス(検出用)電極と、
(b)マイナス電極パッド14と電気的に接続されたマイナス(リファレンス)電極と
の電位差の交流成分を、
(c)鼻パッド電極15と電気的に接続されたGND電極
におけるGND電位との差動増幅によって増幅し、このアナログの生体信号を一定のサンプリング周波数でデジタル化する。
Similarly, in FIG. 1, the
(A) A positive electrode (for detection) electrically connected to the positive electrode pad 13 and
(B) The AC component of the potential difference between the negative electrode pad 14 and the electrically connected negative (reference) electrode.
(C) Amplification is performed by differential amplification between the
これにより、例えば、プラスマイナス0.1〜数百μVの範囲の皮膚電位検出が可能となる。また、このデジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ/デジタル(A/D)変換を行うことも好ましい。なお、このような回路構成は、例えばNeurosky社製のTGAM1を利用して実現可能となっている。 This makes it possible to detect the skin potential in the range of plus or minus 0.1 to several hundred μV, for example. Further, as a condition for this digitization, it is also preferable to perform analog / digital (A / D) conversion at a sampling frequency of 500 Hz or more and a quantization rate of 10 bits or more. It should be noted that such a circuit configuration can be realized by using, for example, TGAM1 manufactured by Neurosky.
前フィルタ処理部122は、ノッチフィルタ部122a及びローパスフィルタ(LPF)部122bを有している。このうち、ノッチフィルタ部122aは、加速度成分データを生成する前の入力信号に対し、(混入する場合の少なくない)商用電源に係る周期的ノイズを低減する帯域除去フィルタ処理を実施する。ちなみに、上述したNeurosky社製のTGAM1は、商用電源由来のノイズを軽減するノッチフィルタを搭載しており、ノッチフィルタ部122aとしてこれを利用することができる。
The
一方、LPF部122bは、帯域除去フィルタ処理の施された入力信号に対し、バイアス変動成分を抽出するLPF処理を実施する。具体的にLPF部122bは、入力信号に対し高域通過フィルタ(HPF,High-Pass Filter)処理を実施し、その結果を元の入力信号から差し引くことによって、LPF処理としてもよい。ここで、HPFとして、例えばDCブロッカ(DC Blocker)を使用することができる。
On the other hand, the
DCブロッカは、入力信号から直流バイアス成分(超低周波数成分)を除去し、交流成分を取り出すためのフィルタであり、次式
(1) y[n]=x[n]−x[n-1]+r*y[n-1]
のような差分方程式の下で機能する。ここで、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数rは0〜1の値をとり、r=0の場合、このフィルタは次に説明する差分フィルタと等価になる。ちなみに、後に図2を用いて説明する実施例では、r=0.9に設定されている。
The DC blocker is a filter for removing the DC bias component (ultra-low frequency component) from the input signal and extracting the AC component. The following equation (1) y [n] = x [n] −x [n-1 ] + r * y [n-1]
It works under the difference equation like. Here, n is the sample position (sample index), and x [n] and y [n] are the input signal and the output signal of the sample position n, respectively. Further, the coefficient r takes a value of 0 to 1, and when r = 0, this filter is equivalent to the difference filter described below. Incidentally, in the embodiment described later with reference to FIG. 2, r = 0.9 is set.
加速度成分生成部123は、2階差分フィルタ部123aを有し、LPF処理の施された入力信号の加速度成分データを生成する。具体的に、この2階差分フィルタ部123aは、当該入力信号に対して差分フィルタ処理を2回実施する構成とすることができる。ここで使用される差分フィルタの原理を示す差分方程式は、次式
(2) y[n]=x[n]−x[n-1]
の通りとなる。上式(2)において、nはサンプル位置(サンプル・インデックス)であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。
The acceleration
It becomes the street. In the above equation (2), n is the sample position (sample index), and x [n] and y [n] are the input signal and the output signal of the sample position n, respectively.
なお一般に、加速度成分生成部123のようにデジタルフィルタを使用する場合、高度なデジタルフィルタになるほど計算量がより増大することになる。この計算量の増大は、本筋電センサ付メガネ1のようなモバイルデバイスにおいてはバッテリーの持続時間の低下をもたらし、大きな問題となる。これに対し、加速度成分生成部123は、三角関数を含むフィルタを使用したりせず、次数の少ないフィルタを用いて生体信号の処理を行っているので、問題となる計算量の増大を抑制することができるのである。
In general, when a digital filter is used like the acceleration
同じく図1において、代表値算出部124は、加速度成分生成部123で生成された加速度成分データを、所定時間区間(ウィンドウ分析区間)に分割し、各ウィンドウ分析区間でのデータの偏り具合に係る代表値を算出する。一般に、生体センサから出力される時系列データは、逐次リアルタイムに分析することによって、ユーザインタフェースを介し、ユーザにリアルタイムにフィードバック可能となり、非常に利用し易くなる。この際、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析することによって、概ねリアルタイムな分析処理が可能となるのである。
Similarly, in FIG. 1, the representative
本実施形態において、代表値算出部124は、信号変換部121におけるデジタル化のサンプリング周波数が512Hzである場合、ウィンドウ分析区間を128サンプルとし、加速度成分の時系列データを0.25秒毎(128サンプル毎)に区切りながら、区切った区間毎に、当該区間内の加速度成分データにおける標準偏差SDを算出する。変更態様として、加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間として標準偏差SDを算出してもよい。
In the present embodiment, when the sampling frequency of digitization in the
なお、ここで算出される値は当然に、標準偏差SDに限定されるものではなく、ウィンドウ分析区間での加速度成分データの偏り具合に係る値ならば種々の値が採用可能である。 Naturally, the value calculated here is not limited to the standard deviation SD, and various values can be adopted as long as it is a value related to the degree of bias of the acceleration component data in the window analysis section.
代表値算出部124は、また、各ウィンドウ分析区間における加速度成分が所定範囲内に連続して留まっている時間区間の長さ(サンプル数長len_th)について単調減少関数となる重みWを算出する。この重みWについては、後に図2及び図4に示した実施例を用いて詳細に説明する。
The representative
その後、代表値算出部124は、算出した標準偏差SDを、同じく算出した重みWによって重み付けした値を代表値SDWに決定する。具体的には、次式
(3) SDW[k]=W[k]*SD[k]
によって代表値SDW[k]を算出する。ここで上式(3)において、kはウィンドウ位置(ウィンドウ・インデックス)であり、SDW[k]、W[k]及びSD[k]における[k]は、それぞれウィンドウ位置kでの値であることを示す。
After that, the representative
The representative value SD W [k] is calculated by. Here, in the above equation (3), k is the window position (window index), and [k] in SD W [k], W [k] and SD [k] is the value at the window position k, respectively. Indicates that there is.
信号発生判定部125は、代表値算出部124で算出された代表値SDWを用いて、生体信号が発生したか否かの判定を行う。例えば、算出された代表値SDW[k]が所定閾値を超える値であれば、ウィンドウ位置kにおいて何らかの生体信号が発生したとの判定を行ってもよい。また変更態様として、後に図5を用いて詳細に説明するが、代表値SDWの時系列データが所定のヒステリシスをn度(nは自然数)示した際、生体信号がn回発生したと判定することもできる。
The signal
同じく図1において、生体信号判別部126は、生体信号が発生したとの判定に係る時間区間において、発生した生体信号の種別を判定する。例えば、発生した生体信号は食い縛り動作によるもの、又は口角上げ動作によるものとの判定を行う。この生体信号判別部126での処理については、後に、図6のフローチャートを用いて全体のフローを概観する際、詳細に説明を行う。
Similarly, in FIG. 1, the biological
ちなみに、信号発生判定部125や生体信号判別部126における判定結果の情報は、信号インタフェース127を介し、例えばユーザの携帯した携帯端末2へ送信され、携帯端末2において様々なアプリで利用されることも好ましい。この場合、例えば単位時間(1時間や1日等)当たりの生体信号発生回数(例えば口角上げに係る筋電信号の場合には「笑み」の起こった回数)や、生体活動量(例えば「笑み」に係る筋肉の収縮活動の量)が時系列のグラフとして表示されてもよい。また、これらの情報がログとして記録されてもよく、さらには、筋電センサ付メガネ1のレンズ部に設けられた(図示していない)ディスプレイに表示させることも可能である。
By the way, the information of the determination result in the signal
なお、信号インタフェース127と携帯端末2とは、無線又は有線(ケーブル)をもって通信接続されている。このうち、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線(ケーブル)は、USB(Universal Serial Bus)で接続されるものであってもよい。なお、携帯端末2は、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。
The
以下、実際の生体信号を含む入力信号を用い、本発明に係る生体信号処理を実施した実施例を説明する。 Hereinafter, an example in which the biological signal processing according to the present invention is carried out using an input signal including an actual biological signal will be described.
図2及び図3は、本発明に係る生体信号処理を実施した実施例を説明するためのグラフである。なお本実施例では、生体信号処理装置として、図1に示す筋電センサ付メガネ1が使用されている。 2 and 3 are graphs for explaining an example in which the biological signal processing according to the present invention is carried out. In this embodiment, the glasses 1 with an electromyographic sensor shown in FIG. 1 are used as the biological signal processing device.
図2(A)に、
(a)「筋電信号・ノイズ:無し」:筋電信号もノイズも存在しない入力信号の波形、
(b)「筋電信号・ノイズ:有り」:筋電信号及びノイズが存在する入力信号の波形、
(c)「筋電信号:有り」:筋電信号が存在する(ノイズは存在しない)入力信号の波形、及び
(d)「ノイズ:有り」:ノイズが存在する(筋電信号は存在しない)入力信号の波形
を示す。
In FIG. 2 (A),
(A) "Myoelectric signal / noise: None": Waveform of the input signal with no myoelectric signal or noise,
(B) "Myoelectric signal / noise: Yes": Waveform of myoelectric signal and input signal in which noise is present,
(C) "Myoelectric signal: Yes": Myoelectric signal exists (no noise exists) Input signal waveform, and (d) "Noise: Yes": Noise exists (No myoelectric signal exists) The waveform of the input signal is shown.
これらの入力信号波形は、Neurosky社製のTGAM1を用い、サンプリング周波数を512Hzとしてサンプリングされた信号を128サンプル数分毎に抽出し、抽出された一単位を1つの点として当該点を線分で結んだ折れ線グラフの波形となっている。なお、商用電源由来の交流成分を含む誘導ノイズを除去するため、TGAM1において予めノッチフィルタ処理が実施されている。また、上記の「ノイズ」は実際に、皮膚の盛り上がり等で電極がずれを起こした際に発生するノイズであることが分かっている。 For these input signal waveforms, TGAM1 manufactured by Neurosky is used, and a signal sampled at a sampling frequency of 512 Hz is extracted every 128 samples every few minutes, and the extracted unit is used as one point and the point is defined as a line segment. It is the waveform of the connected line graph. In addition, in order to remove the induced noise including the AC component derived from the commercial power source, the notch filter processing is performed in advance in TGAM1. Further, it is known that the above-mentioned "noise" is actually noise generated when the electrodes are displaced due to swelling of the skin or the like.
このうち、図2(A)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の入力信号波形によれば、(口角上げや食い縛りといった)筋肉活動に起因する筋電信号は、非常に幅の広い周波数成分を有することが分かる。 Of these, according to the input signal waveforms of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2 (A), myoelectric signals caused by muscle activity (such as raising the corner of the mouth and binding) Is found to have a very wide frequency component.
一方、図2(A)の「筋電信号・ノイズ:無し」の入力信号波形によれば、無表情時は、振幅の小さい信号波形となることが分かる。 On the other hand, according to the input signal waveform of “Myoelectric signal / noise: None” in FIG. 2 (A), it can be seen that the signal waveform has a small amplitude when there is no expression.
また、図2(A)の「ノイズ:有り」の入力信号波形によれば、電極ずれに起因するノイズは、振幅の非常に大きい(場合によっては振幅が測定レンジを超えて飽和するほどの)信号波形を示すことが分かる。 Further, according to the input signal waveform of “Noise: Yes” in FIG. 2 (A), the noise caused by the electrode displacement has a very large amplitude (in some cases, the amplitude is saturated beyond the measurement range). It can be seen that it shows a signal waveform.
さらに、図3(A)には、
(e)「まばたきによる信号」:強めにまばたきを行った際の入力信号の波形
も示されている。この入力信号波形によれば、本実施例のようにメガネ型の装置を使用した場合にまばたきを強く行うと、アーチファクトが混入することが分かる。
Further, in FIG. 3 (A),
(E) "Signal by blinking": The waveform of the input signal when blinking strongly is also shown. According to this input signal waveform, it can be seen that when the eyeglass-type device is used as in the present embodiment and the blinking is strong, artifacts are mixed.
次に、図2(A)及び図3(A)に示したこれらの入力信号に対し、LPF部122b(図1)でLPF処理を実施し、次いで加速度成分生成部123(図1)で2階差分フィルタ処理を実施した結果を、図2(B)及び図3(B)に示す。
Next, the
このうち、図2(B)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の場合、加速度成分の波形は、振幅の大きい区間が連続して生じた形となっていることが分かる。 Of these, in the case of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2B, the waveform of the acceleration component has a form in which a section having a large amplitude is continuously generated. You can see that.
一方、図2(B)の「筋電信号・ノイズ:無し」及び「ノイズ:有り」や図3(B)の「まばたきによる信号」の場合、加速度成分の波形は、振幅の小さい区間が連続して生じた形となっていることが分かる。 On the other hand, in the case of "myoelectric signal / noise: none" and "noise: yes" in FIG. 2 (B) and "signal due to blinking" in FIG. 3 (B), the waveform of the acceleration component has continuous sections with small amplitude. It can be seen that the shape is formed by.
ここでさらに、図2(B)及び図3(B)に示したグラフの振幅(加速度成分)における度数分布を図2(C)及び図3(C)に示す。これらのヒストグラムにおいて、加速度成分のゼロ点を挟んだ位置に伸長した2本の垂線はそれぞれ、同振幅の平均値位置から見た、プラス標準偏差分の位置及びマイナス標準偏差分の位置を示している。 Here, further, the frequency distribution in the amplitude (acceleration component) of the graphs shown in FIGS. 2 (B) and 3 (B) is shown in FIGS. 2 (C) and 3 (C). In these histograms, the two perpendiculars extending to the positions sandwiching the zero point of the acceleration component indicate the positions of the plus standard deviation and the minus standard deviation, respectively, as seen from the average value position of the same amplitude. There is.
このうち、図2(C)の「筋電信号・ノイズ:有り」及び「筋電信号:有り」の場合、2本の垂線の間隔は比較的に広くなっている。すなわち、加速度成分の振幅の大きな周期性に対応して度数分布の標準偏差SDはより大きくなっていることが分かる。一方、図2(C)の「筋電信号・ノイズ:無し」及び「ノイズ:有り」や図3(C)の「まばたきによる信号」の場合、2本の垂線の間隔は比較的に狭くなっている。したがって、加速度成分について振幅の小さい区間が連続していることに対応して度数分布の標準偏差SDはより小さくなっているのである。 Of these, in the case of "myoelectric signal / noise: yes" and "myoelectric signal: yes" in FIG. 2C, the distance between the two perpendiculars is relatively wide. That is, it can be seen that the standard deviation SD of the frequency distribution becomes larger corresponding to the large periodicity of the amplitude of the acceleration component. On the other hand, in the case of "myoelectric signal / noise: none" and "noise: yes" in FIG. 2C and "signal due to blinking" in FIG. 3C, the distance between the two perpendiculars is relatively narrow. ing. Therefore, the standard deviation SD of the frequency distribution becomes smaller corresponding to the continuity of the sections with small amplitudes for the acceleration component.
本発明では、この標準偏差SDのような偏り具合に係る量についての性質を利用して、「ノイズ」以外の「筋電信号」が発生しているのか否かを判定するのである。 In the present invention, it is determined whether or not a "myoelectric signal" other than "noise" is generated by utilizing the property of the amount related to the degree of bias such as the standard deviation SD.
この点、従来、メガネ型の筋電センサを用いて例えば「口角上げ」の筋電信号を検出する際、例えば図3(A)に示したような「まばたき」による大振幅の鋭いアーチファクトを、「口角上げ」の筋電信号として誤判定してしまう問題が生じていた。これに対し、以上に説明したような加速度成分の標準偏差SDに着目して信号処理を行うことによって、例えば「まばたき」に係るアーチファクトは、標準偏差SDの小さな「ノイズ」として筋電信号発生に含めないといった処置が可能となるのである。 In this regard, conventionally, when detecting an electromyographic signal of, for example, "raising the corner of the mouth" using a glasses-type myoelectric sensor, a sharp artifact with a large amplitude due to "blinking" as shown in FIG. There was a problem that it was erroneously judged as an electromyographic signal of "raising the corner of the mouth". On the other hand, by performing signal processing focusing on the standard deviation SD of the acceleration component as described above, for example, an artifact related to "blinking" can generate a myoelectric signal as a small "noise" of the standard deviation SD. It is possible to take measures such as not including it.
ちなみに、上記の「まばたき」に係るアーチファクトは、強くまばたきを行うことによって電極接触面圧が変化することに起因して発生すると考えられる。このようなアーチファクトと同様のものとして、素早い頷き、急な振り向き、急な傾げといった頭部の素早い動きにより電極接触面圧が変化することによって生じるアーチファクトも実際に検出されている。 By the way, it is considered that the above-mentioned artifact related to "blinking" is caused by a change in the electrode contact surface pressure due to strong blinking. Similar to such artifacts, artifacts caused by changes in electrode contact surface pressure due to quick movements of the head such as quick nodding, sudden turning, and sudden tilting have actually been detected.
これに対し、加速度成分の標準偏差SDに着目した本発明に係る信号処理は、これらのアーチファクトを筋電信号として判定するエラーを大幅に低減することができるのである。すなわち、電極接触圧の変化によって生じるバイアス変動や短時間パルス状の高バイアス変動の誤検出を、抑制することが可能となるのである。 On the other hand, the signal processing according to the present invention focusing on the standard deviation SD of the acceleration component can significantly reduce the error of determining these artifacts as myoelectric signals. That is, it is possible to suppress erroneous detection of bias fluctuations caused by changes in electrode contact pressure and short-time pulsed high bias fluctuations.
次に、代表値SDWを算出するのに用いられる重みWの導出について説明を行う。 Next, the derivation of the weight W used to calculate the representative value SD W will be described.
図2(B)における、筋肉活動が活発でない「筋電信号・ノイズ:無し」や、電極ズレに起因するノイズのみが見られる「ノイズ:有り」においては、加速度成分が所定範囲内に連続して留まっている時間区間、言い換えると加速度成分の振幅の絶対値が所定閾値以下に収まっている時間区間(同図に示したlen_thの区間)が、「筋電信号・ノイズ:有り」及び「筋電信号:有り」での同時間区間と比較して相当に長くなっていることが分かる。 In FIG. 2B, in "myoelectric signal / noise: none" in which muscle activity is not active and "noise: yes" in which only noise due to electrode misalignment is observed, the acceleration component is continuous within a predetermined range. The time interval in which the acceleration component stays, in other words, the time interval in which the absolute value of the amplitude of the acceleration component is within the predetermined threshold (len_th interval shown in the figure) is "myoelectric signal / noise: yes" and "muscle". It can be seen that it is considerably longer than the same time section in "Electric signal: Yes".
そこで、この時間区間が長くなると急速に小さくなるような(又は少なくともこの時間区間について単調減少関数となる)「重みW」を決定し、代表値SDWにそのような特性を盛り込むことによって、筋電信号の無い場合やノイズのみの場合における筋電信号発生との誤判定を、より確実に回避することが可能となるのである。 Therefore, by determining a "weight W" that rapidly decreases as this time interval becomes longer (or at least becomes a monotonically decreasing function for this time interval), and incorporating such a characteristic into the representative value SD W , the muscle It is possible to more reliably avoid the erroneous determination that the myoelectric signal is generated when there is no electric signal or when there is only noise.
以下具体的に、重みWの導出を説明する。ここで最初に、重み算出対象のウィンドウ分析区間の先頭から加速度成分の振幅を走査し、予め設定した閾値th未満の振幅が連続しているサンプル数長len_thを決定する。また、ノイズ区間を規定することになる観測サンプル数obsを予め設定しておく。例えば、th=10、及びobs=15と設定することができる。 The derivation of the weight W will be specifically described below. Here, first, the amplitude of the acceleration component is scanned from the beginning of the window analysis section to be weighted, and the sample number length len_th in which the amplitude less than the preset threshold value th is continuous is determined. In addition, the number of observation samples obs that defines the noise interval is set in advance. For example, th = 10 and obs = 15 can be set.
ちなみに、ウィンドウ分析区間内に、閾値th未満の振幅連続区間が複数存在する場合、サンプル数長len_thはそれらの区間の合計サンプル数としてもよい。または、そのうち最も時間区間の長い振幅連続区間におけるサンプル数を、サンプル数長len_thとすることも可能である。 Incidentally, when there are a plurality of amplitude continuous sections having a threshold value less than th in the window analysis section, the sample number length len_th may be the total number of samples in those sections. Alternatively, the number of samples in the longest amplitude continuous interval among them can be set to the sample number length len_th.
図4は、本発明に係る代表値SDWを算出するのに用いられる重みWを説明するためのグラフである。 FIG. 4 is a graph for explaining the weight W used to calculate the representative value SD W according to the present invention.
図4(A)には、サンプル数長len_thの関数としての指数重みWが示されている。この指数重みWは、次式
(4) W=exp(1−len_th/obs)
によって規定されている。また、図4(A)ではobs=15であって、Len_th=15ならばW=1.0となる。さらに、len_thが大きくなるにつれて指数重みWは急激に減少し、ゼロに漸近する。実際、len_thがウィンドウ分析区間長(128サンプル)相当となると、指数重みWは概ねゼロとなる。
FIG. 4A shows the exponential weight W as a function of the sample length len_th. This exponential weight W is calculated by the following equation (4) W = exp (1−len_th / obs).
Is stipulated by. Further, in FIG. 4 (A), obs = 15, and if Len_th = 15, W = 1.0. Furthermore, as len_th increases, the exponential weight W decreases sharply and asymptotically approaches zero. In fact, when len_th corresponds to the window analysis interval length (128 samples), the exponential weight W becomes almost zero.
一方、図4(B)には、同じくobs=15の場合における、サンプル数長len_thの関数としての反比例重みWが示されている。反比例重みWは、次式
(5) W=1/((len_th−obs)/a+1)
によって規定される。ここで、aはobsを超える値(a>obs)をとって分母を正値にすることが好ましい。図4(B)の反比例重みWは、a=obs*obs(=225)の場合であり、Len_th=15ならばW=1.0となる。また、len_thが大きくなるにつれて反比例重みWは減少し、ゼロに近づく。
On the other hand, FIG. 4B shows the inverse proportional weight W as a function of the sample number length len_th in the same case of obs = 15. The inverse proportional weight W is calculated by the following equation (5) W = 1 / ((len_th−obs) / a + 1)
Specified by. Here, it is preferable that a takes a value exceeding obs (a> obs) and sets the denominator to a positive value. The inverse proportional weight W in FIG. 4B is the case of a = obs * obs (= 225), and if Len_th = 15, W = 1.0. Also, as len_th increases, the inverse proportional weight W decreases and approaches zero.
勿論、重みWは、以上に示したものに限定されるものではない。len_thの単調減少関数であれば重みWとして採用可能であり、また好ましくは、len_thの増加とともにゼロに近づく関数、より好適にはゼロに漸近する関数であれば、種々のものが重みWとして用いることができる。例えば、重みWを負の傾きを有するlen_thの一次関数としてもよいが、図4(A)に示した指数重みWの方が、より確実な生体信号発生判定に資することになる。 Of course, the weight W is not limited to those shown above. A monotonically decreasing function of len_th can be adopted as a weight W, and preferably, a function approaching zero as len_th increases, and more preferably a function asymptotic to zero, various functions are used as weight W. be able to. For example, the weight W may be a linear function of len_th having a negative slope, but the exponential weight W shown in FIG. 4A contributes to a more reliable determination of biological signal generation.
ここで、代表値算出部124(図1)は、以上のように導出された重みWを用いて、算出された標準偏差SDを重み付けし、上記の式(3):SDW[k]=W[k]*SD[k](k:ウィンドウ位置)によって代表値SDW[k]を決定する。次いで、信号発生判定部125(図1)は、算出された代表値SDW[k]が所定閾値を超える値であれば、ウィンドウ位置kにおいて何らかの生体信号が発生したとの判定を行うのである。 Here, the representative value calculation unit 124 (FIG. 1) weights the calculated standard deviation SD by using the weight W derived as described above, and the above equation (3): SD W [k] = The representative value SD W [k] is determined by W [k] * SD [k] (k: window position). Next, the signal generation determination unit 125 (FIG. 1) determines that some biological signal has been generated at the window position k if the calculated representative value SD W [k] exceeds a predetermined threshold value. ..
以下、この信号発生判定の好適な変更態様として、代表値SDWの時系列データのヒステリシスを利用する方法を説明する。 Hereinafter, a method of utilizing the hysteresis of the time series data of the representative value SD W will be described as a preferred modification mode of this signal generation determination.
図5は、代表値SDWのヒステリシスを利用した信号発生判定処理の一実施形態を示すグラフである。この図5のグラフは、算出された代表値SDWの時系列データ点を線分で結んだ折れ線グラフとなっている。 FIG. 5 is a graph showing an embodiment of signal generation determination processing using the hysteresis of the representative value SD W. The graph of FIG. 5 is a line graph connecting the time-series data points of the calculated representative value SD W with a line segment.
信号発生判定部125(図1)は、
(a)代表値SDW(の推移を示す折れ線)が閾値Thhのラインを下方(値の小さい方)から横切って上方(値の大きい方)に向かう点をカウント開始点(丸印)とし、
(b)代表値SDW(の推移を示す折れ線)が閾値Thl(<Thh)のラインを上方(値の大きい方)から横切って下方(値の小さい方)に向かう点をカウント終了点(三角印)として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に1だけカウントを増分する。
The signal generation determination unit 125 (FIG. 1)
(A) The point at which the representative value SD W (the polygonal line indicating the transition) crosses the threshold Thh line from the lower side (the smaller value) to the upper side (the larger value) is set as the count start point (circle).
(B) The point at which the representative value SD W (the polygonal line indicating the transition) crosses the line with the threshold value Thr (<Thh) from above (larger value) to downward (smaller value) is the end point (triangle). Mark), as
The count is incremented by 1 for each pair of these count start points and the subsequent count end points.
図5の実施例では、この組が4つ存在しているので、これらの4つの組がグラフで決定された段階で、生体信号が4回発生したと判定される(生体信号の発生数が4とカウントされる)。ここで、開始点の閾値(thh)及び終了点の閾値(thl)を適切に設定することによって、信号発生判定結果のチャタリングを防止することも可能となるのである。 In the embodiment of FIG. 5, since there are four of these sets, it is determined that the biological signal has been generated four times at the stage when these four sets are determined by the graph (the number of biological signals generated is determined). It counts as 4). Here, by appropriately setting the threshold value (thh) of the start point and the threshold value (thl) of the end point, it is possible to prevent chattering of the signal generation determination result.
さらに、信号発生判定部125は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が決定されない際、このカウント開始点からその時点までで1回をカウントした上で、この時間閾値Tmax経過後は、代表値SDWが閾値Thlを下回るまでノイズ判定期間であるとしてもよい。この場合、図5の実施例では、結局、生体信号の発生回数は5回であると決定されることになる。
Further, when the count end point is not determined even after a predetermined time threshold T max has elapsed after the signal
[生体信号処理方法]
図6は、本発明による生体信号処理方法の一実施形態の概略を示すフローチャートである。なお、図6に示した本実施形態のフローには、生体信号判別部126(図1)による生体信号種別判定処理が含まれているが、この種別判定処理については別途詳細に説明を行う。
[Biomedical signal processing method]
FIG. 6 is a flowchart showing an outline of an embodiment of the biological signal processing method according to the present invention. The flow of the present embodiment shown in FIG. 6 includes a biological signal type determination process by the biological signal determination unit 126 (FIG. 1), and this type determination process will be described in detail separately.
(S101)取得した入力信号を差動増幅してデジタル化し、バッファリングを行う。
(S102)バッファリングされた入力信号に対し、商用電源に係る周期的ノイズを低減するノッチフィルタ処理を実施する。
(S103)ノッチフィルタ処理を施された入力信号に対し、LPF処理を実施する。
(S104)LPF処理を施された入力信号に対し、2階差分フィルタ処理を実施する。
(S105)2階差分フィルタ処理を施され、時系列の加速度成分データとなった入力信号を、所定のウィンドウ分析区間に分割する。
(S101) The acquired input signal is differentially amplified and digitized for buffering.
(S102) A notch filter process for reducing periodic noise related to a commercial power source is performed on the buffered input signal.
(S103) LPF processing is performed on the input signal that has been subjected to the notch filter processing.
(S104) The second-order difference filter processing is performed on the input signal subjected to the LPF processing.
(S105) The input signal that has been subjected to the second-order difference filter processing and has become the acceleration component data of the time series is divided into a predetermined window analysis section.
(S106)ウィンドウ分析区間毎に重みWを算出する。
(S107)ウィンドウ分析区間毎に代表値SDWを算出する。
(S108)ウィンドウ分析区間毎に、代表値SDWが所定閾値Thを上回っているか(SDW>Th)否かを判定する。
(S109a)ステップS108で上回っている(SDW>Th)との判定を行った場合、当該ウィンドウ分析区間において何らかの生体信号が発生したと判断し、その種別を判定すべくステップS110に移行する。
(S106) The weight W is calculated for each window analysis section.
(S107) The representative value SD W is calculated for each window analysis section.
(S108) For each window analysis section, it is determined whether or not the representative value SD W exceeds the predetermined threshold value Th (SD W > Th).
(S109a) When it is determined in step S108 that the number exceeds (SD W > Th), it is determined that some biological signal has been generated in the window analysis section, and the process proceeds to step S110 to determine the type.
(S110)生体信号が発生したと判定されたウィンドウ分析区間において、生体信号種別判定を行う。この判定処理については、この後、詳細に説明する。
(S111)種別を判定された生体信号の発生回数、すなわち該当生体現象の生起回数をカウントする。このカウントについても後に説明を行う。
(S109b)一方、ステップS108で上回っていない(SDW≦Th)との判定を行った場合、当該ウィンドウ分析区間では生体信号は発生していないと判断し、その旨を生体信号発生回数に反映すべくステップS111に移行する。
(S110) In the window analysis section where it is determined that the biological signal has been generated, the biological signal type determination is performed. This determination process will be described in detail later.
(S111) The number of occurrences of the biological signal whose type is determined, that is, the number of occurrences of the corresponding biological phenomenon is counted. This count will also be described later.
(S109b) On the other hand, when it is determined in step S108 that the number does not exceed (SD W ≤ Th), it is determined that no biological signal is generated in the window analysis section, and this is reflected in the number of times the biological signal is generated. The process proceeds to step S111.
以下、生体信号判別部126(図1)によって実施される上記ステップS110及びS111の生体信号種別判定処理及び発生回数カウント処理を説明する。 Hereinafter, the biological signal type determination process and the number of occurrence count process in steps S110 and S111, which are carried out by the biological signal determination unit 126 (FIG. 1), will be described.
生体信号判別部126は、この種別判定の一実施形態として、生体信号が発生したとの判定に係る時間区間において、入力信号の平均パワー周波数(MPF,mean power frequency)を算出し、MPFの高さに基づいて、発生した生体信号の種別を判定することも好ましい。
As an embodiment of this type determination, the biological
ここで、本願発明者は、筋電センサ付メガネ1を用いて取得した入力信号に対し、高速フーリエ変換(FFT,Fast Fourier Transform)等による周波数解析処理を実施し、各ウィンドウ分析区間においてMPFを算出したところ、このMPF値の閾値判定によって、発生した筋電信号の種別が判断可能であることを見出した。 Here, the inventor of the present application performs frequency analysis processing by fast Fourier transform (FFT, Fast Fourier Transform) or the like on the input signal acquired by using the glasses 1 with myoelectric sensor, and performs MPF in each window analysis section. As a result of the calculation, it was found that the type of the generated myoelectric signal can be determined by the threshold determination of the MPF value.
具体的には、例えば、MPF値が所定閾値を超えている場合、発生している生体信号は食い縛り動作による筋電信号であると判定し、一方、MPF値がこの所定閾値以下である場合、発生している生体信号は、口角上げ動作による筋電信号であると判定することができる。また、図5の縦軸をMPF値としたヒステリシスグラフを生成して、同様に食い縛り動作や口角上げ動作(による筋電信号)の発生回数をカウントすることも可能となる。 Specifically, for example, when the MPF value exceeds a predetermined threshold value, it is determined that the generated biological signal is a myoelectric signal due to a clenching operation, while the MPF value is equal to or less than this predetermined threshold value. , The generated biological signal can be determined to be a myoelectric signal due to the movement of raising the angle of the mouth. It is also possible to generate a hysteresis graph with the vertical axis of FIG. 5 as the MPF value, and similarly count the number of occurrences of the biting motion and the mouth angle raising motion (the myoelectric signal).
さらに、ウィンドウ分析区間において、信号強度、例えば振幅の標準偏差SD’を算出し、この値もMPF値と同様にして発生信号の種別判定に用いることも可能となっている。 Further, in the window analysis section, it is possible to calculate the signal strength, for example, the standard deviation SD'of the amplitude, and use this value for determining the type of the generated signal in the same manner as the MPF value.
ちなみに、一般的にFFT等の周波数解析処理には相当の計算量が必要とされるが、本実施形態では、ステップS108及びS109において何らかの生体信号が発生したと判定された分析区間のみにおいてこのような周波数解析を行うので、種別判定において周波数解析処理を実施するにもかかわらず、計算量を大幅に削減することができるのである。 By the way, in general, a considerable amount of calculation is required for frequency analysis processing such as FFT, but in the present embodiment, this is performed only in the analysis section where it is determined that some biological signal is generated in steps S108 and S109. Since the frequency analysis is performed, the amount of calculation can be significantly reduced even though the frequency analysis process is performed in the type determination.
さらに、生体信号判別部126は、生体信号種別判定の他の実施形態として、生体信号が発生したとの判定に係る時間区間において、標準偏差SD’と入力信号のMPF値(MPF)とを含む特徴量、例えば{SD', MPF}を算出し、この特徴量について、基準状態に該当する入力信号の特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された離隔度合いに基づいて、発生した生体信号の種別を判定することも好ましい。
Further, as another embodiment of the biological signal type determination, the biological
この場合具体的に、生体信号判別部126は、生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、生体信号の発生を判定することができる。
In this case, specifically, the biological
ここで、上記の単位空間及び離隔度合いとして、
(a)MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
(b)MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
(c)T法における単位空間、及び特性値から算出される値、又は
(d)RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することができる。ちなみに、このような生体信号種別判定の方法が有効であることも、本願発明者が実験を通して見出したものである。
Here, as the above unit space and the degree of separation,
(A) A value calculated from the unit space in the MT (Mahalanobis Taguchi) method and the Mahalanobis distance.
(B) A value calculated from the unit space in the MTA (Mahalanobis-Taguchi Adjoint) method and the Mahalanobis distance.
A value calculated from (c) the unit space and the characteristic value in the T method, or (d) a value calculated from the unit space and the RT distance in the RT (Recognition Taguchi) method can be adopted. By the way, the inventor of the present application has also found through experiments that such a method for determining the type of biological signal is effective.
このうち、MT法を用いた場合、例えば口角上げ動作による筋電信号を判別する際には、
(ア)無表情状態及び口角上げ状態(を合わせた状態群)
(イ)無表情状態
(ウ)口角上げ状態
についての3つの単位空間を設計し、入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離1、距離2及び距離3として算出して、(判定用距離)=(距離2)−(距離1)−(距離3)とすることによって、より好適な判定結果が得られることが分かっている。
Of these, when the MT method is used, for example, when discriminating the myoelectric signal due to the operation of raising the angle of the mouth,
(A) Expressionless state and mouth angle raised state (combined state group)
(B) Expressionless state (c) Design three unit spaces for the raised mouth angle state, and calculate the degree of separation from these unit spaces in the input signal as distance 1,
このような判定用距離が所定閾値を超えている場合、発生している生体信号は口角上げ動作による筋電信号であると判定することができる。また、図5の縦軸をこの判定用距離としたヒステリシスグラフを生成して、同様に口角上げ動作(による筋電信号)の発生回数をカウントすることも可能となる。さらに、他の種別の生体信号、例えば食い縛り動作による筋電信号についても、上記と同様に判定用距離を決定して、種別判定や発生回数カウントを実施することができるのである。 When such a determination distance exceeds a predetermined threshold value, it can be determined that the generated biological signal is a myoelectric signal due to the mouth angle raising operation. Further, it is also possible to generate a hysteresis graph in which the vertical axis of FIG. 5 is the determination distance, and similarly count the number of occurrences of the mouth angle raising operation (due to the myoelectric signal). Further, for other types of biological signals, for example, myoelectric signals due to the clinging motion, the determination distance can be determined in the same manner as described above, and the type determination and the number of occurrence counts can be performed.
[生体信号処理装置の他の実施形態]
図7及び図8は、本発明による生体信号処理装置の他の実施形態を示す模式図である。
[Other Embodiments of Biological Signal Processing Device]
7 and 8 are schematic views showing another embodiment of the biological signal processing device according to the present invention.
図7には、本発明による生体信号処理装置としてのヘッドフォン1’が示されている。ヘッドフォン1’は、携帯端末2に連携するウェアラブルデバイスであり、検知された生体信号としての筋電信号を含み得る入力信号を、筋電センサ付メガネ1(図1)と同様に生体信号処理部12において処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。
FIG. 7 shows a headphone 1'as a biological signal processing device according to the present invention. The headphone 1'is a wearable device linked to the
ここで、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線は、例えば携帯端末2のヘッドフォン・マイクロフォン用アナログ音声入出力端子(ジャック)に接続されるものであってもよく、USB(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末2からヘッドフォン1’へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン1’から携帯端末2へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。
Here, the wireless can be, for example, a wireless LAN such as Bluetooth (registered trademark) or Wi-Fi (registered trademark). Further, the wire may be connected to, for example, an analog audio input / output terminal (jack) for headphones / microphones of the
また、ヘッドフォン1’の筋電センサも、筋電センサ付メガネ1(図1)と同様、「検出用+(プラス)電極」、「リファレンス用−(マイナス)電極」、及び「DRL(Driven Right Leg)電極」の3つの電極を有している。また、これらの電極配置についても図7に示すように、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するように設定することができる。ちなみに、この場合、検知され得る生体信号には、口角上げ運動や食い縛り運動に起因する筋電信号が含まれる。 In addition, the myoelectric sensor of the headphone 1'also has "detection + (plus) electrode", "reference- (minus) electrode", and "DRL (Driven Right)" as in the case of glasses 1 with myoelectric sensor (FIG. 1). It has three electrodes, "Leg) electrodes". As for the arrangement of these electrodes, as shown in FIG. 7, the reference electrode is in contact with one skin position from around the left (or right) pinna to the vicinity of the cheek, and the detection electrode is in the right (or left) ear. It can be set to touch one skin position near the cheek from the periphery of the auricle. Incidentally, in this case, the biological signals that can be detected include a myoelectric signal caused by a mouth angle raising motion or a clenching motion.
なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、ヘッドフォン1’がオープンエア型のイヤカップやイヤパッドを有さない場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。 Of course, the arrangement of the electrodes of the myoelectric sensor is not limited to the above-mentioned form. For example, if the headphones 1'do not have an open-air earcup or earpad, the electrodes are placed closer to the cheeks from the surface of the support mechanism that contacts the skin around the ears to attach the headphones to the head. You may.
さらに、本発明による生体信号処理装置であって、同様の筋電センサ及びその電極を備えた頭部装着デバイスとして、図8に示したイヤホン1’’も挙げられる。このイヤホン1’’も、検知された生体信号としての筋電信号を含み得る入力信号を処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。また、当該無線又は有線を介し、携帯端末2からイヤホン1’’へ、例えばコンテンツの音声信号が伝送される。
Further, as a biological signal processing device according to the present invention, as a head-mounted device provided with a similar myoelectric sensor and an electrode thereof, the earphone 1 ″ shown in FIG. 8 can be mentioned. This earphone 1'' also processes an input signal that may include a myoelectric signal as a detected biological signal, determines whether or not a myoelectric signal is generated and the type of the generated myoelectric signal, and uses this determination result as a result. Such information is transmitted to the
ここで以上に説明した、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図7)や、イヤホン1’’(図8)を用いて、例えば、「笑み」を含む顔表情に相当する口角上げ運動に係る筋電信号を検知することもできる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができるのである。 Using the glasses 1 with myoelectric sensor (FIG. 1), headphones 1'(FIG. 7), and earphones 1'' (FIG. 8), which are described above and are worn at positions including the ears, for example, " It is also possible to detect an electromyographic signal related to a mouth angle raising movement corresponding to a facial expression including "smile". By the way, such a myoelectric signal can be used as a user interface when it is a signal due to a user's conscious reaction. On the other hand, if the signal is an unconscious reaction, it can be used as a measurement result of the user's emotion and its transition.
例えば、携帯端末2が再生中のコンテンツの音声をヘッドフォン1’に送信し、ヘッドフォン1’を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することが可能となる。また、ユーザによるヘッドフォン1’の装着/未装着も、筋電信号の検知状況から判断可能となるのである。
For example, the
ちなみに、耳を含む位置に装着される筋電センサ付メガネ1(図1)、ヘッドフォン1’(図7)や、イヤホン1’’(図8)は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、脈拍、脳波等に係る生体信号を検出することも可能とする。以上に説明したような実施形態の生体信号処理方法は、筋電信号に限らずこのような様々な種別の生体信号の処理にも適用することができるのである。 By the way, the glasses 1 with myoelectric sensor (Fig. 1), headphones 1'(Fig. 7), and earphones 1'' (Fig. 8), which are worn at the position including the ears, have only myoelectric signals from the muscles in the head. It is also possible to detect biological signals related to body temperature, sweating, pulse wave, pulse, brain wave, etc., which can be detected from a position near the ear. The biological signal processing method of the embodiment as described above can be applied not only to the processing of myoelectric signals but also to the processing of various types of biological signals.
特に、筋電信号や脳波等のノイジーな交流信号に対し、より効果的な処理が実施可能となる。すなわち、乾式電極を用いる筋電センサ等によって検出される信号が交流である性質を利用して検出を実施し、一方で、振幅の小さい交流信号は検出せず、さらに乾式電極のズレによるノイズ(アーチファクト)も筋電信号として検出しないので、計算量を小さくしつつより確実に交流信号としての筋電信号を検出することができる。 In particular, more effective processing can be performed on noisy AC signals such as myoelectric signals and brain waves. That is, the detection is performed by utilizing the property that the signal detected by the myoelectric sensor using the dry electrode is AC, while the AC signal having a small amplitude is not detected, and the noise due to the deviation of the dry electrode ( Since the artifact) is not detected as an myoelectric signal, the myoelectric signal as an AC signal can be detected more reliably while reducing the amount of calculation.
以上詳細に説明したように、本発明は、生体信号が発生しているか否かの判定において、一般に多大な計算量を必要とする周波数分析を行うのではなく、加速度成分データにおける代表値を算出して判定処理を行う。これにより、本発明によれば、生体信号発生の判定において、周波数分析が不要であり、電極ずれによるノイズの発生に対しても頑健な生体信号処理が実現するのである。 As described in detail above, the present invention calculates a representative value in acceleration component data instead of performing frequency analysis, which generally requires a large amount of calculation, in determining whether or not a biological signal is generated. And perform the judgment process. As a result, according to the present invention, frequency analysis is not required in determining the generation of biological signals, and robust biological signal processing is realized even for the generation of noise due to electrode misalignment.
また、本発明によるより精度の高い判定処理を用いることにより、1つの一応用例として、生体信号として大頬骨筋等の口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、「笑み」を定量的に計測し、例えばお笑い電子コンテンツの面白さを、笑み回数や口角上げ活動量から定量化することができる。また、ユーザの口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「笑み」の定量計測を定常的に実施し、ユーザが健全な生活を送っているのかどうかを定量化することもできるのである。 Further, by using the more accurate determination processing according to the present invention, as one application example, when a myoelectric signal caused by a muscle related to raising the angle of the mouth such as the zygomaticus major muscle is used as a determination target, " "Smile" can be quantitatively measured, and for example, the fun of laughter electronic content can be quantified from the number of smiles and the amount of activity to raise the mouth angle. In addition, command instructions from the user triggered by the user's mouth angle raising operation, such as camera shutter operation and zooming, and favorite registration of the content being viewed can be executed. Furthermore, it is possible to constantly carry out quantitative measurement of "smile" to quantify whether or not the user is living a healthy life.
さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生をより確実に判定することも可能とする。したがって、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすこともできるのである。 Furthermore, the present invention also makes it possible to specify various biological signals other than the above-mentioned myoelectric signals and more reliably determine the occurrence of biological phenomena related to the biological signals. Therefore, these judgment results and the measurement results of the number of occurrences can be utilized for evaluation of various types of contents, user interface of biological phenomena by will, and quantification of physical state and emotional / mental state. is there.
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 With respect to the various embodiments of the present invention described above, various changes, modifications and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above explanation is just an example and does not attempt to restrict anything. The present invention is limited only to the scope of claims and their equivalents.
1 筋電センサ付メガネ(生体信号処理装置)
1’ ヘッドフォン(生体信号処理装置)
1’’ イヤホン(生体信号処理装置)
11 信号処理ボックス
12 生体信号処理部
121 信号変換部
122 前フィルタ処理部
122a ノッチフィルタ部
122b LPF部122b
123 加速度成分生成部
123a 2階差分フィルタ部
124 代表値算出部
125 信号発生判定部
126 生体信号判別部
127 信号インタフェース
13 プラス電極パッド
14 マイナス電極パッド
15 鼻パッド電極部
2 携帯端末
1 Glasses with myoelectric sensor (biological signal processor)
1'Headphones (biological signal processor)
1'' Earphone (biological signal processor)
11
123 Acceleration
Claims (9)
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
を有することを特徴とする生体信号処理装置。 A biological signal processing device that processes an input signal that may include a myoelectric signal.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
A biological signal processing device comprising a signal generation determining means for determining that the myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
MT(Mahalanobis Taguchi)法、MTA(Mahalanobis-Taguchi Adjoint)法、T法、及びRT(Recognition Taguchi)法のうちのいずれか1つに基づき、ある種別の筋電信号が発生している状態と筋電信号が発生していない状態とを合わせた状態であって、当該ある種別の筋電信号以外の信号であるノイズとしてのアーチファクトが発生していない状態での当該入力信号に係る当該特徴量によって第1の単位空間を設定し、また、筋電信号が発生していない状態での当該入力信号に係る当該特徴量によって第2の単位空間を設定し、さらに、当該ある種別の筋電信号が発生している状態での当該入力信号に係る当該特徴量によって第3の単位空間を設定し、
何らかの筋電信号が発生したとの判定に係る時間区間において、当該入力信号に係る当該特徴量を算出し、算出した当該特徴量について、第1の単位空間、第2の単位空間、及び第3の単位空間のそれぞれから離隔した度合いである第1の離隔度合い、第2の離隔度合い、及び第3の離隔度合いを算出し、
第2の離隔度合いから、第1の離隔度合いと、第3の離隔度合いとを差し引いた量が、所定閾値を超えている場合、当該何らかの筋電信号は当該ある種別の筋電信号であると判定する
生体信号判別手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の生体信号処理装置。 As a feature amount related to the generation of the myoelectric signal, an amount including the standard deviation and the average power frequency of the input signal is defined, and then
A state and muscle in which a certain type of myoelectric signal is generated based on any one of the MT (Mahalanobis Taguchi) method, the MTA (Mahalanobis-Taguchi Adjoint) method, the T method, and the RT (Recognition Taguchi) method. Depending on the feature amount related to the input signal in the state where no electric signal is generated and no artifact as noise, which is a signal other than the certain type of myoelectric signal, is generated . A first unit space is set, a second unit space is set according to the feature amount related to the input signal in a state where no myoelectric signal is generated, and a certain type of myoelectric signal is further set. A third unit space is set according to the feature amount related to the input signal in the generated state, and the third unit space is set.
In the time interval related to the determination that some myoelectric signal has been generated, the feature amount related to the input signal is calculated, and the calculated feature amount is used in the first unit space, the second unit space, and the third unit space. The first degree of separation, the second degree of separation, and the third degree of separation, which are the degrees of separation from each of the unit spaces of, are calculated.
When the amount obtained by subtracting the first degree of separation and the third degree of separation from the second degree of separation exceeds a predetermined threshold value, it is considered that some myoelectric signal is a certain type of myoelectric signal. The biological signal processing apparatus according to any one of claims 1 to 4, further comprising a biological signal determining means for determining.
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成する加速度成分生成手段と、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とする代表値算出手段と、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行う信号発生判定手段と
してコンピュータを機能させることを特徴とする生体信号処理プログラム。 A program that activates a computer mounted on a device that processes input signals that may include myoelectric signals.
Acceleration component generation means that applies second-order difference filter processing to the input signal to generate acceleration component data as the second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. A representative value calculation means in which a value indicating the degree of bias of the data in the above is used as a representative value related to the degree of bias of the data.
A biological signal processing program characterized in that a computer functions as a signal generation determination means for determining that a myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
当該入力信号に対し2階差分フィルタ処理を施して当該入力信号の2階差分としての加速度成分データを生成するステップと、
当該加速度成分データにおける所定時間区間でのデータの偏り具合を示す値と、当該所定時間区間における当該加速度成分データの加速度成分が所定範囲内に連続して留まっている時間区間の長さについて単調減少関数となる重みとを算出し、当該データの偏り具合を示す値を当該重みによって重み付けすることにより、当該データの偏り具合に係る代表値を算出する、または、当該加速度成分データにおける当該所定時間区間でのデータの偏り具合を示す値を当該データの偏り具合に係る代表値とするステップと、
当該代表値が所定閾値を超える値である場合、当該筋電信号が発生したとの判定を行うステップと
を有することを特徴とする生体信号処理方法。 It is a biological signal processing method by a computer mounted on a device that processes an input signal that may include a myoelectric signal.
A step of performing a second-order difference filter processing on the input signal to generate acceleration component data as a second-order difference of the input signal, and
A monotonous decrease in the value indicating the degree of bias of the data in the predetermined time interval in the acceleration component data and the length of the time interval in which the acceleration component of the acceleration component data in the predetermined time interval remains continuously within the predetermined range. A weight that serves as a function is calculated, and a value indicating the degree of bias of the data is weighted by the weight to calculate a representative value related to the degree of bias of the data, or the predetermined time interval in the acceleration component data. The step of using a value indicating the degree of bias of the data in the above as a representative value related to the degree of bias of the data, and
A biological signal processing method comprising a step of determining that a myoelectric signal has been generated when the representative value exceeds a predetermined threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240664A JP6821549B2 (en) | 2017-12-15 | 2017-12-15 | Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240664A JP6821549B2 (en) | 2017-12-15 | 2017-12-15 | Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019107067A JP2019107067A (en) | 2019-07-04 |
JP6821549B2 true JP6821549B2 (en) | 2021-01-27 |
Family
ID=67178107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017240664A Active JP6821549B2 (en) | 2017-12-15 | 2017-12-15 | Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6821549B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7318430B2 (en) * | 2019-09-05 | 2023-08-01 | 富士フイルムビジネスイノベーション株式会社 | Biological information measuring device, biological information measuring system, and biological information measuring program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4730037B2 (en) * | 2005-09-27 | 2011-07-20 | パナソニック電工株式会社 | Mastication meter |
JP5464072B2 (en) * | 2010-06-16 | 2014-04-09 | ソニー株式会社 | Muscle activity diagnosis apparatus and method, and program |
EP3400873A1 (en) * | 2013-06-28 | 2018-11-14 | Murata Manufacturing Co., Ltd. | Biological state estimating apparatus |
JP6452248B2 (en) * | 2015-07-30 | 2019-01-16 | Kddi株式会社 | Device, terminal, and program for identifying facial expression using myoelectric signal |
JP6580497B2 (en) * | 2016-02-09 | 2019-09-25 | Kddi株式会社 | Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal |
-
2017
- 2017-12-15 JP JP2017240664A patent/JP6821549B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019107067A (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6580497B2 (en) | Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal | |
JP5464072B2 (en) | Muscle activity diagnosis apparatus and method, and program | |
Zhang et al. | Diet eyeglasses: Recognising food chewing using EMG and smart eyeglasses | |
US10736560B2 (en) | Automatic detection of teeth clenching and/or teeth grinding | |
JP5042398B1 (en) | EEG recording apparatus, hearing aid, EEG recording method and program thereof | |
JP6521778B2 (en) | Program, terminal and system for giving emotional identifier to application using myoelectric signal | |
JP7009342B2 (en) | Devices, programs and methods that can evaluate meals based on the amount of chewing and smiling | |
JP5574407B2 (en) | Facial motion estimation apparatus and facial motion estimation method | |
JP6452248B2 (en) | Device, terminal, and program for identifying facial expression using myoelectric signal | |
JP2020010803A (en) | Biological information processing apparatus and information processing method | |
US11494001B2 (en) | Gesture detection system for personal head wearable device | |
JP6765352B2 (en) | A biological signal acquisition device that elastically connects the main body and electrodes | |
US20220218941A1 (en) | A Wearable System for Behind-The-Ear Sensing and Stimulation | |
JP6821549B2 (en) | Biological signal processing device, program and method for determining the generation of biological signals based on the representative values of acceleration components | |
JP6685891B2 (en) | Biosignal processing apparatus, program and method using filter processing and frequency determination processing | |
JP6695817B2 (en) | Biological signal processing device, program and method for making judgment based on the degree of separation from a unit space | |
JP6810682B2 (en) | Biological signal processing device, program and method for determining periodic biosignal generation based on representative values of acceleration components | |
JP7145484B2 (en) | Masticatory motion measuring device, masticatory motion measuring method, and method for acquiring data related to masticatory motion | |
JP7082956B2 (en) | Biological signal processing device, program and method for counting biological signals based on reference values according to signal data. | |
JP7184731B2 (en) | Biological signal processing device, program and method for detecting bias in bilaterally acquired biological signals | |
CN210244579U (en) | Pre-alarm and alarm device based on brain wave and triaxial acceleration sensor | |
JP7373459B2 (en) | Biosignal acquisition device equipped with a frame that holds the head from behind | |
WO2023002664A1 (en) | Information processing device, information processing method, and program | |
WO2023037749A1 (en) | Evaluation method, evaluation system, and program | |
WO2024009944A1 (en) | Information processing method, recording medium, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6821549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |