JP2015226723A - Brain wave detecting device - Google Patents
Brain wave detecting device Download PDFInfo
- Publication number
- JP2015226723A JP2015226723A JP2014114455A JP2014114455A JP2015226723A JP 2015226723 A JP2015226723 A JP 2015226723A JP 2014114455 A JP2014114455 A JP 2014114455A JP 2014114455 A JP2014114455 A JP 2014114455A JP 2015226723 A JP2015226723 A JP 2015226723A
- Authority
- JP
- Japan
- Prior art keywords
- light
- user
- ssvep
- target light
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
本発明は、脳波検出装置に係り、より詳細には、定常的視覚刺激誘発電位(SSVEP:Steady State Visual Evoked Potential)を検出する脳波検出装置に係る。本発明の脳波検出装置は、ブレイン・マシン・インターフェース(BMI:Brain Machine Interface)装置に於ける脳波検出に利用可能である。 The present invention relates to an electroencephalogram detection apparatus, and more particularly, to an electroencephalogram detection apparatus that detects a steady state visual evoked potential (SSVEP). The electroencephalogram detection apparatus of the present invention can be used for electroencephalogram detection in a brain machine interface (BMI) apparatus.
人間の脳神経のネットワークに於いては、視覚、聴覚等の刺激に応じて異なる態様(周波数、強度の変化)の脳波(EEG:Electroencephalogram)が発生する。そこで、従来より、種々の視覚、聴覚等の刺激を人間に与えることにより発生する脳波を計測して、かかる計測された脳波を入力情報として任意の機械・装置の作動を制御するBMIの開発研究が進められている。かかるBMIを利用した制御システムによれば、機械・装置の作動制御が人間の身体運動による操作によらず達成できることとなるので、車両の運転中の運転者が機械・装置の作動を操作する場合など、身体運動が制限されている状況下でも機械・装置の作動制御が可能となる。 In a human cranial nerve network, an electroencephalogram (EEG) in a different form (change in frequency and intensity) is generated in accordance with a stimulus such as vision and hearing. Therefore, conventionally, research and development of a BMI that measures the brain waves generated by applying various visual and auditory stimuli to humans and controls the operation of any machine / device using the measured brain waves as input information. Is underway. According to such a control system using BMI, since the operation control of the machine / device can be achieved regardless of the operation by the human body movement, the driver operating the vehicle operates the operation of the machine / device. It is possible to control the operation of machines and devices even in situations where physical movement is restricted.
上記の如きBMI装置に関連した技術の例として、例えば、特許文献1に於いては、ユーザに特定の刺激を与えた際にユーザの脳波に於いて生ずる「事象関連電位」を検出して機械・装置の作動制御を実行させるための脳波識別方法の調整装置が開示されている。同公報に於いては、刺激の変化があった時点から或る期間に於いて蓄積された事象関連電位の波形から抽出される特徴量に基づいて脳波信号に基づく要求の識別方法の調整が為され、これにより、脳波を正確に計測するためのキャリブレーションの負担の軽減を図ることが提案されている。なお、ユーザに与えられる刺激の例の一つとして、映像の色相の変化が挙げられている。 As an example of the technology related to the BMI device as described above, for example, in Japanese Patent Application Laid-Open No. H10-228688, a “event-related potential” generated in a user's brain wave when a specific stimulus is given to the user is detected. A device for adjusting an electroencephalogram identification method for performing operation control of the device is disclosed. In this publication, the request identification method based on the electroencephalogram signal is adjusted based on the feature amount extracted from the waveform of the event-related potential accumulated for a certain period from the time when the stimulus changes. Thus, it has been proposed to reduce the burden of calibration for accurately measuring the electroencephalogram. One example of the stimulus given to the user is a change in the hue of the video.
また、本願出願人の一部による特許文献2に於いては、或る周波数にて点滅する光を注視した人間の脳波に於いて、点滅光の周波数と同期して出現する定常的視覚刺激誘発電位(SSVEP)を利用したBMI装置を改良する一つの態様が開示されている。同公報に記載の構成では、まず、観察者が受ける点滅光の眩しさやちらつき感を低減するために、注視される光の点滅周波数が、臨界融合周波数(点滅しているが連続的に点灯しているように見えだす周波数:CFF:Critical Fusion Frequency、通常、略34Hz)以上に設定される。しかしながら、CFF以上の点滅光によるSSVEPの信号振幅は微弱であり、そのままでは、高いS/N比にて信号を検出が困難である。そこで、SSVEP信号の周波数が点滅光の周波数と一致することに着目して、点滅光源の駆動信号と脳波信号とのクロススペクトル値(相互相関関数値)を算出し、クロススペクトル値が高いとき(即ち、点滅光源の駆動信号と脳波信号とが同期しているとき)に、点滅光の周波数を有する光源を観察者が注視していると判定する構成が提案されている。
Further, in
更に、本願出願人による特許文献3に於いては、BMI装置の実用化への一つの形態として、SSVEPを利用したBMI装置を自動車等の車両の運転中に運転者の行う任意の操作、例えば、ワイパー、エアコン、ヘッドランプ、オーディオ等の操作のための入力手段として応用する際に、操作性の向上を図るべく、点滅光源の発する光の輝度を周辺輝度、体温等により調節できるよう構成されたBMI制御装置が提案されている。そして、本願出願人による特許文献4では、SSVEPを利用したBMI装置に於いて、点滅するターゲット光と同時にランダムな周波数にて点滅する背景光を使用者に視認させることによって生ずる確率共鳴現象により、SSVEPを増幅させて、脳波の検出精度又はS/N比の改善と検出時間の短縮を図る構成が提案されている。
Further, in
上記の特許文献2−4に記載されている如き、或る点滅周波数にて点滅する光源を使用者が注視した際にその使用者の脳の視覚野からの脳波に於いて現れる点滅周波数に同期したSSVEPの有無を検出し、その使用者が点滅光源を注視しているか否かを判定するBMI装置に於いて、SSVEPの強度は、点滅光源の点滅周波数に依存して変化する。一般的には、点滅周波数が臨界融合周波数より低いとき又は約40Hz以下のときには、SSVEPの強度が比較的強く、その検出が容易である。しかしながら、点滅光源の点滅周波数が臨界融合周波数より低いとき、即ち、観察者が光源の点滅を認識できる状態の場合、既に触れた如く、観察者は、光源の点滅、即ち、光のちらつきに「煩わしさ」を感じてしまうことがある。また、光源の点滅が人に認識できる状態の場合、その光源の周囲にいる人にとっても光源に注意が行きやすくなるので(周辺視に点滅の認識できる光が存在するだけで、その光に注意が向きやすくなる。)、装置の使用者だけでなく、その周囲にいる人々にとっても、光源の点滅が不快に感じられてしまうこともある。しかしながら、光源の点滅周波数を臨界融合周波数よりも高くすると、既に触れた如く、SSVEPの強度は、そのままでは、微弱となり、検出精度が大幅に低減され得る。 As described in Patent Documents 2-4 above, when a user gazes at a light source that blinks at a certain blinking frequency, it synchronizes with the blinking frequency that appears in the electroencephalogram from the visual cortex of the user's brain. In the BMI device that detects whether or not the SSVEP has been detected and determines whether or not the user is gazing at the blinking light source, the intensity of the SSVEP changes depending on the blinking frequency of the blinking light source. In general, when the blinking frequency is lower than the critical fusion frequency or about 40 Hz or less, the intensity of SSVEP is relatively strong and easy to detect. However, when the blinking frequency of the blinking light source is lower than the critical fusion frequency, i.e., when the observer can recognize the blinking of the light source, as already mentioned, the observer will be aware of the blinking light source, i.e., the flickering of light. You may feel annoyance. In addition, when the blinking of a light source is in a state that can be recognized by a person, it is easier for people around the light source to be careful of the light source (because there is only light that can be recognized blinking in the peripheral vision, pay attention to the light. The flashing of the light source may be felt uncomfortable not only by the user of the device but also by the people around it. However, if the blinking frequency of the light source is made higher than the critical fusion frequency, as already mentioned, the intensity of SSVEP becomes weak as it is, and the detection accuracy can be greatly reduced.
ところで、上記のSSVEPの検出に際して使用されている点滅光は、光強度の増減又は光源の点灯と消灯の繰り返しによるものであるところ、本発明の発明者等の研究開発によれば、(光の点滅ではなく、)光源に於ける色特性(色相、彩度)の反復的な変化、或いは、複数の異なる色特性の光が交互に生ずるように光の色特性を反復的に切り替える場合にも、有意な強度のSSVEPが発生することが見出された。そして、かかる有意な強度のSSVEPは、色特性の切替の周波数(以下、「切替周波数」と称する。)がCFF以下であり、且つ、色特性の変化の幅(色相及び/又は彩度の変化幅)が人に区別できない範囲である場合でも発生し、検出可能である。かかる色特性が人に区別できない変化幅にて切り替わる光に対しては、人が光の変化に「煩わしさ」を感じるといった問題は発生しない。なお、人が区別できない色特性の変化の範囲は、色度図上に於ける「マクアダム(MacAdam)の楕円」として知られている(非特許文献1)。本発明では、使用者に対する刺激光の付与とSSVEPの検出に於いて、上記の知見が利用される。 By the way, the blinking light used in the above SSVEP detection is due to increase / decrease of light intensity or repetition of turning on / off the light source. According to the research and development by the inventors of the present invention, Also when the color characteristics of the light source (hue, saturation) are repeatedly changed (rather than blinking), or when the light color characteristics are switched repeatedly so that multiple different color characteristics of light occur alternately It was found that significant intensity SSVEP was generated. The SSVEP having such a significant intensity has a color characteristic switching frequency (hereinafter referred to as “switching frequency”) of CFF or less, and a color characteristic change width (hue and / or saturation change). This occurs even when the width is in a range indistinguishable by humans and can be detected. For light in which such color characteristics are switched with a change range that cannot be distinguished by a person, there is no problem that the person feels “inconvenienced” by the change in light. The range of change in the color characteristics that cannot be distinguished by humans is known as “MacAdam ellipse” on the chromaticity diagram (Non-patent Document 1). In the present invention, the above knowledge is used in the application of stimulation light to the user and the detection of SSVEP.
かくして、本発明の一つの課題は、上記の如きSSVEPを利用したBMI装置に利用可能な脳波検出に於いて、使用者に刺激として与えられる光として、色特性が人に区別できない変化幅にて反復的に周期的に変化する又は切替る光を採用して、使用者及び/又は周囲の人々が光の変化に「煩わしさ」又は「不快感」を与えないようにすることである。 Thus, one object of the present invention is to provide an electroencephalogram detection that can be used for a BMI device using the SSVEP as described above, with a variation range in which the color characteristic is indistinguishable by humans as light given as a stimulus to the user. Repetitively periodically changing or switching light is employed so that the user and / or the surrounding people do not “inconvenience” or “discomfort” in the light change.
本発明によれば、上記の課題は、定常的視覚刺激誘発電位を検出する脳波検出装置であって、使用者により視認可能な位置に配置されたターゲット光を発するターゲット光発光器と、使用者の脳波を検出する脳波検出手段と、脳波に於いて使用者がターゲット光発光器の発するターゲット光を視認したことにより生じる定常的視覚刺激誘発電位(SSVEP)の存在を検出する定常的視覚刺激誘発電位検出手段とを含み、ターゲット光が人の区別できない変化幅にて色特性が反復して周期的に変化する光である装置によって達成される。 According to the present invention, the above-described problem is an electroencephalogram detection device that detects a steady visual stimulus evoked potential, a target light emitter that emits target light disposed at a position that can be visually recognized by the user, and a user EEG detection means for detecting a brain wave of the subject, and stationary visual stimulus induction for detecting the presence of a steady visual stimulus evoked potential (SSVEP) generated when the user visually recognizes the target light emitted from the target light emitter in the brain wave This is achieved by an apparatus including a potential detecting means, wherein the target light is light whose color characteristics change periodically and periodically with a change width indistinguishable by humans.
上記の本発明による脳波検出装置に於いては、基本的には、従前のSSVEPを利用したBMI装置の脳波検出の処理と同様に、使用者がターゲット光を発するターゲット光発光器を注視することにより、使用者の視覚野に於いて発生するSSVEPの検出を行う。その場合に、従前では、SSVEPの検出の際に使用者に注視させるのに用いたターゲット光は、点滅光、即ち、光強度が増減を繰り返す光であったが、本発明では、ターゲット光として、人の区別できない変化幅にて色特性が反復して周期的に変化する光が用いられる。ここで、「人の区別できない変化幅にて色特性が反復して変化する光」とは、典型的には、その色特性が、任意に設定される周波数にて、色度図上に於けるマクアダムの楕円の範囲内にて反復して変化する光であってよい。より具体的には、例えば、ターゲット光発光器から発せられる光の色特性が、色度図上の或る一つの点に相当する第一の色特性状態と、その第一の色特性状態から色度図上のマクアダムの楕円の範囲内にて色相及び/又は彩度の変化した第二の色特性状態とに交互に切り替えられる。その場合、実験によれば、色特性の切替周波数が40Hz以下又はCCF以下であっても有意な強度のSSVEPの検出が可能であり、しかも、色特性の変化は、色特性の区別のつかない範囲であるため、ターゲット光を注視した使用者に於いては、色特性の変化が実質的に認識されないことが見出されている。従って、SSVEPの検出に於いて、刺激となる光の変化に「煩わしさ」又は「不快感」を与えない状態が達成できることとなる。 In the above-described electroencephalogram detection apparatus according to the present invention, basically, the user watches the target light emitter that emits the target light in the same manner as the electroencephalogram detection process of the BMI apparatus using the conventional SSVEP. Thus, SSVEP generated in the visual cortex of the user is detected. In that case, conventionally, the target light used to make the user gaze at the detection of SSVEP was flashing light, that is, light whose light intensity repeatedly increases and decreases, but in the present invention, as target light, In this case, light whose color characteristics are repeatedly changed periodically with a change width indistinguishable by a person is used. Here, “light whose color characteristics change repeatedly within a range of change indistinguishable by humans” typically means that the color characteristics are on the chromaticity diagram at an arbitrarily set frequency. It may be light that changes repeatedly within the range of the McAdam ellipse. More specifically, for example, the color characteristic of the light emitted from the target light emitter is based on the first color characteristic state corresponding to a certain point on the chromaticity diagram and the first color characteristic state. It is alternately switched to the second color characteristic state in which hue and / or saturation is changed within the range of the MacAdam ellipse on the chromaticity diagram. In this case, according to experiments, even when the color characteristic switching frequency is 40 Hz or less or CCF or less, it is possible to detect SSVEP having a significant intensity, and the change in the color characteristic is indistinguishable from the color characteristic. Due to the range, it has been found that a change in color characteristics is not substantially recognized by a user who is gazing at the target light. Therefore, in the detection of SSVEP, it is possible to achieve a state in which “no bother” or “discomfort” is not given to the change in the light that becomes the stimulus.
本発明の脳波検出装置は、上記の如く、任意の機械・装置の作動制御を実行するBMI装置に於ける脳波検出に利用されてよい。その場合、具体的には、SSVEPの有無を検出によって、使用者がターゲット光を注視したか(又は、しているか)否かが判定され、その判定結果に基づいて、任意の機械・装置の作動開始又は停止といった作動制御が実行される。そして、脳波検出装置がBMI装置に於ける脳波検出に利用される構成に於いては、例えば、ターゲット光発光器として、互いに異なる周波数にて色特性の切替又は変更がされるターゲット光を発する複数のターゲット光発光器が設けられてよい。そうすると、各ターゲット光により誘発されるSSVEPは、それぞれの色特性の切替と同期するので、脳波に於いて、各ターゲット光の色特性の切替周波数と実質的に同一の周波数のSSVEPが存在しているか否かを検出することによって、使用者がいずれかのターゲット光発光器を注視しているか否かを判定することが可能となる。そして、或るターゲット光発光器を注視していると判定されたときには、そのターゲット光発光器に関連付けられた機械・装置等の制御対象物の作動制御が実行されることとなる。 As described above, the electroencephalogram detection apparatus of the present invention may be used for electroencephalogram detection in a BMI apparatus that performs operation control of an arbitrary machine or apparatus. In that case, specifically, it is determined whether or not the user gazes at (or is) the target light by detecting the presence or absence of SSVEP. Based on the determination result, any machine / device is determined. Operation control such as operation start or stop is executed. In the configuration in which the electroencephalogram detection device is used for electroencephalogram detection in the BMI device, for example, as a target light emitter, a plurality of target lights whose color characteristics are switched or changed at different frequencies are used. Target light emitters may be provided. Then, since the SSVEP induced by each target light is synchronized with the switching of the respective color characteristics, there is an SSVEP having substantially the same frequency as the switching frequency of the color characteristics of each target light in the electroencephalogram. By detecting whether or not, it is possible to determine whether or not the user is gazing at any of the target light emitters. When it is determined that the target light emitter is being watched, the operation control of the control object such as a machine / device associated with the target light emitter is executed.
上記の本発明の脳波検出装置に於いては、ターゲット光発光器は、任意の形状、例えば、四角形、円形又は対応づけられた制御対象物の機械機器を模式的に表す象形を有する任意の光源であってよい。ターゲット光の色特性は、使用者によって適宜選択可能であってよい(使用者が或る色特性を選択すると、選択された色特性から人の区別できない変化幅にて変化又は切替が為されることとなる。)。実施の形態に於いて、発光器としては、LED、CRT、ストロボ等の光源が利用可能である。また、脳波検出手段は、この分野で通常利用されている脳波を検出するための任意の装置であってよく、典型的には、使用者の視覚野周辺の頭部表面に固定される複数の電極と、各電極の電位を逐次計測し電極からの信号を任意の態様にて処理する信号処理装置とから構成されてよい。 In the above-described electroencephalogram detection apparatus of the present invention, the target light emitter is an arbitrary light source having an arbitrary shape, for example, a quadrangle, a circle, or an elephant that schematically represents a mechanical device of a controlled object to be associated. It may be. The color characteristic of the target light may be appropriately selected by the user (when the user selects a certain color characteristic, the color characteristic is changed or switched within a change range that cannot be distinguished from the selected color characteristic. It will be.) In the embodiment, a light source such as an LED, a CRT, or a strobe can be used as the light emitter. Further, the electroencephalogram detection means may be any device for detecting an electroencephalogram normally used in this field, and typically, a plurality of electroencephalogram detection means are fixed to the head surface around the visual cortex of the user. You may comprise an electrode and the signal processing apparatus which measures the electric potential of each electrode sequentially, and processes the signal from an electrode in arbitrary aspects.
かくして、上記の構成によれば、SSVEPの検出に於いて、SSVEPを誘発させる刺激として使用者に注視させるターゲット光として、人の区別できない変化幅にて色特性が反復して変化する光を採用することにより、刺激となる光の変化に使用者が「煩わしさ」又は「不快感」を覚えるという従前のSSVEPの検出に於ける問題の解消が図られる。また、特に、本発明の場合には、色特性の切替周波数がCCF以下、具体的には、10Hz〜40Hzに設定できるので、使用者に「煩わしさ」又は「不快感」を覚えさせることなく、切替周波数として利用できる帯域がより低域まで拡大できることとなり、切替周波数の選定の自由度が大きくなる点で有利である。更に、一般的に、SSVEPは、周波数が低いほど強度が増大する傾向にあるので、周波数として、より低域が利用可能であることによって、SSVEPのS/N比及び検出精度の向上が期待される。 Thus, according to the above configuration, in the detection of SSVEP, as the target light to be watched by the user as a stimulus for inducing SSVEP, the light whose color characteristics are repeatedly changed with a change width indistinguishable by a person is adopted. By doing so, the problem in the detection of the conventional SSVEP that the user feels “inconvenience” or “discomfort” due to the change of the light as the stimulus can be solved. In particular, in the case of the present invention, the switching frequency of the color characteristics can be set to CCF or less, specifically, 10 Hz to 40 Hz, so that the user does not feel “comfort” or “discomfort”. This is advantageous in that the band that can be used as the switching frequency can be expanded to a lower range, and the degree of freedom in selecting the switching frequency is increased. Furthermore, since the strength of SSVEP generally increases as the frequency decreases, the SSVEP S / N ratio and detection accuracy are expected to be improved by using a lower frequency range. The
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。 Other objects and advantages of the present invention will become apparent from the following description of preferred embodiments of the present invention.
100…発光器
110…ターゲット光発光器
Br…人間の脳
el…電極装置
DESCRIPTION OF
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。 The present invention will now be described in detail with reference to a few preferred embodiments with reference to the accompanying drawings. In the figure, the same reference numerals indicate the same parts.
装置の構成
図1(A)を参照して、本発明の脳波検出装置は、BMI装置の脳波検出を実行する部分に於いて適用されてよい。BMI装置は、基本的な構成に於いて、使用者により視認されるべきターゲット光を発光する発光器110を担持した光源装置100と、該発光器を視認した使用者の視覚野の脳波を計測して信号処理を行い且つ検出された脳波に於ける信号に基づいて任意の機器の作動制御を行う処理装置200〜500とから構成される。
Configuration of Device Referring to FIG. 1A, the electroencephalogram detection device of the present invention may be applied to a portion of the BMI device that executes electroencephalogram detection. In the basic configuration, the BMI device measures the brain wave of the
発光器110は、後に詳細に説明される如く、典型的には、その発する光の色特性(色相、彩度)が二つの状態にて周期的に切り替えられるよう構成される。また、図示の如く、発光器110が複数設けられていてよく、その場合、通常、それぞれの発光器から発せられる光の色特性の切替周波数は、互いに異なるよう設定されてよい。かかる構成に於いて、使用者が一つのターゲット光発光器110に両眼の焦点を合わせ注視すると、使用者の視覚野に於いて、注視したターゲット光の切替周波数に同期したSSVEPが発生することとなる。そして、ターゲット光発光器110には(複数の発光器がある場合にはそれぞれに)、作動制御されるべき機器が対応付けられ、使用者が一つのターゲット光発光器110を注視し、その注視したターゲット光と同期するSSVEPの存在が検出されると、そのターゲット光に対応付けられた機器に対する作動制御が実行されることとなる。ターゲット光発光器110としては、具体的には、LED、CRTなどを用いた光の色相及び/又は彩度が周期的に可変な任意の発光装置が用いられてよい。なお、後に説明される如く、本発明による光の色特性の周期的な変化によるSSVEPを検出する場合、切替周波数は、CFF(点滅しているが連続的に点灯しているように見えだす点滅周波数、通常略34Hz)よりも低い任意の周波数であってよい。ターゲット光の色、切替時のデューティ比は、使用者の使いやすさによって、不快感の出ないように適宜選択されてよい。
The
使用者の脳波の計測は、この分野に於いて通常の態様にて実行されてよい。視覚野VFの電位変化を感知する電極装置は、例えば、国際10−20法に従った計測ポイントに於ける電位を計測できるよう構成又は配置されてよい(例えば、計測ポイントは、図1(B)に模式的に例示されている如く、国際10−20法に従って、Cz、Oz、O1、O2、Ground:額、Ref.:耳朶であってよい。)。そして、電極装置に感知された電位信号は、処理装置へ入力され、そこに於いて、まず、通常の態様にて増幅されA/D変換され、しかる後、ディジタル化された電位信号、即ち、脳波信号についてFFT変換を実行し、脳波信号のパワースペクトルが生成される(200)。使用者が一つのターゲット光発光器110のターゲット光を注視し、これにより、SSVEPが発生しているときには、生成されたパワースペクトルに於いて、SSVEPが注視しているターゲット光の切替周波数に概ね一致する周波数帯域に於いて極大値となって出現することが期待されるので、かかるパワースペクトルに於いて、ターゲット光発光器110の切替周波数を含む周波数帯域に於いて、極大値の有無を検査し、切替周波数に実質的に等しい周波数に極大値が検出されたときには、これにより、SSVEPの検出が達成されたこととなる(300)。なお、図1(A)の如く複数のターゲット光発光器110が在る場合には、それらの各々のターゲット光の切替周波数を含む周波数帯域のパワースペクトルを算出して、それぞれの切替周波数に於ける極大値の有無が検査される。また、後述の如く、極大値の有無の検査に於いては、切替周波数に実質的に一致する周波数(基底音)の強度だけでなく、その倍の周波数(倍音)の強度も参照されてよい。
The measurement of the user's electroencephalogram may be performed in a normal manner in this field. The electrode device that senses the potential change of the visual cortex VF may be configured or arranged so as to be able to measure the potential at the measurement point according to the International 10-20 method (for example, the measurement point is shown in FIG. ) According to the international 10-20 method, as shown schematically in C), Cz, Oz, O1, O2, Ground: Forehead, Ref .: Earlobe. Then, the potential signal sensed by the electrode device is input to the processing device, where it is first amplified and A / D converted in the normal manner, and then digitized potential signal, ie, An FFT transformation is performed on the electroencephalogram signal, and a power spectrum of the electroencephalogram signal is generated (200). When the user gazes at the target light of one
かくして、ターゲット光発光器110のターゲット光に対応するSSVEPが検出されると、処理装置は、かかるターゲット光に対応付けされた制御されるべき機器への制御指令を生成し(コマンド生成:400)、かかる制御指令によって機器の制御を実行するべく、関連する駆動装置等の作動を実行する(機器制御:500)。制御されるべき機器としては、本発明のBMI装置が自動車等の車両の運転者による機器の操作手段として利用される場合には、ワイパー、エアコン、ヘッドランプ、オーディオ等であってよい。また、任意の機器の電源のON/OFF、テレビ又はラジオのチャンネル操作や音量調節のために利用されてもよい。
Thus, when the SSVEP corresponding to the target light of the
光の色特性の周期的な変化によるSSVEPについて
「背景技術」及び「発明の概要」の欄に於いて述べた如く、人が或る点滅周波数にて点滅する光源を注視した際、その人の脳の視覚野からの脳波に於いて点滅周波数に同期したSSVEP(定常的視覚刺激誘発電位)が出現するので、人の脳波に於いてSSVEPの有無を検査することにより、その人が点滅光源を注視しているか否かを判定できることとなる。かかるSSVEPの検出による人が点滅光源を注視しているか否かの判定をBMI装置に利用する試みに於いて、従前では、人に注視させる光として、点滅光、即ち、光強度が周期的に増減する光又は点灯と消灯の繰り返す光が用いられていた。その場合、光源を注視する観察者に於いて、その光のちらつきに「煩わしさ」を感じないように、図2(A)に模式的に描かれている如く、点滅の周波数が臨界融合周波数よりも高い点滅光を用いると、一般に、点滅周波数が高いほど、SSVEPの強度が低減する傾向にあるので、そのままでは、強度が比較的小さいSSVEPしか検出されないこととなっていた。一方、図2(B)の如く、点滅の周波数を臨界融合周波数よりも低く又は約40Hz以下にすると、SSVEPの強度が比較的強いが、光源を注視する観察者に於いて、光源の点滅が認識できるために、その光のちらつきに「煩わしさ」を感じることがあり、また、その周囲にいる人々にとっても、点滅するに注意が行きやすく、不快に感じられてしまうことがあるので、BMI装置の使用者に注視させるべき光源として、点滅周波数が臨界融合周波数以下又は約40Hz以下の光源は、実用上、あまり有利ではないということになっていた。
As described in the “Background Art” and “Summary of Invention” sections regarding SSVEP due to periodic changes in the color characteristics of light, when a person watches a light source that blinks at a certain blinking frequency, SSVEP (stationary visual stimulus evoked potential) synchronized with the blinking frequency appears in the electroencephalogram from the visual cortex of the brain. Whether or not the user is gazing can be determined. In an attempt to use a BMI device for determining whether or not a person is gazing at a blinking light source by detecting such SSVEP, the blinking light, that is, the light intensity is periodically used as the light to be gazed at by the person. Increasing or decreasing light or light that repeatedly turns on and off was used. In that case, the blinking frequency is the critical fusion frequency, as schematically shown in FIG. 2A, so that the observer watching the light source does not feel “no bother” with the flickering of the light. If higher flashing light is used, generally, the higher the flashing frequency, the more the intensity of SSVEP tends to decrease. Therefore, as it is, only SSVEP having a relatively low intensity is detected. On the other hand, as shown in FIG. 2B, when the blinking frequency is lower than the critical fusion frequency or about 40 Hz or less, the intensity of SSVEP is relatively strong, but the observer who watches the light source blinks the light source. Because it can be recognized, the flickering of the light may feel “annoying”, and for those around it, it is easy to be careful of blinking, and it may feel uncomfortable. As a light source to be watched by a user of the apparatus, a light source having a blinking frequency of not more than a critical fusion frequency or not more than about 40 Hz has been supposed to be not very advantageous in practice.
ところで、「発明の概要」の欄に於いて述べた如く、上記の如き、人が光を注視した際に生ずるSSVEPは、図2(C)に模式的に描かれている如く、色特性を周期的に変化する光を人に注視させた場合、例えば、二つの互いに異なる色相及び/又は彩度の光を交互に人に注視させた場合にも発生する。そして、その場合のSSVEPは、光の色特性の変化幅が人に認識できない程度の幅であっても発生する。 By the way, as described in the “Summary of the Invention” section, as described above, the SSVEP generated when a person gazes at the light has a color characteristic as schematically illustrated in FIG. For example, when a person gazes at periodically changing light, for example, it also occurs when two people having different hues and / or chromas are gaze at each other. In this case, the SSVEP is generated even if the change width of the light color characteristic is not recognized by humans.
より詳細には、図3の色度図を参照して、人の光の色特性の違いに対する識別能力に関して、色度図上の任意の点、例えば、Sd、を基準として、そこから、破線にて描かれた楕円Mdの範囲内までの色相又は彩度の変化は、人に認識できないことが知られている(非特許特許1−かかる楕円は、一般に「マクアダムの楕円」と称されており、「マクアダムの楕円」の範囲は、図示の如く、基準となる点毎に異なる。)。しかしながら、色度図上の或る点の色特性の光と、かかる点からマクアダムの楕円の範囲内にて色相又は彩度を変化させた光とを、図2(C)の如く、交互に観察者に注視させると、観察者自身は、色特性の変化に気づかないが、脳波に於いて、色特性の切替周波数と同期したSSVEPが検出される。例えば、図4(A)(図3中の4(A)にて付された領域の拡大図)の如く、色度図上の基準点Sdの光として、緑色の点(x,y)=(0.294,0.596)の光と、基準点Sdから(人に色特性の変化が認識できないことを確認した範囲内にて)色相方向に変化させた点Hg(x,y)=(0.323,0.573)の光とを交互に切り替えた光源(切替周波数=26.67Hz)、及び、基準点Sd(x,y)=(0.294,0.596)の光と、基準点Sdから(人に色特性の変化が認識できないことを確認した範囲内にて)彩度方向に変化させた点Cg(x,y)=(0.285,0.495)の光とを交互に切り替えた光源(切替周波数=26.67Hz)を、それぞれ、被験者に注視させた場合、いずれの場合も、図5(A)、(B)に例示されている如く、被験者の脳波のパワースペクトルに於いて、切替周波数に略一致した周波数に於いて、極大値が観測される。(なお、図5(A)、(B)の結果に於いて、切替周波数は、CFFよりも低い周波数であることは理解されるべきである。)また、図4(B)(図3中の4(B)にて付された領域の拡大図)の如く、色度図上の基準点Sdの光として、青色の点(x,y)=(0.147,0.063)の光と、基準点Sdから(人に色特性の変化が認識できないことを確認した範囲内にて)色相方向に変化させた点Hg(x,y)=(0.151,0.076)の光とを交互に切り替えた光源、及び、基準点Sd(x,y)=(0.294,0.596)の光と、基準点Sdから(人に色特性の変化が認識できないことを確認した範囲内にて)彩度方向に変化させた点Cg(x,y)=(0.154,0.075)の光とを交互に切り替えた光源を、それぞれ、被験者に注視させた場合も、同様に、被験者の脳波のパワースペクトルに於いて色特性の切替周波数に略一致する周波数にて極大値が観測された。
More specifically, referring to the chromaticity diagram of FIG. 3, with respect to the ability to discriminate against the difference in color characteristics of human light, an arbitrary point on the chromaticity diagram, for example, Sd, is used as a reference, and from there, a broken line It is known that a change in hue or saturation within the range of the ellipse Md drawn in (1) is not recognized by humans (
そこで、本発明に於いては、使用者又は被験者に注視させるべきターゲット光として、色特性が人に認識できない範囲内にて異なる二つの状態にて切り替わる光が採用される。この場合、切替周波数を点滅光の場合の臨界融合周波数よりも低く設定しても、使用者又は被験者は、色特性の変化を認識できないので、光のちらつきによる「煩わしさ」を感じさせることはなく、従って、切替周波数の選択範囲は、低周波数側の拡大も図られることとなる。 Therefore, in the present invention, as the target light to be watched by the user or the subject, light that is switched in two different states within a range in which the color characteristic cannot be recognized by a person is employed. In this case, even if the switching frequency is set to be lower than the critical fusion frequency in the case of blinking light, the user or the subject cannot recognize the change in the color characteristics, so it is not possible to feel “annoyance” due to the flickering of light. Therefore, the selection range of the switching frequency can be expanded on the low frequency side.
装置の作動の例
再度、図1(A)を参照して、本発明の脳波検出装置が適用されたBMI装置に於いては、図示の如く、光源装置100上に複数のターゲット光を発光する発光器110(F1、F2、F3)が設けられ、それぞれの発光器110の色特性の切替周波数が互いに異なるよう設定される。切替の基準となる色特性は、使用者に於いて任意に選択できるようになっていてよく、選択された基準となる色特性に対して切替先となる色特性は、上記の如く、人に色特性の変化が認識できないことを確認した範囲内にて基準となる色特性から色相方向又は彩度方向に変化させた色特性に設定される(図4参照)。また、切替周波数は、CFF以下であってもよいので、例えば、F1=13.33Hz、F2=20.00Hz、F3=26.67Hzなどと設定されてよい。そして、かかる光源装置100を使用者の目から約50cm程度の距離に配置し、発光器110から上記の如く設定された色特性が変化するターゲット光を発光させるとともに、使用者の視覚野近傍に装着された電極を通じて脳波を表す電位信号が計測され、既に触れた如く、電位信号のA/D変換、FFT変換による脳波パワースペクトルの生成、各ターゲット光の切替周波数の近傍に於ける極大値の有無の検出が実行される。これらの処理は、基本的には、SSVEP脳波検出に於ける通常の態様にて実行されてよい。
Example of Device Operation Referring again to FIG. 1A, in the BMI device to which the electroencephalogram detection device of the present invention is applied, a plurality of target lights are emitted on the
特に、各ターゲット光の切替周波数(F1、F2、F3)の近傍に於ける極大値の有無の検出に於いては、基本的には、脳波パワースペクトルに於いてターゲット光の切替周波数を中心とした所定の範囲に於ける最大値又は極大値の値を特徴量として抽出し、かかる特徴量が予め定められた閾値を上回るか否かが判定され、特徴量が閾値を上回ったときに、SSVEPの発生が判定されてよい。SSVEPの強度は、図6(A)に例示されている如く、切替周波数の大きさと色特性の変化方向(色相方向又は彩度方向)によって変化するので、判定のための閾値は、切替周波数毎に及び/又は色特性の変化方向毎に異なる値が設定されてよい。また、SSVEPの発生した脳波のスペクトルでは、各ターゲット光の切替周波数に略一致する周波数(基底音)に於いて極大値が出現するとともに、図5(C)に例示されている如く、条件によって、その切替周波数の2倍の周波数(倍音)に於いても極大値が出現する。従って、SSVEPの発生の有無を判定するための特徴量として、基底音に於けるパワーに倍音に於けるパワーを加算した値が用いられてもよい。 In particular, in the detection of the presence or absence of a local maximum value in the vicinity of the switching frequency (F1, F2, F3) of each target light, basically, the switching frequency of the target light is centered in the electroencephalogram power spectrum. The maximum value or the maximum value in the predetermined range is extracted as a feature value, and it is determined whether or not the feature value exceeds a predetermined threshold value. When the feature value exceeds the threshold value, SSVEP The occurrence of may be determined. As illustrated in FIG. 6A, the intensity of SSVEP changes depending on the magnitude of the switching frequency and the change direction of the color characteristics (hue direction or saturation direction). And / or a different value may be set for each change direction of the color characteristic. Further, in the spectrum of the electroencephalogram generated by SSVEP, a maximum value appears at a frequency (basic sound) that substantially matches the switching frequency of each target light, and depending on conditions as illustrated in FIG. The maximum value appears even at a frequency (overtone) twice the switching frequency. Therefore, a value obtained by adding the power in the overtone to the power in the base tone may be used as the feature amount for determining whether or not SSVEP is generated.
更に、実験によると、SSVEPの発生の検出の確度は、脳波パワースペクトルの生成の際の脳波のサンプリング時間、即ち、FFT変換を実行する際に使用する脳波の計測時間が長いほど、向上する。図6(B)を参照して、被験者に、上記のF1、F2、F3の光源をそれぞれ注視させ、その際に得られた脳波データから、異なる脳波のサンプリング時間長さでFFT変換を実行してパワースペクトルの生成を行い、かかる生成されたパワースペクトルに於いて、それぞれの切替周波数でのパワー値>閾値であるか否かの判定を行うことにより、SSVEPの存在を検出できるかを検査したところ、図示の如く、いずれの周波数の場合も、脳波のサンプリング時間の延長と共に被験者が光源を注視したと判定した割合(正解率)が増大した。しかしながら、脳波の計測時間が長いほど、その分、BMI装置によって作動制御される機器・装置への制御指示が遅れることとなる。従って、実際のBMI装置に於いて、脳波のサンプリング時間は、確度と機器・装置への制御指示の時間的な遅れとを考慮して適宜設定されてよい。 Further, according to an experiment, the accuracy of detecting the occurrence of SSVEP improves as the EEG sampling time for generating an EEG power spectrum, that is, the EEG measurement time used for executing the FFT transform increases. Referring to FIG. 6 (B), the subject is caused to gaze at the light sources of F1, F2, and F3, and the FFT conversion is executed from the EEG data obtained at that time with different EEG sampling time lengths. The power spectrum is generated, and in the generated power spectrum, whether or not the presence of the SSVEP can be detected is determined by determining whether or not the power value at each switching frequency> the threshold value. However, as shown in the figure, at any frequency, the proportion (correct answer rate) at which the subject determined that the subject was gazing at the light source increased with the extension of the brain wave sampling time. However, the longer the measurement time of the electroencephalogram, the longer the control instruction to the device / device that is controlled by the BMI device. Therefore, in an actual BMI apparatus, the electroencephalogram sampling time may be appropriately set in consideration of the accuracy and the time delay of the control instruction to the device / apparatus.
上記の如く、或るターゲット光に対するSSVEPが検出された際には、対応付けられた機器・装置の作動制御が実行される。 As described above, when an SSVEP for a certain target light is detected, the operation control of the associated device / device is executed.
かくして、上記の本発明によれば、SSVEPの検出に於いて、使用者に注視させる刺激光を色特性が人に認識できない範囲内にて周期的に変化する光とすることにより、CFF以下の切替周波数であっても、使用者に光のちらつきに対する煩わしさを感じさせない状態を達成できることとなる。かかる構成によれば、検出されるSSVEPの周波数の帯域をより低域に拡大することが可能となり、S/N比及び検出精度の改善が期待される。 Thus, according to the present invention described above, in the detection of SSVEP, the stimulus light to be watched by the user is light that periodically changes within a range where the color characteristics cannot be recognized by humans, so Even at the switching frequency, it is possible to achieve a state in which the user does not feel bothered by the flickering of light. According to such a configuration, the frequency band of the detected SSVEP can be expanded to a lower frequency range, and an improvement in the S / N ratio and detection accuracy is expected.
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。 Although the above description has been made in relation to the embodiment of the present invention, many modifications and changes can be easily made by those skilled in the art, and the present invention is limited to the embodiment exemplified above. It will be apparent that the invention is not limited and applies to various devices without departing from the inventive concept.
Claims (1)
使用者により視認可能な位置に配置されたターゲット光を発するターゲット光発光器と、
前記使用者の脳波を検出する脳波検出手段と、
前記脳波に於いて前記使用者がターゲット光発光器の発するターゲット光を視認したことにより生じる定常的視覚刺激誘発電位の存在を検出する定常的視覚刺激誘発電位検出手段とを含み、
前記ターゲット光が人の区別できない変化幅にて色特性が反復して周期的に変化する光である装置。 An electroencephalogram detection device for detecting a steady visual stimulus evoked potential,
A target light emitter that emits target light arranged at a position visible by the user;
An electroencephalogram detection means for detecting the electroencephalogram of the user;
A stationary visual stimulus evoked potential detecting means for detecting the presence of the steady visual stimulus evoked potential generated by the user visually recognizing the target light emitted from the target light emitter in the brain wave,
An apparatus in which the target light is light whose color characteristics are repeated periodically with a change width indistinguishable by humans.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114455A JP2015226723A (en) | 2014-06-02 | 2014-06-02 | Brain wave detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114455A JP2015226723A (en) | 2014-06-02 | 2014-06-02 | Brain wave detecting device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015226723A true JP2015226723A (en) | 2015-12-17 |
Family
ID=54884645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014114455A Pending JP2015226723A (en) | 2014-06-02 | 2014-06-02 | Brain wave detecting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015226723A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019073603A1 (en) * | 2017-10-13 | 2019-04-18 | マクセル株式会社 | Display device, brain wave interface device, heads-up display system, projector system, and method for display of visual stimulus signal |
KR20210042522A (en) * | 2019-10-10 | 2021-04-20 | 한국과학기술연구원 | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
JP2022163153A (en) * | 2017-09-08 | 2022-10-25 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | Method for determining focus of visual attention of subject from electroencephalographic signals, computer program, computer system, and system for determining focus of visual attention of subject from electroencephalographic signals |
-
2014
- 2014-06-02 JP JP2014114455A patent/JP2015226723A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022163153A (en) * | 2017-09-08 | 2022-10-25 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | Method for determining focus of visual attention of subject from electroencephalographic signals, computer program, computer system, and system for determining focus of visual attention of subject from electroencephalographic signals |
US11717204B2 (en) | 2017-09-08 | 2023-08-08 | Nextmind Sas | Decoding the visual attention of an individual from electroencephalographic signals |
JP7462126B2 (en) | 2017-09-08 | 2024-04-05 | ネクストマインド エスエーエス | Method for determining visual attention focus of a subject from electroencephalogram signals, computer program, computer system and system for determining visual attention focus of a subject from electroencephalogram signals |
WO2019073603A1 (en) * | 2017-10-13 | 2019-04-18 | マクセル株式会社 | Display device, brain wave interface device, heads-up display system, projector system, and method for display of visual stimulus signal |
JPWO2019073603A1 (en) * | 2017-10-13 | 2020-11-19 | マクセル株式会社 | Display device, brain wave interface device, head-up display system, projector system and visual stimulus signal display method |
JP7101696B2 (en) | 2017-10-13 | 2022-07-15 | マクセル株式会社 | Display device, brain wave interface device, head-up display system and projector system |
JP2022141738A (en) * | 2017-10-13 | 2022-09-29 | マクセル株式会社 | Brain wave interface device |
JP7367132B2 (en) | 2017-10-13 | 2023-10-23 | マクセル株式会社 | EEG interface device |
KR20210042522A (en) * | 2019-10-10 | 2021-04-20 | 한국과학기술연구원 | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
KR102349087B1 (en) | 2019-10-10 | 2022-01-12 | 한국과학기술연구원 | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4287903B2 (en) | EEG interface system and activation device | |
KR101579773B1 (en) | Eeg control of devices using sensory evoked potentials | |
US7891814B2 (en) | Mental fatigue detecting method and device | |
US6829502B2 (en) | Brain response monitoring apparatus and method | |
KR101551623B1 (en) | Apparatus and Method for Inducing User Adaptive Brainwave using Selective Data Acquiring | |
KR101140507B1 (en) | Apparatus and method for inducing user adaptive brainwave | |
JP2013004006A (en) | Brain wave interface system | |
US11908209B2 (en) | Vehicle control system | |
US7338171B2 (en) | Method and apparatus for visual drive control | |
KR101389015B1 (en) | Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus | |
Allison et al. | 14—BCIS that use steady-state visual evoked potentials or slow cortical potentials | |
JP2015226723A (en) | Brain wave detecting device | |
US20210247843A1 (en) | Smart control device for determining user's intention from color stimulus based on brain-computer interface and control method thereof | |
Müller et al. | Robotic wheelchair commanded by people with disabilities using low/high-frequency SSVEP-based BCI | |
CN114138109B (en) | AR equipment based on brain-computer interaction | |
JP2015138383A (en) | Wakefulness maintenance device and program | |
KR101465878B1 (en) | Method and apparatus for object control using steady-state visually evoked potential | |
KR101391687B1 (en) | Diming controll system using brain waves and method thereof | |
KR101667102B1 (en) | Apparatus and Method for Inducing User Adaptive Brainwave using Motion Sensor | |
JP2016085526A (en) | Multisensory interface control method, multisensory interface controller, and multisensory interface system | |
JP6448051B2 (en) | Brain machine interface device | |
JP2993345B2 (en) | Display device for vehicles | |
JP6448050B2 (en) | Brain machine interface device | |
JP5458268B2 (en) | EEG switch control device and method | |
EP4062262A1 (en) | Visual brain-computer interface |