JP2019139769A - 脳波を用いた入力システム及びプログラム - Google Patents

Abstract

【課題】使用者の意思による選択をコンピューターに高効率、高精度に入力する。【解決手段】演算処理部（２３）は、互いに異なる点滅周波数で点滅する複数の光刺激を光刺激表示部（３０）に表示させつつ、脳波測定部（１０）からの脳波信号に含まれる光刺激視覚誘発電位に基づき使用者がどの光刺激を注視していたかを判定する入力判定処理が実行可能である。演算処理部は、その点滅周波数を脳波信号に基づき設定する周波数設定処理が実行可能であり、演算処理部は周波数設定処理として、光刺激の非点滅状態にて脳波を測定させ取得した脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、さらに光刺激の非点滅状態にて脳波を測定させて脳波信号を取得し、当該脳波信号を周波数解析し、所定の設定周波数帯内に含まれ、信号強度が設定閾値以下であって互いに設定周波数間隔を隔てた複数の周波数を選出し、これらを点滅周波数として設定する。【選択図】図４

Description

本発明は、定常状態視覚誘発電位（Steady State Visual evoked potentials,ＳＳＶＥＰ）に基づくブレイン・コンピュータ・インタフェース（ＢＣＩ）に関する。

脳波を用いた意思伝達手法の一つに、光刺激を注視した場合に出現する特徴的な脳波である定常状態視覚誘発電位（ＳＳＶＥＰ）を用いたものがある。
ＳＳＶＥＰを用いた入力システムの基本構成を図４４に示す。
図４４に示すようＳＳＶＥＰを用いた入力システムは、脳波測定部１１０と、制御・判定部１２０と、表示部１３０とを基本構成とする。
脳波測定部１１０には、脳波測定用電極（脳波センサ）１１１と、信号処理部１１３と、通信部１１２とが含まれる。制御・判定部１２０には、光刺激表示制御部１２１と、通信部１２２と、信号解析部１２３と、意思判定部１２４とが含まれる。制御・判定部１２０がコンピューター本体である。表示部１３０は、光刺激表示部１３１と、意思表示部１３２として機能する。光刺激表示部１３１と、意思表示部１３２として異なる表示装置を使用してもよいし、同じ表示装置を使用してもよい。表示部１３０としては、ＬＥＤ表示器、ＬＣＤディスプレイなどが挙げられる。例えば、制御・判定部１２０及び表示部１３０を備えたデスクトップ型コンピューター、タブレット型コンピューター等が用いられる。

脳波測定部１１０は使用者の頭部付近に配置（脳波センサ１１１は頭表面に装着）され、表示部１３０は使用者が見るため、顔前に配置される。
光刺激表示制御部１２１の制御に基づき光刺激表示部１３１に表示された光刺激は其々が異なる周波数で点滅し、使用者は何れか一つを注視する。その間の脳波センサ１１１で検出され脳波を測定、解析することでどの光刺激を注視していたか意思判定部１２４で判定を行う。意思判定部１２４による判定結果が意思表示部１３２に表示され、使用者や第三者により確認可能となる。

ＳＳＶＥＰを用いた入力システム又はこれに関連する先行技術の例が特許文献１−４に記載されている。
特許文献１には、光点滅周波数の設定方法についての記載がある。
特許文献１において、予め設定されている光刺激の点滅周波数と、非点滅時の使用者の脳波信号に含まれる周波数とを比較し、信号強度が大きい周波数と点滅周波数の差が閾値以上で周波数が離れている場合、点滅周波数として設定する。閾値以下で周波数が近い場合、最も信号強度が小さい周波数を点滅周波数として設定する方法が提案されている。
特許文献２，３には、閉眼、入眠状態の検出方法についての記載がある。
特許文献２において、脳波データから単位時間あたりのα波、速波、徐波の数を計算し、その数値によって、予め用意した分類体系である「正常」、「ぼんやり」、「軽い眠気」、「入眠」のいずれかに分類する。
特許文献３では、長時間両目を閉じた状態の検出方法として、脳波データの正規化エネルギーが覚醒状態／睡眠状態の閾値よりも大きければ、使用者の両目が少なくとも睡眠兆候期間は閉じており、長期間閉じたままになりそうであると判定する。
特許文献４には、ノイズ検出方法についての記載がある。
特許文献４において、筋運動や体動等のアーチファクトに対し閾値を設定し、閾値を超えた場合ノイズと判定している。

特許第４２８７９０３号公報 特開平７−１０８８４８号公報 特許第５６８８１５４号公報 特許第４８３３２０２号公報

しかしながら、以上の従来技術にあっても次のような課題がある。
（Ａ）点滅周波数とノイズ周波数が重なり意思判定が誤判定となる。
特許文献１では最も信号強度が小さい周波数を１点設定するのみで、多点の周波数を設定する方法及び、多点の各周波数がお互いに干渉しないよう周波数を設定する方法は検討されていない。

（Ｂ）閉眼によりＳＳＶＥＰが出現せず意思判定が誤判定となる。
ＳＳＶＥＰは、一定の周波数で点滅する光刺激を任意の時間注視することで光刺激の点滅周波数が脳波に出現する。開眼状態で光刺激を見つめることによって起こる視覚反応であり、閉眼により点滅周波数の出現は抑制される。
光刺激を任意の時間注視することを繰り返すと、眠気を引き起こす場合がある。瞬きのような瞬時の閉眼は問題ないが、眠気を伴う長い閉眼の場合、前述の通り、ＳＳＶＥＰの出現が抑制されてしまう。ＳＳＶＥＰ利用時、長い閉眼により光刺激を見ていない状態であったにも関わらず脳波測定を継続し、脳波解析を行うと、判定結果は誤判定となる可能性が非常に高くなる。実験を行った結果、６つの光刺激を点滅させ、何れか一つの刺激を２０秒間注視した場合、試行回数６回中、開眼時：１００％、閉眼時：０％という結果であった。この際の閉眼は、開眼、閉眼を１〜２秒毎に繰り返した状態であった。ＳＳＶＥＰが発生している時間は３００ｍｓ秒程度と言われており、潜時より短い間隔で光刺激を注視することでＳＳＶＥＰが連続発生する。対して、潜時より長い時間の閉眼を挟むとＳＳＶＥＰの出現は抑制される。閉眼状態を検出し脳波解析を回避することは、意思判定の正解率低下の防止策となる。
特許文献２，３では脳波を基に閉眼等の状態判定を行っているが、外的要因の影響を受けた場合、正確な状態判定を行うことは困難である。外的要因として、脳波測定用センサ（電極）と脳波測定器とをつなぐ配線材の揺れや体動、使用者や脳波測定器の周囲に置かれている電気機器が挙げられる。これらから発生するノイズは脳波測定データに混入する場合がある。脳波で閉眼を検出する場合、脳波に混入する眼電をモニタリングすると考えられるが、前述のとおり、ノイズ混入と有意な眼電位の識別が必要であり、眼球運動による眼電や眼電に似た信号が混入した場合、閉眼検出の妨げとなる。また、閉眼を睡眠として考えた場合、α波の出現をモニタリングすることで睡眠状態であることが判定できるが、意識がはっきりした状態である覚醒状態で意図的に閉眼状態としている場合は、β波の出現が優位であるため閉眼の正確な判定ができない。また、脳波を基にした閉眼判定では、閉眼状態がどの程度持続しているかを正確に計測することが困難である。

（Ｃ）安定した脳波をノイズ混入と誤判定する場合がある。
特許文献４では脳波測定時に混入するノイズを検出するためにノイズ判定閾値を設けている。±数十μＶの脳波を超える閾値を設定することで、脳波より大きい振幅の信号をノイズとして判定することが可能である。しかし、脳波測定時に、例えば頭皮が発汗した場合、測定で得られる脳波の基線には揺れが発生する場合や、オフセットが発生する場合がある。単に閾値を設定し、測定データと閾値を比較するだけでは脳波の基線の変化やオフセット変化に対応できず、場合によっては安定状態にもかかわらずノイズ混入と判定する場合がある。基線の変化は頭皮の発汗や呼吸に同期して発生し、変動幅が一定の場合と一時的もしくは周期的な変化等を伴う場合がある。
図４５(a)(b)は測定日が異なる同一人物の脳波データである。図中の脳波の振幅レベルは±０．２５μＶ程度と同等であるが、基線（振幅中心）にオフセットが生じている。更に、図４５(a)(b)ではオフセット値に差が生じており、図４５(a)では−０．７μＶ程度、図４５(b)では−０．３μＶ程度と異なる。ＳＳＶＥＰを用いた入力システムにおいては、図４５(a)(b)共に安定した脳波として脳波測定、意思判定が可能であるが、ノイズ判定閾値として例えば±１．０μＶを設定した場合、特許文献４の手法では、図４５(a)は下限閾値の−１．０μＶを超えたノイズ混入状態と判定される可能性があり、有効な脳波データとならない可能性がある。

（Ｄ）連続使用による疲労により集中力が低下し、意思判定が誤判定となる。
ＳＳＶＥＰを用いた入力システムにより文章作成することを考える。選択肢に定型文を設定する場合は１から数回の選択で文章作成可能だが、１文字ずつ仮名選択を行う場合多回数の選択が必要となる。刺激の照度、表示部と使用者の距離を最適化しても疲労の蓄積を避けることは難しく、目の疲労や集中力低下により誤判定となる可能性がある。

本発明は以上の従来技術における問題に鑑みてなされたものであって、使用者の意思による選択をコンピューターに高効率、高精度に入力することを課題とする。

以上の課題を解決するための請求項１記載の発明は、使用者の脳波を測定する脳波測定部と、
使用者に光刺激を与える光刺激表示部と、
前記光刺激表示部を制御するとともに前記脳波測定部から脳波信号を取得する演算処理部とを備え、
前記演算処理部は、
互いに異なる点滅周波数で点滅する複数の光刺激を前記光刺激表示部に表示させつつ、前記脳波測定部から取得した脳波信号に含まれる、前記光刺激に応答した光刺激視覚誘発電位に基づき使用者が前記複数の光刺激のうちどの光刺激を注視していたかを判定する入力判定処理と、
前記光刺激の非点滅状態にて脳波を測定させ取得した前記脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、さらに前記光刺激の非点滅状態にて脳波を測定させて前記脳波信号を取得し、当該脳波信号を周波数解析し、所定の設定周波数帯内に含まれ、信号強度が設定閾値以下であって互いに設定周波数間隔を隔てた複数の周波数を選出し、これらを前記複数の光刺激の互いに異なる点滅周波数として設定する周波数設定処理とが実行可能である脳波を用いた入力システムである。

請求項２記載の発明は、前記演算処理部は、前記設定周波数帯又は／及び設定周波数間隔を調整して、前記複数の光刺激の数に相当する複数の周波数を選出するまで前記周波数設定処理を実行可能である請求項１に記載の脳波を用いた入力システムである。

請求項３記載の発明は、使用者を撮像する撮像部を備え、
前記演算処理部は、前記撮像部から取得した画像に基づき使用者が閉眼か否かの閉眼判定処理が実行可能であり、
前記演算処理部は、前記入力判定処理に並行して前記閉眼判定処理を実行し、閉眼と判定しているときに得られる脳波信号を前記入力判定処理の対象から除外する請求項１に記載の脳波を用いた入力システムである。

請求項４記載の発明は、使用者を撮像する撮像部を備え、
前記演算処理部は、前記撮像部から取得した画像に基づき使用者の注視エリアを特定する注視エリア特定処理が実行可能であり、
前記演算処理部は、前記入力判定処理に先立ち又は並行して前記注視エリア特定処理を実行し、注視エリア外の前記光刺激の停止又は光量低減の制御を実行する請求項１に記載の脳波を用いた入力システムである。

請求項５記載の発明は、前記演算処理部は、所定時間離れた２点間の前記脳波信号の差を算出し、当該差が所定の閾値を１回又は連続性をもって所定回数超えるか否かを判定する脳波変動判定処理が実行可能であり、
前記演算処理部は、前記入力判定処理に並行して前記脳波変動判定処理を実行し、前記差が前記所定の閾値を１回又は連続性をもって所定回数超えたと判定した脳波信号を前記入力判定処理の対象から除外する請求項１に記載の脳波を用いた入力システムである。

請求項６記載の発明は、前記演算処理部は、前記所定時間を互いに異なる複数設定してそれぞれ前記差を算出し、互いに異なる所定時間の差に対して互いに異なる閾値を用いて前記脳波変動判定処理を実行し、いずれか一部又は全部の閾値越えがあった場合に、その閾値を超えたと判定した脳波信号を前記入力判定処理の対象から除外するとともに、超えた閾値に応じた通知処理を実行する請求項５に記載の脳波を用いた入力システムである。

請求項７記載の発明は、使用者の脳波を測定する脳波測定部と、
使用者に光刺激を与える光刺激表示部と、
前記光刺激表示部を制御するとともに前記脳波測定部から脳波信号を取得する演算処理部とを備える脳波を用いた入力システムにおける当該演算処理部を機能させるためのコンピューター・プログラムであって、
前記演算処理部に、
互いに異なる点滅周波数で点滅する複数の光刺激を前記光刺激表示部に表示させつつ、前記脳波測定部から取得した脳波信号に含まれる、前記光刺激に応答した光刺激視覚誘発電位に基づき使用者が前記複数の光刺激のうちどの光刺激を注視していたかを判定する入力判定処理と、
前記光刺激の非点滅状態にて脳波を測定させ取得した前記脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、さらに前記光刺激の非点滅状態にて脳波を測定させて前記脳波信号を取得し、当該脳波信号を周波数解析し、所定の設定周波数帯内に含まれ、信号強度が設定閾値以下であって互いに設定周波数間隔を隔てた複数の周波数を選出し、これらを前記複数の光刺激の互いに異なる点滅周波数として設定する周波数設定処理とを実行させるための脳波を用いた入力プログラムである。

本発明によれば、使用者の意思による選択をコンピューターに高効率、高精度に入力することができる。

本発明に係り、脳波を用いた入力システムの使用風景の一例を示す。 本発明に係り、脳波を用いた入力システムの一構成例のブロック図を示す。 本発明に係り、選択メニューと選択結果の一例を示す。 本発明に係り、周波数設定処理のフローチャートの一例を示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の周波数チャートを示す。 本発明に係り、周波数設定処理を説明するための一例の周波数チャートを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルを示す。 本発明に係り、周波数設定処理を説明するための一例の脳波図スペクトルと周波数チャートを示す。 本発明に係り、閉眼判定処理及び関連する制御のフローチャートの一例を示す。 本発明に係り、閉眼判定処理のための画像認識処理を説明するための目元部分の模式図を示す。 本発明に係り、閉眼判定処理のための画像認識処理を説明するための目元部分の模式図を示す。 本発明に係り、閉眼判定処理のための画像認識処理を説明するための目元部分の模式図を示す。 本発明に係り、閉眼判定処理のための画像認識処理を説明するための目元部分の模式図を示す。 本発明に係り、閉眼判定処理のための画像認識処理を説明するための目元部分の模式図を示す。 本発明に係り、注視エリア特定処理及び関連する制御のフローチャートの一例を示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、注視エリア特定処理を説明するための一例の目座標のチャートを示す。 本発明に係り、注視エリア特定処理を説明するための一例の目座標のチャートを示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、選択肢に対応したパワースペクトルのチャートを示す。 本発明に係り、選択肢に対応したパワースペクトルと、注視エリアに関連させた計算のチャートを示す。 本発明に係り、選択肢に対応したパワースペクトルと、注視エリアに関連させた計算のチャートを示す。 本発明に係り、注視エリア特定処理及び関連する制御のフローチャートの他の一例を示す。 本発明に係り、注視エリア特定処理及び関連する制御を説明するための選択肢のレイアウトを示す。 本発明に係り、脳波変動判定処理及び関連する制御のフローチャートの一例を示す。 本発明に係り、脳波変動判定処理及び関連する制御のフローチャートの他の一例を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、脳波変動判定処理を説明するための脳波信号図を示す。 本発明に係り、複合実施形態における処理のフローチャートの一例を示す。 従来技術に係り、ＳＳＶＥＰを用いた入力システムの基本構成を示す。 測定日が異なる同一人物の脳波データの例を示す。

以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。

（１）システム概要
図１に脳波を用いた入力システムの使用風景の一例を、図２に一構成例のブロック図を示す。
使用者１が脳波測定部１０の少なくとも脳波センサを含む部分を頭部に装着して使用する。脳波センサの電極１１は頭表面と、リファレンス（耳たぶなど）に装着される。
使用者１の脳波を測定する脳波測定部１０には、脳波測定値をデジタル信号に変換してＣＰＵに入力するＡＤ変換器１２と、ＣＰＵ１３と、タイマ１４と、メモリ１５と、外部インターフェース１６と、無線通信部１７とが含まれる。
制御・判定部２０には、無線通信部２１と、外部インターフェース２２と、本実施形態の演算処理部として機能するＣＰＵ２３と、ＣＰＵ２３で実行されるコンピューター・プログラムや設定値、演算値等を記憶するメモリ２４と、外部インターフェース２５と、タイマ２６と、使用者１を撮像するカメラ２７と、ディスプレイ２８とが含まれる。
使用者１に光刺激（Ｌ１−Ｌ６）を与える光刺激表示部３０には、外部インターフェース３１と、ＣＰＵ３２と、メモリ３３と、タイマ３４と、ＧＰＩＯ３５と、ＬＥＤ表示器３６とが含まれる。ＬＥＤ表示器３６により光刺激（Ｌ１−Ｌ６）が発光される。なお、ＬＥＤ表示器のほかＬＣＤディスプレイなどのモニタ（ディスプレイ２８）を使用してもよい。また、脳波測定部１０と制御・判定部２０とを有線接続する場合は、無線通信部１７，２１は不要である。

制御・判定部２０の制御に基づき光刺激表示部３０のＬＥＤ表示器３６に表示された光刺激は其々が異なる周波数で点滅し、使用者１は何れか一つを注視する。その間の脳波測定部１０で検出、測定した脳波信号データが制御・判定部２０に入力され、制御・判定部２０が脳波信号データを解析（ＳＳＶＥＰの抽出等）することでどの光刺激を注視していたかを判定する（入力判定処理）。

図３に選択メニューと選択結果の一例を示す。例えば、図３に示すような選択メニューｍが表示される。一層目に選択肢ｍ１−ｍ６が、選択肢ｍ１を選択した場合の２層目には選択肢ｍ１１−１６が、選択肢ｍ５を選択した場合の２層目には選択肢ｍ５１−ｍ５５が表示される。同時に表示する各選択肢には、互いに異なる点滅周波数で点滅する光刺激が割り当てられる。図３の選択メニューｍの場合は、最大で６つの選択肢が同時に表示されるので、６つの異なる点滅周波数の光刺激が割り当てられる。
例えば、使用者１が選択肢ｍ１を注視し、続いて選択肢ｍ１４、選択肢ｍ１６、選択肢ｍ５、選択肢ｍ５１、選択肢ｍ５５、選択肢ｍ６と順に選択すると、その選択結果ｍ７がディスプレイ２８に表示され、第三者に伝えたりすることができる。

（２）周波数設定処理
次に、以上のように複数の点滅周波数が必要となる場合のＣＰＵ２３による周波数設定処理につき図４−図１４を参照して説明する。
図４に周波数設定処理のフローチャートを示す。
まず、最適な光刺激の点滅周波数を決定するためにＣＰＵ２３は、脳波測定時間の設定（Ｓ１００）とパワースペクトル閾値の設定（Ｓ１０１）と点滅周波数帯域設定（Ｓ１０２）とを行う。
脳波のパワースペクトルは脳波測定時間によって異なる。図５、図６は、光刺激の非点滅状態にて脳波を５秒間と１０秒間測定し、周波数解析した場合の６Ｈｚから３０Ｈｚのパワースペクトルである。測定時間が長くなればパワースペクトルが上昇し、各周波数（Ｘ軸）のパワースペクトルの上昇傾向が異なることを示している。
例えば、ステップＳ１００で脳波設定時間を５秒間に設定し、ステップＳ１０１でパワースペクトル閾値を２０と設定した場合、図５のパワースペクトルの場合、６Ｈｚから３０Ｈｚの全ての周波数が閾値２０以下であり、ノイズ変動が小さいと判定し、光刺激の点滅周波数として６Ｈｚから３０Ｈｚの全ての周波数が使用可能であると判断する。これに対し、ＳＳＶＥＰに基づく入力判定を行うための脳波測定時間が１０秒間であるときには、図６に示すようにノイズレベルが高く、誤判定するおそれが高まる。
このような判定を防ぐため、本処理の脳波測定時間設定（Ｓ１００）はＳＳＶＥＰ実行時の脳波測定時間と同じくすることが望ましい。

一例として、ステップＳ１００で脳波測定時間を１０秒に、ステップＳ１０１でパワースペクトル閾値を２０に設定する。この例の場合の脳波のパワースペクトルと閾値レベルを図７に示す。
次に、点滅周波数帯域設定（Ｓ１０２）を行う。点滅周波数帯域とは、上述した複数の点滅周波数を設定する周波数帯域である。
ＳＳＶＥＰは注視する光刺激の点滅周波数と脳波が同調して出現する。加えて、ＳＳＶＥＰは点滅周波数のｎ倍高調波にも出現するという特徴がある。点滅周波数帯域は、この特徴を踏まえつつ設定する必要がある。
周波数帯域設定について図８、図９を用いて説明する。
図８は点滅周波数に６．５Ｈｚ〜９Ｈｚを設定する場合の高調波との関係を示している。点滅周波数に対し、第２高調波は１３Ｈｚ〜１８Ｈｚ、第３高調波は１９．５Ｈｚ〜２７Ｈｚに出現することとなり、高調波を含め、周波数の重なりのない設定例である。
図９は点滅周波数に５Ｈｚ〜９Ｈｚを設定する場合の高調波との関係を示している。点滅周波数に対し、第２高調波は１０Ｈｚ〜１８Ｈｚ、第３高調波は１５Ｈｚ〜２７Ｈｚに出現することとなり、１５Ｈｚ〜１８Ｈｚに第２高調波と第３高調波の重なりが生じている。この場合、脳波解析、ＳＳＶＥＰのパワー値演算を行うと、５Ｈｚの第３高調波と７．５Ｈｚの第２高調波が１５Ｈｚで同じ周波数となり、どちらの高調波か不明となる。したがって、高調波も含め重なりが生じないよう点滅周波数帯域を設定する必要がある。

次に光刺激の非点滅状態にて、脳波測定を開始し（Ｓ１０３）、脳波データを取得する。取得した脳波信号データを解析して信号の変動レベルが所定レベル以下か否かにより脳波の安定を判断する（Ｓ１０４）。
レベル変動の影響が観測される不安定脳波Ｐ１００の場合は次ステップに移行せず、安定するまで脳波測定とノイズ検出処理を繰り返す。
不安定脳波Ｐ１００の場合、変動源（ノイズ源）の改善処置（脳波センサの再装着や、ノイズ発生機器と脳波測定器の配置位置の変更等）を行い、脳波の安定化を行う。安定脳波Ｐ２００の場合は次ステップＳ１０５に移行する。
ステップＳ１０４でＹＥＳ、すなわち、光刺激の非点滅状態にて脳波を測定させ取得した脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、ＣＰＵ２３は、さらに光刺激の非点滅状態にて脳波を一定時間測定させて脳波信号を取得する（Ｓ１０５）。一定時間とは、ステップＳ１００で設定した時間を指す。

ＣＰＵ２３は、ステップＳ１０５で取得した脳波信号データを順次周波数解析し、予め設定された任意回数に亘りステップＳ１０５、ステップＳ１０６を繰り返す。繰り返し回数は、予め設定する場合、ステップＳ１００〜ステップＳ１０２の周波数調整条件設定と同様に脳波測定開始（Ｓ１０３）前に設定してよく、予め設定しない場合、使用者または使用状態を使用者と共に確認する帯同者による繰り返し実行指示（繰り返し実行ボタン操作等）に従ってもよい。

次にステップＳ１０７にて、ステップＳ１０６で解析した複数の周波数解析結果を合成する。脳波は常に変動し、同一人物でも全く同じ周波数解析結果が得られることはなく、従って、パワースペクトル分布も変化する。ステップＳ１０４でノイズ変動がなく安定脳波であることは確認できているので、安定状態において複数回の脳波測定と周波数解析を行った後、ステップＳ１０７では周波数解析結果の合成を行う。合成はステップＳ１０２で設定した点滅周波数帯域に対して行う。二つの周波数解析結果を用いた合成方法を図１０に示す。複数回の脳波解析の直近の結果をＦＦＴ（ｎ）、1つ前の結果をＦＦＴ（ｎ−１）とする。周波数解析の共通の各周波数ポイント（Ｘ軸座標値）に対するＦＦＴ（ｎ）、ＦＦＴ（ｎ−1）のパワースペクトル値の大小比較を行い、最大値を選択する。これを解析結果全ての周波数ポイントに対して行い、周波数解析結果の合成結果とする。図１０（ａ）の合成波形における一部を拡大した拡大図を図１０（ｂ）に示した。図１０（ｃ）は、同じ部分における合成前の二つのパワースペクトルを示す。図１０（ｂ）中の点ａ、点ｂに対応する周波数は、光刺激のない状態で大きなパワースペクトルを示しており、ＳＳＶＥＰに基づく入力判定を実施した場合も同様にパワースペクトルが大きくなる傾向にある。点ａ、点ｂの周波数を光刺激の点滅周波数に設定した場合、点a、点ｂの周波数で点滅する光刺激が注視対象でなくてもパワースペクトルが大きくなり、注視対象を判定する際、注視していた光刺激ではなく、点ａもしくは点ｂの光刺激が注視対象と判定され、誤った判定結果となる。このような誤判定を低減するため、光刺激の非点滅状態にて脳波のパワースペクトルを導き出し、これを基に、点ｃのようなパワー値の小さい周波数を光刺激の点滅周波数として選択する。
ここでは２つの周波数解析の合成結果を用いて説明しているが、２つ以上の周波数解析結果を合成してもよい。

合成後、ステップＳ１０１で設定した閾値と合成値を比較する（Ｓ１０８）。図１１は閾値との比較を示している。周波数解析結果及びその合成結果は、所定分解能のサンプリングデータである。合成値を持つ周波数ポイントごとに閾値を超えているか否か判断する。
閾値を超えている周波数ポイントは、使用不可周波数とする。光刺激の非点滅状態で閾値を超えるパワーを示す周波数は、光点滅刺激を注視する際にも非注視対象であったとしてもパワー値が大きくなる可能性が高く、注視対象の刺激を誤って特定するといった影響を与えてしまうため使用不可とする。
図１１中の周波数ポイントＦ１００，Ｆ１０１及び破線Ｂ１００で囲まれた周波数ポイントは、ステップＳ１０８でＮＯとなって使用不可となる。
更に、閾値を超えた周波数ポイントの前後所定帯域の隣接する周波数ポイントも使用不可とする（Ｓ１０９）。例えば、図１１（ｂ）の部分拡大図に示すように閾値超えた周波数ポイントＦ１００，Ｆ１０１の前後の隣接する周波数ポイントＦ９８，Ｆ９９，Ｆ１０２，Ｆ１０３を使用不可とする。

隣接周波数に関しては、１もしくは２ポイントといった一定数のポイントを使用不可とする。もしくは、使用可否判定のために、閾値に対する第2閾値（閾値 ＞ 第2閾値）を設定し、第2閾値以下のパワー値であれば使用可、第2閾値以上であれば使用不可としてもよい。ここでは、よりパワー値が低く、安定した周波数を選択するため、閾値超えのポイントだけでなく、閾値超え前後のポイントでパワースペクトルの上昇の可能性がある周波数ポイントも使用不可とする。

次に、使用可能な周波数ポイントのパワースペクトル値を比較し、パワースペクトル値の小さい周波数ポイントを選出する（Ｓ１１０）。
図１２に点滅刺激注視に対するパワースペクトルの出現状態の一例を示す。本手法によるＳＳＶＥＰの解析は、点滅周波数（原周波）、原周波の２倍である第２高調波、原周波の３倍である第３高調波のパワースペクトル値をＦＦＴ解析結果から求める。原周波で点滅する光を注視すると、原周波だけでなく第２高調波、第３高調波にも原周波と同じくＳＳＶＥＰのピークが出現する。したがって、本手法では、原周波のパワースペクトルに第２高調波、第３高調波のパワースペクトルを加算することが好ましい。例えば、原周波が８Ｈｚの場合、１６Ｈｚ、２４Ｈｚのパワースペクトルも加算する。

ここで、解析の際の周波数の考え方について図１２を用いて説明する。仮に光点滅周波数は８Ｈｚとする。８Ｈｚの周期で点滅する光を注視した場合、注視時の脳波データを周波数解析し、８Ｈｚに相当する周波数ポイントのパワースペクトル値と他の周波数のパワースペクトル値を比較することで注視対象が判定できる。ＳＳＶＥＰが出現し、点滅周波数の中で８Ｈｚのパワースペクトルが最大であれば、注視対象は８Ｈｚであると判定し、最大でなければ、最大になる点滅周波数の刺激を注視対象であると判定する。

ここで、周波数解析（ＦＦＴ）のサンプリングポイント数を２の１６乗（６５５３６）とした場合の８Ｈｚ近辺の結果を図１２（ａ）に示す。周波数分解能は1.52E-05となり、８Ｈｚに最も近い周波数ポイントＦ３０１が指す７．９９５Ｈｚとなる。本手法では、周波数ポイントＦ３０１だけではなく、周波数ポイントＦ３０１を中心に低速側、高速側それぞれ数点を含めて８Ｈｚ帯域とし、この帯域の中で最もパワースペクトルが大きい値を８Ｈｚのパワースペクトルとする。これは、８Ｈｚの刺激を注視した場合、必ず８Ｈｚもしくは８Ｈｚに最も近い周波数にＳＳＶＥＰのピークが出現するわけではなく、数ポイントずれて発生することが確認できていることによる。図１２（ａ）（ｂ）（ｃ）は注視対象である点滅周波数８Ｈｚに対し、解析の対象となる周波数帯域と、点滅刺激注視に対するパワースペクトルの出現状態を示している。図１２（ａ）は８Ｈｚの原周波帯域であり、８Ｈｚに最も近い周波数ポイントＦ３０１の７．９９５Ｈｚを点滅周波数とし、低速側に１ポイント、高速側に４ポイント拡張した帯域を点滅周波数８Ｈｚの帯域としている。さらに、点滅周波数８Ｈｚ注視に対し、パワースペクトルのピークが８．０４１Ｈｚに出現していることを示している。点滅周波数８Ｈｚのパワースペクトル値は８．０４１Ｈｚの１．５８となる。

図１２（ｂ）に８Ｈｚの原周波に対する第２高調波帯域の解析結果を示す。点滅周波数の第２高調波である周波数ポイントＦ３０２（１５．９９１２Ｈｚ）を軸に低速側に２ポイント、高速側に８ポイント拡張した帯域を第２高調波帯域とする。原周波帯域を基準に考えた場合は、図１２（ａ）が示す７．９８０３Ｈｚ〜８．０５６６Ｈｚの第２高調波帯域として、それぞれ２倍の１５．９６０６Ｈｚ〜１６．１１３２Ｈｚを第２高調波帯域とする。

図１２（ｃ）に８Ｈｚの原周波に対する第３高調波帯域の解析結果を示す。点滅周波数の第３高調波である周波数ポイントＦ３０３（２３．９８６８Ｈｚ）を軸に低速側に３ポイント、高速側に１２ポイント拡張した帯域を第３高調波帯域とする。原周波帯域を基準に考えた場合は、図１２（ａ）が示す７．９８０３Ｈｚ〜８．０５６６Ｈｚの第３高調波帯域として、それぞれ３倍の２３．９４１０Ｈｚ〜２４．１６９９Ｈｚを第３高調波帯域とする。

次に原周波と原周波帯域について図１３を参照して説明する。先に述べたように、周波数解析の際、パワースペクトルは点滅周波数ポイント（点滅周波数に最も近い周波数ポイント）だけでなく点滅周波数帯域の範囲内で最も大きいパワースペクトル値を採用する。
光刺激を複数個使用する場合、点滅周波数も光刺激の個数分、設定が必要となる。複数の周波数を設定する場合は、点滅周波数＋帯域幅を考慮する必要があり、図１３は、点滅周波数 ８Ｈｚを指す周波数ポイントＦ３０１と隣接する点滅周波数８．１Ｈｚを指す周波数ポイントＦ４０１の関係を示している。
前述したように、ＳＳＶＥＰは注視対象の点滅周波数、もしくは点滅周波数に最も近い周波数に必ず出現するとは限らず、少しずれて発生する場合がある。点滅周波数とこれを含む帯域を設定する場合は、前記のずれを考慮する必要がある。図１３はＳＳＶＥＰ出現の一例であるが、ここに示すように、点滅周波数の周波数ポイントＦ３０１に対し高速側に４ポイント以内の範囲、低速側に１ポイント以内の範囲で発生する。したがって、点滅周波数を基準とした帯域の設定は前記範囲を基準に設定することが望ましい。低速側にずれることは少ないが、高速側と同数の４ポイントを設定してもよい。しかし、他の隣接する点滅周波数の高速側帯域として設定可能な範囲を余分に使用することになるため、必要な範囲で帯域設定することが望ましい。

上記６ポイントに隣接する周波数帯域との重なりが生じないよう間隔を１ポイント設けた合計７ポイントが本手法における１つの点滅周波数に対する帯域決定の考え方である。図１３の帯域Ｂ３０１は前述の考え方に従い、点滅周波数８Ｈｚに対し７．９９５Ｈｚを近似の点滅周波数とし、隣接周波数との間隔１ポイントを含む点滅周波数８Ｈｚの帯域を示している。本手法では、点滅周波数８．１Ｈｚの近似周波数である８．１０２４Ｈｚ（Ｂ）を含む隣接する周波数帯域Ｂ４０１との最小間隔（周波数ピッチ）を０．１Ｈｚとすることができる。

前述の点滅周波数を含む周波数帯域を決定するために、点滅周波数の対象範囲において、点滅周波数帯域毎にパワースペクトル値を比較する処理（Ｓ１１０）について説明する。ここでは、前述した閾値を超えた周波数ポイントの前後に、閾値は超えていないがパワースペクトルが増加傾向にある使用不可ポイントとして設定する隣接ポイントはないものとして説明する。
ステップＳ１０８で閾値を超えない周波数を対象とし、よりパワースペクトルの低い周波数ポイント、点滅周波数帯域を選出するための前処理として、一定数の周波数ポイントを点滅周波数帯域として設定し、帯域毎のパワースペクトルを決定する（Ｓ１１０）。
図１４（ａ）に、周波数ポイント１から１００までのパワースペクトルと２．０に設定した閾値のラインを、図１４（ｂ）にその部分拡大図を、図１４（ｃ）には対応するデータチャート及び選出した帯域の最大値を示す。周波数ポイントの刻み幅は、例えば、ＦＦＴの周波数分解能を２の１６乗（６５５３６）とする場合は０．０１５２５９であり、２の１５乗（３２７６８）とする場合は０．０３０５１８である。
前述したように、１つの点滅周波数には数ポイントの周波数を含めた帯域を選定する必要があり、例えば、基準とするポイントと、これを含めた連続する周波数６ポイントが閾値を超えず使用可能である帯域を選定する（図１４の周波数帯域Ｂ５０１）。そして、帯域の中で最も高いパワースペクトル値（１．７６）を帯域Ｂ５０１のパワースペクトル値としてストレージに格納する。ストレージは、ＰＣ、タブレットのメモリ、マイクロコンピュータのメモリ（２４）、外部メモリ等を意味する。

続けて、基準とするポイントを次のポイントとし、前述と同様の方法で、基準の周波数ポイントを含めた連続する周波数６ポイントで閾値を超えず使用可能である帯域を選定し（図１４の周波数帯域Ｂ５０２）、帯域Ｂ５０２の中で最も高いパワースペクトル値（１．７６）を帯域Ｂ５０２のパワースペクトル値としてストレージに格納する。同様の方法で、次の周波数帯域（図１４の周波数帯域Ｂ５０３）の中で最も高いパワースペクトル値（１．７２）を帯域Ｂ５０３のパワースペクトルとしてストレージに格納する。繰り返すと、帯域Ｂ５０４の次の帯域は周波数ポイントＦ１００，Ｆ１０１（１０、１１番目）が閾値を超えているため周波数ポイントＦ９５（５番目）から連続６ポイントで帯域を選定することができない。従って、基準を周波数ポイントＦ１０２（１２番目）に変え、帯域を選定しパワースペクトル値（１．９２）を格納する。本処理を、点滅周波数の対象範囲で繰り返し行い、使用可能な周波数帯域とその帯域の最大パワースペクトルを紐づけ、これらの選定した帯域を、パワースペクトルで昇順に並び換える。

次に、昇順に並び換えたパワースペクトルとこれに紐づく周波数帯域から点滅周波数を決定する処理（Ｓ１１１）を説明する。図１４のパワースペクトルの場合、帯域Ｂ５０１〜Ｂ５０４のパワースペクトルが同値、帯域Ｂ５０５がその後に続くことになる。帯域Ｂ５０１〜Ｂ５０４の中から周波数を選定する方法として周波数昇順とする場合、帯域Ｂ５０１が点滅周波数に設定される。別の選定方法として、閾値を超えたポイントから最も離れた帯域とする場合も帯域Ｂ５０１が点滅周波数に設定される。また、別の選定方法として、帯域内の最も低いパワースペクトル値の比較結果や帯域内のパワースペクトルの最高値と最低値の差分値が最も小さい（パワースペクトルの変化が安定している）、または最も大きい（パワースペクトルが低い傾向にある）等の方法を用いてもよい。
これらの方法を基に帯域Ｂ５０１〜Ｂ５０４の中から何れかが選定されると、帯域Ｂ５０１〜Ｂ５０４は周波数の重複するポイントが存在するため、他を点滅周波数に選定することはできない。次にパワースペクトルが低い帯域Ｂ５０５が点滅周波数に選定される。ここで帯域Ｂ５０１〜Ｂ５０５を例に説明したが、点滅周波数の対象範囲に対し、点滅刺激個数分のパワースペクトルの低い周波数を点滅周波数として選定する。

上記処理後、点滅刺激個数分の周波数が設定できない場合（Ｓ１１２でＮＯ）、点滅周波数の対象範囲の拡大、周波数帯に含む周波数ポイント数（前述は６ポイントとして説明）の変更、閾値の変更を可能な範囲で行い再設定を行う。これらの見直しでも点滅刺激数分の周波数が選定できない場合は、脳波計測（Ｓ１０５）に戻り、点滅刺激数分の周波数を選定する。

なお、点滅周波数に３Ｈｚとｎ倍周波数（６Ｈｚ、９Ｈｚ・・・）が含まれる場合は、てんかん発作の誘発要因となるため使用不可とする。
また、原周波のパワースペクトルに第２高調波、第３高調波のパワースペクトルを加算して比較してもよい。

以上の周波数設定処理によれば、非点滅時の脳波を解析することにより、信号強度が大きい周波数を点滅周波数に設定してしまうことがなくなり、誤判定が減少する。
また、使用日、使用者に合った点滅周波数に設定することが可能であり、環境が変わった場合でも最適な周波数に設定することが可能である。
多数の点滅周波数を適切に設定することができ、同時に多くの選択肢を設けることができるから入力が効率的であり、使用者の疲労も軽減できる。

（３）閉眼判定処理

次に、ＣＰＵ２３による閉眼判定処理及び関連する制御につき図１５のフローチャートを参照して説明する。
まず、ＣＰＵ２３は、閉眼判定を行うために、閉眼状態であると判定するための２つのパラメータを設定する（Ｓ２００）。一つ目のパラメータは、例えば画像認識処理を経て得られる上瞼と下瞼の画像中の座標から算出される目の開き具合を示すものであり、上瞼と下瞼の座標の差に対して、目を開いているか閉じているかを判定するための閾値である。任意の閾値以上、上瞼と下瞼の座標に差が生じていれば開眼と判定し、閾値未満であれば閉眼と判定する。
二つ目のパラメータは、閉眼時間を示すものであり、瞬きによる閉眼は閉眼判定の対象外とし、任意の時間連続した閉眼を判定するための時間もしくは閉眼判定カウント数の閾値である。例えば、時間の場合であれば１秒、カウント数であれば１００ｍｓサンプリングとして１０回カウント等の設定を行う。

パラメータ設定後、ＣＰＵ２３は、閉眼モニタリングを開始する（Ｓ２０１）。最終的に脳波解析する、しないの判定のため、プログラム処理の中で、状態を示すフラグを初期状態（閉眼フラグ＝０）に設定する。

ＣＰＵ２３は、カメラ（撮像部）２７から取得した画像に基づき画像認識処理を経て使用者１が閉眼か否かの閉眼判定処理が実行可能である。カメラは、使用者の顔前に配置されるタブレットやパソコンに搭載されたカメラや、これらの機器に接続可能なUSBカメラでもよい。カメラから取得した画像に写る使用者の顔を顔検出機能で検出し、検出範囲内における顔の特徴を検出する。特徴とは、例えば、目、鼻、口、耳といった顔を構成する部位の位置情報や形状を示すもので、少なくとも目を抽出する必要がある。抽出した特徴が目の輪郭（瞼の輪郭）線やその線上の点である場合、瞼の上下運動に連動し、検出される瞼の輪郭、もしくは点も上下に変動するものとする。

図１６から図２０に画像認識処理を説明するための目元部分の模式図を示す。
開眼（図１６）の場合の目の特徴を点として抽出した結果を図１７に示す。図１７に示した抽出結果は、左眼の目尻（１Ａ１００）、上瞼（１Ａ１０１）、目頭（１Ａ１０２）、下瞼（１Ａ１０３）の４点と、右眼の目頭（１Ａ１０４）、上瞼（１Ａ１０５）、目尻（１Ａ１０６）、下瞼（１Ａ１０７）の４点である。同様の手法で閉眼（図１８）の場合の目の特徴を点として抽出した結果を図１９に示す。図１９に示した抽出結果は図１７で説明した８点と同様の特徴点を示す。この特徴点を基にした、瞼の開き具合の算出式は以下の通りである。画像の原点座標は左上とする。
左瞼の開き ＝ （１Ａ１０３が示すＹ座標）−（１Ａ１０１が示すＹ座標）
右瞼の開き ＝ （１Ａ１０７が示すＹ座標）−（１Ａ１０５が示すＹ座標）
または、原点位置に関わらず、差分の絶対値を算出してもよい。
｜左瞼の開き｜ ＝ （１Ａ１０１が示すＹ座標）−（１Ａ１０３が示すＹ座標）
｜右瞼の開き｜ ＝ （１Ａ１０５が示すＹ座標）−（１Ａ１０７が示すＹ座標）

ＣＰＵ３２は、上記式で算出した数値と、ステップＳ２００で設定した一つ目のパラメータを比較し、閉眼か開眼かを判定する。閉眼の場合、閉眼時間であれば時間計測を開始または継続し、カウント数であれば閉眼カウントをインクリメントする。
上記処理を行いながら、ＣＰＵ２３は、光刺激表示部３０を制御して点滅光刺激表示を開始し（Ｓ２０２）、脳波測定部１０を制御して脳波測定を開始する（Ｓ２０３）。
ＣＰＵ２３は、取得される脳波信号データに基づく入力判定処理に並行して閉眼判定処理行い、閉眼時間もしくは閉眼カウント数がステップＳ２００で設定した二つ目のパラメータである閾値を超えているか否か判断し（Ｓ２０４）、ＹＥＳの場合、閉眼状態であると判定し、閉眼フラグを、閉眼を示す値にセットし（Ｓ２０６）、ディスプレイ２８に「使用者閉眼中」等の閉眼メッセージを表示する（Ｓ２０７）。
同時に、介護者等、第三者への報知設定がなされている場合は使用者が閉眼中であることをメール等のメッセージ通信やアラームで通知する。

閉眼条件に満たない場合（ステップＳ２０４でＮＯ）、予め設定した脳波測定時間を経過していなければ脳波測定を継続し（ステップＳ２０５でＮＯ）、脳波測定時間を経過していれば、脳波測定を終了する（ステップＳ２０５→Ｓ２０８・・・）。
脳波測定を終了する場合、点滅光刺激表示を終了し（Ｓ２０９）、閉眼フラグが開眼を示す値（閉眼フラグ＝０）の場合、脳波解析を行い、意思判定結果を表示する（Ｓ２１０）。閉眼フラグが閉眼を示す値（閉眼フラグ＝１）の場合、処理を終了する。
また、使用者、第三者が脳波測定終了の指示を制御・判定部２０に入力した場合も、ステップＳ２０５でＹＥＳとなり、処理を終了する。
例えば、以上のようにして閉眼判定処理を実行し、閉眼と判定しているときに得られる脳波信号を入力判定処理の対象から除外する。

閉眼モニタリングにおいて、使用者に加え、使用者以外の人物が画像に写り込む場合は、使用者を特定するための顔認証機能（個人特定機能）を搭載しておき、使用者が写っていることを顔認証で確認した後、使用者の眼や瞼の動きをチェックするように制御することができる。

目の特徴検出は目の輪郭でなくてもよく、眼球（瞳孔）検出法でもよい。眼球が検出できた場合は開眼、できない場合は閉眼としても良く、検出した眼球（瞳孔）形状で眼球の半分以上が隠れた状態であると検出した場合は閉眼、といった検出方法でもよい。

目の特徴を点として抽出した場合で、検出数が異なる例を図２０に示す。左瞼の場合、
左瞼の開き１ ＝ （１Ａ４０５が示すＹ座標）−（１Ａ４０１が示すＹ座標）
左瞼の開き２ ＝ （１Ａ４０４が示すＹ座標）−（１Ａ４０２が示すＹ座標）
であり、何れか一つを用いてもよいし、左瞼の開き１，２の平均値をとってもよい。右瞼も同様である。

以上の閉眼判定処理によれば、注視中の閉眼検出を確実に行うことができ、解析対象外の状態であると判定できる。
また、外的要因の影響がなく、入眠時に加え、覚醒状態で意図的に目を閉じている状態も検出可能である。

（４）注視エリア特定処理
次に、ＣＰＵ３２による注視エリア特定処理及び関連する制御につき図２１のフローチャートを参照して説明する。
ＣＰＵ３２は、カメラ（撮像部）２７から取得した画像に基づき画像認識処理を経て使用者１の視線を特定し、その視線を中心にした使用者１の光刺激に対する注視エリアを特定する注視エリア特定処理が実行可能である。

注視エリア特定処理を、図２２に示した選択肢Ｈ１〜Ｈ９を縦３個、横３個配置したディスプレイ２８と、ＬＥＤを縦３個、横３個配置した光刺激表示部３０を使用し説明する。注視エリア特定処理は、使用者１が注視する選択肢を特定するのではなく、注視する選択肢を含む選択対象候補群を特定する。選択対象候補群は、候補となる複数の光刺激を、その配置位置によりいくつかにまとめて分割したもので、図２３は選択肢Ｈ１，Ｈ４，Ｈ７、選択肢Ｈ２，Ｈ５，Ｈ８、選択肢Ｈ３，Ｈ６，Ｈ９というように縦方向に３分割した場合を示しており、これら２Ａ１００〜２Ａ１０２をそれぞれエリアと表現し、これらのうちの何れか一つを選択対象候補群として特定する。分割は図２４に示したように横方向でもよく、この場合もエリア２Ａ１０３〜２Ａ１０５の何れか一つを選択対象候補群として特定する。

特定処理方法として、先ず、視線の基準位置を特定する。使用者１には注視エリア特定処理を開始することを通知するためのメッセージがディスプレイ２８に表示される（図２５）。
更に、使用者１にはディスプレイ２８の中央部２Ａ１０１を見るようメッセージが表示される。中央部とは図２３の場合のエリア２Ａ１０１、図２４の場合のエリア２Ａ１０４を指し、エリアに含まれるＬＥＤが点灯する。使用者１は任意の一定時間（例えば１秒間、例えば３秒間）同エリアに視線を向ける。この間、ＣＰＵ３２はカメラ２７から画像を複数回取得し眼球の虹彩座標や更に精度よく座標検出可能な場合は虹彩中心座標を検出する。この時、視線が定まっているか（キョロキョロしていないか）を確認するため、前測定座標と現測定座標の変化量を目座標安定度パラメータとして事前に設定する。目座標安定度パラメータは、ディスプレイ２８を分割した場合の１エリア分の視線（目座標）の変動量を意味する。ディスプレイ２８と使用者１の距離により異なるため、使用者１の位置が決定した後、目座標安定度パラメータを設定するための目座標測定を行い、パラメータを決定する。目座標安定度パラメータを２０とした場合の両目の基準座標を示したものが図２６である。図２６に示した例は、図２３の縦分割の場合はＸ座標、図２４の横分割の場合はＹ座標を示す。図２６の表は、左右共に１０回測定した場合を示しており、左右の目座標の変動範囲が目座標安定度パラメータの２０以内に収まっている。この測定結果の平均値を算出し、平均値に近い５回分の座標を抽出し平均値を算出した座標が左目座標 ５７０、右目座標１５０である。この座標を基準座標として光刺激、脳波測定を開始する（Ｓ３００）。光刺激の点滅が開始されると使用者１は何れかの光刺激を注視するため視線モニタリングを行う。視線モニタリング（Ｓ３０１）は点滅開始と同時に開始しても良いが、数秒後（例えば３秒後）から開始すると注視状態が安定し、視線が定まった状態になりやすい（Ｓ３０２）。視線モニタリング（Ｓ３０１）は、前述した基準座標の測定方法と同様に複数回の測定の後、座標を特定する。特定した変動座標を図２７に示す。特定した座標と基準座標から、目の変動量を算出する。
左目変動量 ＝ 基準座標（２Ａ１０６） − 変動座標（２Ａ１０８）
右目変動量 ＝ 基準座標（２Ａ１０７） − 変動座標（２Ａ１０９）

変動量を基に注視エリアを特定する（Ｓ３０４）。使用する変動量は両眼を使用してもよいが、予め左右何れか片眼を使用すると決めてもよく、使用者１の利き目としてもよい。以降の判定は左目の変動量を使用して説明する。注視エリアが移動したかどうかを判定するために変動判定パラメータを用いる。これは、安定度パラメータと同値でもよく、変動判定パラメータ以上目座標が変動している場合は注視エリア移動が生じたと判定する。判定基準は以下通り。
｜左目変動量｜＜変動判定パラメータ ：注視エリア移動なし
｜左目変動量｜＞変動判定パラメータ 且つ 変動量＜０ ：左エリアへ移動
｜左目変動量｜＞変動判定パラメータ 且つ 変動量＞０ ：右エリアへ移動

図２７を例に説明すると、変動判定に左目を用いる場合、
変動量 ＝ ５７０（２Ａ１０６）−６９０（２Ａ１０８） ＝ −１２０
変動判定パラメータを２０と設定すると、
｜変動量｜ ＝ １２０ ＞ 変動判定パラメータ（２０）
となり、注視エリア移動が生じたと判定できる。更に、
変動量 ＝ １２０ ＞ ０
となり、左エリアへ移動したと特定できる。なお、画像の原点座標の位置（左上、右上等）により左右エリアの変動量の正負判定は逆転する。

上記判定中、脳波測定が継続している場合（ステップ３０３でＹＥＳ）、選択肢Ｈ１−Ｈ９に対応した光刺激の点滅が継続している状態であるため、注視エリア以外の光刺激の制御を変更する（Ｓ３０５）。図２３の左エリア（２Ａ１００）を注視している状態であるため左エリア（２Ａ１００）の選択肢Ｈ１，Ｈ４，Ｈ７に対応した光刺激をそのまま継続し、中央エリア（２Ａ１０１）の選択肢Ｈ２，Ｈ５，Ｈ８に対応した光刺激及び右エリア（２Ａ１０２）の選択肢Ｈ３，Ｈ６，Ｈ９に対応した光刺激の照度を低下させる（図２８）、または、左エリアの光刺激（２Ａ１００）以外は消灯させる（図２９）。

上記判定中、脳波測定が終了している場合（ステップ３０３でＮＯ）、選択肢Ｈ１−Ｈ９に対応した光刺激の点滅が終了しているため、選択肢Ｈ１−Ｈ９に対応した光刺激の照度変更や消灯処理は行わない。また、脳波測定の残り時間が少ない（例えば３秒程度）場合、選択肢Ｈ１−Ｈ９に対応した光刺激の点滅を制御しても短時間の変化となり集中の妨げになる可能性があるため、選択肢Ｈ１−Ｈ９に対応した光刺激の照度変更や消灯処理は行わなくてもよい。

脳波測定終了後は測定した脳波データの周波数解析（Ｓ３０６）を行う。周波数解析（Ｓ３０６）では、ＦＦＴにより周波数毎のパワースペクトルが算出される。
注視エリアを特定せず、一般的な手法で脳波データを解析した場合の周波数解析結果を図３０に示す。選択肢Ｈ１−Ｈ９に対応した光刺激の点滅周波数のパワースペクトルを比較し、パワーが最大となる光刺激を注視対象として特定する。図３０の場合は選択肢Ｈ４が特定される。

注視エリアを特定し、脳波データを解析した場合の周波数解析結果を図３１、図３２に示す。
先ず、図３１が示す解析手法について説明する。注視エリアは左エリアと特定しており、左エリアに含まれる選択肢Ｈ１，Ｈ４，Ｈ７に対し、解析対象であることを意味する１ビット値「注視エリア＝１」を設定し、他の選択肢に解析対象ではないことを意味する１ビット値「注視エリア＝０」を設定する。選択肢毎に「パワースペクトル×注視エリア（０or１）」の演算を行い、結果を算出パワーとし、パワーが最大となる選択肢Ｈ４を注視対象として特定する。
本手法は、注視エリア外のパワーが０となるため、注視エリア特定後、注視エリア外の光刺激を消灯し刺激が存在しなくなった場合や、確実に注視エリアが特定でき、注視エリア外の刺激に対するパワーを勘案する必要がない場合に用いる。

次に、図３２が示す解析手法について説明する。本手法ではエリア毎に重み付け係数を設定する。注視エリアに特定された左エリアの重み付け係数を１とし、隣接する中央エリアに０．６、注視エリアから最も遠いエリアに０．２を設定する。選択肢毎に「パワースペクトル×重み付け係数」の演算を行い、結果を算出パワーとし、パワーが最大となる選択肢Ｈ４を注視対象として特定する。重み付け係数の設定値は例として挙げたものであり、任意の係数を用いてよい。注視エリアが中央エリアの場合、左右エリアの係数を同値とし、例えば０．６や０．５を設定してもよい。また、本例は光刺激のエリア配置が縦３列の場合であるが、刺激数、配置方法により、３列で無い場合は、配置仕様に応じたエリア分割と重み付け値の設定を行う。

脳波測定開始前に注視エリア特定を行う処理につき図３３のフローチャートを参照して説明する。
刺激の配置は前述したように図２２に示す９個とし、エリア特定の開始を通知するためにメッセージを図２５のように示す（Ｓ３１０）。注視エリア特定のためのエリア分割は前述の通り（図２３、図２４）でよく、前述の判定基準を用いて何れか一つのエリアを特定する。

点滅する選択肢Ｈ１−Ｈ９に対応した光刺激は、選択されたエリアのものだけでよく、例えば、選択エリアが図２３に示すエリア２Ａ１００の場合、刺激はＨ１，Ｈ４，Ｈ７でよく、この場合の刺激は照度調整として図２８のように注視エリアを最も明るくし、注視エリアからの距離に応じて照度を低下させることができる。また、図２９のように点滅を注視エリアのみとすることができる。さらに、配置変更として、刺激間隔を拡げた図３４の配置に変更することができる。
以上のような注視エリアに基づく光刺激表示制御を、注視エリア特定ステップＳ３０４後の刺激制御ステップＳ３１５で実行し、その後脳波測定（Ｓ３２０）を開始する。その他は、図２１に示したフローと同様であり、対応するステップに同符号を使用して図３３に示す。

なお、以上の説明中に用いている目座標は、カメラ等からの入力画像のピクセルと置き換えてもよく、ある手段で目の位置、眼球の位置を特定し、ある手段で計算されて得られる左右の目の位置情報と置き換えてもよい。目座標の求め方は上記説明に拘泥されるものではない。

以上の処理によれば、刺激制御（Ｓ３０５、Ｓ３１５）により使用者の疲労蓄積を低減することができる。
また、注視エリアに限定してどの光刺激を注視していたかの入力判定（Ｓ３０７）を行うので、効率及び精度が向上する。

（５）脳波変動判定
（５−１）ノイズ混入時の制御
異なる脳波変動判定基準を用いて、(a)外来、接触不良ノイズ、(b)身体活動由来ノイズ、(c)電源、周辺機器ノイズを個別に検出し、ノイズの脳波に対する影響度から(a)＞(b)＞(c)の優先順位をつけ、(a)(b)の場合は脳波判定しない、(c)の場合は脳波判定を行う。具体的には以下の通り実施することができる。
(a)の場合は周辺機器の配置、接続機器の注意を喚起する通知処理を実行する。例えば、脳波測定器と機器が近接していないかの確認メッセージを送出する。
(b)の場合は体動の注意を喚起する通知処理を実行する。例えば、体が大きく動いていないか、脳波測定器と体が接触していないかの確認メッセージを送出する。
(c)の場合はノイズ混入状態で判定した結果であることの通知処理を実行する。
これらの通知は使用者と関連する人物、例えば、使用者が意思伝達に障がいがあり、コミュニケーション機器として本システムを使用しているならば、関連する人物は介護者、医療従事者が想定されるが、これらの人物に対して使用者の状態と使用環境を確認することを促す。
また、判定時だけでなく、意思判定の前段階（点滅周波数設定前）でセンサ装着後、脳波モニタリング時にも用いる。脳波が安定しないと、上記（２）の点滅刺激周波数設定を行っても、ノイズ判定用の脳波測定においてノイズが混入し続けることになり、意思判定を正確に行うことが困難となる。

（５−２）脳波変動判定処理
（例１）
次に、ＣＰＵ３２による脳波変動判定処理及び関連する制御につき図３５のフローチャートを参照して説明する。
ＣＰＵ３２は、所定時間Ｔ内の脳波信号の最大値ｍａｘと最小値ｍｉｎの差（ｍａｘ−ｍｉｎ）を算出し、当該差が所定の閾値Ｔｈａを所定の回数超えるか否かを判定する脳波変動判定処理が実行可能である。
所定時間Ｔは、ＳＳＶＥＰの判定に必要な脳波測定時間に対し任意の一定時間を指す。例えば、脳波測定時間５秒間に対し、所定時間Ｔは１００ｍｓと設定することができる。所定回数は閾値超えの連続回数または合計回数を指す。当該数を超えた場合、脳波変動が発生していると判定する。

まず、ＣＰＵ２３は、脳波測定点ｔ１−ｔ２間の差分（ｍａｘ−ｍｉｎ）に対する閾値Ｔｈａを設定する（Ｓ４１）。ここで設定する閾値はｍａｘ、ｍｉｎ値そのものではなく差分である。このことにより、図４５(a)(b)に示すような脳波の基線（ベースライン）にオフセットが生じる場合でも、ノイズの影響が少なければ解析可能な脳波と判定できる。
次にＣＰＵ２３は、光刺激表示部３０を制御して点滅光刺激表示を開始するとともに、脳波測定部１０を制御して脳波測定を開始する（Ｓ４２）。
ＣＰＵ２３は、取得される脳波信号データに基づく入力判定処理に並行して脳波変動判定処理（Ｓ４３，Ｓ４４）を開始する。
ＣＰＵ２３は、所定時間Ｔ毎の差分（ｍａｘ−ｍｉｎ）算出し（Ｓ４３）、閾値Ｔｈａを超えたか否か判断し（Ｓ４４）、ＹＥＳの場合、脳波測定を終了し（Ｓ４５）、点滅光刺激表示を終了し（Ｓ４６）、ディスプレイ２８に「脳波にノイズが検出されています」等のノイズ検出メッセージを表示して使用者や第三者に報知する（Ｓ４７）。閾値Ｔｈａを超えた脳波信号データに関しては入力判定処理から除外する。
第三者等が脳波測定終了の指示を制御・判定部２０に入力したらステップＳ４８でＹＥＳとなって終了する。
例えば、以上のようにして脳波変動判定処理を実行し、ノイズを検出しているときに得られる脳波信号を入力判定処理の対象から除外する。

（例２）
次に、脳波変動判定処理及び関連する制御につき図３６のフローチャートを参照して説明する。
ＣＰＵ２３は、脳波変動判定のための閾値設定を行う（Ｓ４００）。閾値Ｔｈａ１、Ｔｈａ２を図３７に示す。脳波測定時間における所定時間Ｔ（ｔ１−ｔ２）間の振幅変動差分（ｍａｘ１−ｍｉｎ１）に対する閾値Ｔｈａ１を設定する。更に、Ｔｈａ１ほどの振幅変動ではないがＴｈａ１より低い振幅変動が生じた場合の差分（ｍａｘ２−ｍｉｎ２）に対する閾値Ｔｈａ２を設定する。図３８に示すように脳波測定時間T（ｔ１−ｔ２）間の脳波データの測定点ｎ、ｎ＋１間の変動差分（ｎ−（ｎ＋１））に対する閾値Ｔｈａ３を設定する。

ここで、脳波に混入する変動要因と変動を判定するための閾値について説明する。
図３９は安定状態の脳波を示す。頭皮上で測定する脳波は、信号の振幅が±５０μV程度であり微小な振幅を繰り返して変化する。図３９に示した脳波は変動要因であるノイズの影響を受けておらず、光刺激を注視し解析を行った場合、注視した光刺激の周波数にピークが現れる可能性が極めて高い。

次に、ノイズ混入により観測される脳波の振幅変動を説明する。
図４０に示す脳波は、安定状態の脳波に対し数千から数万倍と振幅の高さ方向に対する変動が大きく（丸囲み部分）、さらに不定期に発生している。これは脳波測定器の周辺に配置される外部機器から発せられる外来ノイズや、脳波測定に使用するセンサと頭皮の接着のずれや接触不良によるノイズや、脳波測定に使用するセンサと脳波測定器をつなぐ線材の揺れなどにより発生するノイズの影響を受けることで発生する。この振幅の高さに対する大きな変動を検出するために設定する閾値がＴｈａ１である。脳波に図４０の変動が生じると、脳波データは±電源固定となり、脳波データが消失する。例えば、測定機器の電源が±５Ｖの場合、前述した変動による脳波データは+５Ｖまたは−５Ｖに固定または往復することになり、脳波の振幅が消失する。このような変動が生じた脳波データを解析してもＳＳＶＥＰの判定は誤判定となる可能性が非常に高い。

図４１の脳波は、図４０ほどの振幅変動ではないが、安定状態の脳波に対して数千倍程度の振幅の高さ方向に対する変動が定期的に発生している。これはセンサが頭皮下部の血管を通して脈拍の振動を捉えていることにより発生する。この他、眼球運動による眼電位、呼吸によって生じる筋電位等、身体活動がノイズ源となり脳波に混入することで発生する。この振幅変動を検出するために設定する閾値がＴｈａ２である。脳波に図４１の変動が生じると、前述したＴｈａ１に関連する脳波データが消失することは殆どないが、混入頻度や光刺激周波数とノイズ周波数の重なりにより、ＳＳＶＥＰのパワーよりも大きなスペクトルパワーが刺激周波数帯域に検出される。このような変動が生じた脳波データを解析した場合、ＳＳＶＥＰの判定は誤判定となる可能性が高い。

図４２の脳波は、振幅の高さ方向に対する影響は小さいが、高周波ノイズの混入により振幅の幅（横方向）が狭くなる変動が発生している。これは、脳波測定器や使用者の周辺に配置される外部機器やコンセントなど電源由来のノイズで、５０Ｈｚまたは６０Ｈｚの他、逓倍、分周周波数にも発生する。この微小で脳波に紛れて判別しにくい変動に対して設定するのがＴｈａ３である。脳波に図４２の変動が生じると、特定周波数にパワーピークが発生する。特定周波数が刺激周波数と同帯域にあり、このような変動が生じた脳波データの解析を解析した場合、ＳＳＶＥＰの判定は誤判定となる場合がある。

このように、混入するノイズの特性から、いくつかに分類される振幅変動に対する閾値設定を行った後、次に、ＣＰＵ２３は、光刺激表示部３０のＣＰＵ３２に制御信号を送信し、ＣＰＵ３２は光制御部３０を制御して点滅光刺激表示を開始するとともに、脳波測定部１０を制御して脳波測定を開始する（Ｓ４０１）。ＣＰＵ２３は、取得される脳波信号データに基づく入力判定処理に並行して脳波変動判定処理（Ｓ４０２，Ｓ４０３）を開始する。
ＣＰＵ２３は、図３７に示した所定時間Ｔ内の脳波信号の最大値ｍａｘ１と最小値ｍｉｎ１の差（ｍａｘ１−ｍｉｎ１）を算出し、当該差が所定の閾値Ｔｈａ１を超えるか否かを判定し、閾値Ｔｈａ１を超える場合、Ｔｈａ１を超える変動が生じたことを示すノイズフラグ１を１に設定し、メモリに記録する脳波変動判定処理が実行可能である。
更に、図３７に示した所定時間Ｔ内の脳波信号の最大値ｍａｘ２と最小値ｍｉｎ２の差（ｍａｘ２−ｍｉｎ２）を算出し、当該差が所定の閾値Ｔｈａ２を超えるか否かを判定し、閾値Ｔｈａ２を超える場合、Ｔｈａ２を超える変動が生じたことを示すノイズフラグ２を１に設定し、メモリに記録する脳波変動判定処理が実行可能である。
更に、図３８に示した所定時間Ｔ内において、ｎ番目とｎ＋１番目の差（ｎ―（ｎ＋１））を算出し、当該差が所定の閾値Ｔｈａ３を超えるか否かを判定し、閾値Ｔｈａ３を超えた回数を１としメモリに記録する脳波変動判定処理が実行可能である。更に、次の所定時間Ｔ内において、同様にｎ回目とｎ＋１回目の差（ｎ―（ｎ＋１））を算出し、当該差が所定の閾値Ｔｈａ３を超えるか否かを判定し、閾値Ｔｈａ３を超える場合、メモリに記録した閾値超え回数を１加算し、当該差が所定の閾値Ｔｈａ３を超えない場合、メモリに記録した回数を１減算または０に設定し記録する脳波変動判定処理が実行可能である。更に、メモリに記録した回数が所定回数と等しくなった場合、Ｔｈａ３を超える変動が生じたことを示すノイズフラグ３を１に設定し、メモリに記録する脳波変動判定処理が実行可能である。
上記差が所定の閾値Ｔｈａ３を超えない場合にメモリに記録した回数を０に設定する条件下では、上記差が連続的に所定回数超えるか否かを判定することができる。
上記差が所定の閾値Ｔｈａ３を超えない場合にメモリに記録した回数を１減算する条件下では、上記差が連続的又は断続的に所定回数超えるか否かを判定することができる。
以上のように閾値Ｔｈａ３については、上記差が連続性をもって所定回数超えるか否かを判定する。

脳波測定時間中、前述の演算により算出した値と閾値Ｔｈａ１、Ｔｈａ２、Ｔｈａ３の閾値との比較を繰り返し、ノイズフラグ１、ノイズフラグ２、ノイズフラグ３の何れかが１に設定された場合、脳波測定を継続するか否かを判定する（Ｓ４０４）。ＳＳＶＥＰの判定に必要な脳波測定時間が経過する前に、ノイズフラグの何れかに１が設定されている場合に脳波測定を終了しても良く、ノイズフラグ１、ノイズフラグ２の何れかに１が設定されている場合に脳波測定を終了しても良く、ノイズフラグ１に１が設定されている場合のみ脳波測定を終了してもよい。ノイズフラグの判定結果により脳波測定を終了した後、または、ＳＳＶＥＰの判定に必要な脳波測定時間が経過した後、点滅刺激を終了し（Ｓ４０５）、ノイズフラグの状態を確認し、脳波解析を行う（Ｓ４０６）。ノイズフラグには以下のような優先順位を設定する。
優先順位 ： ノイズフラグ１ ＞ ノイズフラグ２ ＞ ノイズフラグ３
例えば、ノイズフラグ１、ノイズフラグ２に１が設定されている場合、ノイズ検出結果はノイズフラグ１とし、ノイズフラグ２、ノイズフラグ３に１が設定されている場合、ノイズ検出結果はノイズフラグ２とする。ノイズ検出結果がノイズフラグ３になるのは、ノイズフラグ１、ノイズフラグ２が０（１以外）の場合とする。

脳波解析を実施する条件として、各ノイズフラグの状態を用いる。例えば、ノイズフラグ３のみが１の場合、脳波解析を行い、意思判定処理結果として特定された意思を表示する。特定された意思とは、例えば、選択された刺激の番号、または番号に紐づけされた単語、定型文等を意味する。ノイズフラグ１またはノイズフラグ２が、もしくは両方が１の場合は、ノイズの混入により判定が誤判定となる可能性が高いため脳波解析は行わない。こうすることで、脳波を基にした意思判定において、ノイズ起因による脳波の乱れを含めたまま解析されることが無くなり、意思入力の誤判定を防ぐことが可能となる。更に、使用者や介護者に対し、ノイズの状態に応じた通知を行うことで、ノイズ混入状態を改善する必要があることを認知させることが可能となる。

通知は、ノイズフラグに紐づけされたメッセージを表示、またはメールを送信するといった手段で行うことができる。
ノイズフラグ１の場合は、外来ノイズ、センサと頭表面の接触不良の可能性を示すメッセージを表示する。例えば、”接触不良や外部機器の影響を受けている可能性があります”と表示することで、使用者や介護者は、使用者の頭部に装着されたセンサの接触状態を改善する、センサが接続されている線材の揺れや不安定な状況を改善する等の対処を促すことができる。
ノイズフラグ２の場合は、体動、脈波混入の可能性を示すメッセージを表示する。例えば、”使用者の動きや心拍の影響を受けている可能性があります”と表示することで、使用者は動きを少なくする、頭部のセンサ位置を改善する等の対処を促すことできる。
ノイズフラグ３の場合は、前述したように脳波解析を行い、解析結果の表示を行うと共に、電源ノイズの混入の可能性を示すメッセージを表示する。例えば、”電源ノイズが混入している可能性があります”と表示することで、脳波測定器に接続されている機器の電源接続方法、脳派測定器と外部機器の距離を離す等の対処を促すことができる。

以上の脳波変動判定処理によれば、脳波の基線の変化に拘わらず、脳波中のノイズ検出を確実に行うことができ、解析対象外の状態であると判定できる。
また、以上のようなノイズ種の特徴に応じた脳波変動判定処理により、ノイズ種を判別することで、ノイズ種を特定してノイズの混入を使用者や介護者に通知することができる。更に、メッセージはノイズ種を具体的に通知するため、使用者や介護者はノイズ種に応じた対応を行うことができ、ノイズ混入を適した方法で解消することが可能となる。

（６）複合実施形態
上記（２）（３）（４）（５）をすべて実施する場合の入力判定アルゴリズムの一例につき、図４３のフローチャートを参照しつつ以下に説明する。
ＣＰＵ２３は、上記（２）と同様にして周波数設定処理（Ｓ５０）を実行し、終了したら、点滅光刺激表示を開始させ（Ｓ５１）、閉眼か判定し（Ｓ５２）、ＮＯの場合で注視エリアを特定できたら（Ｓ５３でＹＥＳ）、注視エリア外の光刺激を制限し（Ｓ５４）、脳波信号をサンプリングして（Ｓ５５）、サンプリングした脳波信号について閾値Ｔｈａを超えたか否かのノイズ判定を行い（Ｓ５６）、ＮＯの場合、注視エリア内の光刺激のうちどの光刺激を注視していたかの入力判定（Ｓ５７）を行う。
閉眼、注視エリア不特定の場合はいずれも脳波信号をサンプリングしない。脳波信号をサンプリングしても閾値Ｔｈａを超えたことによりノイズ検出できた場合は入力判定を行わない。但し、上述したようにノイズ混入メッセージを伴った入力判定結果出力を行う場合は、入力判定（Ｓ５７）に移行する。入力判定（Ｓ５７）の後、次入力を待ち受ける場合（Ｓ５８でＹＥＳ）はステップＳ５１に移行し、当該次入力に係る選択メニューを表示する（各選択肢の光刺激の点滅を開始）。ステップＳ５８において、例えば、直前の入力判定で「本入力システムを終了する」を選択したと判定した場合は、終了する。
閉眼メッセージの表示ステップを設ける場合、ステップＳ５２のＹＥＳの後に入れる。ノイズ検出メッセージの表示ステップを設ける場合、ステップＳ５６のＹＥＳの後に入れる。また、上述したようにノイズ混入メッセージを伴った入力判定結果出力を行う場合は、ステップＳ５７の後にノイズ検出メッセージの表示ステップを設ける。

（７）作用効果その他
ノイズ混入、閉眼、疲労蓄積は意思の誤判定となる要因である。
この状態で脳波解析、入力判定を行うことで間違った意思を伝える（誤入力する）ことになるが、以上説明した技術を用いれば、選択肢の多数化と注視エリア外の刺激制限との組み合わせにより疲労蓄積を低減して誤判定の要因を低減でき、ノイズ判定、閉眼判定により入力判定の対象外の状況であることを事前に検出でき、誤判定を低減することができる。
さらに、閉眼、ノイズ混入の検出が可能であるため、使用者が要介護者である場合の介護者等の第三者に対し、閉眼、ノイズ混入を通知することが可能となる。

以上説明した通り、本発明によれば、使用者の意思による選択をコンピューターに高効率、高精度に入力することができる

なお、上記（２）（３）（４）（５）の技術は、いずれか一つを単独で実施してもよいし、いずれか２つ又は３つの組合せを実施してもよいことは勿論である。

１ 使用者
１０ 脳波測定部
１１ 脳波センサの電極
２０ 制御・判定部
２７ カメラ
３０ 光刺激表示部
３６ ＬＥＤ表示器

Claims (7)

1. 使用者の脳波を測定する脳波測定部と、
   使用者に光刺激を与える光刺激表示部と、
   前記光刺激表示部を制御するとともに前記脳波測定部から脳波信号を取得する演算処理部とを備え、
   前記演算処理部は、
   互いに異なる点滅周波数で点滅する複数の光刺激を前記光刺激表示部に表示させつつ、前記脳波測定部から取得した脳波信号に含まれる、前記光刺激に応答した光刺激視覚誘発電位に基づき使用者が前記複数の光刺激のうちどの光刺激を注視していたかを判定する入力判定処理と、
   前記光刺激の非点滅状態にて脳波を測定させ取得した前記脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、さらに前記光刺激の非点滅状態にて脳波を測定させて前記脳波信号を取得し、当該脳波信号を周波数解析し、所定の設定周波数帯内に含まれ、信号強度が設定閾値以下であって互いに設定周波数間隔を隔てた複数の周波数を選出し、これらを前記複数の光刺激の互いに異なる点滅周波数として設定する周波数設定処理とが実行可能である脳波を用いた入力システム。
2. 前記演算処理部は、前記設定周波数帯又は／及び設定周波数間隔を調整して、前記複数の光刺激の数に相当する複数の周波数を選出するまで前記周波数設定処理を実行可能である請求項１に記載の脳波を用いた入力システム。
3. 使用者を撮像する撮像部を備え、
   前記演算処理部は、前記撮像部から取得した画像に基づき使用者が閉眼か否かの閉眼判定処理が実行可能であり、
   前記演算処理部は、前記入力判定処理に並行して前記閉眼判定処理を実行し、閉眼と判定しているときに得られる脳波信号を前記入力判定処理の対象から除外する請求項１に記載の脳波を用いた入力システム。
4. 使用者を撮像する撮像部を備え、
   前記演算処理部は、前記撮像部から取得した画像に基づき使用者の注視エリアを特定する注視エリア特定処理が実行可能であり、
   前記演算処理部は、前記入力判定処理に先立ち又は並行して前記注視エリア特定処理を実行し、注視エリア外の前記光刺激の停止又は光量低減の制御を実行する請求項１に記載の脳波を用いた入力システム。
5. 前記演算処理部は、所定時間離れた２点間の前記脳波信号の差を算出し、当該差が所定の閾値を１回又は連続性をもって所定回数超えるか否かを判定する脳波変動判定処理が実行可能であり、
   前記演算処理部は、前記入力判定処理に並行して前記脳波変動判定処理を実行し、前記差が前記所定の閾値を１回又は連続性をもって所定回数超えたと判定した脳波信号を前記入力判定処理の対象から除外する請求項１に記載の脳波を用いた入力システム。
6. 前記演算処理部は、前記所定時間を互いに異なる複数設定してそれぞれ前記差を算出し、互いに異なる所定時間の差に対して互いに異なる閾値を用いて前記脳波変動判定処理を実行し、いずれか一部又は全部の閾値越えがあった場合に、その閾値を超えたと判定した脳波信号を前記入力判定処理の対象から除外するとともに、超えた閾値に応じた通知処理を実行する請求項５に記載の脳波を用いた入力システム。
7. 使用者の脳波を測定する脳波測定部と、
   使用者に光刺激を与える光刺激表示部と、
   前記光刺激表示部を制御するとともに前記脳波測定部から脳波信号を取得する演算処理部とを備える脳波を用いた入力システムにおける当該演算処理部を機能させるためのコンピューター・プログラムであって、
   前記演算処理部に、
   互いに異なる点滅周波数で点滅する複数の光刺激を前記光刺激表示部に表示させつつ、前記脳波測定部から取得した脳波信号に含まれる、前記光刺激に応答した光刺激視覚誘発電位に基づき使用者が前記複数の光刺激のうちどの光刺激を注視していたかを判定する入力判定処理と、
   前記光刺激の非点滅状態にて脳波を測定させ取得した前記脳波信号に基づき当該脳波信号が所定レベルに安定したと判断した後、さらに前記光刺激の非点滅状態にて脳波を測定させて前記脳波信号を取得し、当該脳波信号を周波数解析し、所定の設定周波数帯内に含まれ、信号強度が設定閾値以下であって互いに設定周波数間隔を隔てた複数の周波数を選出し、これらを前記複数の光刺激の互いに異なる点滅周波数として設定する周波数設定処理とを実行させるための脳波を用いた入力プログラム。

Images