JP2021089544A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】脳波だけを用いる場合に比して、機器の操作の精度を向上させる。【解決手段】情報処理システムは、ユーザの脳波の特徴と、脳波を検出しているときに検出される、脳波とは異なる生体情報の特徴との組み合わせに応じて機器を操作する指示を決定するプロセッサを有する。【選択図】図４

Description

本発明は、情報処理システム及びプログラムに関する。

次世代のユーザインタフェースとして脳波の活用が期待されている。

米国特許出願公開第２０１３／００９６４５３号明細書

脳波をユーザインタフェースとして使用するには、意図的に特定の脳波を作り分ける必要があるが、再現性を高めるには特別な訓練が必要とされる。また、医療分野で規定されている測定点以外の位置で脳波を測定することも研究されているが、ユーザの意図との対応付けの精度は低い。このため、初期のユーザインタフェースでは、測定される脳波を補完して操作の精度を向上させる仕組みが必要になると考えられる。

本発明は、脳波だけを用いる場合に比して、機器の操作の精度を向上させることを目的とする。

請求項１に記載の発明は、ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴との組み合わせに応じて機器を操作する指示を決定するプロセッサを有する、情報処理システムである。
請求項２に記載の発明は、前記生体情報は、ユーザの頭部に接触する電極で測定される、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記生体情報は耳部に接触する電極で測定される、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記プロセッサは、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い間、前記生体情報の特徴に応じて特定される操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記プロセッサは、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項４に記載の情報処理システムである。
請求項６に記載の発明は、前記プロセッサは、前記脳波の特徴と、前記生体情報の特徴と、ユーザが実際に行った操作の結果とを教師データとして学習された学習済みモデルを使用し、前記機器を操作する指示を決定する、請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記学習済みモデルは、ユーザ別に生成される、請求項６に記載の情報処理システムである。
請求項８に記載の発明は、ユーザが実際に行った前記操作の結果には、ユーザの音声による指示が使用される、請求項６に記載の情報処理システムである。
請求項９に記載の発明は、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い場合、又は、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項６に記載の情報処理システムである。
請求項１０に記載の発明は、前記生体情報の特徴は、ユーザによる意図的な身体の動きに由来する、請求項１〜９のうちいずれか１項に記載の情報処理システムである。
請求項１１に記載の発明は、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記脳波の特徴と前記生体情報の特徴が共起する確率が予め定めた第３の閾値を超えた状態で、当該生体情報に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第４の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システムである。
請求項１３に記載の発明は、前記脳波の特徴は、非接触に測定される、請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、前記生体情報の特徴は、ユーザの表情に関する情報である、請求項１３に記載の情報処理システムである。
請求項１５に記載の発明は、前記生体情報の特徴は、ユーザの視線の方向に関する情報である、請求項１３に記載の情報処理システムである。
請求項１６に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着して使用するデバイスである。
請求項１７に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着するデバイスと通信可能に接続されたコンピュータである。
請求項１８に記載の発明は、コンピュータに、ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴を検出する機能と、前記脳波の特徴と前記生体情報の特徴の組み合わせに応じて操作を決定する機能とを実行させるプログラムである。

請求項１記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。
請求項２記載の発明によれば、電気信号として測定可能な生体情報を用いて操作の精度を高めることができる。
請求項３記載の発明によれば、測定に用いる機器の装着についてユーザの抵抗感を低減できる。
請求項４記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。
請求項５記載の発明によれば、生体情報の特徴の精度が低い場合にも、機器の操作の精度を向上できる。
請求項６記載の発明によれば、学習を繰り返すことで、機器の操作の精度を向上できる。
請求項７記載の発明によれば、汎用的な学習済みモデルを用いる場合に比して、機器の操作の精度を向上できる。
請求項８記載の発明によれば、操作の対象である機器から操作の結果を収集できない場合にも、機器の操作の精度を向上できる。
請求項９記載の発明によれば、一致率が低い間は、ユーザの音声の指示を優先し、操作信号の精度の低下を回避できる。
請求項１０記載の発明によれば、意図的に身体の動きを組み合わせることで機器の操作の精度を向上できる。
請求項１１記載の発明によれば、一致率が高くなった後は脳波だけで操作できる。
請求項１２記載の発明によれば、一致率が高くなった後は脳波だけで操作できる。
請求項１３記載の発明によれば、非接触に脳波が測定される場合にも、機器の操作の精度を向上できる。
請求項１４記載の発明によれば、音声を用いなくても、機器の操作の精度を向上できる。
請求項１５記載の発明によれば、音声を用いなくても、機器の操作の精度を向上できる。
請求項１６記載の発明によれば、通信状況が悪い場所でも使用できる。
請求項１７記載の発明によれば、装置構成の制約を少なくできる。
請求項１８記載の発明によれば、脳波だけを用いる場合に比して、機器の操作の精度を向上できる。

実施の形態１で使用する脳波操作システムの概略構成を示す図である。 実施の形態１で使用するイヤホンの外観構成の一例を説明する図である。 実施の形態１で使用するイヤホンの内部構成の一例を説明する図である。 実施の形態１で使用する情報端末の内部構成の一例を示す図である。 ユーザが特定の操作を念じながら行う意図的な筋肉の動きの一例を説明する図である。 実施の形態１で使用する対応関係テーブルの例を説明する図である。（Ａ）は脳波情報の特徴用の対応関係テーブルを示し、（Ｂ）は脳波以外の生体情報の特徴用の対応関係テーブルを示す。 脳波情報を含むデジタル信号を受信した情報端末が実行する処理動作の一例を説明するフローチャートである。 脳波情報を含むデジタル信号を受信した情報端末が実行する処理動作の他の一例を説明するフローチャートである。 イヤホンを装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセットの測定点を説明する図である。 論文に掲載されている脳波の計測点を示す図である。 α波の出力評価を説明する図である。 MindWaveによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。 実施の形態で使用するイヤホンによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。 MindWaveによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。 実施の形態で使用するイヤホンによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。 スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホンの測定結果である。 実施の形態２で使用する脳波操作システムの概略構成を示す図である。 実施の形態２で使用する情報端末の内部構成の一例を示す図である。 実施の形態３で使用する脳波操作システムの概略構成を示す図である。 実施の形態３で使用する情報端末の内部構成の一例を示す図である。 実施の形態４で使用する脳波操作システムの概略構成を示す図である。 実施の形態４で使用する情報端末の内部構成の一例を示す図である。 操作の履歴や正誤等を記録するテーブルの例を説明する図である。（Ａ）は脳波情報の特徴により推定された操作の履歴や正誤を記録するテーブルを示し、（Ｂ）は脳波以外の生体情報の特徴により推定された操作の履歴や正誤を記録するテーブルを示す。 脳波情報を含むデジタル信号を受信した情報端末が実行する処理動作の一例を説明するフローチャートである。 実施の形態５で使用する脳波操作システムの概略構成を示す図である。 実施の形態５で使用する情報端末の内部構成の一例を示す図である。 脳波による操作の履歴や正誤等を記録するテーブルの例を説明する図である。 脳波情報を含むデジタル信号を受信した情報端末が実行する処理動作の一例を説明するフローチャートである。 片耳に装着するタイプのイヤホンの外観例を説明する図である。 脳波の測定に使用する電極を配置したイヤリングの一例を説明する図である。 脳波の測定に使用する電極を配置した眼鏡の一例を説明する図である。 ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセットに脳波の測定に使用する場合の電極の配置例を説明する図である。 視線を追跡する機能を生体情報の特徴とする例を説明する図である。（Ａ）は視線の方向が左方向の場合を示し、（Ｂ）は視線の方向が右方向の場合を示し、（Ｃ）は視線の方向が上方向の場合を示し、（Ｄ）は視線の方向が下方向の場合を示す。 近赤外光を用いて脳の活動に起因する血流量の変化を測定する装置の一例を示す図である。 脳磁計の一例を説明する図である。 ユーザの表情を脳波以外の生体情報の特徴の取得に使用する脳波操作システムの例を示す図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する脳波操作システム１の概略構成を示す図である。
図１に示す脳波操作システム１は、外耳孔を塞ぐように装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０と、ユーザが操作の対象とする機器（以下「操作対象機器」という）３０とで構成されている。
本実施の形態におけるイヤホン１０と情報端末２０は、情報処理システムの一例である。

本実施の形態におけるイヤホン１０は、情報端末２０から受信される音を再生する回路に加え、脳の活動に起因する電気的な信号（以下「脳波」という）を測定する回路を内蔵する。
本実施の形態で使用するイヤホン１０は、ワイヤレス型のデバイスである。このため、イヤホン１０は、無線通信により、情報端末２０と接続される。
本実施の形態では、イヤホン１０と情報端末２０との無線接続にブルートゥース（登録商標）を使用する。なお、無線接続には、ＷｉＦｉ（登録商標）その他の通信規格を用いることも可能である。もっとも、イヤホン１０と情報端末２０をケーブルで接続することも可能である。

情報端末２０は、イヤホン１０から受信されるデジタル信号を処理してユーザが望む操作の内容を推定し、推定された操作を指示する信号（以下「操作信号」という）を操作対象機器３０に送信する。図１の例では、情報端末２０としてスマートフォンを想定している。もっとも、情報端末２０は、タブレット端末やノート型のコンピュータでもよく、ウェアラブルコンピュータ等でもよい。
図１の場合、ユーザが念じた「電源オン」に対応する操作信号を操作対象機器３０に送信している。操作対象機器３０への操作信号の送信には、赤外線の使用の他、ＬＰＷＡ（＝Low Power Wide Area）等の既存の通信方式の使用も可能である。ＬＰＷＡは、ＩｏＴ通信に使用される通信方式の一例である。

本実施の形態における操作対象機器３０は、外部からの信号を受信して内部の動作を制御する機能を備える機器であればよい。操作対象機器３０は、例えば赤外線の受光部を有する機器、ＩｏＴ（＝Internet of Things）通信に対応する機器をいう。
図１の場合、操作対象機器３０は、ユーザの念じた「電源オン」に対応する操作信号を情報端末２０から受信する。

まず、脳波の測定にイヤホン１０を用いる理由について説明する。
脳波を用いるインタフェースの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。
以上の理由に鑑み、本実施の形態では、脳波を測定するデバイスとしてイヤホン１０を使用する。イヤホン１０は、いわゆるオーディオ機器として普及しているため、その装着に対する心理的な抵抗は少ないと考えられる。

また、イヤホン１０が装着される外耳孔は、脳に近いため、脳波の測定にも好都合である。イヤホン１０で脳波の測定が可能なことは、後述する実験結果の項で説明する。なお、外耳孔は、耳部の一例である。本実施の形態の場合、耳部は、耳介と外耳孔を含む。
この他、イヤホン１０には、不図示のスピーカが内蔵されるため、ユーザに対する情報の伝達にも都合がよい。
加えて、イヤホン１０が装着される耳部は、ユーザの口にも近く、ユーザの発する声の検出にも好都合である。

＜イヤホン１０の構成＞
図２は、実施の形態１で使用するイヤホン１０の外観構成の一例を説明する図である。
イヤホン１０は、外耳孔に挿入されるイヤホンチップ１１Ｒ及び１１Ｌと、イヤホンチップ１１Ｒ及び１１Ｌが取り付けられるイヤホン本体１２Ｒ及び１２Ｌと、耳介と側頭との隙間に装着されるイヤーフック１３Ｒ及び１３Ｌと、イヤホン本体１２Ｒ及び１２Ｌを接続するケーブル１４と、電源ボタンやボリュームボタンが配置されたコントローラ１５とで構成されている。
図中のＲはユーザの右耳側に位置することを示し、Ｌはユーザの左耳側に位置することを示す。

本実施の形態におけるイヤホンチップ１１Ｒは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｒ１と、耳甲介腔に接触されるリング状の電極１１Ｒ２とで構成される。
本実施の形態における電極１１Ｒ１と電極１１Ｒ２は、いずれも導電性ゴムで構成される。皮膚に現れる電気信号を測定するためである。なお、電極１１Ｒ１と電極１１Ｒ２とは、絶縁体により電気的に分離されている。

本実施の形態の場合、電極１１Ｒ１は、脳波（ＥＥＧ：ElectroEncephaloGram）と脳波以外の生体情報を含む電位変動の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。本実施の形態では、脳波以外の生体情報として、目、鼻、口、眉等の表情に関係する筋肉（以下「表情筋」という）、咀嚼運動に使用する筋肉（以下「咀嚼筋」という）、飲み込むときに使用する筋肉（以下「舌骨筋」という）等の動きに伴う電気信号の成分を活用する。
なお、電極１１Ｒ２は、接地電極（以下「ＧＮＤ端子」ともいう）である。

一方、イヤホンチップ１１Ｌは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｌ１で構成される。本実施の形態の場合、電極１１Ｌ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。もっとも、本実施の形態の場合、電極１１Ｒ２と電極１１Ｌ１は電気的に短絡されている。
後述するように、本実施の形態の場合、脳波と脳波以外の生体情報を含む電位変動は、電極１１Ｒ１と電極１１Ｌ１で測定された電気信号の差分信号として測定される。
以下では、脳波と脳波以外の生体情報を含む電位変動を総称する場合、「脳波等の生体情報」という。

なお、脳科学の分野において、脳波以外に由来する全ての電位変動は、アーチファクトと呼ばれる。脳科学の分野では、脳波を測定した電気信号には、アーチファクトが必ず含まれると考えられている。
アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホン１０で測定される雑音として測定することが可能である。雑音は、電極１１Ｒ１と電極１１Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。

本実施の形態におけるイヤホン本体１２Ｒには、脳波等の生体信号に対応するデジタル信号を生成する回路、不図示のマイクから出力される電気信号からオーディオデータを生成する回路、情報端末２０（図１参照）から受信されたオーディオデータを復号して不図示のスピーカに出力する処理を実行する回路等が内蔵されている。
一方、イヤホン本体１２Ｌには、バッテリが内蔵されている。

図３は、実施の形態１で使用するイヤホン１０の内部構成の一例を説明する図である。
図３には、イヤホン１０のうちイヤホン本体１２Ｒ及び１２Ｌの内部構成が表されている。
本実施の形態の場合、イヤホン本体１２Ｒは、デジタル脳波計１２１と、マイク１２２と、スピーカ１２３と、６軸センサ１２４と、ブルートゥースモジュール１２５と、半導体メモリ１２６と、ＭＰＵ（＝Micro Processing Unit）１２７を有している。

デジタル脳波計１２１は、電極１１Ｒ１と電極１１Ｌ１に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは６００Ｈｚである。また、アナログ／デジタル変換回路の分解能は１６ビットである。
マイク１２２は、ユーザが発する音声で振動する振動板と、振動板の振動を電気信号に変換するボイスコイルと、電気信号を増幅するアンプとを含んでいる。なお、アンプから出力される電気信号のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路が別途用意される。

スピーカ１２３は、振動板と、オーディオデータに応じた電流が流れることで振動板を振動させるボイスコイルとを含んでいる。なお、ＭＰＵ１２７から入力されるオーディオデータは、デジタル／アナログ変換回路によりアナログ信号に変換される。
６軸センサ１２４は、３軸の加速度センサと３軸のジャイロセンサで構成される。６軸センサ１２４は、ユーザの姿勢の検知に用いられる。
ブルートゥースモジュール１２５は、情報端末２０（図１参照）との間でデータを送受信するために用いられる。本実施の形態の場合、ブルートゥースモジュール１２５は、デジタル脳波計１２１が出力するデジタル信号やマイク１２２で取得されたオーディオデータの情報端末２０への送信に用いられる他、情報端末２０からのオーディオデータの受信にも用いられる。

半導体メモリ１２６は、例えばＢＩＯＳ（＝Basic Input Output System）が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、書き換えが可能な不揮発性のメモリ（以下「フラッシュメモリ」という）で構成される。
本実施の形態の場合、フラッシュメモリは、デジタル脳波計１２１の出力であるデジタル信号の記憶、マイク１２２で取得されたオーディオデータの記憶、情報端末２０から受信されたオーディオデータの記憶等に用いられる。

ＭＰＵ１２７は、情報端末２０との間におけるデジタル信号の送受信の制御、情報端末２０に送信するデジタル信号の処理、情報端末２０から受信したデジタル信号の処理等を実行する。本実施の形態の場合、ＭＰＵ１２７は、デジタル脳波計１２１が出力するデジタル信号に対するフーリエ変換等の処理を実行する。なお、ＭＰＵ１２７と半導体メモリ１２６はコンピュータとして動作する。
一方、イヤホン本体１２Ｌには、リチウムバッテリ１２８が内蔵されている。

＜情報端末２０の構成＞
図４は、実施の形態１で使用する情報端末２０の内部構成の一例を示す図である。
なお、図４では、情報端末２０を構成するデバイスのうち、脳波等の生体情報から操作対象機器３０（図１参照）を操作する操作信号の生成に関連するデバイスを抜き出して表している。
図４に示す情報端末２０は、ブルートゥースモジュール２０１と、ＭＰＵ２０２と、半導体メモリ２０３と、ワイヤレスＩｏＴモジュール２０４とを有している。

ブルートゥースモジュール２０１は、イヤホン１０に設けられているブルートゥースモジュール１２５との通信に用いられる。
ＭＰＵ２０２は、イヤホン１０（図１参照）より受信されたデジタル信号から脳波の情報（以下「脳波情報」という）と脳波以外の生体情報とを取得し、操作対象機器３０（図１参照）に対する操作の内容を推定する機能を実行する。ここでの機能はアプリケーションプログラムの実行を通じて実現される。
図４に示すＭＰＵ２０２は、イヤホン１０より受信されたデジタル信号から脳波情報の特徴を取得する脳波情報取得部２２１と、イヤホン１０より受信されたデジタル信号から脳波以外の生体情報の特徴を取得する生体情報取得部２２２と、脳波情報の特徴と脳波以外の生体情報の特徴との組み合わせに応じて操作対象機器３０に対する指示の内容を推定する操作内容推定部２２３として機能する。

脳波情報取得部２２１は、イヤホン１０より受信されたデジタル信号に出現する脳波に特有の波形成分を分離し、分離された波形成分に含まれる脳波情報の特徴を取得する。脳波情報の特徴の取得には、独立成分分析法（Independent Component Analysis：ICA）その他の既知の技術を活用する。脳波情報の特徴には、例えばデジタル信号に出現する脳波に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度、α波の増加率等がある。

生体情報取得部２２２は、ユーザがある操作を念じながら、意図的に動かした頭部の筋肉の動きに起因する電位変動を、脳波以外の生体情報の特徴として取得する。脳波以外の生体情報の特徴には、例えばデジタル信号に出現する脳波以外の生体情報に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度等がある。
本実施の形態において、ユーザがある操作を念じながら、意図的に動かした頭部の筋肉の動きに起因する電位変動を取得するのは、以下の理由による。

前述したように、脳波以外の生体情報は、脳波に起因する電気信号に必ず混在する。このため、脳波以外の生体情報は、脳波情報の測定を妨げる情報と考えられてきた。
また、特定の操作を念じること自体は容易でも、操作の内容に応じた特定の脳波を意図的に発生させることは必ずしも容易ではない。しかも、その脳波を高い再現性で出力できるようになるには、訓練が必要とされる。さらに、任意のユーザが共通の脳波を再現することの困難性も指摘されている。
一方で、ユーザが特定の筋肉を意図的に動かすことは、特定の脳波を出力することに比して格段に容易である。すなわち、特定の生体情報の特徴を出現させることは、ユーザにとってハードルが低いと考えられる。
そこで、本実施の形態では、ユーザが意図的に動かすことが可能な頭部の筋肉の動きに起因して出現する電気信号を生体情報の特徴として取得し、取得された特徴により脳波情報の特徴を補完することを考える。

図５は、ユーザが特定の操作を念じながら行う意図的な筋肉の動きの一例を説明する図である。図５においては、唾液の飲み込みを伴う顎の動作を例示している。前述したように、特定の脳波の出力には訓練や慣れが必要とされるが、多くのユーザは、意図的に唾液を飲み込むことが可能である。また、筋肉の動きに伴う電気信号は、後述するように、脳波の波形に比して振幅が大きく脳波情報との区別が容易である。さらに、筋肉の動きに伴う電気信号は断続的であり、筋肉が動いていない間は脳波情報の測定を妨げない。
このため、ユーザが特定の操作を念じている間に出現する脳波情報の特徴と並行に、脳波以外の生体情報の特徴を取得することも可能である。

図４の説明に戻る。
本実施の形態における操作内容推定部２２３は、脳波情報の特徴と脳波以外の生体情報の特徴のそれぞれについて用意されている対応関係テーブルの参照により各特徴に対応する操作の内容を推定し、予め定めた規則に基づいて特定した操作の内容を操作信号としてワイヤレスＩｏＴモジュール２０４に出力する。
予め定めた規則に基づいて操作の内容を特定する方法には、幾つかの方法がある。
例えば脳波情報の特徴から操作の内容を推定できた場合、推定された操作の内容を脳波以外の生体情報の特徴から推定される操作の内容に優先する方法がある。
また、操作信号を操作対象機器３０（図１参照）に出力する前に、脳波情報の特徴から推定された操作の内容の正誤をユーザに確認する方法もある。

本実施の形態における半導体メモリ２０３には、操作内容推定部２２３が操作の内容の決定に使用する対応関係テーブル２３１及び２３２が記憶されている。
図６は、実施の形態１で使用する対応関係テーブル２３１及び２３２の例を説明する図である。（Ａ）は脳波情報の特徴用の対応関係テーブル２３１を示し、（Ｂ）は脳波以外の生体情報の特徴用の対応関係テーブル２３２を示す。
対応関係テーブル２３１には、管理番号と、脳波情報の特徴と、対応する操作の内容とが記憶されている。
図６の場合、特徴ＡＡには電源オンが対応付けられ、特徴ＡＢには電源オフが対応付けられている。なお、操作の内容には、操作の対象である操作対象機器３０を特定する情報も含まれる。

対応関係テーブル２３２には、管理番号と、脳波以外の生体情報の特徴と、対応する操作の内容とが記憶されている。
図６の場合、特徴＃１０２には電源オンが対応付けられ、特徴＃１０３には電源オフが対応付けられている。例えば唾液を１回飲み込む場合に出現する特徴を電源オンに対応付け、唾液を２回飲み込む場合に出現する特徴を電源オフに対応付ける。ここでの操作の内容にも、操作の対象である操作対象機器３０を特定する情報が含まれる。
本実施の形態の場合、対応関係テーブル２３２に記憶される対応関係は予め与えられているが、ユーザが新たな対応関係を登録することも可能である。
なお、半導体メモリ２０３は、対応関係テーブル２３１及び２３２以外にも、ＢＩＯＳが記憶されたＲＯＭと、ワークエリアとして用いられるＲＡＭと、フラッシュメモリも含む。
図４の説明に戻る。
本実施の形態の場合、ワイヤレスＩｏＴモジュール２０４は、ＬＰＷＡ等の通信規格に基づいて操作信号を送信する。

＜情報端末２０の処理動作＞
以下では、情報端末２０（図１参照）が、ＭＰＵ２０２（図４参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。

＜処理動作１＞
処理動作１では、脳波情報の特徴に基づく操作の実行前にユーザに操作の内容を確認しない場合について説明する。
図７は、脳波情報を含むデジタル信号を受信した情報端末２０が実行する処理動作の一例を説明するフローチャートである。なお、図中のＳはステップを意味する。
本実施の形態では、脳波情報を含むデジタル情報はイヤホン１０（図１参照）から情報端末２０に送信されている。また、操作対象機器３０（図１参照）の操作を念じるユーザは、特定の操作を念じるのと並行して、同操作に対応する特定の顎の動きを実行する。

イヤホン１０（図１参照）から脳波情報を含むデジタル信号を受信したＭＰＵ２０２は、受信したデジタル信号から脳波情報の特徴と脳波以外の生体情報の特徴を取得する（ステップ１）。
続いて、ＭＰＵ２０２は、脳波情報の特徴が対応関係テーブル２３１（図６参照）にあるか否かを判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容を送信する（ステップ３）。

これに対し、ステップ２で否定結果が得られた場合、ＭＰＵ２０２は、脳波以外の生体情報の特徴が対応関係テーブル２３２（図６参照）にあるか否かを判定する（ステップ４）。
ステップ４で肯定結果が得られた場合、ＭＰＵ２０２は、生体情報の特徴に対応する操作の内容を送信する（ステップ５）。
一方、ステップ４で否定結果が得られた場合、ＭＰＵ２０２は、そのまま処理を終了する。この場合、ユーザは、操作対象機器３０の動作に変化がないことを通じ、操作に失敗したことに気づく。
なお、ステップ４で否定結果が得られた場合には、操作の内容を特定できなかったことをユーザに通知してもよい。ユーザへの通知には、例えば情報端末２０（図１参照）の表示画面へのメッセージの表示やイヤホン１０に設けられたスピーカ１２３（図３参照）からのメッセージの出力を用いる。

この処理動作の場合、脳波による操作に不慣れな間は、主に、ユーザが意図的に動かすことが可能な顎等の筋肉の動きに起因する特徴に基づいて操作対象機器３０を操作することが可能である。
一方で、脳波による操作への慣れにより、意図的に特定の脳波で再現できるようになると、ユーザは、意図的に顎等の筋肉を動かさなくても、操作対象機器３０を操作することが可能になる。

このように、本実施の形態における脳波操作システム１を用いれば、脳波で操作対象機器３０を操作するために装着するデバイスへの抵抗感を低減させながら、脳波による操作を始められる。また、脳波による操作に慣れるまでは、顎等の筋肉の意図的な動きによって脳波による操作を補完することが可能になる。そして、脳波による操作に慣れた後は、操作を念じながら顎等の筋肉を意図的に動かさなくても、念じた通りの操作が可能になる。

＜処理動作２＞
処理動作１は、脳波情報取得部２２１（図４参照）で取得された脳波情報の特徴が対応関係テーブル２３１（図６参照）で見つかった場合には、見つかった特徴と念じた操作の内容との一致を仮定している。
しかし、脳波による操作に不慣れなユーザの場合、念じた操作の内容と出現する脳波情報の特徴とが一致するとは限らない。このため、操作対象機器３０が意図せぬ動作を実行する可能性がある。

そこで、処理動作２においては、脳波情報の特徴から推定された操作の内容が操作対象機器３０に送信される前に、推定された操作の内容をユーザに確認する手順を追加する。
図８は、脳波情報を含むデジタル信号を受信した情報端末２０（図１参照）が実行する処理動作の他の一例を説明するフローチャートである。図８には、図７との対応部分に対応する符号を付して示す。

この処理動作の場合も、イヤホン１０から脳波情報を含むデジタル信号を受信したＭＰＵ２０２は、受信したデジタル信号から脳波情報の特徴と脳波以外の生体情報の特徴を取得する（ステップ１）。
続いて、ＭＰＵ２０２は、脳波情報の特徴が対応関係テーブル２３１にあるか否かを判定する（ステップ２）。
ステップ２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容の正誤をユーザに問い合わせる（ステップ１１）。ここでの問い合わせには、情報端末２０の不図示の表示画面へのメッセージの表示やイヤホン１０に設けられたスピーカ１２３（図３参照）からのメッセージの出力を用いる。例えば「電源オンでいいですか？」等をユーザに問い合わせる。

ステップ１１の実行後、ＭＰＵ２０２は、正しいとの応答があったか否かを判定する（ステップ１２）。本実施の形態の場合、正誤の応答に、顎等の筋肉の動きを使用する。問い合わせに対する応答の場合、唾液を１回飲み込む動きは「正しい」を意味し、唾液を２回飲み込む動きは「誤り」を意味する。回数の違いは、予め定めた期間内における動きの回数で区別する。
もっとも、いわゆるスマートスピーカのように音声による回答も可能である。ユーザによる「はい」又は「いいえ」の回答は、イヤホン１０に設けられたマイク１２２（図３参照）で取得された後、オーディオデータとして情報端末２０に送信される。ＭＰＵ２０２は、受信された音声による回答を解析し、脳波情報の特徴に対応付けられている操作の内容を使用するか否かを判定する。

ステップ１２で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報の特徴に対応する操作の内容を送信する（ステップ３）。
ステップ１２で否定結果が得られた場合、又は、前述したステップ２で否定結果が得られた場合、ＭＰＵ２０２は、脳波以外の生体情報の特徴が対応関係テーブル２３２にあるか否かを判定する（ステップ４）。ここでの生体情報の特徴は、ステップ１で取得された特徴である。
ステップ４で肯定結果が得られた場合、ＭＰＵ２０２は、生体情報の特徴に対応する操作の内容を送信する（ステップ５）。
一方、ステップ４で否定結果が得られた場合、ＭＰＵ２０２は、そのまま処理を終了する。

この処理動作２のように、対応関係テーブル２３１に対応する特徴が見つかった場合でも、操作対象機器３０に操作信号を送信する前に、操作の内容をユーザに確認することにより誤操作が未然に回避される。
この処理動作２は、ユーザによる脳波情報の特徴の再現性が低い期間でも操作の精度の向上が期待される。
なお、本実施の形態では、対応関係テーブル２３１を用いているが、後述する実施の形態で説明するように、入力された特徴に対応する操作の内容を出力する関係を記憶した学習済みモデルを使用することも可能である。

＜実験結果等＞
以下では、イヤホン１０（図２参照）により、ユーザの脳波情報の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。

＜イヤホン１０との対比に使用するMindWave（NeuroSky社）の信頼性＞
図９は、イヤホン１０を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット４０の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット４０として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン１０は外耳孔を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額４０Ａを脳波の測定点とする。
図９に示す額４０Ａは、脳波の測定に使用する電極配置の国際標準として推奨されている１０−２０法で定める２１個の配置のうちのＦｐ１に相当する。

MindWaveによって測定される脳波は、医療認定されているＥＥＧシステムと同等であることが、Elena Ratti等の論文「Comparison of Medical and Consumer Wireless EEG Systems for Use in Clinical Trials」（https://www．frontiersin．org/articles/10．3389/fnhum．2017．00398/full）で検証されている。
なお、この論文は、ＵＳデューク大学のPh．DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph．Dイタリア国立研究評議会（CNR）のMarta Parazziniにより査読掲載されている。
図１０は、論文に掲載されている脳波の計測点を示す図である。
図１０に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているＥＥＧシステムの名称である。また、MuseとMindWaveは、消費者向けのＥＥＧシステムの名称である。

図１０の場合、白丸で示す位置は、医療認定されているＥＥＧシステムでのみ使用する測定点である。これに対し、ＡＦ７、Ａｐ１、ＡＦ８、Ａ１、Ａ２で示す位置は、消費者向けのＥＥＧシステムであるＭｕｓｅでのみ使用する測定点である。そして、Ｆｐ１は、４つのＥＥＧシステムに共通する測定点である。すなわち、Ｆｐ１は、MindWaveの測定点である。なお、測定点のＡ１とＡ２は、耳介と側頭部とで挟まれた部分に当たり、外耳孔ではない。

論文の詳細については省略するが、安静時の脳波の測定を、５人の健康な被験者を対象として、日を改めて２回行っている。また、同実験では、額部のＦｐ１を共通の測定点とし、目を閉じた状態と目を開いた状態における脳波パターンとパワースペクトル密度が比較されている。この論文における評価は、閉眼時の脳波におけるα波の出力評価に当たる。
また、論文の結論の項には、MindWaveのＦｐ１で測定されるパワースペクトルは、医療認定されているＥＥＧシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。

＜イヤホン１０による測定結果とMindWaveによる測定結果の比較＞
以下では、被験者に、イヤホン１０（図９参照）とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する。
図９に示したように、イヤホン１０は外耳孔を測定点とし、MindWaveは額４０Ａを測定点とする。

出願人の実験では、５８名を被験者とした。一人につき、同日中に、３回のアテンションの上昇テストとメディテーションの上昇テストを設計し、閉眼時におけるα波の出現を捉える実験を行った。
なお、実際の被験者は８３名であったが、２５名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。

アテンションの上昇テストでは、被験者に対し、開眼状態で１５０ｍｍ先のペン先を３０秒間見つめ続けてもらった。このテストは、集中状態を作ってα波の出現を抑止し、β波を増加させることを目的とする。
メディテーション上昇テストでは、被験者に対し、閉眼状態で３０秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。

実験時には、アテンションの上昇テストの後にメディテーションの上昇テストに移行し、α波の出力を評価した。
α波の出力の評価は、３０秒間の開眼状態の後に３０秒間の閉眼状態を２セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。

まず、メディテーションの上昇テストを行った理由と、閉眼時におけるα波の出力の評価に用いた方法について説明する。
図１１は、α波の出力評価を説明する図である。図１１に示すように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。

この特徴を活かし、実験では、脳波の生データをフーリエ変換し、各波に対応する周波数帯のスペクトル強度Ｓｎを特性値とした。
実験では、α波強度比Ｔαを、全周波数帯のスペクトル強度の和（すなわちΣＳｎ）に対するα波帯のスペクトル強度Ｓαの比（＝Ｓα／ΣＳｎ）として定義し、開眼状態から閉眼状態への変化でα波強度比Ｔαが増加したか否かを確認した。
α波強度比Ｔαの増加が確認されれば、脳波の測定の証拠になる。

図１２及び図１３を用いて、イヤホン１０による測定結果とMindWaveによる測定結果の異同を説明する。
図１２は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１３は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。

瞬きが無い場合、イヤホン１０による測定結果とMindWaveによる測定結果との間には、高い類似性が認められた。
一方、瞬きがある場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveが測定に用いる額が目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。

ところで、瞬きの影響によるアーチファクトは、主にδ波帯に出現した。ただし、図１２に示すように大きなアーチファクトがあると、α波の増加が誤検出される可能性が高くなる。その理由は、開眼状態における全周波数帯のスペクトル強度の和が大きくなる結果、開眼状態におけるα波強度比Ｔαが小さくなり、閉眼状態におけるα波強度比Ｔαが相対的に大きく見えてしまうためである。前述した被験者の削減もこの理由による。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。

一方、本実施の形態で使用するイヤホン１０（図２参照）による測定結果には、０秒から３０秒の期間に、瞬きに起因するアーチファクトは検知されなかった。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。

因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
前述の説明において、ユーザが特定の操作を念じながら行う意図的な筋肉の動きとして、唾液を飲み込む顎の動作を例示したのは、図１３に示すアーチファクトの出現が理由となっている。

続いて、図１４及び図１５を用いて、イヤホン１０による測定結果に現れるα波の増加とMindWaveによる測定結果に現れるα波の増加を説明する。
図１４は、MindWaveによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１５は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。

図１４及び図１５の縦軸はスペクトル強度の割合であり、横軸は周波数帯域である。また、図１４の（Ａ）に対応する被験者と図１５の（Ａ）に対応する被験者は同じである。同様に、図１４の（Ｂ）に対応する被験者と図１５の（Ｂ）に対応する被験者は同じである。図１４の（Ｃ）に対応する被験者と図１５の（Ｃ）に対応する被験者も同じである。
MindWaveのスペクトル強度の分布（図１４参照）とイヤホン１０のスペクトル強度の分布（図１５参照）は、δ波〜θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。

実験の結果、MindWaveとイヤホン１０の両方でα波の増加が確認された被験者は４６名であった。この割合は、５８名のうちの約８割弱に相当する。
因みに、イヤホン１０だけでα波の増加が確認された被験者は７名であった。換言すると、イヤホン１０では、α波の増加が計５３名で確認された。すなわち、イヤホン１０では、約９割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン１０の両方でα波の増加が確認されなかった被験者は５名であった。図１４及び図１５の（Ｃ）に示す波形は、この５名の被験者の測定結果を表している。

図１６は、スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホン１０（図２参照）の測定結果である。縦軸はスペクトル強度の割合であり、横軸は周波数である。
図１６では、図１４及び図１５の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図１６に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳孔で脳波を測定するイヤホン１０は、MindWaveと同等の測定能力を有していることが確かめられた。

＜実施の形態２＞
前述の実施の形態１の場合、対応関係テーブル２３１及び２３２（図６参照）に記憶されている特徴と操作の内容との対応関係が事前に定められている。
このため、イヤホン１０を装着したユーザが、脳波情報の特徴を正しく発生できない限り、操作対象機器３０（図１参照）を意図した通りに操作することは無理である。また、標準化された対応関係が全てのユーザに該当するとは限らない。
そこで、本実施の形態では、機械学習によって対応関係を更新する仕組みの一例を説明する。

図１７は、実施の形態２で使用する脳波操作システム１Ａの概略構成を示す図である。図１７には、図１との対応部分に対応する符号を付して示している。
図１７に示す脳波操作システム１Ａは、耳部に装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０Ａと、ユーザが操作の対象とする操作対象機器３０Ａと、機械学習装置５０とで構成されている。
なお、操作対象機器３０Ａと機械学習装置５０とは、ＩｏＴネットワーク経由で接続されている。機械学習装置５０は、情報端末２０Ａや操作対象機器３０Ａと同じ空間内に存在する必要はない。機械学習装置５０は、例えばインターネット上に存在してもよい。

本実施の形態における情報端末２０Ａには、操作信号の決定に使用した脳波情報の特徴を機械学習装置５０に送信する機能が設けられている。なお、情報端末２０Ａには、脳波以外の生体情報の特徴も機械学習装置５０に送信する機能が設けられていてもよい。
また、本実施の形態における操作対象機器３０Ａには、受け付けた操作信号のログ（以下「受付ログ」という）を機械学習装置５０に送信する機能が設けられている。操作対象機器３０Ａは、操作信号を受け付ける度に受付ログを送信してもよいし、機械学習装置５０が要求した場合に限り受付ログを送信してもよい。
本実施の形態における機械学習装置５０は、脳波情報の特徴と受付ログとを照合し、脳波情報と操作の内容との関係を機械的に学習する。機械学習装置５０は、情報端末２０から操作信号が送信された時刻に関連する受付ログを抽出し、脳波情報の特徴とユーザが意図した操作の結果との関係を学習する。

ここでの学習には、例えば正解となる操作の内容を用いる方法がある。
まず、正解となる操作の内容を特定する必要がある。例えば操作信号が送信された時刻の直後に操作対象機器３０Ａが受け付けた操作の動作が予め定めた時間以上継続する場合、操作対象機器３０Ａで実行された動作はユーザが意図した動作であるとみなす。もっとも、電源オフの状態の操作対象機器３０Ａに対し、情報端末２０Ａから電源オフの操作信号が送信された場合には、誤った操作の可能性が高い。その場合には、電源オフの操作信号の受け付けに続いて電源オンの操作信号を操作対象機器３０Ａが受け付けるはずである。従って、例えば操作信号が送信された時刻の直後に操作対象機器３０Ａが正反対の操作信号を受け付けた場合には、直後に受け付けた操作信号の動作をユーザの意図した動作の真値とみなす。

このように予め定めた規則に従って、ユーザが意図した操作の内容を特定する手法を用いることも可能であるが、受付ログを機械学習したモデルを用いて、ユーザが脳波を用いて操作対象機器３０Ａを操作した場合におけるユーザが意図した操作の内容を決定してもよい。なお、情報端末２０Ａを通じて、ユーザが正解の操作の内容を機械学習装置５０に送信してもよい。
いずれにしても、機械学習装置５０は、特定された操作の内容と対応する脳波情報の特徴との組を教師データに用い、いわゆる教師データ有り学習を実行する。ここでの学習には、ディープラーニングの手法を使用する。なお、中間層にはＬＳＴＮ（＝Long Short-Term Memory）ブロックを導入してもよい。また、中間層に畳込み層やプーリング層を追加してもよい。
機械学習装置５０は、脳波情報の特徴と操作の内容との対応関係を機械学習し、機械学習の成果を対応関係テーブル又は学習済みモデルとして情報端末２０Ａに送信する。

図１８は、実施の形態２で使用する情報端末２０Ａの内部構成の一例を示す図である。図１８には、図４との対応部分に対応する符号を付して示している。
図１８の場合も、情報端末２０Ａを構成するデバイスのうち、脳波等の生体情報から操作対象機器３０Ａ（図１７参照）を操作する操作信号を生成する機能に関連するデバイスを抜き出して表している。
図１８に示す情報端末２０Ａの場合、操作内容推定部２２３Ａには、操作信号の推定に使用した脳波情報の特徴を機械学習装置５０（図１７参照）に送信する機能が追加されている。

この他、情報端末２０Ａには、機械学習装置５０との通信用にＷｉＦｉ（登録商標）モジュール２０５が設けられている。ＷｉＦｉモジュール２０５は、機械学習装置５０に対する脳波情報の特徴の送信と、機械学習装置５０からの対応関係テーブル又は学習済みモデルの受信に使用される。ここでの学習済みモデルは、脳波情報の特徴が入力されると操作の内容を出力する関係が記憶されている。
図１８では、機械学習装置５０から受信された脳波情報の特徴用の対応関係テーブル２３１Ａが半導体メモリ２０３に記憶されている。勿論、対応関係テーブル２３１Ａに代えて学習済みモデルが半導体メモリ２０３に記憶されてもよい。

本実施の形態における脳波操作システム１Ａの場合、イヤホン１０（図１７参照）を装着するユーザの脳波による操作に関連して発生した脳波情報の特徴と操作の内容との関係を機械学習することで、対応関係テーブル２３１Ａに記憶される脳波情報の特徴と操作の内容との対応関係の精度が向上される。
その結果、例えばユーザを特定せずに機械学習を行う場合には、脳波の測定が可能なイヤホン１０を装着した不特定多数のユーザによる脳波での操作の精度が向上される。
また特定のユーザに特定して機械学習を行う場合には、特定のユーザに特化した対応関係テーブル２３１Ａや学習済みモデルにより、脳波での操作の精度の向上が実現される。

＜実施の形態３＞
前述の実施の形態２においては、操作対象機器３０Ａ（図１７参照）がＩｏＴネットワーク経由で機械学習装置５０（図１７参照）と接続されていたが、本実施の形態では、操作対象機器３０ＡがＩｏＴネットワーク等を経由して機械学習装置５０（図１７参照）に接続されていない場合について説明する。
図１９は、実施の形態３で使用する脳波操作システム１Ｂの概略構成を示す図である。図１９には、図１７との対応部分に対応する符号を付して示している。
図１９に示す脳波操作システム１Ｂは、耳部に装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０Ｂと、ユーザが操作の対象とする操作対象機器３０と、機械学習装置５０Ａとで構成されている。

本実施の形態の場合、機械学習装置５０Ａは、正解となる操作の内容の情報をユーザ本人の音声の内容を通じて取得する。このため、情報端末２０Ｂには、マイク１２２（図３参照）で取得された音声の内容を解析して機械学習装置５０Ａに送信する機能が設けられている。
もっとも、音声の内容の解析は、機械学習装置５０Ａに設けてもよい。また、音声の内容の解析には、インターネット上のサーバ等を通じて提供される音声認識サービスを活用してもよい。
図１９では、ユーザが頭の中で念じている「電源オン」を、ユーザが声にも出している。ユーザが声に出した操作の内容で操作対象機器３０が操作される点は、一見すると、スマートスピーカによる操作と同じに見えるが、本実施の形態の場合、ユーザの音声は、脳波情報の特徴に応じて推定される操作の内容に対する正解として与えられる。

図２０は、実施の形態３で使用する情報端末２０Ｂの内部構成の一例を示す図である。図２０には、図１８との対応部分に対応する符号を付して示している。
図２０の場合も、情報端末２０Ｂを構成するデバイスのうち、脳波等の生体情報から操作対象機器３０を操作する操作信号を生成する機能に関連するデバイスを抜き出して表している。
図２０に示す情報端末２０Ｂには、ブルートゥースモジュール２０１を通じて受信されるオーディオデータから操作の内容を取得する音声情報取得部２２４が追加されている。

本実施の形態で使用する音声情報取得部２２４は、音声を解析して操作の内容を出力する処理を実行する。
もっとも、機械学習装置５０Ａや外部の音声認識サービスを活用する場合、音声情報取得部２２４は、取得されたオーディオデータを機械学習装置５０Ａや外部の音声認識サービスに送信する。
本実施の形態における脳波操作システム１Ｂの場合、ユーザの音声による指示の内容を脳波による操作の正解として活用できるので、受付ログを用いて操作の内容の正解を推定する場合に比して計算負荷が少なく済む。
また、本実施の形態の場合、操作の内容の正解が音声を通じて与えられるので、教師データの精度が向上し、その分、機械学習の精度の向上が期待される。

＜実施の形態４＞
図２１は、実施の形態４で使用する脳波操作システム１Ｃの概略構成を示す図である。図２１には、図１９との対応部分に対応する符号を付して示している。
本実施の形態の場合、情報端末２０Ｃの内部で機械学習の処理を実行する。
図２２は、実施の形態４で使用する情報端末２０Ｃの内部構成の一例を示す図である。図２２には、図２０との対応部分に対応する符号を付して示している。

図２２に示す情報端末２０Ｃの場合、ＭＰＵ２０２Ｃの機能として、機械学習部２２５が追加される。機械学習部２２５も、ＭＰＵ２０２Ｃによるプログラムの実行を通じて提供される。
また、本実施の形態の場合、脳波に基づく操作の履歴や正誤等を記録するテーブル２３３及び２３４が半導体メモリ２０３に追加される。テーブル２３３は、脳波情報の特徴用であり、テーブル２３４は、脳波以外の生体情報用である。
本実施の形態における機械学習部２２５は、テーブル２３３に記録されている情報を教師データに用いて機械学習を実行し、脳波情報の特徴用の対応関係テーブル２３１Ａを更新する。同じく、機械学習部２２５は、テーブル２３４に記録されている情報を教師データに用いて機械学習を実行し、脳波以外の生体情報の特徴用の対応関係テーブル２３２Ａを更新する。

本実施の形態における音声情報取得部２２４も、音声を解析して操作の内容を出力する処理を実行する。もっとも、外部の音声認識サービスを利用する場合、音声情報取得部２２４は、取得されたオーディオデータを外部の音声認識サービスに与え、解析の結果として操作の内容を取得する。いずれの場合も、操作の内容は、半導体メモリのテーブル２３３に格納される。
なお、本実施の形態における操作内容推定部２２３Ｃは、脳波情報の特徴や脳波以外の生体情報の特徴によって推定された操作の内容の精度が低い場合、音声により指示された操作の内容を操作対象機器３０に送信する。

図２３は、操作の履歴や正誤等を記録するテーブル２３３と２３４の例を説明する図である。（Ａ）は脳波情報の特徴により推定された操作の履歴や正誤を記録するテーブル２３３を示し、（Ｂ）は脳波以外の生体情報の特徴により推定された操作の履歴や正誤を記録するテーブル２３４を示す。
テーブル２３３には、脳波による操作が行われた日時と、脳波情報の特徴と、推定された操作の内容と、ユーザの意図として与えられた音声の内容と、特徴に対応付けられている操作の内容の正誤とが記憶されている。
図２３の場合、「20XX/10/15 12:45:52」に脳波情報の特徴から推定された操作の内容は、音声の内容と同じであることが記録されている。このため、正誤の欄には「正」が記録されている。
一方、「20XX/10/15 12:46:10」に脳波情報の特徴から推定された操作の内容は、音声の内容と異なることが記録されている。このため、正誤の欄には「誤」が記録されている。

テーブル２３４には、脳波による操作が行われた日時と、脳波以外の生体情報の特徴と、推定された操作の内容と、ユーザの意図として与えられた音声の内容と、特徴に対応付けられている操作の内容の正誤とが記憶されている。
脳波以外の生体情報の特徴により推定された操作の内容は、「20XX/10/15 12:45:52」と「20XX/10/15 12:46:10」のいずれの場合も、音声の内容と同じである。このため、正誤の欄には「正」が記録されている。
本実施の形態における機械学習部２２５（図２２参照）は、テーブル２３３の履歴を教師データに使用して機械学習を継続し、脳波情報の特徴用の対応関係テーブル２３１Ａを更新する。また、機械学習部２２５は、テーブル２３４の履歴を教師データに使用して機械学習を継続し、脳波以外の生体情報の特徴用の対応関係テーブル２３２Ａを更新する。
なお、対応関係テーブル２３１Ａの代わりに学習済みモデルが記憶される場合には、機械学習による更新後の学習済みモデルで半導体メモリ２０３内の学習済みモデルが更新される。

続いて、情報端末２０Ｃ（図２１参照）が、ＭＰＵ２０２Ｃ（図２２参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。
図２４は、脳波情報を含むデジタル信号を受信した情報端末２０Ｃが実行する処理動作の一例を説明するフローチャートである。図中のＳはステップを意味する。
イヤホン１０（図２１参照）から脳波情報を含むデジタル信号を受信したＭＰＵ２０２Ｃは、受信したデジタル信号から脳波情報の特徴と、脳波以外の生体情報の特徴と、音声による操作の内容を取得する（ステップ２１）。

次に、ＭＰＵ２０２Ｃは、テーブル２３３（図２３参照）を参照し、脳波情報の特徴から推定される操作の内容と実際の操作の内容との一致率を計算する（ステップ２２）。ここでの一致率は、ステップ２１で取得された脳波情報の特徴に類似する特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、一致率の計算は、期間を定めて計算してもよい。例えば一致率が低かった過去のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、一致率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。

続いて、ＭＰＵ２０２Ｃは、計算された一致率と閾値１を比較する（ステップ２３）。ここでの閾値１は、例えば９０％に設定する。もっとも、この数値は一例である。また、閾値１は、ユーザが変更することも可能である。なお、閾値１は、第１の閾値の一例である。
なお、サンプル数が少ない場合には、過去の一致率の高さが、今回の脳波情報の特徴から推定される操作の内容の精度を保証する根拠にはならない。そこで、サンプル数が予め定めた値に満たない場合には、強制的に否定結果を出力する設定にしてもよい。
ステップ２３で肯定結果が得られた場合、ＭＰＵ２０２Ｃは、脳波情報の特徴に対応する操作の内容を送信する（ステップ２４）。この状態は、脳波による操作対象機器３０（図２１参照）が高い精度で行える状態を意味する。

これに対し、ステップ２３で否定結果が得られた場合、本実施の形態におけるＭＰＵ２０２Ｃは、脳波以外の生体情報の特徴から推定される操作の内容と実際の操作の内容との一致率を計算する（ステップ２５）。
前述の実施の形態１の場合、脳波以外の生体情報の特徴から推定される操作の内容に誤りはないものとして扱ったが、本実施の形態では、取得された生体情報の特徴から推定される操作の内容に誤りが含まれる場合も想定している。例えば唾液を飲み込む顎の動きが弱い場合や特徴の取得が難しい筋肉の動きが操作に用いられる場合も想定している。

ここでの一致率の計算も、ステップ２１で取得された脳波以外の生体情報の特徴に類似する特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
一致率の計算に用いる期間についても、脳波情報の特徴の場合と同様、サンプルが属する期間を定めてもよい。
続いて、ＭＰＵ２０２Ｃは、計算された一致率と閾値２を比較する（ステップ２６）。ここでの閾値２には、例えば９５％を使用する。もっとも、脳波以外の生体情報の特徴は、ユーザが意図的に動かすことが可能な筋肉の動きに起因しているので、閾値２をステップ２３で用いる閾値１より高く設定することが可能である。勿論、ここでの数値は一例であり、ユーザが変更することも可能である。なお、閾値２は、第２の閾値の一例である。

ステップ２６で肯定結果が得られた場合、ＭＰＵ２０２Ｃは、脳波以外の生体情報の特徴に対応する操作の内容を送信する（ステップ２７）。
一方、ステップ２６で否定結果が得られた場合、ＭＰＵ２０２Ｃは、音声による操作の内容を送信する（ステップ２８）。
本実施の形態における脳波操作システム１Ｃの場合も、ユーザの音声による指示の内容を脳波による操作の正解として活用できるので、教師データの精度が向上し、機械学習の精度の向上が期待される。
また、本実施の形態の場合には、イヤホン１０（図２１参照）を装着しているユーザのアカウントに紐づけて脳波情報の特徴と操作の内容との対応関係を学習できるので、対応関係テーブル２３１Ａ及び２３２Ａの内容がユーザに合わせた内容に変更される。結果的に、ユーザの脳波による操作の精度が向上する。

＜実施の形態５＞
図２５は、実施の形態５で使用する脳波操作システム１Ｄの概略構成を示す図である。図２５には、図２１との対応部分に対応する符号を付して示している。
本実施の形態の場合も、情報端末２０Ｄの内部で機械学習の処理を実行する点で実施の形態４と同じである。
ただし、本実施の形態が操作の内容の推定に用いる処理の内容が、実施の形態４と異なる。

図２６は、実施の形態５で使用する情報端末２０Ｄの内部構成の一例を示す図である。図２６には、図２２との対応部分に対応する符号を付して示している。
図２６に示す情報端末２０Ｄの場合、半導体メモリ２０３にテーブル２３５を記憶する点と、操作内容推定部２２３Ｄで実行される処理の内容が異なる。
図２７は、脳波による操作の履歴や正誤等を記録するテーブル２３５の例を説明する図である。
テーブル２３５では、脳波情報の特徴と脳波以外の生体情報の特徴とが１つの時刻に対応付けて管理される点で実施の形態４と相違する。

テーブル２３５には、脳波による操作が行われた日時と、ユーザの意図として与えられた音声の内容と、脳波情報の特徴と、脳波以外の生体情報の特徴と、脳波情報の特徴から推定された操作の内容と正誤、脳波以外の生体情報の特徴から推定された操作の内容と正誤、操作対象機器３０に送信された操作信号の内容が記憶されている。
図２７には、「20XX/10/15 12:45:52」と「20XX/10/15 12:46:10」の履歴が表されている。
本実施の形態における操作内容推定部２２３Ｄは、このテーブル２３５を活用し、操作対象機器３０に送信する操作の内容を決定する。

続いて、情報端末２０Ｄ（図２５参照）が、ＭＰＵ２０２Ｄ（図２６参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。
図２８は、脳波情報を含むデジタル信号を受信した情報端末２０Ｄが実行する処理動作の一例を説明するフローチャートである。図中のＳはステップを意味する。
本実施の形態の場合、ＭＰＵ２０２Ｄは、脳波情報の特徴と脳波以外の生体情報の特徴が共起する確率を計算する（ステップ３１）。本実施の形態の場合、脳波情報のある特徴が出現した場合に、脳波以外の生体情報の特定の特徴が同時に出現する確率を計算する。

ここでの一致率は、新たに取得された脳波情報の特定の特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、確率の計算は、期間を定めて計算してもよい。脳波による操作に不慣れな期間のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、確率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。
次に、ＭＰＵ２０２Ｄは、計算された確率が閾値３より大きいか否かを判定する（ステップ３２）。ここでの閾値３は、例えば９５％に設定する。もっとも、この数値は一例である。また、閾値３は、ユーザが変更することも可能である。なお、閾値３は、第３の閾値の一例である。

ステップ３２で否定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０に対して音声の内容を送信する（ステップ３３）。ステップ３２で否定結果が得られる場合とは、有意な共起関係が未だ検知されていない場合である。
一方、ステップ３２で肯定結果が得られた場合、ＭＰＵ２０２Ｄは、脳波以外の生体情報の特徴から特定される操作と実際に実行された操作との一致率を計算する（ステップ３４）。
ステップ３２で肯定結果が得られる場合とは、脳波情報の特徴と脳波以外の生体情報の特徴との間にほぼ一対一の関係が成立している状態をいう。換言すると、ある特定の操作を念じながら、特定の筋肉を動かす度に、同じ特徴を有する脳波情報が出現する状態をいう。

例えば唾液を飲み込む動作は、図１３で説明したように、検出の精度も高い。このため、操作を念じる行為と一緒に唾液を飲み込む顎の動きを組み合わせていた場合には、ステップ３２で肯定結果が得られた段階で、かなりの精度で脳波だけによる操作が可能と考えてよい。
ただし、本実施の形態では、意図的な筋肉の動きとして、他の筋肉の動きを用いる操作も想定して以下の処理を実行する。

まず、ＭＰＵ２０２Ｄは、脳波以外の生体情報の特徴から特定される操作と実際に実行された操作との一致率を計算する（ステップ３４）。脳波情報の特徴との間で共起関係が認められても、脳波以外の生体情報の特徴がユーザの意図に反していたのでは、共起関係にある脳波情報の特徴を用いた操作も間違いになるためである。
ここでの一致率も、新たに取得された脳波情報の特定の特徴に限って計算してもよいし、過去の全てのサンプルを対象に計算してもよい。
なお、確率の計算は、期間を定めて計算してもよい。脳波による操作に不慣れな期間のサンプルが多く含まれる場合には、直近の一致率が高くても、脳波による操作に切り替えられない可能性があるためである。従って、確率の計算については、計算に使用するサンプルが出現した期間に制限を加えてもよい。

続いて、ＭＰＵ２０２Ｄは、計算された一致率が閾値４より大きいか否かを判定する（ステップ３５）。ここでの閾値４は、例えば９５％に設定する。もっとも、この数値は一例である。また、閾値４は、ユーザが変更することも可能である。なお、閾値４は、第４の閾値の一例である。
ステップ３５で否定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０に対して音声の内容を送信する（ステップ３３）。
一方、ステップ３５で肯定結果が得られた場合、ＭＰＵ２０２Ｄは、操作対象機器３０（図２５参照）に対し、脳波情報の特徴に対応付けられている内容を送信する（ステップ３６）。ステップ３５で肯定結果が得られる場合は、脳波情報の特徴がユーザの意図を正確に反映している信憑性が高いためである。
本実施の形態の場合、ステップ３６の後、ＭＰＵ２０２Ｄは、脳波情報の特徴のみを用いる操作モードに設定を変更する（ステップ３７）。これにより、次回以降は、脳波だけによる操作が実行される状態になる。

このように、本実施の形態では、ユーザの意図を反映した特徴が安定的に出現されるようになった状態を、脳波に比して再現性が高い生体情報の特徴との共起関係を活用して確認することにより、音声による操作から脳波による操作への切り替えが実現される。
さらに、本実施の形態では、機械学習部２２５（図２６参照）を使用して脳波情報に出現する特徴と操作の内容との対応関係の精度も向上させている。
このため、本実施の形態の脳波操作システム１Ｄの場合にも、ユーザによる脳波による操作の精度の向上が実現される。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態では、脳波以外の生体情報の特徴を発生させるユーザの意図的な動きとして唾液を飲み込む動きを例示したが、前述したように、表情筋や咀嚼筋等を用いてもよい。因みに、唾液を飲み込む動きや咀嚼筋を動かす動きは、顎の動きの一例である。また、表情筋の動きには、眼球を動かす筋肉の動きも含まれる。
また、前述の実施の形態では、イヤホン１０（図１参照）で測定が可能な電位変動の一例として脳波について説明したが、筋電、心拍、心電、脈拍、脈波等も含まれる。

前述の実施の形態では、両耳の外耳孔にイヤホン１０を装着して脳波を想定しているが、イヤホン１０は、片耳の外耳孔に装着するタイプでもよい。
図２９は、片耳に装着するタイプのイヤホン１０Ａの外観例を説明する図である。図２９には、図２との対応部分に対応する符号を付して示している。図２９に示すイヤホン１０Ａの場合、イヤホンチップ１１Ｒが絶縁リングにより先端側と本体側とに電気的に分離され、先端側に電極１１Ｒ１が配置され、本体側に電極１１Ｌ１が配置されている。なお、ＧＮＤ端子としての電極１１Ｒ２は不図示の絶縁体により電極１１Ｌ１と電気的に分離されている。
この構成の場合、イヤホン本体１２Ｒ内にリチウムバッテリ１２８（図３参照）も格納される。

前述の実施の形態では、イヤホン１０（図１参照）内に電位変動をセンシングする機能のみを設け、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能についてもイヤホン１０に含めてもよい。この場合、イヤホン１０は、単独で情報処理システムの一例となる。
また、前述の実施の形態では、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能の一部又は全てをインターネット上のサーバで実行してもよい。この場合、サーバが、情報処理システムの一例となる。

前述の実施の形態では、脳波等に起因する電位変動を測定する電極をイヤホン１０に配置する例を説明したが、他の物品に装着してもよい。以下、具体例を幾つか例示する。
例えば脳波等に起因する電位変動を測定する電極は耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品には、イヤリング等のアクセサリや眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。
図３０は、脳波の測定に使用する電極を配置したイヤリング６０の一例を説明する図である。図３０に示すイヤリング６０は、装飾が取り付けられる耳の表面側で耳朶に接触する電極１１Ｒ１と、耳の裏面側で耳朶に接触する電極１１Ｌ１と、Ｕ字部分のいずれかの位置で耳朶に接触する電極１１Ｒ２を有している。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、装飾の内部、Ｕ字部分、電極１１Ｌ１が配置される皿形状の部材を軸方向に移動させるネジの軸内等に内蔵される。

図３１は、脳波の測定に使用する電極を配置した眼鏡７０の一例を説明する図である。図３１に示す眼鏡７０は、右側のツルの先端部（以下「モダン」という）に電極１１Ｒ１と電極１１Ｌ１が配置され、左側のツルのモダンに電極１１Ｒ２が配置されている。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、ツルやモダンに内蔵される。
この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。

図３２は、ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセット８０に脳波の測定に使用する場合の電極の配置例を説明する図である。図３２に示すヘッドセット８０は、マイクロソフト（登録商標）社のhololens（登録商標）に、脳波を測定する電極を配置した構成をイメージしている。ヘッドセット８０を装着したユーザが体験する仮想の環境は、拡張現実や複合現実と呼ばれる。
図３２に示すヘッドセット８０では、頭部に装着されるリング状の部材のうち耳部に接触する部位に、電極１１Ｒ１、電極１１Ｒ２、電極１１Ｌ１が配置されている。図３２に示すヘッドセット８０の場合、電極１１Ｒ１と電極１１Ｒ２は右耳側に配置され、電極１１Ｌ１は左耳側に配置される。

なお、ヘッドセット８０に設けられている視線を追跡する機能を使用し、脳波以外の生体情報の特徴としてユーザの視線の向きを用いることも可能である。
図３３は、視線を追跡する機能を生体情報の特徴とする例を説明する図である。（Ａ）は視線の方向が左方向の場合を示し、（Ｂ）は視線の方向が右方向の場合を示し、（Ｃ）は視線の方向が上方向の場合を示し、（Ｄ）は視線の方向が下方向の場合を示す。これらの視線の方向に、異なる操作の内容を割り当てる。

前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
例えばヘッドセット８０（図３２参照）の場合、頭部に装着されるリング型の部材のいずれかの位置に電極を設けてもよい。

前述の実施の形態においては、ユーザの耳部を含む頭部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳の活動を血流量の変化によって計測してもよい。
図３４は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット９０の一例を示す図である。ヘッドセット９０は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ９１と、反射光を受光する検出プローブ９２で構成される測定部が１又は複数配置されている。なお、ＭＰＵ９３は、プローブ９１による近赤外光の照射を制御し、検出プローブ９２から出力される信号を処理して、ユーザの脳波の特徴を検出する。

この他、脳波を含む生体情報の取得には脳磁計を用いても良い。脳の神経細胞が生じる電気的活動によって生じる磁場の測定には、例えばＴＭＲ（＝Tunnel Magneto Resistance）センサを用いる。
図３５は、脳磁計１００の一例を説明する図である。図３５に示す脳磁計１００は、頭部に装着されるキャップ１０１に複数のＴＭＲセンサ１０２を配列した構造を有している。なお、ＴＭＲセンサ１０２の出力は、不図示のＭＰＵに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。

また、前述の実施の形態では、脳波以外の生体情報として、脳波と一緒に測定されるアーチファクトや視線の向きを用いる場合について説明したが、ユーザの表情から取得される特徴を用いても良い。例えば笑顔、瞼を閉じた顔、舌を出した顔等を特徴として取得してもよい。
図３６は、ユーザの表情を脳波以外の生体情報の特徴の取得に使用する脳波操作システム１Ｅの例を示す図である。図３６には、図１との対応部分に対応する符号を付して示している。
図３６に示す脳波操作システム１Ｅには、ユーザの顔を撮像するカメラ１１１が設けられており、カメラ１１１で撮像された画像が情報端末２０Ｅに送信される。このシステム構成における情報端末２０Ｅは、生体情報取得部２２２（図４参照）において、ユーザの画像から表情の特徴を取得する。

なお、前述した各実施の形態におけるＭＰＵは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ…脳波操作システム、１０、１０Ａ…イヤホン、２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ…情報端末、３０、３０Ａ…操作対象機器、４０、８０、９０…ヘッドセット、５０、５０Ａ…機械学習装置、６０…イヤリング、７０…眼鏡、１００…脳磁計、２２１…脳波情報取得部、２２２…生体情報取得部、２２３、２２３Ａ、２２３Ｃ、２２３Ｄ…操作内容推定部、２２４…音声情報取得部、２２５…機械学習部

Claims (18)

1. ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴との組み合わせに応じて機器を操作する指示を決定するプロセッサを有する、情報処理システム。
2. 前記生体情報は、ユーザの頭部に接触する電極で測定される、請求項１に記載の情報処理システム。
3. 前記生体情報は耳部に接触する電極で測定される、請求項２に記載の情報処理システム。
4. 前記プロセッサは、前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い間、前記生体情報の特徴に応じて特定される操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システム。
5. 前記プロセッサは、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項４に記載の情報処理システム。
6. 前記プロセッサは、前記脳波の特徴と、前記生体情報の特徴と、ユーザが実際に行った操作の結果とを教師データとして学習された学習済みモデルを使用し、前記機器を操作する指示を決定する、請求項１に記載の情報処理システム。
7. 前記学習済みモデルは、ユーザ別に生成される、請求項６に記載の情報処理システム。
8. ユーザが実際に行った前記操作の結果には、ユーザの音声による指示が使用される、請求項６に記載の情報処理システム。
9. 前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値より低い場合、又は、前記生体情報の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第２の閾値より低い場合、前記プロセッサは、ユーザの音声による指示を前記機器の操作に使用する、請求項６に記載の情報処理システム。
10. 前記生体情報の特徴は、ユーザによる意図的な身体の動きに由来する、請求項１〜９のうちいずれか１項に記載の情報処理システム。
11. 前記脳波の特徴に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第１の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システム。
12. 前記脳波の特徴と前記生体情報の特徴が共起する確率が予め定めた第３の閾値を超えた状態で、当該生体情報に応じて定まる操作の内容と実際に実行された操作の結果との一致率が第４の閾値を超えた場合、前記プロセッサは、当該脳波の特徴に応じて定まる操作の内容を前記機器の操作に使用する、請求項１に記載の情報処理システム。
13. 前記脳波の特徴は、非接触に測定される、請求項１に記載の情報処理システム。
14. 前記生体情報の特徴は、ユーザの表情に関する情報である、請求項１３に記載の情報処理システム。
15. 前記生体情報の特徴は、ユーザの視線の方向に関する情報である、請求項１３に記載の情報処理システム。
16. 請求項１に記載の情報処理システムは、ユーザが装着して使用するデバイスである。
17. 請求項１に記載の情報処理システムは、ユーザが装着するデバイスと通信可能に接続されたコンピュータである。
18. コンピュータに、
    ユーザの脳波の特徴と、当該脳波を検出しているときに検出される、当該脳波とは異なる生体情報の特徴を検出する機能と、
    前記脳波の特徴と前記生体情報の特徴の組み合わせに応じて操作を決定する機能と
    を実行させるプログラム。

Images