JP2023035682A - 操作制御装置、操作制御方法およびプログラム - Google Patents

Abstract

【課題】無関係な刺激に影響されることなく、適切な脳波コマンドを実行可能とする。【解決手段】ユーザの脳情報を取得する脳情報取得部と、脳情報取得部が取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する判定部と、判定部が第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したと判定したときに第１コマンドに対応する処理を実行する実行部と、を備える。【選択図】図１

Description

本発明は、操作制御装置、操作制御方法およびプログラムに関する。

近年、脳の情報を計測する技術が発達し、脳と機械とを直接つなぐインターフェースであるブレインマシンインターフェース（ＢＭＩ：Ｂｒａｉｎ－Ｍａｃｈｉｎｅ－Ｉｎｔｅｒｆａｃｅ）が現実的になってきている。このような技術として、例えば、特許文献１に記載されたものがある。特許文献１は、ユーザが刺激を受けたとき、ユーザから複数の定常状態視覚誘発反応電位信号を得て、システムコマンド信号を供給するものである。

特開２０１３－１１７９５７号公報

従来のＢＭＩは、脳波コマンドを実行するときに、無関係な刺激があると、その刺激が脳波に表れて実行されてしまうおそれがある。例えば、ロボットに対して「前進」と念じると、ロボットが前進する前進コマンドの場合、周囲の誰かが「前進」と言っただけで、脳が勝手に「前進」を想起し、前進コマンドが発行されてしまう。また、ロボットの動きを見ながら操作している場合、ロボットが前進している様子がモニタに映し出されていると、それを見た操作者の脳は勝手に「前進」を想起し続けるため、勝手に前進コマンドが発行されてしまう。

本発明は、上記に鑑みてなされたものであって、無関係な刺激に影響されることなく、適切な脳波コマンドを実行可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る操作制御装置は、ユーザの脳情報を取得する脳情報取得部と、前記脳情報取得部が取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する判定部と、前記判定部が前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する実行部と、を備える。

本発明に係る操作制御方法は、ユーザの脳情報を取得する工程と、取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する工程と、前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する工程と、を含む。

本発明に係るプログラムは、ユーザの脳情報を取得する工程と、取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する工程と、前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する工程と、をコンピュータに実行させる。

本発明によれば、無関係な刺激に影響されることなく、適切な脳波コマンドを実行することができるという効果を奏する。

図１は、第１実施形態に係る操作制御装置の構成例を示すブロック図である。 図２は、第１実施形態に係る操作制御装置における処理の流れを示すフローチャートである。 図３は、第２実施形態に係る操作制御装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る操作制御装置、操作制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

＜第１実施形態＞
［操作制御装置］
図１は、第１実施形態に係る操作制御装置の構成例を示すブロック図である。

第１実施形態において、図１に示すように、操作制御装置１０は、ユーザの脳情報に基づいて操作対象物５０を操作制御するものである。操作制御装置１０は、脳波取得部（脳情報取得部）１１と、脳波デコーダ１２と、実行コマンドバッファ１３と、イメージコマンドバッファ１４と、記憶部１５と、処理部１６と、表示制御部１７と、表示部１８と、通信部１９とを備える。

操作対象物５０は、例えば、ロボットであるが、ロボットに限定されるものではなく、通信により作動する装置等であればよい。操作対象物５０は、図示しないが、駆動装置と、駆動装置を制御する制御装置と、制御信号などを受信可能な通信部が設けられる。操作対象物５０は、通信部が制御信号を受信すると、制御装置は、駆動装置を駆動することで、ロボットを作動する。

脳波取得部１１は、ユーザの頭部に装着可能である。脳波デコーダ１２と処理部１６と表示制御部１７と表示部１８と通信部１９は、ユーザが装着していてもよいし、装着せずに所定の位置に載置されていてもよい。また、脳波取得部１１と脳波デコーダ１２と処理部１６と表示制御部１７と表示部１８と通信部１９は、一体に設けられてもよいし、それぞれ別体に設けられていてもよい。

脳波取得部１１は、ユーザの脳情報である脳波を取得するものである。脳波取得部１１は、例えば、脳の神経ネットワークに流れる微弱な電流から出る脳波を検出する電気センサ（例えば、電極）を有する。脳波取得部１１は、ユーザが外部から刺激を受けたときや、ユーザの思念などの思考に基づく、微弱な電流の電位（電気信号）を検出する。なお、脳情報取得部は、脳波取得部１１に限定されるものではない。脳情報取得部は、例えば、ユーザの脳情報である脳活動による血流量を、例えば、近赤外光計測などによって取得するものであってもよい。脳波取得部１１は、脳波デコーダ１２に接続され、ユーザから取得した脳情報である脳波を脳波デコーダ１２に送信する。

脳波デコーダ１２は、脳波取得部１１が取得したユーザの脳波の電気信号をユーザの思考情報に復元する。この場合、事前に、ユーザの脳波の複数の電気信号とユーザの思考情報との関係を紐付けておく。この場合、例えば、ディープラーニング（深層学習）などによる機械学習を用いて、脳波の電気信号とユーザの思考情報との関係を紐付ける。

実行コマンドバッファ１３は、ユーザの思考情報に基づいて判定部２１が判定した第１コマンドを一時的に記憶する。第１コマンドは、言語体系（文字情報）に関連付けられた脳情報に基づくコマンドである。また、第１コマンドは、操作対象物５０を作動させるためのコマンドであり、例えば、「前進」「後退」「停止」「加速」「減速」「右旋回」「左旋回」などのコマンドである。この場合、事前に、第１コマンドと操作対象物５０の動作との関係は紐付けられている。実行コマンドバッファ１３は、処理部１６との間で各種データの送受信が可能である。

なお、第１コマンドは、指示する動作を示す概念に限るものではなく、指示する動作を示す概念を補完する数値などを付加したものであってもよい。例えば、脳波デコーダ１０３は、脳波取得部１１が取得した電気信号に基づいて、ユーザの思考情報に復元すると同時に、脳波の強度を０から１までの小数で検出し、ユーザの思考情報に強度（数値）を付加して第１コマンドを設定してもよい。この場合、第１コマンドの数値は、操作対象物５０に設けられた駆動装置のトルク出力の最大値の計数である。

イメージコマンドバッファ１４は、ユーザの思考情報に基づいて判定部２１が判定した第２コマンドを一時的に記憶する。第２コマンドは、言語体系（文字情報）に関連付けられた脳情報に基づくコマンドである。また、第２コマンドは、第１コマンドの実行を決定するためのコマンドである。第１コマンドに対応する第２コマンドは、予めユーザが設定し、記憶部１５に記憶される。なお、第２コマンドは、処理部１６が設定し、記憶部１５に記憶されると共に、予めユーザに通知しておいてもよい。イメージコマンドバッファ１４は、処理部１６との間で各種データの送受信が可能である。

第２コマンドは、ユーザが操作部材を操作する動作を表すイメージコマンドである。操作部材は、例えば、レバー、ペダル、ハンドル、ダイヤルなどユーザが操作可能な可動部を有する。可動部の可動方向は、直線移動や回転などであり、その他の方向であってもよい。また、操作部材は、ユーザの手や足など身体の一部で可動部を操作可能なものである。第２コマンドとしてのイメージコマンドは、ユーザが操作部材の可動部を、例えば、「ＯＮ」位置から「ＯＦＦ」位置への移動、または、「ＯＦＦ」位置から「ＯＮ」位置への移動の動作を表現するものである。また、第２コマンドとしてのイメージコマンドは、ユーザが操作部材の可動部を、例えば、「レベル０」位置から「レベル１」位置への移動、または、「レベル１」位置から「レベル０」位置への移動の動作を表現するものである。

ここで、操作部材の可動部が「ＯＮ」位置から「ＯＦＦ」位置へ移動するイメージコマンドや「レベル１」位置から「レベル０」位置へ移動するイメージコマンドは、第１コマンドの「停止」に対応する。一方、操作部材の可動部が「ＯＦＦ」位置から「ＯＮ」位置へ移動するイメージコマンドや「レベル１」位置から「レベル０」へ移動するイメージコマンドは、第１コマンドの「前進」や「後退」に対応する。

記憶部１５は、複数の第１コマンド（実行コマンド）および複数の第２コマンド（イメージコマンド）を記憶する。また、記憶部１５は、ユーザの脳波の電気信号と思考情報との関連を機械学習させた学習データなどが格納されてもよい。第２コマンドは、予め第１コマンドと対応付けられている。

実行コマンドバッファ１３およびイメージコマンドバッファ１４は、例えば、処理部１６が備えるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子などの記録部である。記憶部１５は、メモリカードやＳＳＤ（Solid State Drive）、外部記憶装置などで構成される。

処理部１６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。処理部１６は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。処理部１６は、図示しない内部メモリが含まれ、内部メモリは、処理部１６におけるデータの一時記憶などに用いられる。処理部１６は、判定部２１と、実行部２２とを機能として有する。また、処理部１６は、処理結果を表示制御部１７および通信部１９に送信する。

判定部２１は、脳波取得部１１が取得して脳波デコーダ１２が復元したユーザの思考情報が、異なる２つの第１コマンド（実行コマンド）および第２コマンド（イメージコマンド）に対応する脳波であるか否かを判定する。

具体的に、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に記憶された第１コマンド（実行コマンド）とを比較する。このとき、判定部２１は、ユーザの思考情報が第１コマンドに一致したとき、ユーザの思考情報が第１コマンドであると判定する。このとき、判定部２１は、第１コマンドであると判定したコマンドを実行コマンドバッファ１３に格納する。一方、判定部２１は、ユーザの思考情報が第１コマンドに一致しないとき、ユーザの思考情報が第１コマンドでないと判定する。このとき、判定部２１は、第１コマンドではないと判定したコマンドを実行コマンドバッファ１３に格納しない。判定部２１による、脳波デコーダ１２が復元したユーザの思考情報と、第１コマンドのとの一致の判断は、ユーザの思考情報が、第１コマンドを意味することが判断できれば、完全一致ではなくとも一致と判断する。

また、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に記憶された第２コマンド（イメージコマンド）とを比較する。このとき、判定部２１は、ユーザの思考情報が第２コマンドに一致したとき、ユーザの思考情報が第２コマンドであると判定する。判定部２１は、ユーザの思考情報が第２コマンドであると判定したとき、第２コマンドをイメージコマンドバッファ１４に格納する。一方、判定部２１は、ユーザの思考情報が記憶部１５に記憶された第２コマンドに一致しないとき、ユーザの思考情報が第２コマンドでないと判定する。判定部２１は、ユーザの思考情報が第２コマンドではないと判定したとき、第２コマンドをイメージコマンドバッファ１４に格納しない。

なお、第２コマンドは、ユーザが操作部材を操作する動作を表すイメージコマンドであり、操作部材は、ユーザの脳内にイメージする仮想的なものである。そのため、判定部２１は、ユーザの思考情報が、第２コマンドを意味する操作部材とその操作方向が一致していれば、完全に一致していなくても、一致していると判断してもよい。

また、判定部２１は、実行コマンドバッファ１３に格納された第１コマンド（実行コマンド）と、イメージコマンドバッファ１４に格納された第２コマンド（イメージコマンド）とが、対応付けられた関係か否かを判断する。この場合、判定部２１は、ユーザの思考情報が第１コマンド（実行コマンド）に対応する脳波であると判定したとき、ユーザの思考情報が第２コマンド（イメージコマンド）に対応する脳波であるか否かの判定を行う。但し、判定部２１は、ユーザの思考情報が第２コマンド（イメージコマンド）に対応する脳波であると判定したとき、ユーザの思考情報が第１コマンド（実行コマンド）に対応する脳波であるか否かの判定を行ってもよい。

なお、第２コマンドは、どのようなイメージの種類であってもよいし、複数のイメージの中から選択可能としてもよい。例えば、判定部２１は、第１コマンドが「前進」であるとき、第２のコマンドとしての操作部材は、レバー、ペダル、ハンドル、ダイヤルなどのいずれであってもよく、ユーザの思考情報が操作部材のうちのいずれかに一致すれば、第１コマンドに対応付けられた第２コマンドであると判定してもよい。

実行部２２は、判定部２１が第１コマンドに対応する脳波および第２コマンドに対応する脳波を取得したと判定したとき、第１コマンドに対応する処理を実行する。具体的に、実行部２２は、判定部２１により最初に取得したユーザの思考情報が第１コマンドであると判定され、判定部２１により次に取得したユーザの思考情報が、第１コマンドに対応付けられた第２コマンドであると判定すると、第１コマンドとしての実行コマンドに対応する処理を実行する。

但し、実行部２２は、判定部２１が第１コマンドの取得を判定してから、例えば３秒間など、予め設定された待機時間が経過すると、取得した第１コマンドをキャンセルする。また、実行部２２は、判定部２１が第１コマンドの取得を判定してから、処理部１６が、ユーザの思考としてキャンセルコマンドを取得すると、取得した第１コマンドをキャンセルする。キャンセルコマンドは、予め設定されたものであり、事前に、ユーザの脳波の電気信号とユーザの思考情報（キャンセルコマンド）との関係は紐付けられ、記憶部１５に記憶しておく。キャンセルコマンドとは、例えば、「×」「キャンセル」など、第１コマンドとは異なるシンボルや概念などである。

表示制御部１７は、表示部１８が接続される。表示制御部１７は、処理部１６から送信された処理結果を表示部１８に送信して表示させる。表示制御部１７は、処理部１６の処理結果である操作制御装置１０の動作状態やユーザに対する思考指示を表示部１８に表示させる。

表示部１８は、表示制御部１７から送信された操作制御装置１０の動作状態やユーザに対する思考指示を表示する。表示部１８は、ユーザに必要情報を提示する。表示部１８は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。

通信部１９は、操作対象物５０との間で無線通信が可能である。通信部１９は、処理部１６が処理した処理情報を操作対象物５０に送信する。具体的に、判定部２１が第１コマンドに対応する脳波および第２コマンドに対応する脳波を取得したと判定したとき、実行部２２は、第１コマンドの処理に対応する制御信号を生成して通信部１９に送る。通信部１９は、第１コマンドの処理に対応する制御信号を操作対象物５０に送信する。操作対象物５０は、通信部１９によって送信された第１コマンドを受信することで、第１コマンドの処理に対応して作動する。

［操作制御方法］
ここで、操作制御装置１０による操作制御方法について説明する。図２は、第１施形態に係る操作制御装置における処理の流れを示すフローチャートである。

図１および図２に示すように、ステップＳ１１にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンド（実行コマンド）を想起させる指示を表示する。表示制御部１７は、例えば、「第１コマンドを想起してください」などの操作内容を意味する第１コマンド想起を指示するメッセージを表示部１８に表示する。

ステップＳ１２にて、判定部２１は、脳波取得部１１が取得して脳波デコーダ１２が復元したユーザの思考情報が第１コマンド（実行コマンド）に対応する脳波であるか否かを判定する。ここで、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に格納された第１コマンドとを比較し、ユーザの思考情報が第１コマンドに一致しないと判定（Ｎｏ）すると、ユーザの思考情報が第１コマンドでないとしてこのルーチンを抜ける。一方、判定部２１は、ユーザの思考情報が記憶部１５に格納された第１コマンドに一致したと判定（Ｙｅｓ）すると、ユーザの思考情報が第１コマンドであるとして、判定部２１は、第１コマンドを実行コマンドバッファ１３に格納し、ステップＳ１３に移行する。

ステップＳ１３にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第２コマンド（イメージコマンド）を想起させる指示を表示する。表示制御部１７は、例えば、「第２コマンドを想起してください」などの操作内容を意味する第１コマンド想起を指示するメッセージを表示部１８に表示する。ここで、ユーザは、表示部１８の表示に対して、第２コマンドを想起する。例えば、操作対象物５０を前進させる場合、操作部材の可動部を「ＯＦＦ」位置から「ＯＮ」位置へ移動する動作をイメージする。

ステップＳ１４にて、処理部１６は、判定部２１が第１コマンドの取得を判定してから、予め設定された待機時間が経過することで、タイムアウトしたか否かを判定する。処理部１６は、タイムアウトしたと判定（Ｙｅｓ）すると、ステップＳ２０にて、取得した第１コマンドをキャンセルする。そして、ステップＳ２１にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドをキャンセルしたことを表示する。表示制御部１７は、例えば、「タイムアウトです」などのタイムアウトしたメッセージを表示部１８に表示する。

処理部１６は、タイムアウトしていない判定（Ｎｏ）すると、ステップＳ１５にて、キャンセルコマンドに対応する脳波を検出したか否かを判定する。処理部１６は、キャンセルコマンドに対応する脳波を検出したと判定（Ｙｅｓ）すると、ステップＳ２２にて、取得した第１コマンドをキャンセルする。そして、ステップＳ２３にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドをキャンセルしたことを表示する。表示制御部１７は、例えば、「第１コマンドをキャンセルします」などの第１コマンドをキャンセルしたメッセージを表示部１８に表示する。

一方、処理部１６がキャンセルコマンドに対応する脳波を検出しないと判定（Ｎｏ）すると、ステップＳ１６にて、判定部２１は、第２コマンド（イメージコマンド）に対応する脳波を検出したか否かを判定する。すなわち、判定部２１は、例えば、ユーザが操作部材の可動部を「ＯＦＦ」位置から「ＯＮ」位置へ移動する動作のイメージの脳波を検出したか否かを判定する。ここで、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に格納された第２コマンドとを比較し、ユーザの思考情報が第２コマンドに一致しないと判定（Ｎｏ）すると、ステップＳ１４に戻り、処理を継続する。

一方、判定部２１は、ユーザの思考情報が記憶部１５に格納された第２コマンドに一致したと判定（Ｙｅｓ）すると、ユーザの思考情報が第２コマンドであるとして判定した第２コマンドをイメージコマンドバッファ１４に格納する。すなわち、判定部２１は、ユーザが操作部材の可動部を「ＯＦＦ」位置から「ＯＮ」位置へ移動する動作のイメージの脳情報を検出すると、検出した第２コマンドをイメージコマンドバッファ１４に格納する。さらに、判定部２１は、ステップＳ１７において、ステップＳ１２で判定され実行コマンドバッファ１３に格納された第１コマンドと、ステップＳ１６で判定されイメージコマンドバッファ１４に格納された第２コマンドが、予め関連性が対応付けられた第１コマンドおよび第２コマンドであるか判定する。判定部２１は、第１コマンドと第２コマンドが対応付けられていないと判定（Ｎｏ）すると、ステップＳ１４に戻る。判定部２１は、第１コマンドと第２コマンドが対応付けられている判定（Ｙｅｓ）すると、ステップＳ１８に移行する。

ステップＳ１８にて、実行部２２は、第１コマンドに対応する処理を実行する。すなわち、実行部２２は、第１コマンドの処理に対応する制御信号を通信部１９により操作対象物５０に送信し、操作対象物５０を作動させる。そして、ステップＳ１９にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドを実行したことを表示する。表示制御部１７は、例えば、「加速コマンドを実行しました」などの第１コマンドを実行したメッセージを表示部１８に表示する。

＜第２実施形態＞
図３は、第２実施形態に係る操作制御装置における処理の流れを示すフローチャートである。なお、第２実施形態の基本的な構成は、上述した第１実施形態と同様であり、図１を用いて説明し、なお、上述した第１実施形態と同様の機能を有する部材には、同一の符号を付して詳細な説明は省略する。

第２実施形態において、図１に示すように、操作制御装置１０は、ユーザの脳情報に基づいて操作対象物５０を操作制御するものである。操作制御装置１０は、脳波取得部１１と、脳波デコーダ１２と、実行コマンドバッファ１３と、イメージコマンドバッファ１４と、記憶部１５と、処理部１６と、表示制御部１７と、表示部１８と、通信部１９とを備える。ここで、脳波取得部１１、脳波デコーダ１２、実行コマンドバッファ１３、イメージコマンドバッファ１４、表示制御部１７、表示部１８、通信部１９は、第１実施形態と同様であり、説明は省略する。

記憶部１５は、複数の第１コマンドおよび複数の第２コマンド（イメージコマンド）を記憶する。第１コマンドは、前述したように、操作対象物５０の操作内容を意味する実行コマンドである。第２コマンドは、第１コマンドの実行を決定するためのコマンドである。

第２コマンドは、ユーザが操作部材を操作する動作を表すイメージコマンドである。第２コマンドとしてのイメージコマンドは、操作部材の可動部を予め設定された所定量以上操作する動作を表現するコマンドである。第２コマンドとしてのイメージコマンドは、ユーザが操作部材の可動部を、例えば、「０」位置から「前方」位置への移動の動作、または、「０」位置から「後方」位置への移動の動作を表現するものである。この場合、可動部の「０」位置から「前方」位置への移動方向と、「０」位置から「後方」位置への移動方向は、逆方向となる。そして、「０」位置と「前方」位置との間および「０」位置と「後方」位置への間に不感帯（あそび）が設定される。

すなわち、可動部を「０」位置から「前方」位置へ移動するとき、可動部を、「０」位置から「前方」位置までの距離の２５％以上移動したときの操作部材の動作をイメージコマンドとする。また、可動部を「０」位置から「後方」位置へ移動するとき、可動部を、「０」位置から「後方」位置までの距離の２５％以上移動したときの操作部材の動作をイメージコマンドとする。ここで、操作部材の可動部が「０」位置から「前方」位置へ移動するイメージコマンドは、第１コマンドの「前進」に対応付けられる。一方、操作部材の可動部が「０」位置から「後方」位置へ移動するイメージコマンドは、第１コマンドの「後退」に対応付けられる。

なお、可動部を「前方」位置から「０」位置へ移動するとき、可動部を、「前方」位置から「０」位置までの距離の２５％以上移動したときの操作部材の動作をイメージコマンドとする。また、可動部を「後方」位置から「０」位置へ移動するとき、可動部を、「後方」位置から「０」位置までの距離の２５％以上移動したときの操作部材の動作をイメージコマンドとする。ここで、操作部材の可動部が「前方」位置から「０」位置へ移動するイメージコマンド、操作部材の可動部が「後方」位置から「０」位置へ移動するイメージコマンドは、第１コマンドの「停止」に対応付けられる。

この場合、第２コマンド（イメージコマンド）として、不感帯（あそび）の量、つまり、操作部材の可動部を移動する所定量は、操作部材の形態に合わせて適宜設定すればよい。また、第２コマンド（イメージコマンド）として、不感帯（あそび）の量、つまり、操作部材の可動部を移動する所定量は、予めユーザに報知されている。

なお、操作部材の可動部を移動する距離を、操作対象物５０の移動量や移動速度などとして検出してもよい。

処理部１６は、判定部２１と、実行部２２とを機能として有する。判定部２１は、脳波取得部１１が取得して脳波デコーダ１２が復元したユーザの思考情報が、異なる２つの第１コマンド（実行コマンド）および第２コマンド（イメージコマンド）に対応する脳波であるか否かを判定する。判定部２１は、脳波取得部１１が取得した脳波が操作部材を予め設定された所定量（例えば、全距離の２５％）以上操作する動作を表現する第２コマンドに対応する脳波であるか否かを判定する。

ここで、操作制御装置１０による操作制御方法について説明する。図３は、第２施形態に係る操作制御装置における処理の流れを示すフローチャートである。

図１および図３に示すように、ステップＳ１１～Ｓ１５およびステップＳ２０～Ｓ２３の処理は、第１実施形態と同様であり、説明は省略する。

ステップＳ１６にて、判定部２１は、第２コマンド（イメージコマンド）に対応する脳波を検出したか否かを判定する。すなわち、判定部２１は、例えば、ユーザが操作部材の可動部を「ＯＦＦ」位置から「ＯＮ」位置へ移動する動作のイメージの脳情報を検出したか否かを判定する。ここで、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に格納された第２コマンドとを比較し、ユーザの思考情報が第２コマンドに一致しないと判定（Ｎｏ）すると、ステップＳ１４に戻り、処理を継続する。

一方、判定部２１は、ユーザの思考情報が記憶部１５に格納された第２コマンドに一致したと判定（Ｙｅｓ）すると、ステップＳ３１に移行する。ステップＳ３１にて、判定部２１は、第２コマンド（イメージコマンド）として検出したイメージが、操作部材の可動部が所定量だけ移動する動作のイメージであるか否かを判定する。ここで、判定部２１は、第２コマンド（イメージコマンド）として検出したイメージが、操作部材の可動部を所定量だけ移動する動作のイメージではないと判定（Ｎｏ）すると、ステップＳ１４に戻り、処理を継続する。

なお、このとき、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に操作部材の移動量が足りないことを表示してもよい。表示制御部１７は、例えば、「操作部材を所定量以上移動するイメージを想起してください」などの第２コマンドを想起させるメッセージを表示部１８に表示してもよい。

一方、判定部２１は、第２コマンド（イメージコマンド）として検出したイメージが、操作部材の可動部を所定量だけ移動する動作のイメージであると判定（Ｙｅｓ）すると、ユーザの思考情報が第２コマンドであるとして判定した第２コマンドをイメージコマンドバッファ１４に格納する。すなわち、判定部２１は、ユーザが操作部材の可動部を「ＯＦＦ」位置から「ＯＮ」位置へ所定量以上移動する動作のイメージの脳情報を検出すると、検出した第２コマンドをイメージコマンドバッファ１４に格納する。

ステップＳ１７において、判定部２１は、ステップＳ１２で判定され実行コマンドバッファ１３に格納された第１コマンドと、ステップＳ１６，Ｓ１７で判定されイメージコマンドバッファ１４に格納された第２コマンドが、予め関連性が対応付けられた第１コマンドおよび第２コマンドであるか判定する。判定部２１は、第１コマンドと第２コマンドが対応付けられていないと判定（Ｎｏ）すると、ステップＳ１４に戻る。判定部２１は、第１コマンドと第２コマンドが対応付けられている判定（Ｙｅｓ）すると、ステップＳ１８に移行する。

ステップＳ１８にて、実行部２２は、第１コマンドに対応する処理を実行する。すなわち、実行部２２は、第１コマンドの処理に対応する制御信号を通信部１９により操作対象物５０に送信し、操作対象物５０を作動させる。そして、ステップＳ１９にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドを実行したことを表示する。表示制御部１７は、例えば、「加速コマンドを実行しました」などの第１コマンドを実行したメッセージを表示部１８に表示する。

［効果］
本実施形態では、ユーザの脳情報を取得する脳波取得部（脳情報取得部）１１と、脳波取得部１１が取得した脳情報が操作対象物５０を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する判定部２１と、判定部２１が第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したと判定したときに第１コマンドに対応する処理を実行する実行部２２とを備える。

そのため、第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したときに、第１コマンドに対応する処理を実行することで、操作対象物５０を作動する。すなわち、操作内容を意味する第１コマンドに対応する脳情報を取得しても、操作内容を実行する意思を表す第２コマンドに対応する脳情報を取得しないと、第１コマンドに対応する処理が実行されない。そのため、第１コマンドの内容および実行タイミングがより安全で的確に発動されることとなり、無関係な刺激に影響されることなく、適切な脳波コマンドを実行することができる。

また、判定部２１は、第２コマンドとして操作部材を操作する動作を表現するイメージコマンドであるか否かを判定するため、ユーザが操作対象物５０を操作する意思を的確に検出することができる。

また、本実施形態では、第１コマンドは、操作対象物５０を操作するための操作内容を意味する言語体系に基づくコマンドであり、第２コマンドは、操作対象物５０の操作内容の実行の意思を意味するイメージ体系に基づくコマンドである。そのため、第２コマンドに対応する脳情報を取得することで、ユーザが操作対象物５０の操作内容の実行の意思を確認することができ、適切な脳波コマンドを実行することができる。

また、本実施形態では、判定部２１は、脳波取得部１１が取得した脳波が操作部材を予め設定された所定量以上操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する。そのため、ユーザが操作対象物５０を操作する意思を的確に検出することで、適切な脳波コマンドを実行することができる。

これまで本発明に係る操作制御装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した操作制御装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

操作制御装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１０ 操作制御装置
１１ 脳波取得部（脳情報取得部）
１２ 脳波デコーダ
１３ 実行コマンドバッファ
１４ イメージコマンドバッファ
１５ 記憶部
１６ 処理部
１７ 表示制御部
１８ 表示部
１９ 通信部
５０ 操作対象物

Claims (5)

1. ユーザの脳情報を取得する脳情報取得部と、
   前記脳情報取得部が取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する判定部と、
   前記判定部が前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する実行部と、
   を備える操作制御装置。
2. 前記第１コマンドは、操作対象物を操作するための操作内容を意味する言語体系に基づくコマンドであり、前記第２コマンドは、前記操作対象物の操作内容の実行の意思を意味するイメージ体系に基づくコマンドである、
   請求項１に記載の操作制御装置。
3. 前記判定部は、前記脳情報取得部が取得した脳情報が前記操作部材を予め設定された所定量以上操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する、
   請求項１または請求項２に記載の操作制御装置。
4. ユーザの脳情報を取得する工程と、
   取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する工程と、
   前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する工程と、
   を含む操作制御方法。
5. ユーザの脳情報を取得する工程と、
   取得した脳情報が操作対象物を操作するための操作内容を意味する第１コマンドおよび操作部材を操作する動作を表現する第２コマンドに対応する脳情報であるか否かを判定する工程と、
   前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する工程と、
   をコンピュータに実行させるプログラム。

Images