JP2023015680A - 操作制御装置、操作制御方法およびプログラム - Google Patents

Abstract

【課題】無関係な刺激に影響されることなく、適切な脳波コマンドを実行可能とする操作制御装置、操作制御方法及びプログラムを提供する。【解決手段】操作制御装置１０は、ユーザの脳情報を取得する脳波取得部（脳情報取得部）１１と、脳情報取得部１１が取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定する判定部２１と、判定部２１が第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したと判定したときに第１コマンドに対応する処理を実行する実行部２２と、を備える。【選択図】図１

Description

本発明は、操作制御装置、操作制御方法およびプログラムに関する。

近年、脳の情報を計測する技術が発達し、脳と機械とを直接つなぐインターフェースであるブレインマシンインターフェース（ＢＭＩ：Ｂｒａｉｎ－Ｍａｃｈｉｎｅ－Ｉｎｔｅｒｆａｃｅ）が現実的になってきている。このような技術として、例えば、特許文献１に記載されたものがある。特許文献１は、ユーザが刺激を受けたとき、ユーザから複数の定常状態視覚誘発反応電位信号を得て、システムコマンド信号を供給するものである。

特開２０１３－１１７９５７号公報

従来のＢＭＩは、脳波コマンドを実行するときに、無関係な刺激があると、その刺激が脳波に表れて実行されてしまうおそれがある。例えば、ロボットに対して「前進」と念じると、ロボットが前進する前進コマンドの場合、周囲の誰かが「前進」と言っただけで、脳が勝手に「前進」を想起し、前進コマンドが発行されてしまう。また、ロボットの動きを見ながら操作している場合、ロボットが前進している様子がモニタに映し出されていると、それを見た操作者の脳は勝手に「前進」を想起し続けるため、勝手に前進コマンドが発行されてしまう。

本発明は、上記に鑑みてなされたものであって、無関係な刺激に影響されることなく、適切な脳波コマンドを実行可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る操作制御装置は、ユーザの脳情報を取得する脳情報取得部と、前記脳情報取得部が取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定する判定部と、前記判定部が前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する実行部と、を備える。

本発明に係る操作制御方法は、ユーザの脳情報を取得するステップと、取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定するステップと、前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行するステップと、を含む。

本発明に係るプログラムは、ユーザの脳情報を取得するステップと、取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定するステップと、前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行するステップと、をコンピュータに実行させる。

本発明によれば、無関係な刺激に影響されることなく、適切な脳波コマンドを実行することができるという効果を奏する。

図１は、本実施形態に係る操作制御装置の構成例を示すブロック図である。 図２は、本実施形態に係る操作制御装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る操作制御装置、操作制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［操作制御装置］
図１は、本実施形態に係る操作制御装置の構成例を示すブロック図である。

本実施形態において、図１に示すように、操作制御装置１０は、ユーザの脳情報に基づいて操作対象物５０を操作制御するものである。操作制御装置１０は、脳波取得部（脳情報取得部）１１と、脳波デコーダ１２と、コマンドバッファ１３と、パスワードバッファ１４と、記憶部１５と、処理部１６と、表示制御部１７と、表示部１８と、通信部１９とを備える。

操作対象物５０は、例えば、ロボットであるが、ロボットに限定されるものではなく、通信により作動する装置等であればよい。操作対象物５０は、図示しないが、駆動装置と、駆動装置を制御する制御装置と、制御信号などを受信可能な通信部が設けられる。操作対象物５０は、通信部が制御信号を受信すると、制御装置は、駆動装置を駆動することで、ロボットを作動する。

脳波取得部１１は、ユーザの頭部に装着可能である。脳波デコーダ１２と処理部１６と表示制御部１７と表示部１８と通信部１９は、ユーザが装着していてもよいし、装着せずに所定の位置に載置されていてもよい。また、脳波取得部１１と脳波デコーダ１２と処理部１６と表示制御部１７と表示部１８と通信部１９は、一体に設けられてもよいし、それぞれ別体に設けられていてもよい。

脳波取得部１１は、ユーザの脳情報である脳波を取得するものである。脳波取得部１１は、例えば、脳の神経ネットワークに流れる微弱な電流から出る脳波を検出する電気センサ（例えば、電極）を有する。脳波取得部１１は、ユーザが外部から刺激を受けたときや、ユーザの思念などの思考に基づく、微弱な電流の電位（電気信号）を検出する。なお、脳情報取得部は、脳波取得部１１に限定されるものではない。脳情報取得部は、例えば、ユーザの脳情報である脳活動による血流量を、例えば、近赤外光計測などによって取得するものであってもよい。脳波取得部１１は、脳波デコーダ１２に接続され、ユーザから取得した脳情報である脳波を脳波デコーダ１２に送信する。

脳波デコーダ１２は、脳波取得部１１が取得したユーザの脳波の電気信号をユーザの思考情報に復元する。この場合、事前に、ユーザの脳波の複数の電気信号とユーザの思考情報との関係を紐付けておく。この場合、例えば、ディープラーニング（深層学習）などによる機械学習を用いて、脳波の電気信号とユーザの思考情報との関係を紐付ける。

コマンドバッファ１３は、ユーザの思考情報に基づいて判定部２１が判定した第１コマンドを一時的に記憶する。第１コマンドは、操作対象物５０を作動させるためのコマンドであり、例えば、「前進」「後退」「停止」「加速」「減速」「右旋回」「左旋回」などのコマンドである。この場合、事前に、第１コマンドと操作対象物５０の動作との関係は紐付けられている。コマンドバッファ１３は、処理部１６との間で各種データの送受信が可能である。

なお、第１コマンドは、指示する動作を示す概念に限るものではなく、指示する動作を示す概念を補完する数値などを付加したものであってもよい。例えば、脳波デコーダ１０３は、脳波取得部１１が取得した電気信号に基づいて、ユーザの思考情報に復元すると同時に、脳波の強度を０から１までの小数で検出し、ユーザの思考情報に強度（数値）を付加して第１コマンドを設定してもよい。この場合、第１コマンドの数値は、操作対象物５０に設けられた駆動装置のトルク出力の最大値の計数である。

パスワードバッファ１４は、ユーザの思考情報に基づいて判定部２１が判定した第２コマンドであるパスワードを一時的に記憶する。第２コマンドであるパスワードは、第１コマンドの実行を決定するためのコマンドである。コマンドに対応するパスワードは、予めユーザが設定し、記憶部１５に記憶される。なお、パスワードは、処理部１６が設定し、記憶部１５に記憶されると共に、予めユーザに通知しておいてもよい。パスワードは、文字列や物のイメージ、抽象的な概念などを１つ以上組み合わせたものである。パスワードは、異なる第１コマンドに対して共通である１つの共通のパスワードを設定してもよいし、異なる第１コマンドごとに異なる複数の個別のパスワードを設定してもよい。第１コマンドである「前進」「後退」「停止」「加速」「減速」「右旋回」「左旋回」ごとに個別のパスワードを設定することで、勢い余って次の第１コマンドを発行する事態を避けることができる。パスワードバッファ１４は、処理部１６との間で各種データの送受信が可能である。

記憶部１５は、複数の第１コマンドおよび複数の第２コマンドであるパスワードを記憶する。また、記憶部１５は、ユーザの脳波の電気信号と思考情報との関連を機械学習させた学習データなどが格納されてもよい。第２コマンドは、予め第１コマンドと対応付けられている。

コマンドバッファ１３およびパスワードバッファ１４は、例えば、処理部１６が備えるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子などの記録部である。記憶部１５は、メモリカードやＳＳＤ（Solid State Drive）、外部記憶装置などで構成される。

処理部１６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。処理部１６は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。処理部１６は、図示しない内部メモリが含まれ、内部メモリは、処理部１６におけるデータの一時記憶などに用いられる。処理部１６は、判定部２１と、実行部２２とを機能として有する。また、処理部１６は、処理結果を表示制御部１７および通信部１９に送信する。

判定部２１は、脳波取得部１１が取得して脳波デコーダ１２が復元したユーザの思考情報が、異なる２つの第１コマンドおよび第２コマンド（パスワード）に対応する脳波であるか否かを判定する。

具体的に、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に記憶された第１コマンドとを比較する。このとき、判定部２１は、ユーザの思考情報が第１コマンドに一致したとき、ユーザの思考情報が第１コマンドであると判定する。このとき、判定部２１は、第１コマンドであると判定したコマンドをコマンドバッファ１３に格納する。一方、判定部２１は、ユーザの思考情報が第１コマンドに一致しないとき、ユーザの思考情報が第１コマンドでないと判定する。このとき、判定部２１は、第１コマンドではないと判定したコマンドをコマンドバッファ１３に格納しない。判定部２１による、脳波デコーダ１２が復元したユーザの思考情報と、第１コマンドのとの一致の判断は、ユーザの思考情報が、第１コマンドを意味することが判断できれば、完全一致ではなくとも一致と判断する。

また、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に記憶されたパスワードとを比較する。このとき、判定部２１は、ユーザの思考情報がパスワードに一致したとき、ユーザの思考情報がパスワードであると判定する。判定部２１は、ユーザの思考情報がパスワードであると判定したとき、パスワードをパスワードバッファ１４に格納する。一方、判定部２１は、ユーザの思考情報が記憶部１５に記憶されたパスワードに一致しないとき、ユーザの思考情報がパスワードでないと判定する。判定部２１は、ユーザの思考情報がパスワードではないと判定したとき、パスワードをパスワードバッファ１４に格納しない。

また、判定部２１は、コマンドバッファ１３に格納されたコマンドと、パスワードバッファ１４に格納されたパスワードとが、対応付けられた関係か否かを判断する。

実行部２２は、判定部２１が第１コマンドに対応する脳波およびパスワードに対応する脳波を取得したと判定したとき、第１コマンドに対応する処理を実行する。具体的に、実行部２２は、判定部２１により最初に取得したユーザの思考情報が第１コマンドであると判定され、判定部２１により次に取得したユーザの思考情報がパスワードであると判定すると、第１コマンドに対応する処理を実行する。

但し、実行部２２は、判定部２１が第１コマンドの取得を判定してから、例えば３秒間など、予め設定された待機時間が経過すると、取得した第１コマンドをキャンセルする。また、実行部２２は、判定部２１が第１コマンドの取得を判定してから、処理部１６が、ユーザの思考としてキャンセルコマンドを取得すると、取得した第１コマンドをキャンセルする。キャンセルコマンドは、予め設定されたものであり、事前に、ユーザの脳波の電気信号とユーザの思考情報（キャンセルコマンド）との関係は紐付けられ、記憶部１５に記憶しておく。キャンセルコマンドとは、例えば、「×」「キャンセル」など、第１コマンドとは異なるシンボルや概念などである。

表示制御部１７は、表示部１８が接続される。表示制御部１７は、処理部１６から送信された処理結果を表示部１８に送信して表示させる。表示制御部１７は、処理部１６の処理結果である操作制御装置１０の動作状態やユーザに対する思考指示を表示部１８に表示させる。

表示部１８は、表示制御部１７から送信された操作制御装置１０の動作状態やユーザに対する思考指示を表示する。表示部１８は、ユーザに必要情報を提示する。表示部１８は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。

通信部１９は、操作対象物５０との間で無線通信が可能である。通信部１９は、処理部１６が処理した処理情報を操作対象物５０に送信する。具体的に、判定部２１が第１コマンドに対応する脳波およびパスワードに対応する脳波を取得したと判定したとき、実行部２２は、第１コマンドの処理に対応する制御信号を生成して通信部１９に送る。通信部１９は、第１コマンドの処理に対応する制御信号を操作対象物５０に送信する。操作対象物５０は、通信部１９によって送信された第１コマンドを受信することで、第１コマンドの処理に対応して作動する。

［操作制御方法］
ここで、操作制御装置１０による操作制御方法について説明する。図２は、本施形態に係る操作制御装置における処理の流れを示すフローチャートである。

図１および図２に示すように、ステップＳ１１にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドを想起させる指示を表示する。表示制御部１７は、例えば、「第１コマンドを想起してください」などの操作内容を意味する第１コマンド想起を指示するメッセージを表示部１８に表示する。

ステップＳ１２にて、判定部２１は、脳波取得部１１が取得して脳波デコーダ１２が復元したユーザの思考情報が第１コマンドに対応する脳波であるか否かを判定する。ここで、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に格納された第１コマンドとを比較し、ユーザの思考情報が第１コマンドに一致しないと判定（Ｎｏ）すると、ユーザの思考情報が第１コマンドでないとしてこのルーチンを抜ける。一方、判定部２１は、ユーザの思考情報が記憶部１５に格納された第１コマンドに一致したと判定（Ｙｅｓ）すると、ユーザの思考情報が第１コマンドであるとして、判定部２１は、第１コマンドをコマンドバッファ１３に格納し、ステップＳ１３に移行する。

ステップＳ１３にて、処理部１６は、判定部２１が第１コマンドの取得を判定してから、予め設定された待機時間が経過することで、タイムアウトしたか否かを判定する。処理部１６は、タイムアウトしたと判定（Ｙｅｓ）すると、ステップＳ１８にて、取得した第１コマンドをキャンセルする。そして、ステップＳ１９にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドをキャンセルしたことを表示する。表示制御部１７は、例えば、「タイムアウトです」などのタイムアウトしたメッセージを表示部１８に表示する。

処理部１６は、タイムアウトしていない判定（Ｎｏ）すると、ステップＳ１４にて、キャンセルコマンドに対応する脳波を検出したか否かを判定する。処理部１６は、キャンセルコマンドに対応する脳波を検出したと判定（Ｙｅｓ）すると、ステップＳ２０にて、取得した第１コマンドをキャンセルする。そして、ステップＳ２１にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドをキャンセルしたことを表示する。表示制御部１７は、例えば、「第１コマンドをキャンセルします」などの第１コマンドをキャンセルしたメッセージを表示部１８に表示する。

一方、処理部１６は、キャンセルコマンドに対応する脳波を検出しないと判定（Ｎｏ）すると、ステップＳ１５にて、判定部２１は、第２コマンド（パスワード）に対応する脳波を検出したか否かを判定する。ここで、判定部２１は、脳波デコーダ１２が復元したユーザの思考情報と、記憶部１５に格納されたパスワードとを比較し、ユーザの思考情報がパスワードに一致しないと判定（Ｎｏ）すると、ステップＳ１３に戻り、処理を継続する。

一方、判定部２１は、ユーザの思考情報が記憶部１５に格納されたパスワードに一致したと判定（Ｙｅｓ）すると、ユーザの思考情報がパスワードであるとして判定したパスワードをパスワードバッファ１４に格納する。さらに、判定部２１は、ステップＳ１６において、ステップＳ１２で判定されコマンドバッファ１３に格納された第１コマンドと、ステップＳ１５で判定されパスワードバッファ１４に格納されたパスワードが、予め関連性が対応付けられた第１コマンドおよびパスワードであるか判定する。判定部２１は、第１コマンドとパスワードが対応付けられていないと判定（Ｎｏ）すると、ステップＳ１３に戻る。判定部２１は、第１コマンドとパスワードが対応付けられている判定（Ｙｅｓ）すると、ステップＳ１７に移行する。

ステップＳ１７にて、実行部２２は、第１コマンドに対応する処理を実行する。すなわち、実行部２２は、第１コマンドの処理に対応する制御信号を通信部１９により操作対象物５０に送信し、操作対象物５０を作動させる。そして、ステップＳ１８にて、処理部１６は、表示制御部１７を制御することで、ユーザに対して表示部１８に第１コマンドを実行したことを表示する。表示制御部１７は、例えば、「加速コマンドを実行しました」などの第１コマンドを実行したメッセージを表示部１８に表示する。

［効果］
本実施形態では、ユーザの脳情報を取得する脳波取得部１１と、脳波取得部１１が取得した脳情報が異なる２つの第１コマンドおよび第２コマンド（パスワード）に対応する脳情報であるか否かを判定する判定部２１と、判定部２１が第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したと判定したときに第１コマンドに対応する処理を実行する実行部２２とを備える。

そのため、第１コマンドに対応する脳情報および第２コマンドに対応する脳情報を取得したときに、第１コマンドに対応する処理を実行することで、操作対象物５０を作動する。すなわち、操作内容を意味する第１コマンドに対応する脳情報を取得しても、操作内容を実行する意思を表す第２コマンドに対応する脳情報を取得しないと、第１コマンドに対応する処理が実行されない。そのため、第１コマンドの内容および実行タイミングがより安全で的確に発動されることとなり、無関係な刺激に影響されることなく、適切な脳波コマンドを実行することができる。

また、本実施形態では、第１コマンドが操作対象物５０を操作するための操作内容を意味するコマンドであり、第２コマンドが操作対象物５０の操作内容の実行の意思を意味するコマンドである。そのため、第２コマンドに対応する脳情報を取得することで、ユーザが操作対象物５０の操作内容の実行の意思を確認することができ、適切な脳波コマンドを実行することができる。

また、本実施形態では、実行部２２は、判定部２１が第１コマンドに対応する脳情報を取得したと判定してから、予め設定された待機時間が経過すると、取得した第１コマンドをキャンセルする。そのため、第１コマンドが取得されてからパスワードを想起するまでの待ち時間を設定することで、第１コマンドを取得した保留状態の継続を制限し、操作対象物５０の操作指令の間違いを抑制することができる。

これまで本発明に係る操作制御装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した操作制御装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

操作制御装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１０ 操作制御装置
１１ 脳波取得部（脳情報取得部）
１２ 脳波デコーダ
１３ コマンドバッファ
１４ パスワードバッファ
１５ 記憶部
１６ 処理部
１７ 表示制御部
１８ 表示部
１９ 通信部
５０ 操作対象物

Claims (5)

1. ユーザの脳情報を取得する脳情報取得部と、
   前記脳情報取得部が取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定する判定部と、
   前記判定部が前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行する実行部と、
   を備える操作制御装置。
2. 前記第１コマンドは、操作対象物を操作するための操作内容を意味するコマンドであり、前記第２コマンドは、前記操作対象物の操作内容の実行の意思を意味するコマンドである、
   請求項１に記載の操作制御装置。
3. 前記実行部は、前記判定部が前記第１コマンドに対応する脳情報を取得したと判定してから、予め設定された待機時間が経過すると、取得した前記第１コマンドをキャンセルする、
   請求項１または請求項２に記載の操作制御装置。
4. ユーザの脳情報を取得するステップと、
   取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定するステップと、
   前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行するステップと、
   を含む操作制御方法。
5. ユーザの脳情報を取得するステップと、
   取得した脳情報が異なる２つの第１コマンドおよび第２コマンドに対応する脳情報であるか否かを判定するステップと、
   前記第１コマンドに対応する脳情報および前記第２コマンドに対応する脳情報を取得したと判定したときに前記第１コマンドに対応する処理を実行するステップと、
   をコンピュータに実行させるプログラム。

Images