JP2018026066A - 制御システム - Google Patents

Abstract

【課題】神経電位情報を用いる制御システムにおいてセンサー機器装着の煩雑さをなくす。【解決手段】センサーパッド部１００を使用者の首後部に装着し、使用者の動作に応じた神経電位情報を得て、コントローラソフト３２０が神経電位情報から制御信号を生成することで、デジタルコンテンツや電子機器を制御することができる。また、センサーパッド部１００を使用者の首後部に装着するだけであるので、センサーパッド部１００の装着が容易である。【選択図】図１

Description

本発明は、神経電位を用いてデジタルコンテンツ及び娯楽用電子機器を制御する技術に関する。

従来の神経電位を用いた技術には、四肢などで分化した神経電位を測定し義肢を動かすものがある。

従来のデジタルコンテンツの制御には、ボタンやスティックあるいはタッチパネルを用いるものがある。また、カメラ等によりモーションキャプチャリングを行って、そこから得られた動作情報により制御するものがある。また、筋電位情報を取得してその情報をもとに制御するものがある。

従来の娯楽用電子機器の制御には、ボタンやスティックを用いるものがある。

従来の神経電位を用いた技術では、１つの神経電位センサーで１つの動作しか認識できない。複数の動作を認識しようとするならば、身体の複数箇所に神経電位センサー機器を装着しなければならないのでセンサーの装着のために手数を要し、時として衣服を脱がなければならない。日常の生活環境で神経電位情報を使用する場合、装着の手間がかかることは望ましくない。

カメラによるモーションキャプチャリングを利用する技術では、シルエットに変化の無い腹筋や背筋などの動作は捉えることができない。

ボタンやスティックを使った制御やカメラによるモーションキャプチャリングによる制御では四肢に障害があった場合の用に適さない。

筋電位を用いた制御では制御要因としたい動作に対応する筋肉部位に対してセンサーを設置する必要があり、複数箇所の動作を取得しようとした場合は複数箇所にセンサーを取り付けることとなるので、センサーの装着に手間がかかる。

本発明は上記課題に鑑みてなされたものであり、神経電位情報を用いる制御システムにおいてセンサー機器装着の煩雑さをなくすことを目的とする。

本発明に係る制御システムは、使用者が筋肉を動かそうとしたときに流れる神経電位信号を含む生体電位信号を取得するセンサーパッドと、 前記センサーパッドが取得した前記生体電位信号の周波数パターンから制御信号を生成する制御信号生成部と、を有することを特徴とする。

上記制御システムにおいて、前記センサーパッドは、前記使用者の首後部に装着することを特徴とする。

本発明を利用することで、神経電位情報を用いる制御システムにおいてセンサー機器装着の煩雑さをなくすことができる。

本発明の実施形態の外観を示す図である。 本発明の実施形態の構成を示す図である。 ビッグデータによる機械学習を示す図である。 ユーザー毎のキャリブレーションを示す図である。 本発明が実稼働中の特定動作の判断を示す図である。

本発明では、センサー機器装着箇所を首の後など複数の神経群が集まる箇所の表皮とし、神経群から表皮に漏れ出る電位を測定し、AIの機械学習を用いて解析することで特定の動作時の神経電位信号を検出する。

神経群が集まる箇所から取得した電位情報は求める動作の神経電位情報以外にも様々な電位信号を含んでいるが、まずは波形解析を行いパワースペクトル情報に変換する。この際の波形分析にはフーリエ変換などの手法を用いる。

波形解析によって入手したパワースペクトル情報を、あらかじめ機械学習を行ったAIにより解析し、使用者が行おうとしている動作を割り出す。

あらかじめ行うAIの機械学習の第一段階として、本発明のセンサー機器を装着したサンプル提供者にあらかじめ設定した検出したい特定動作や、検出したい特定動作を含む複合動作を行ってもらい、そこで得られるパワースペクトル情報を学習用の素材データとする。この動作サンプル提供者はなるべく多数を用意し、学習の精度を上げる。

AIの機械学習の第二段階として、実際に本発明を使用するユーザーに本発明のセンサー機器を装着してもらい、特定の動作を行ってもらってパワースペクトル情報を得、その情報によってそれまでの学習に対して微調整をかける。

実際に本発明を使用した際に得られるパワースペクトルデータは機械学習を完了したAIに送られ、すでに学習した特定動作時の周波数パターンと比較され、一致した場合は特定動作が行われている事が検出される。

使用者が行おうとしている動作が、接続したコンテンツや電子機器の制御のために登録したものだった場合、デジタルコンテンツや娯楽用電子機器へそれぞれの形式に則った制御情報に変換して伝える。

本発明を実施する為の形態を図１を用いて説明する。
図１では例として、首後部にセンサーパッド部１００を装着し、耳朶に基準電位電極１２０を装着し、腰のベルトに送信部２００を装着している。送信部２００から送信した電波をゲーム機などのコンピューター３００が受け、本発明のコントロールソフトが内容を解析した後、コンテンツに制御信号を送る。制御信号を受けたコンテンツはテレビモニターなどの出力機器４００上でコンテンツのオブジェクト４１０をアニメーションさせたりする。センサーパッド部１００に基準電位電極１２０及び／又は送信部２００を内蔵してもよい。

本発明の実施形態のシステム構成を図２を用いて説明する。
本システムはセンサーパッド部１００、送信部２００、コントローラーソフト３２０をインストールしたコンピューター３００から成る。

センサーパッド部１００は使用者の首後部など複数の神経が集まる箇所の表皮に装着され、そこを流れる神経電位信号を神経電位取得電極１１０にて取得する。ここで取得した神経電位信号には、本制御システムが利用する使用者が筋肉を動かそうとするときに流れる神経電位信号に加えて、付近の筋肉から発した筋電位情報、体表のノイズ電位である基準電位が含まれている。

運動神経や筋肉の無い部分（例えば耳朶）に装着した基準電位電極１２０によって取得した基準電位を用い、基準電位フィルタリング部１３０によって差分を取ることでフィルタリングを行い、基準電位分の電位を除外する。

フィルタリングされて得た筋・神経電位情報は伝送の途中で影響を受けやすいアナログ情報である為、アナログ・デジタル変換部１４０にてデジタル情報に変換する。

デジタル化された筋・神経電位情報は送信部２００に送られ、Bluetooth（登録商標）やUSBや音波通信などの伝送規格に合わせて送信される。送信部２００とコンピューター３００とは有線で接続されていてもよい。

伝送された筋・神経電位情報は、コンピューター３００の受信部３１０によって受け取られ、本実施形態のコントロールソフト３２０へ送られる。ここでいうコンピューター３００とは本実施形態のコントロールソフト３２０をインストールできるコンピューター機器全てを指す。PC、スマートフォン、携帯電話、ゲーム機などに加え、娯楽用電子機器に搭載されたコンピューターのうち本実施形態のコントローラーソフトをインストール可能なものも含む。

コントローラーソフト３２０は受け取った筋・神経電位情報を、波形変換部３２１にて、周波数毎の強さに分解したパワースペクトルに変換する。この波形解析はフーリエ変換などの技術を使用する。

パワースペクトル化されたデータはAI部３２２に送られ、特定の動作を示す周波数パターンが含まれているかどうかを判断する。

AI部３２２により特定の動作を示す周波数パターンが含まれていることが検出された場合、その動作内容と強さを、制御信号変換部３２３に送る。

制御信号変換部３２３においては、あらかじめコンテンツや娯楽電子機器と接続した時点で有意な動作とそのID、及び強さのデータ形式が決められている。

制御信号変換部３２３は受け取った動作内容とその強さをあらかじめ決められているデータ形式に変換し、コンテンツ制御部３３０や、娯楽電子機器５００へつながる送信部３４０へ制御信号として出力する。

コンテンツ制御部３３０や娯楽電子機器５００は制御信号を受け取り、任意のイベントを行う事が可能である。コンテンツによるイベントは、モニターやヘッドマウントディスプレイやスピーカーなどの出力機器において表現される。

例えば、コンテンツにおいては、キャラクターやオブジェクトをアニメーションさせたり、グラフィックや映像や文字や記号を変化させたり、サウンドを変化させたり、場面を変えたり、内部パラメーターを変化させたりできる。娯楽用電子機器においては、照明やサウンドや香りなどを変化させたり、ロボット玩具を動かしたり、ドローンを操作したりする事が可能である。また、振動機能やEMS機能を備えた機器やフィットネス機器や美容機器やVR機器の制御も可能である。

AIがパワースペクトルデータから特定の動作を検出する手順は３段階からなり、これを図3、図4、図5を用いて説明する。

１：ビッグデータによる機械学習（図3）
サンプルデータ提供者に本実施形態のセンサーパッド部１００を装着してもらい、特定の動作を行った際のパワースペクトル情報を取得する。他の動作と同時に行った際のパワースペクトル情報、異なる被験者によって行ったパワースペクトル情報など、可能な限り多種大量のデータを集める。
集まったデータをAIの機械学習にかけて、共通して出現する周波数パターンを求め、特定動作の基本周波数パターンとする。

２：ユーザー毎のキャリブレーション（図4）
本実施形態のセンサーパッド部１００を装着したユーザーに特定の動作を複数回行ってもらい、そこで取得されるパワースペクトルデータを収集する。収集したパワースペクトルデータは重みをつけられたデータとして、再度AIによる機械学習にかけられ、1で求めた特定動作の基本周波数パターンを補正し、特定ユーザーの特定動作の周波数パターンが決定される。

３：本発明が実稼働中の特定動作の判断（図5）
ユーザーが本発明を装着して、本発明のコントロールソフトによって制御するデジタルコンテンツや娯楽用電子機器を稼働している間、本発明は瞬間瞬間のユーザーの電位情報を取得し続け、AIに瞬間瞬間のパワースペクトル情報を送り続ける。AIは受信したパワースペクトル情報と２で求めた特定ユーザーの特定動作の周波数パターンとの合致を判断し続ける。
特定ユーザーの特定動作の周波数パターンと同定できるパワースペクトル情報を認めた場合、AIは特定動作の検出とみなし、その強さとともに、制御信号変換部へと信号を送る。

以上説明したように、本実施形態では、センサーパッド部１００を使用者の首後部に装着し、使用者の動作に応じた神経電位情報を得て、コントローラーソフト３２０が神経電位情報から制御信号を生成することで、使用者の身体感覚によりデジタルコンテンツや電子機器を制御することができる。また、センサーパッド部１００を使用者の首後部に装着するだけであるので、センサーパッド部１００の装着が容易である。本実施形態では、義肢などの医療目的での使用ほどの精度の厳密さは必要としないため、センサー機器装着箇所を一箇所として測定精度が落ちても問題はない。

本実施形態では、筋肉が動く前の信号を捉えるため、四肢に障害がある場合でも動作命令自体を制御要因とすることができる。また、神経電位に加えて他の生体電位信号を解析して制御信号とすることができる。

１００ センサーパッド部、 １１０ 神経電位取得電極、 １２０ 基準電位電極、 １３０ 基準電位フィルタリング部、 １４０ アナログ・デジタル変換部、 ２００ 送信部、 ３００ コンピューター、３１０ 受信部、 ３２０ コントローラーソフト、 ３２１ 波形変換部、 ３２２ AI部、 ３２３ 制御信号変換部、 ３３０ コンテンツ制御部、 ３４０ 送信部、 ４００ 出力機器、 ４０１ コンテンツ内オブジェクト、５００ 娯楽電子機器

Claims (3)

1. 使用者の身体感覚でデジタルコンテンツ又は電子機器を制御する制御システムであって、
   前記使用者が筋肉を動かそうとしたときに流れる神経電位信号を含む生体電位信号を取得するセンサーパッドと、
   前記センサーパッドが取得した前記生体電位信号の周波数パターンから制御信号を生成する制御信号生成部と、
   を有することを特徴とする制御システム。
2. 前記センサーパッドは、前記使用者の首後部に装着することを特徴とする請求項１に記載の制御システム。
3. 前記制御信号によりデジタルコンテンツ又は電子機器を制御することを特徴とする請求項１又は２に記載の制御システム。

Images