JP2012000228A - 筋活動診断装置および方法、並びにプログラム - Google Patents

Abstract

【課題】日常生活に支障のない範囲で効率的に筋電位の変化を取得し、刻々と変化する人の筋肉の活動状態を特定することができるようにする。
【解決手段】入力信号処理部４１から出力される信号は、ＡＤコンバータ４２の処理を経てヒルベルト変換部４３によりヒルベルト変換される。逆フーリエ変換部４４は、ヒルベルト変換結果について逆フーリエ変換を行って位相を９０°ずらした波形の信号を生成する。位相図生成部４５は、元信号と変換後信号に基づいて位相図し、位相速度計算部４６は、位相図に基づいて位相速度を計算する。状態検出部４７は、ＡＤコンバータ４２から出力された信号と位相速度計算部４６から出力された信号に基づいて、ユーザ２０の顔の動きや表情などを特定する。
【選択図】図１

Description

本発明は、筋活動診断装置および方法、並びにプログラムに関し、特に、日常生活に支障のない範囲で効率的に筋電位の変化を取得し、刻々と変化する人の筋肉の活動状態を特定することができるようにする筋活動診断装置および方法、並びにプログラムに関する。

人の表情筋の運動に伴い発生する筋電位の変化は、たくさんの筋肉が同時に動くために、筋電信号から、どのような表情であるかを見るためには、人体の様々な部位にセンサを取り付ける必要があった（例えば、特許文献１乃至特許文献３参照）。

また、生体情報を得るデバイスとして、耳の外耳道から筋電位などの生体情報を得ることは、イヤホンなどの装置との融合を図ることによって可能となる（例えば、特許文献４参照）。

さらに、筋電位の変化を定量的に把握できるように、検出されたデータにフーリエ変換を施す技術も提案されている（例えば、特許文献５参照）。

また、筋電位デジタルデータに対してウェーブレット変換を適用し、周波数の時間変化（ダイナミックスペクトラム）を求め、その広帯域で生じる変化の生起時間を検出することで、運動開始時刻を自動的に検出する技術も提案されている（例えば、特許文献６参照）。

特開２０００−２８５２２１号公報 特開平１０−１４３３０９号公報 特開昭６３−１７２３２２号公報 特開昭２００８−６７９１１号公報 特開平０１−８６９３６号公報 特許３９８３９８９号公報

しかしながら、特許文献１乃至３のように、様々な部位にセンサを取り付けると、日常生活上の違和感を伴うものとなる。例えば、表情筋の動きを知り、表情を推定し、推定された表情に基づいて機器を動作させようとした場合、顔面にたくさんの電極が貼り付けられることになり、日常生活の妨げとなってしまう。

また、特許文献４の技術では、実際の生活環境の中では非常に大きなノイズが発生してしまうため、生体信号を得ることが難しかった。

さらに、特許文献５に示されるようにフーリエ変換を施して各部位の筋活動を検出する場合、信号波形を相当時間蓄積して解析した後でなければ、確実な検出結果は期待できない。また、特許文献６に示されるようにウェーブレット変換を施し筋電の活動開始時刻を求めることはできても、活動している筋肉の同定は不可能だった。

本発明はこのような状況に鑑みてなされたものであり、日常生活に支障のない範囲で効率的に筋電位の変化を取得し、刻々と変化する人の筋肉の活動状態を特定することができるようにするものである。

本発明の一側面は、被験者から筋電信号を取得する取得手段と、前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成する変換後信号生成手段と、前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出する位相速度算出手段と、単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定する状態特定手段とを備える筋活動診断装置である。

前記取得手段は、前記被験者の外耳道に挿入されたイヤホン型センサから得られた電気信号を差動検出してデジタル化することで前記筋電信号を取得するようにすることができる。

前記状態特定手段は、前記被験者の顔の中の複数の部位の筋肉の活動状態を特定し、前記特定された複数の部位の筋肉の活動状態に基づいて推定される前記被験者の表情を表す信号を出力するようにすることができる。

前記イヤホン型センサには、前記被験者の筋肉の活動により生じる電気信号を検出するための筋電電極と、前記被験者の耳の中の電位と前記イヤホン型センサ内の回路の電位との差である基準電圧を検出するための電圧検出電極と、前記基準電圧を反転増幅することにより発生させたフィードバック電圧を供給するためのフィードバック電極が設けられているようにすることができる。

前記状態特定手段は、予め用意された前記単位時間内の前記筋電信号の波形の前記複数の特徴量をパラメータとし、前記パラメータと前記被験者の筋肉の活動状態とを対応づけたサンプルに基づく機械学習を行い、前記機械学習の結果に基づいて、前記筋電信号の前記複数の特徴量を識別することで前記被験者の体の所定の部位の筋肉の活動状態を特定するようにすることができる。

前記機械学習による識別方式としてアダブーストを用いるようにすることができる。

本発明の一側面は、取得手段が、被験者から筋電信号を取得し、変換後信号生成手段が、前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成し、位相速度算出手段が、前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出し、状態特定手段が、単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定するステップを含む筋活動診断方法である。

本発明の一側面は、コンピュータを、被験者から筋電信号を取得する取得手段と、前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成する変換後信号生成手段と、前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出する位相速度算出手段と、単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定する状態特定手段とを備える筋活動診断装置として機能させるプログラムである。

本発明の一側面においては、被験者から筋電信号が取得され、前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号が生成され、前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度が算出され、単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態が特定される。

本発明によれば、日常生活に支障のない範囲で効率的に筋電位の変化を取得し、刻々と変化する人の筋肉の活動状態を特定することができる。

本発明の一実施の形態に係る表情検出装置の構成例を示すブロック図である。 元信号と変換後信号の波形の例を示す図である。 位相図の例を示す図である。 位相速度を説明する図である。 位相速度の算出の方式を説明する図である。 人のほほの筋肉が活動している場合の筋電信号の位相速度を示す図である。 人のあごの筋肉が活動している場合の筋電信号の位相速度を示す図である。 筋電信号の位相速度と筋電信号の振幅に基づいて、顔の動きや表情が特定される例を説明する図である。 筋電信号の周波数スペクトルの例を示す図である。 イヤホン型センサの側面図である。 図１０のイヤホン型センサの正面図である。 イヤホン型センサの装着について説明する図である。 筋電信号の機械学習を説明する図である。 機械学習による効果を説明する図である。 表情検出処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係る表情検出装置の構成例を示すブロック図である。

同図に示される表情検出装置１０は、ユーザ２０の耳に装着されたイヤホン型センサにより筋電信号を検出し、検出された筋電信号に基づいてユーザ２０の顔の筋肉の活動を特定することで、ユーザ２０の顔の動きや表情を検出するようになされている。なお、筋電信号は、筋肉を動かす時に発生する微弱な電気信号である。

筋電信号は、活動している筋肉の部位に応じて異なる周波数特性を示すことが知られている。例えば、ほほの筋肉が活動しているときは、比較的低周波の信号成分が大きい筋電信号が出力され、あごの筋肉が活動しているときは、比較的高周波の信号成分が大きい筋電信号が出力されることが分かっている。

表情検出装置１０は、筋電信号の周波数特性を解析し、得られた周波数特性に基づいておおよそどの部位の筋肉が活動しているかを特定するようになされている。また、表情検出装置１０は、筋電信号の振幅に基づいて、当該部位の筋肉の活動の大きさを特定するようになされている。そして、活動している筋肉の部位とその活動の大きさに基づいて、ユーザ２０の顔の動きや表情が検出されるようになされている。

イヤホン型センサの詳細な構成については後述するが、イヤホン型センサには、筋電信号を検出するための筋電電極、ユーザ２０の耳の中の電位とイヤホン型センサ内の回路の電位とを調整するための電圧検出電極、およびフィードバック電極が設けられている。筋電電極は、信号線５１と信号線５２に接続され、電圧検出電極とフィードバック電極は、それぞれ信号線５３と信号線５４に接続される。

フィルタ反転増幅回路４８は、信号線５３を介して検出された基準電圧（ユーザ２０の耳の中の電位とイヤホン型センサ内の回路の電位との差）を、反転増幅することによりフィードバック電圧を発生させ、信号線５４に供給するようになされている。

なお、表情検出装置１０は、フィルタ反転増幅回路４８を有しない構成とすることも可能である。

イヤホン型センサにより検出された筋電信号は、信号線５１と信号線５２を介して入力信号処理部４１に入力される。入力信号処理部４１は、信号線５１と信号線５２のそれぞれから得られる電気信号の差分を増幅して出力するようになされている。

入力信号処理部４１は、例えば内部に差動検出部、フィルタ、アンプを有する構成とされる。差動検出部においては、信号線５１と信号線５２から得られる信号を０．１μF程度のコンデンサーでカップリングして入力インピーダンス１０Ｇオーム以上の計測アンプを経由させ、差動信号を生成する。

フィルタは、例えば、バンドパスフィルタとノッチフィルタを有する構成とされ、差動信号のノイズを除去するようになされている。フィルタは、例えば、１００Hzから１kHzまでのバンドパスフィルタを２次以上（望ましくは４次）有し、フィルタのＱ値は０．３から０．８とすることが望ましい。そして、５０Hzの信号が非常に大きいためノッチフィルタを４次で挿入する。

フィルタから出力された信号は、アンプにより増幅されて出力される。アンプは、１０００倍以上５００００倍以下で増幅倍率を調整できるものを用いる。

なお、上述した入力信号処理部４１の構成は一例であり、これとは異なる構成が採用されるようにしてもよい。

入力信号処理部４１から出力される信号は、ＡＤコンバータ４２に供給され、デジタルデータに変換される。ＡＤコンバータ４２は、例えば、１ｋサンプル/sec以上４０ｋサンプル/sec以下のサンプリングレートで信号をサンプリングして信号を生成し、ヒルベルト変換部４３、位相図生成部４５、状態検出部４７に供給する。

なお、ＡＤコンバータ４２から出力される信号は、イヤホン型センサにより検出された実際の筋電信号のノイズを除去して増幅し、サンプリングして波形が整形されたものとなるので、この信号を筋電信号として扱ってよい。

ヒルベルト変換部４３は、ＡＤコンバータ４２から出力される信号をヒルベルト変換して出力するようになされている。

ここで、ヒルベルト変換について説明する。

フーリエ変換の演算子をＸで表わすことにする。所定の周波数ωについてのフーリエ変換は、式（１）により表わされる。なお、式中のｅは自然対数の底を表す。

・・・（１）

式（１）における実数部を虚数部で表わす式（２）を定義する。

・・・（２）

式（２）に示される演算子Ｈで表わされるものがヒルベルト変換である。ヒルベルト変換では、フーリエ変換と同様に、複数の周波数ωのそれぞれについて所定の値が要素として算出される。いま、周波数ωがｎ個あるものとし、第ｎ番目の周波数ωｎについてヒルベルト変換により算出される要素ｈ[ｎ]は、式（３）で表わされる。

・・・（３）

ヒルベルト変換部４３は、ＡＤコンバータ４２から出力される信号（元信号と称する）をヒルベルト変換して算出された式（３）に示される要素を、ｎ個それぞれ出力する。

逆フーリエ変換部４４は、ヒルベルト変換部４３から出力されたｎ個の要素について逆フーリエ変換を行うようになされている。これにより、全周波数帯域において、元信号の位相を９０°ずらした波形の信号が生成されることになる。

位相図生成部４５は、元信号と逆フーリエ変換部４４から出力された信号（変換後信号と称する）に基づいて位相図を生成するようになされている。位相図生成部４５は、元信号の値を横軸にとり、変換後信号の値を縦軸にとった位相図を生成するようになされている。

図２は、元信号と変換後信号の波形の例を示す図である。図２Ａは、横軸が時間、縦軸が電圧とされ、元信号の波形が示されている。図２Ｂは、横軸が時間、縦軸が電圧とされ、変換後信号の波形が示されている。図２Ｂの波形は、図２Ａの波形と同時刻において位相が９０°ずれている。

図３は、図２Ａに示される元信号と図２Ｂに示される変換後信号に基づいて生成される位相図の例を示す図である。同図は、横軸が元信号の電圧、縦軸が変換後信号の電圧とされ、同時刻における元信号の電圧と変換後信号の電圧により特定される点をプロットしていくことで、輪を描くように波形が示されている。同図の座標（０，０）が波形（輪）の中心となり、図中の線Ｒで示される距離が元信号（または変換後信号）の振幅を表すことになる。

なお、位相図生成部４５は、図３に示されるような位相図を生成して表示などするものではなく、実際には位相図に対応するデータを生成するものである。すなわち、図３に示される位相図はいわば仮想的に生成されるものである。

図１に戻って、位相速度計算部４６は、位相図生成部４５により生成された位相図に基づいて信号の位相速度を計算するようになされている。位相速度は、例えば、図４に示されるように、輪を描くような波形の中で、２つの振幅である図中の線Ｒ１と線Ｒ２を特定し、線Ｒ１と線Ｒ２の間の角度φをその間の時間で割ることにより得られる。

位相速度計算部４６では、位相図生成部４５により生成された位相図を利用して、例えば、時間ｔを経て変化する座標であって、図５に示されるような位置Ａの座標と位置Ｂの座標を求める。そして、位相速度計算部４６は、位相（角度）φを次のようにして計算する。すなわち、図５中の位置Ａ、位置Ｂおよび中心点によって３角形が形成される。この３角形のそれぞれの辺の長さをa,b,cで表わすと、式（４）と式（５）によって、位相φを算出することができる。

・・・（４）

・・・（５）

式（５）に示されるように、φをアークサインによって求めることにより、ｔが短い時間であり、φが小さな値でも計算感度を高く保つことができる。ここで算出されたφを時間ｔで割って位相速度を求めることができる。位相速度計算部４６は、このようにしてφを算出するのである。

ここでは、位相速度を算出することとしているが、位相速度が特定されれば、筋電信号の周波数も特定できる。上述したように、筋電信号は、活動している筋肉の部位に応じて異なる周波数特性を示す。すなわち、筋電信号の周波数を検出する代わりに、位相速度を算出しているのである。例えば、信号の周波数を検出する場合、その信号が少なくとも１周期振幅するまで待たなくてはならないが、位相速度は、信号が１周期振幅するまで待たなくても算出することができる。

図６は、人のほほの筋肉が活動している場合の筋電信号の位相速度を示す図である。図７は、人のあごの筋肉が活動している場合の筋電信号の位相速度を示す図である。図６と図７においては、横軸が筋電信号の振幅（図３に示される線Ｒ）とされ、縦軸が筋電信号の位相速度とされ、筋電信号の位相速度の変化が波形として示されている。

図６に示されるように、ほほの筋肉が活動している場合、筋電信号の振幅に係らず位相速度は、線６１で示される閾値を超えていない。一方、図７に示されるように、あごの筋肉が活動している場合、筋電信号の位相速度が、線６１で示される閾値を超えている。

このように、例えば、位相速度を閾値判定することにより、現在、主にあごの筋肉が活動しているのか、主にほほの筋肉が活動しているのかを推定することができるのである。

図１に戻って、位相速度計算部４６は、上述したように算出した筋電信号の位相速度を、時刻に対応づけて出力する。すなわち、ＡＤコンバータ４２から出力された信号の各時刻における位相速度が位相速度計算部４６により算出されて、各時刻の位相速度の情報が状態検出部４７に出力されるのである。なお、この情報は、例えば、時間の経過に伴う位相速度の変化を表す信号として出力される。

状態検出部４７は、ＡＤコンバータ４２から出力された信号と位相速度計算部４６から出力された信号に基づいて、ユーザ２０の顔の動きや表情などを特定する信号を出力するようになされている。

図８は、筋電信号の位相速度と筋電信号の振幅に基づいて、ユーザ２０の顔の動きや表情が特定される例を説明する図である。同図において、図中上側に示されるグラフは、横軸が時間、縦軸が電圧値として筋電信号（ＡＤコンバータ４２から出力された信号）の波形を示したものである。図中下側に示されるグラフは、横軸が時間、縦軸が位相速度値として図中上側のグラフに示される筋電信号の位相速度の変化（位相速度計算部４６から出力された信号の波形）を示したものである。

図中上側のグラフの波形に基づいて、例えば、振幅の大きさを閾値判定するなどすれば、ユーザ２０の顔の筋肉のいずれかの部位が活動していると推定することができる。換言すれば、図中上側のグラフの波形の振幅の大きさが閾値未満であれば、ユーザ２０の顔の筋肉はほとんど活動していないと考えられる。

また、例えば、図６と図７を参照して説明したように、活動している筋肉の部位を判定するための位相速度の閾値を設定し、図中下側のグラフの波形に基づいて、ユーザ２０の顔の筋肉の中でおもにどの筋肉が活動しているかを推定することができる。

このようにすることで、状態検出部４７は、図８の上側のグラフの上部に示されるように「あご」、「ほほ」、・・・として、各時刻（実際には各単位時間）においてユーザ２０の顔の筋肉の中でおもにどの筋肉が活動しているかを特定する。

なお、ここでは、振幅の大きさと位相速度とを閾値判定する例について説明したが、後述するように複数のサンプルを機械学習させて、ユーザ２０の顔の筋肉の中でおもにどの筋肉が活動しているかを特定するようにしてもよい。

状態検出部４７は、例えば、おもにほほの筋肉が活動していると特定した場合、ユーザ２０は笑っていると考えられるので、表情「笑顔」に対応づけられた信号を出力する。また、例えば、おもにあごの筋肉が活動していると特定された場合、ユーザ２０は不快な表情をしていると考えられるので表情「不快」に対応づけられた信号が出力される。あるいはまた、「ほほ」、「あご」など筋肉の部位に対応付けられた信号が出力されるようにしてもよい。

状態検出部４７は、このようにして、ユーザ２０の顔の動きや表情などを特定する信号を出力するようになされている。

状態検出部４７が出力する信号を他の機器に送信するようにすれば、例えば、ユーザ２０が表情を変えるだけで機器を操作することも可能となる。

上述したように、本発明では筋電信号をヒルベルト変換して逆フーリエ変換し、元信号と変換後信号に基づく位相図から位相速度を算出するようにした。

例えば、従来より、筋電信号にフーリエ変換を施して周波数特性を解析することで、各部位の筋活動を検出することが行われていた。

図９は、人のほほの筋肉を動かしたときの筋電信号の周波数スペクトルと、人のあごの筋肉を動かしたときの筋電信号の周波数スペクトルの例を示す図である。同図は、横軸が周波数、縦軸はパワーとされ、図中上側にほほの筋肉を動かしたときの周波数スペクトルが示され、図中下側にあごの筋肉を動かしたときの周波数スペクトルが示されている。

図９に示されるように、ほほの筋肉が活動しているときは、比較的低周波の信号成分が大きい筋電信号が出力され、あごの筋肉が活動しているときは、比較的高周波の信号成分が大きい筋電信号が出力されることが分かる。このように、筋電信号にフーリエ変換を施して周波数スペクトルを得るようにすれば、おもにどの部位の筋肉が活動しているかを特定することが可能である。

しかし、筋電信号にフーリエ変換を施して周波数スペクトルを得る場合、信号波形を相当時間蓄積して解析した後でなければ、確実な検出結果は期待できない。例えば、図９に示される周波数スペクトルを得るためには、１０秒以上の時間を要する。

人の顔の動きや表情は、通常、同じものが長時間継続するものではなく、刻々と変化するものと考えられる。従って、筋電信号にフーリエ変換を施して周波数スペクトルを得る方式では、人の顔の動きや表情を逐次適確に特定することは難しい。

これに対して、本発明では、筋電信号をヒルベルト変換して逆フーリエ変換し、元信号と変換後信号の位相を利用して位相速度を得ることで、おもにどの部位の筋肉が活動しているかを特定することが可能である。従って、従来の技術と比較して信号波形の蓄積時間を非常に短い時間（例えば、０．４秒程度）とすることが可能となる。

すなわち、本発明では、例えば、０．４秒程度の単位時間毎に筋電信号の波形を解析し、位相速度と振幅の大きさ得ることによって、各単位時間におけるユーザ２０の顔の動きや表情を検出することができるのである。このようにすることで、人の顔の動きや表情を逐次適確に特定することが可能となる。

このようにして、表情検出装置１０は、ユーザ２０の顔の動きや表情を検出するようになされている。

次に、イヤホン型センサについて説明する。

図１０は、イヤホン型センサ７０の側面図である。同図に示されるようにイヤホン型センサ７０は、先端部に低反発ポリウレタン、シリコン樹脂、ポリプロピレン、軟質ゴムなどの柔らかい素材で形成されたイヤーピース７１が設けられている。そして、イヤーピース７１の上に電極が貼り付けられている。図１０においては、筋電電極８１、筋電電極８２、および電圧検出電極８３が貼り付けられている。また、後述するように図１０においては死角となる部分にフィードバック電極８４が貼り付けられている。

なお、上述したように、電圧検出電極８３は、ユーザ２０の耳の中の電位とイヤホン型センサ内の回路の電位との差である基準電圧を検出するための電極とされる。また、フィードバック電極８４は、基準電圧を反転増幅することにより発生させたフィードバック電圧を供給するための電極とされる。

各種の電極は、折れ曲がりによるしわを防ぐために、銀、塩化銀などを両面テープ、ＰＥＴフィルムなどのフィルム状のものに貼り付けた後にイヤーピース７１に貼り付けられる。なお、イヤーピース７１を耳に入れたときの引っ掛かりなどを防ぐために、イヤーピース７１には、各種の電極を埋め込む溝が設けられるようにするとよい。

各種の電極により検出された信号は、ケーブル７２の内部の信号線を介して送信されるようになされている。なお、ケーブル７２の内部には、図１を参照して上述した信号線５１乃至信号線５４が設けられている。

図１１は、イヤーピース７１を、図１０の左側からみた正面図である。同図に示されるように、イヤーピース７１の図中左側に３つの電極により構成されるフィードバック電極８４が貼り付けられている。また、図中の右側には、筋電電極８１、筋電電極８２、および電圧検出電極８３が貼り付けられている。電圧検出電極８３は、筋電電極８１と筋電電極８２との間に配置されるよう貼り付けられる。

図１２は、イヤホン型センサ７０の装着について説明する図である。イヤホン型センサ７０を、ユーザ２０の耳に装着する場合、同図に示されるように、筋電電極を耳珠側に向けて外耳道に挿入する。

なお、イヤホン型センサ７０の挿入方向を誤らないようにするため、例えば、イヤーピース７１を特殊な形状として構成するようにしてもよい。すなわち、ユーザ２０がイヤホン型センサ７０を外耳道に挿入する際には、筋電電極を耳珠側に向けざるを得ないような形状のイヤーピース７１を構成することが望ましい。

このように、本願発明によれば、ユーザ２０の耳にイヤホン型センサ７０を挿入するだけで、ユーザ２０の表情や顔の動きを特定することができる。

例えば、従来の技術を用いて、表情筋の動きを知り、表情を推定し、推定された表情に基づいて機器を動作させようとした場合、顔面にたくさんの電極が貼り付けられることになり、日常生活の妨げとなってしまう。

これに対して、本発明では耳にイヤホン型センサ７０を挿入するだけでよいので、日常生活の妨げとなることはない。

次に機械学習について説明する。上述したように、表情検出装置１０の状態検出部４７が、機械学習の結果に基づいてユーザ２０の表情や顔の動きを特定するようにしてもよい。

ここでは、機械学習の方式として「Adaboost」を用いることとする。アダブースト(「Adaboost」)は、学習を行う際に、境界領域で、繰り返し学習を行い、１回の学習では分離（識別）に失敗する事例についても、有効な分離（識別）ができるようにする手法である。上述した筋電信号振幅の大きさと位相速度の組み合わせを機械学習のパラメータとして用いる。

例えば、図１３に示されるような筋電信号を０.４秒のフレームに分解し、ユーザ２０の顔の３つの状態（「静止（無表情）」、「笑顔」、「咀嚼」）に対して５０個のサンプルを用意する。図１３は、横軸が時間、縦軸が電圧とされ、筋電信号（ＡＤコンバータ４２から出力される信号）の波形が示されている。

図１３の上側のグラフの波形は、ほほの筋肉が活動しているとき得られる筋電信号の波形であり、この場合、ユーザ２０の顔の状態は「笑顔」となる。図１３の下側のグラフの波形は、あごの筋肉が活動しているとき得られる筋電信号の波形であり、この場合、ユーザ２０の顔の状態は「咀嚼」となる。なお、図示されていないがユーザ２０の顔の状態が「静止」となっているときの筋電信号も取得して学習する。

図１３の下側に示される上向きのコの字型の図形１０１と図形１０２が、０.４秒のフレームの時間的長さを表している。このようなフレームによって筋電信号の波形が区切られていく。

機械学習を行うにあたり、「静止」、「笑顔」、および「咀嚼」の３つの状態の各筋電信号について０.４秒のフレームを５０個生成して各フレームの波形を取得する。そして、その波形の振幅の大きさと位相速度との組み合わせを学習のパラメータとして「静止」、「笑顔」、または「咀嚼」のそれぞれに対応づけて学習させる。さらに、学習結果に基づいて、実際に入力された筋電信号からユーザ２０の顔の状態の識別（特定）が行われることになる。

図１４は、機械学習の効果を説明する図である。同図は、「静止」、「笑顔」、および「咀嚼」の３つの状態について、機械学習による識別方式と機械学習によらない識別方式とを比較するものであり、「10-fold cross-validation」を用いて識別の精度を計算したものである。なお、「10-fold cross-validation」では、全データの９０%を学習データとして使用し、残り１０％がテストデータとして使用されユーザ２０の顔の状態の識別が行われることになる。

ここでは、機械学習による識別方式として上述したように、「Adaboost」が採用されており、機械学習によらない識別方式として単純な閾値判定が採用されている。また、ここでは、学習のパラメータの比較として、振幅の大きさと位相速度との組み合わせの他に、ゼロクロス回数と平均二乗誤差との組み合わせも採用されている。なお、ここでいう、振幅の大きさ、位相速度、ゼロクロス回数、平均二乗誤差は、それぞれ各フレームの波形から抽出される特徴量である。

図１４において、「閾値 位相速度・振幅」と記載されたものが、パラメータとして振幅の大きさと位相速度との組み合わせを用い、単純な閾値判定によりユーザ２０の顔の状態を識別したときの正答率を表している。

また、図１４において、「Adaboost 位相速度・振幅」と記載されたものが、パラメータとして振幅の大きさと位相速度との組み合わせを用い、「Adaboost」によりユーザ２０の顔の状態を識別したときの正答率を表している。

さらに、図１４において、「閾値 平均二乗誤差・ゼロクロス」と記載されたものが、パラメータとしてゼロクロス回数と平均二乗誤差との組み合わせ用い、単純な閾値判定によりユーザ２０の顔の状態を識別したときの正答率を表している。

また、図１４において、「Adaboost 平均二乗誤差・ゼロクロス」と記載されたものが、パラメータとしてゼロクロス回数と平均二乗誤差との組み合わせ用い、「Adaboost」によりユーザ２０の顔の状態を識別したときの正答率を表している。

図１４に示されるように、「静止」、「笑顔」、および「咀嚼」の３つの状態のそれぞれにおいて、パラメータとして振幅の大きさと位相速度との組み合わせを用い、機械学習による識別（「Adaboost」）を行ったものが最も正答率が高くなっている。

なお、機械学習による識別方式としては、「Adaboost」以外に、「ニューラルネットワーク」、「線形判別」、「サポートベクターマシーン」などを採用しても構わない。また、パラメータとして、より多くの特徴量を用いるようにしてもよい。例えば、振幅の大きさと位相速度に、ゼロクロス回数、平均二乗誤差、ケプストラム係数、周波数帯域のパワーなどの特徴量を加えた組み合わせが、パラメータとして用いられるようにしてもよい。

また、ここで示した「静止」、「笑顔」、および「咀嚼」の３つの状態は例であり、振幅の大きさと位相速度とを含むパラメータを用いて、他の状態を識別することも可能である。

次に、図１５のフローチャートを参照して、本発明の表情検出装置１０による表情検出処理の例について説明する。

ステップＳ２１において、入力信号処理部４１は、イヤホン型センサ７０により検出された筋電信号（信号線５１と信号線５２の信号）について差動検出を行う。そして、入力信号処理部４１は、バンドパスフィルタとノッチフィルタによるフィルタ処理を施して差動検出された信号のノイズを除去し、アンプを用いて増幅する。

ステップＳ２２において、ＡＤコンバータ４２は、ステップＳ２１の処理により生成された信号を、ＡＤ変換する。このとき、例えば、ステップＳ２１の処理により生成された信号が所定のサンプリングレートでサンプリングされて信号が生成される。

なお、ステップＳ２２で生成された信号が上述した元信号となる。

ステップＳ２３において、ヒルベルト変換部４３は、ステップＳ２２の処理で生成された信号をヒルベルト変換する。このとき、例えば、上述した式（３）により算出される要素が、ｎ個それぞれ出力される。

ステップＳ２４において、逆フーリエ変換部４４は、ステップＳ２３の処理でヒルベルト変換部４３から出力されたｎ個の要素について逆フーリエ変換を行う。これにより、全周波数帯域において、元信号（ステップＳ２２で生成された信号）の位相を９０°ずらした波形の信号が生成されることになる。

なお、ステップＳ２４で生成された信号が上述した変換後信号となる。

ステップＳ２５において、位相図生成部４５は、元信号と変換後信号（ステップＳ２４で生成された信号）に基づいて位相図を生成するようになされている。このとき、例えば、図３を参照して上述したような位相図（実際には、位相図に対応するデータ）が生成される。

ステップＳ２６において、位相速度計算部４６は、ステップＳ２５の処理で生成された位相図に基づいて信号の位相速度を計算する。このとき、例えば、図４、図５を参照して上述したように、式（４）および式（５）の演算が行われて位相速度が算出される。そして、位相速度計算部４６は、算出した位相速度を、時刻に対応づけて出力する。すなわち、ＡＤコンバータ４２から出力された信号の各時刻における位相速度が位相速度計算部４６により算出されて、時間の経過に伴う位相速度の変化を表す信号として状態検出部４７に出力される。

ステップＳ２７において、状態検出部４７は、ユーザ２０の表情（または顔の動きなど）を検出する。このとき、状態検出部４７は、ステップＳ２２の処理で生成された信号と、ステップＳ２６の処理により得られた位相速度の信号に基づいて、ユーザ２０の顔の動きや表情などを特定する信号を出力する。例えば、図８の上側のグラフの上部に示されるように「あご」、「ほほ」、・・・として、各時刻においてユーザ２０の顔の筋肉の中でおもにどの筋肉が活動しているかを特定する信号が出力される。

このようにして、表情検出処理が実行される。

以上においては、イヤホン型センサ７０をユーザ２０の耳に挿入することで、ユーザ２０の顔の動きや表情を検出する例について説明した。しかし、センサをユーザ２０の手や足に装着させれば、各時刻におけるユーザ２０の手や足の状態を検出することも可能となる。すなわち、本発明は、表情検出装置のみでなく、一般的な筋活動診断装置にも適用することができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１６において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 表情検出装置， ２０ ユーザ， ４１ 入力信号処理部， ４２ ＡＤコンバータ， ４３ ヒルベルト変換部， ４４ 逆フーリエ変換部， ４５ 位相図生成部， ４６ 位相速度計算部， ４７ 状態検出部， ４８ フィルタ反転増幅回路， ５１乃至５４ 信号線 ７０ イヤホン型センサ， ７１ イヤーピース， ８１，８２ 筋電電極， ８３ 電圧検出電極， ８４ フィードバック電極

Claims (8)

1. 被験者から筋電信号を取得する取得手段と、
   前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成する変換後信号生成手段と、
   前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出する位相速度算出手段と、
   単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定する状態特定手段と
   を備える筋活動診断装置。
2. 前記取得手段は、
   前記被験者の外耳道に挿入されたイヤホン型センサから得られた電気信号を差動検出してデジタル化することで前記筋電信号を取得する
   請求項１に記載の筋活動診断装置。
3. 前記状態特定手段は、
   前記被験者の顔の中の複数の部位の筋肉の活動状態を特定し、前記特定された複数の部位の筋肉の活動状態に基づいて推定される前記被験者の表情を表す信号を出力する
   請求項２に記載の筋活動診断装置。
4. 前記イヤホン型センサには、
   前記被験者の筋肉の活動により生じる電気信号を検出するための筋電電極と、
   前記被験者の耳の中の電位と前記イヤホン型センサ内の回路の電位との差である基準電圧を検出するための電圧検出電極と、
   前記基準電圧を反転増幅することにより発生させたフィードバック電圧を供給するためのフィードバック電極が設けられている
   請求項２に記載の筋活動診断装置。
5. 前記状態特定手段は、
   予め用意された前記単位時間内の前記筋電信号の波形の前記複数の特徴量をパラメータとし、前記パラメータと前記被験者の筋肉の活動状態とを対応づけたサンプルに基づく機械学習を行い、
   前記機械学習の結果に基づいて、前記筋電信号の前記複数の特徴量を識別することで前記被験者の体の所定の部位の筋肉の活動状態を特定する
   請求項１に記載の筋活動診断装置。
6. 前記機械学習による識別方式としてアダブーストを用いる
   請求項５に記載の筋活動診断装置。
7. 取得手段が、被験者から筋電信号を取得し、
   変換後信号生成手段が、前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成し、
   位相速度算出手段が、前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出し、
   状態特定手段が、単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定するステップ
   を含む筋活動診断方法。
8. コンピュータを、
   被験者から筋電信号を取得する取得手段と、
   前記筋電信号を元信号とし、前記元信号に対してヒルベルト変換と逆フーリエ変換を施した変換後信号を生成する変換後信号生成手段と、
   前記元信号と変換後信号の位相に基づいて、前記筋電信号の位相速度を算出する位相速度算出手段と、
   単位時間内の前記筋電信号の波形の複数の特徴量であって、少なくとも前記筋電信号の振幅の大きさおよび前記算出された前記位相速度を含む複数の特徴量に基づいて、前記単位時間毎の前記被験者の体の所定の部位の筋肉の活動状態を特定する状態特定手段とを備える筋活動診断装置として機能させる
   プログラム。

Images