JP2017029323A - 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム - Google Patents

Abstract

【課題】筋電信号を用いて顔表情「笑み」「噛み締め」を識別するデバイスを提供する。
【解決手段】デバイスは、ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置される。第１の周波数帯（アーチファクト）におけるパワー値VLFと、第２の周波数帯（第１の顔表情時）におけるパワー値LFとを算出するウィンドウ分析手段と、第１の基準パワーVLFBaseと第２の基準パワーLFBaseとを記憶する基準パワー記憶手段と、現行時に、第１のパワーVLFが第１の基準パワーVLFBase以下であり、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段とを有する。
【選択図】図４

Description

本発明は、人の生体信号を検知する技術に関する。

近年、センサによって人の活動に基づく様々な生体信号を検知し、信号処理したデータをユーザに提示する技術がある。センサとしては、具体的には、腕時計型脈拍センサや、イヤホン型脈拍センサ、ヘッドバンド型脳波センサのようなウェアラブルデバイスがある。そして、それら生体信号は、ユーザに常時携帯されるスマートフォンや携帯端末によって信号処理され、加工されたデータがユーザに提示される。

従来、センサ付きイヤホンによって生体信号（脳波、体温、動き加速度、脈拍）を検知するシステムがある（例えば特許文献１参照）。イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号を、ユーザ所持の携帯電話機を介して外部装置へ伝送する。この技術によれば、外部装置によって、様々な観点から生体信号を解析することができる。

また、筋電センサ付のイヤホンやヘッドバンドによって検知した筋電信号から、表情を検出する筋活動診断装置の技術がある（例えば特許文献２及び３参照）。この技術によれば、筋電センサによって検知した耳付近の筋電信号から、人の笑顔、咀嚼、無表情を分別することができる。

これらの従来技術による表面筋電計測によれば、計測対象とする筋肉近傍の皮膚に数ミリから数ｃｍの間隔を空けて一組の電極を配置し、計測したい筋肉の活動を計測している。

更に、生体情報（脳波、心拍、瞳孔、視線）及び行動情報（動作、表情、ため息等）から、ユーザの嗜好を判断するシステムの技術もある（例えば特許文献４参照）。この技術によれば、行動情報はビデオカメラ及びマイクによって検出した映像信号及び音声信号から推定している。

更に、顔表情の中でも「笑顔」のみに着目して自動的に検出する技術もある。例えば、周知技術として、顔画像解析に基づく「スマイルスキャン（登録商標）」（オムロン社）がある。但し、常にカメラで顔画像を撮影すること要する顔画像解析は、プライバシの側面から、ユーザにとって利用の心理的ハードルが高いとされる。また、顔画像を撮影するカメラを配置する、構造的の問題も多い。

更に、顔画像分析以外の技術として、ヘッドフォン形状の皮膚電位センサを用いて、頭皮耳介及び耳介周囲の頭皮電位の変化から、目の動きと顔の表情を抽出する顔面情報検出装置の技術もある（例えば特許文献５参照）。この技術によれば、喜怒哀楽の表情及び目の動きを検出することができる。

更に、客観的に笑いを測定するシステムとして、喉（音）で測定する「爆笑計」（大阪電気通信大学）や「アッハ・メーター（登録商標）」（プロジェクトaH）、喉（音）と表情筋電と横隔膜筋電との３つを同時に計測する「横隔膜式笑い測定システム」（関西大学、プロジェクトaH）もある。

特開２００３−３１０５６号公報 特開２０１２−０００２２８号公報 特許５５７４４０７号公報 特開２０１４−２１９９３７号公報 特許４７２２５７３号公報

前述した技術は、人の生体信号をセンサによって検知し、人の顔表情を分別することのみに着目したものである。しかしながら、人の顔表情を分別できたとしても、ユーザが、その時に体験している何れの状況によって、その表情が生じているのかを対応付けることまではできない。

これに対し、本願の発明者らは、ユーザの顔表情である「笑み」や「噛み締め」を、ヘッドフォンのようにユーザの装着に違和感の無いデバイスによって検知することはできないか？と考えた。「笑み」は、例えばユーザの好みと捉えることができ、「噛み締め」は、例えばユーザの不満として捉えることができる。

一般に、表情筋の筋肉活動を検出する表面筋電センサの電極配置は、活動をモニタしようとする筋肉の上の皮膚表面に数センチ以内の間隔をおいて検出用電極とリファレンス用電極を配置する。これにより他の筋肉の活動による筋電信号の混入を軽減することができる。一方、ヘッドフォンは左右両耳に当接するイヤカップがあるので、筋電センサの１チャンネルを構成する検出用電極を右（左）のイヤカップにリファレンス用電極を左（右）のイヤカップにそれぞれ配置することで、顔表情を捉えることができないか検討した結果、「笑み」の表情を作る筋肉活動による筋電信号は、一般的な数センチ以内の間隔を空けて配置する従来電極配置方法よりも大きな信号を得られる知見を得た。しかし、「笑み」の表情を作る筋活動だけでなく、左右のイヤカップの電極間に存在する頭部の筋肉活動（「左右へ動かす眼球運動」や「噛み締め」、「口の開閉」、「口窄め」、「顎の突出し」等）も大きく筋電信号に混入する課題があった。
また、口の開閉や体の動き等による筋電センサの電極面の電気接触抵抗が変化することによるノイズ（アーチファクト）も表面筋電図計測の課題であった。

そこで、本発明は、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情を識別することができるヘッドマウントデバイス、プログラム及び端末を提供すること目的とする。

本発明によれば、筋電信号を検知する筋電センサを搭載したデバイスであって、
ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置され、
アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
無表情時においてウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
現行時に、第１のパワーVLFが第１の基準パワーVLFBaseよりも小さく、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
を有することを特徴とする。

本発明のデバイスにおける他の実施形態によれば、
無表情時に起こるであろう、筋電信号の低振幅状態を知るための筋電信号振幅の標準偏差を算出し、
検知された筋電信号を、所定時間毎のウィンドウに区分するウィンドウ分析手段を更に有し、
ウィンドウ分析手段は、ウィンドウ毎に、筋電信号振幅の標準偏差と、第１のパワーVLF及び第２のパワーLFを算出する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
パワー値は、周波数帯における平均パワー値であり、
基準パワー記憶手段による、基準パワー計算では、複数のウィンドウにおける各所定周波数帯におけるパワー値の標準偏差を算出することに基づく
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
第１の顔表情は、「笑み」又は「噛み締め」であることも好ましい。

本発明のデバイスにおける他の実施形態によれば、
ウィンドウ分析手段は、ウィンドウ毎に、第２の顔表情時に反応する周波数帯におけるパワー値HFを更に算出し、
基準パワー記憶手段は、無表情時に、第３のパワーHFを「第３の基準パワーHFBase」として記憶し、
顔表情判定手段は、第２の基準パワーLFBaseの常用対数と第３の基準パワーHFBaseの常用対数との差である基準比を算出し、第２のパワーLFの常用対数と第３のパワーHFの常用対数との差である比が基準比より大きく且つ第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合、第１の顔表情であると判定し、
比が基準比より小さく且つ第３のパワーHFが第３の基準パワーHFBaseよりも大きい場合、第２の顔表情であると判定し、
それ以外の条件の場合、無表情と判定することも好ましい。

本発明のデバイスにおける他の実施形態によれば、
第１の顔表情は、「笑み」であり、
第２の顔表情は、「噛み締め」であることも好ましい。

本発明のデバイスにおける他の実施形態によれば、
顔表情判定手段は、現行時に、第１のパワーVLFが第１の基準パワーVLFBaseよりも大きい場合、ノイズ状態であると判定することも好ましい。

本発明のデバイスにおける他の実施形態によれば、
ヘッドマウント型であることも好ましい。

本発明によれば、ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されたデバイスと通信する端末であって、
アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
無表情時においてウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
現行時に、第１のパワーVLFが第１の基準パワーVLFBaseよりも小さく、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
を有することを特徴とする。

本発明によれば、ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されたデバイスと通信する端末に搭載されたコンピュータを機能させるプログラムであって、
アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
無表情時においてウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
現行時に、第１のパワーVLFが第１の基準パワーVLFBaseよりも小さく、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
してコンピュータを機能させることを特徴とする。

本発明のデバイス、端末及びプログラムによれば、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情の他、「無表情」状態、「ノイズ」混入状態をも識別することができる。

本発明におけるシステム構成図である。 本発明におけるヘッドフォンの外観構成図である。 筋電信号における周波数帯に対するパワー値を表すグラフである。 本発明におけるヘッドマウントデバイスの機能構成図である。 本発明における端末の機能構成図である。 本発明における筋電信号判定部の処理を表すフローチャートである。 顔表情毎に所定周波数帯に対するパワー値を表すグラフである。 顔表情判定部の処理を表すフローチャートである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

スマートフォンに連携するウェアラブルデバイスとしては、一般的に、メガネ型や腕時計型の情報機器がある。頭部に装着するデバイスとしては、メガネ型やヘッドセットのような顔面の一部にかかるものがあるが、デバイスが顔面にかかるデバイスの場合は見た目が不自然で、ユーザにとって利用の心理的ハードルが高い。一方で、耳に装着されるヘッドフォンは、スマートフォンと共に使用されていて、街中で装着している人も多く、極めて一般的なものである。

その耳付近の位置からは、体温、発汗、脈波、脈拍、脳波に加えて、頭部にある筋肉による筋電を、生体信号として検出することができる。顔表情の変化から得られる筋電信号は、ユーザの意識的反応及び無意識的反応の両方を、同じように検出する。意識的反応は、ユーザインタフェースとして利用することができる。また、無意識的反応は、ユーザの感情変化として検出することができる。

耳付近の筋電信号には、様々な顔表情（笑み、噛み締め）を作る筋肉活動から得られる信号だけでなく、口の開閉動作や眼球運動等の筋肉活動や、脳波のような信号や、口の開閉や歩行等の体の動きによる筋電センサの電極と皮膚表面との間のズレ等に起因する接触抵抗変化によって生じるノイズも重なっている。
例えば顔表情「笑み」は、人のポジティブな感情を生じさせる体験から表れるもので、口角が上に引き上げられる大頬骨筋等の筋肉活動による表情のことをいう。
このような顔表情は、特に予期していない好ましい体験をした際に、より顕著に表れる。
尚、例えば「笑み」に対して、声を出して笑う「笑い」や、酷いストレスを受けた場合におけるストレス発散のための「笑い」もあるが、「笑み」の表情が生じれば「笑み」を生じさせる筋肉活動の信号が発生する。
逆に、顔表情「噛み締め」は、悪いストレス等から生じるものであり、人のネガティブな感情を生じさせる体験から表れるもので、奥歯部分の頬が膨らむ筋肉活動による表情のことをいう。

ヘッドフォンは、スマートフォンが音声を利用するアプリケーションの実行中（例えば映像・音声のコンテンツの再生等のユーザ体験を提供中）に、ユーザに装着される。ヘッドフォンの装着／未装着自体も、ヘッドフォンの筋電信号から検知することができる。即ち、本発明は、ユーザがヘッドフォンを装着することによって、スマートフォンで実行中のアプリケーションに対するユーザ体験が好ましいものであったかを検知するための方法としての顔表情を検知しようとするものである。

図１は、本発明におけるシステム構成図である。

図１によれば、ヘッドマウントデバイスとしてのヘッドフォン２は、ユーザの頭に装着される。端末としてのスマートフォン１と、ヘッドフォン２との間は、音声信号を伝送するケーブル又は無線のいずれかによって接続されている。ケーブルは、例えばスマートフォン１のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよいし、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。無線は、例えばBluetooth（登録商標）であってもよい。尚、以下では、端末は、代表的なスマートフォンとして説明するが、勿論、携帯電話機、ＰＤＡ(Personal Digital Assistant)又はパーソナルコンピュータであってもよい。

スマートフォン１からヘッドフォン２へ、コンテンツの音声信号が伝送されると共に、ヘッドフォン２からスマートフォン１へ、筋電センサによって検知された筋電信号が伝送される。ヘッドフォン２は、電極をユーザの耳介周辺から頬近傍のある一点に皮膚表面に接するように配置する。顔表情「笑み」は、大頬骨筋の変化が大きいためである。尚、本発明の筋電センサは、筋肉に対する非侵襲の表面筋電に基づくものである。尚、ヘッドフォンのイヤカップの形状は、密閉型、オープンエア型、又は、セミオープンエア型のいずれであってもよい。

図２は、本発明におけるヘッドフォンの外観構成図である。

図２によれば、ヘッドフォンがユーザの頭に装着された際に、筋電センサ（電極）が、当該ユーザの耳前下方の頬近傍の何処か一点の皮膚表面に接するように配置されている。即ち、ヘッドフォン２の左右のイヤパッド（スピーカ）それぞれに、筋電センサが配置されている。筋電センサをイヤパッドに配置することによって、ヘッドフォンバンドの曲げ圧力とイヤパッドの弾性により付勢されて、皮膚に押し当てて固定することができる。

筋電センサは、計測対象となるユーザの筋肉の活動により発生する電気的物理量を計測するものであって、ヘッドフォン２には、１チャンネルの筋電センサを構成する３つの電極を搭載している。
「検出用＋（プラス）電極」及び「リファレンス用−（マイナス）電極」：
イヤパッドにおける顔の前向き前方の下部分に配置し、頬にできる限り近い位置
に配置
検出用電極とリファレンス用電極の一組で１チャンネルの筋電センサを構成
「ＤＲＬ(Driven Right Leg)電極」：
皮膚に当接する何れかの部分に配置
商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極

これら電極は、繰り返し使用できないジェル等を用いた湿式電極ではなく、繰り返し使用可能な乾式電極であり、イヤパッドに穴をあけその穴を塞ぐような、皮膚との接触抵抗が低く導電性の高い金属（例えば、銀‐塩化銀やステンレススチール等）の金属鋲を配置してもよいし、同様な性質をもつ導電性ゴムの鋲としてもよい。また、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い所に筋電センサの電極を配置してもよい。尚、頬に近い位置が顔表情「笑み」を作る筋肉活動の信号を検出するのに好ましいが、耳介やその周辺の皮膚に筋電センサの電極が当接していれば顔表情「笑み」を作る筋肉活動の信号を検出することが可能である。

図２（ａ）は、耳を覆うだけのイヤパッドに筋電センサが配置された構造を表す。
図２（ｂ）は、検出用＋電極及びリファレンス用−電極の筋電センサの対が、顔の前向き前方に突き出た構造を表す。これによって、既存のヘッドフォン形状よりも、筋電センサの検出用とリファレンス用電極を、ユーザの頬にできる限り近づけることができる。また、突き出た構造によって、ヘッドフォンの左右を間違えずに装着するように、ヘッドフォンの向きを示すことができる。

従来技術による表面筋電計測によれば、計測対象とする筋肉の直上の皮膚に筋肉の筋に沿って、数ｃｍ以下の間隔を空けて、検出用＋電極とリファレンス用−電極とを配置することが一般的である。顔表情「笑み」のみを検出するためには、左右いずれか片方の頬に検出用とリファレンス用電極を配置する。
これに対し、本発明によればヘッドフォンに配置した筋電センサによって顔表情「笑み」を検出する。そして、左の耳前下周辺の頬近傍の皮膚に検出用＋（プラス）電極と、右の耳前下周辺の頬近傍の皮膚にリファレンス用−（マイナス）電極を配置することで、顔表情「笑み」を作る筋電を検出することができる。
尚、左をリファレンス用（マイナス）電極、右を検出用（プラス）電極としてもよい。又は、従来技術同様に、左右どちらか一方に電極を配置し、顔の後方をリファレンス（マイナス）電極、頬に近い前方を検出（プラス）電極としてもよい。

本発明のヘッドフォンによれば、ユーザの頭に装着された際に、筋電センサのリファレンス用電極（−）及び検出用電極（＋）が、耳介周辺から頬近傍の何処か一点の皮膚表面に左右別々に接するように配置される。即ち、リファレンス用電極（−）及び検出用電極（＋）を左右に分けて配置することによって、左右２つの筋肉活動を捉えることができる。顔表情「笑み」を作る筋活動は、左右どちらか一方の筋活動ではなく、一般的に左右両方の筋活動が同時に起こる。この場合、片側のみに１チャンネルを構成する一組の電極を配置するよりも、１チャンネルを構成する電極を左右に分けて配置する方が、左右２つの筋肉活動を捉えることができるので、片方のみに配置するよりも安定した大きな筋電信号を得ることができる。その一方で、左右の電極間が離れるために、頭部の様々な筋肉活動として左右の眼球運動や歯の食い縛り（噛み締め）動作や、口を窄めたり、顎を突き出したりする動作の筋肉活動も大きく混入する他、口の開閉に伴う皮膚面の凹凸生成を原因とする皮膚と電極間での接触抵抗の変化等、様々な信号が筋電信号に混入する。後述する本発明によって、そのような筋電信号であって顔表情「笑み」「噛み締め」を識別することができる。

図３は、顔表情が生じた際に、筋電信号における検出サンプルに対する電圧変化を表すグラフである。ｘ軸は、筋電信号の検出サンプルFs＝512Hz（0〜512個で１秒間）であり、電圧の時系列的変化を表す。

図４は、本発明におけるヘッドマウントデバイスの機能構成図である。
図５は、本発明における端末の機能構成図である。

図４によれば、ヘッドフォン２は、イヤパッドに搭載されたスピーカ及び筋電センサと、筋電信号を端末１へ伝送可能な信号に変換する信号変換部と、端末１との間で音声信号及び筋電信号を伝送する信号インタフェースとを有する。
ヘッドフォン２の信号変換部は、端末１から受信した音声信号を増幅しスピーカへ出力すると共に、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するＤＲＬ回路を有し、検出用電極とリファレンス電極の電位差の交流成分を増幅し、プラスマイナス0.1から数百μVの範囲の皮膚電位検出性能を有する。
ヘッドフォン２の筋電信号判定部１２で判定された結果は、信号インタフェースを介して、外部の携帯端末１に出力される。本構成の場合の通信方式はデジタルインタフェースが好ましい。
携帯端末１はユーザに対し様々なユーザエクスペリエンスを提供するアプリケーションを実行する。携帯端末１から出力される音声信号は、通信インタフェースを介してヘッドマウントデバイス２に伝送され、信号変換部においてアナログ音声信号に変換され増幅されてスピーカから音声として出力される。

図５によれば、図４の筋電信号判定部１２が、携帯端末１の中で実行される別の構成を説明している。
ヘッドフォン２は、図４同様に端末１から受信した音声信号をスピーカから出力すると共に、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するＤＲＬ回路を有し、検出用電極とリファレンス電極の電位差を増幅し0.1から数百μVの範囲の皮膚電位検出性能を有する。信号インタフェースがアナログインタフェースの場合は筋電センサによって検出された筋電信号をマイクレベルまで更に増幅し、端末１との信号インタフェースがデジタルインタフェースの場合は、サンプリング周波数500Hz以上、量子化１０bit以上でアナログ／デジタル変換を行い、端末１へ出力する。
信号インタフェースは、端末１とヘッドフォン２との間でアナログ音声ケーブルが用いられている場合、筋電信号は人間の可聴範囲内に収まる周波数特性なので周波数変換する必要はなく、携帯端末１の信号変換部によりマイク入力による音声同様にアナログ／デジタル変換される。尚、携帯端末１のマイク端子は通常１チャネルである。
携帯端末１は、アナログ信号で入力された筋電信号は音声信号として、例えば8kHzのサンプリング周波数でデジタル信号にサンプリングされる。これを、例えば512Hzのサンプリング周波数でリサンプリングする。ＵＳＢ等のデジタルインタフェースで入力された筋電信号も、例えば512Hzのサンプリング周波数でリサンプリングする。但し、変換元と変換先のサンプリング周波数に応じ、リサンプリング前又は後に適切なローパスフィルタを適用する。
携帯端末１はユーザにユーザエクスペリエンスを提供するアプリケーションを実行すると同時に、携帯端末１の後述する筋電信号判定部１２で判定された結果（分析ウィンドウ区間毎の感情識別子と感情度）に基づき、アプリケーションに感情識別子を付し、又は、操作識別子に対応するアプリケーション制御を行う。
携帯端末１から出力される音声信号は、通信インタフェースを介してヘッドマウントデバイス２に伝送され、信号変換部においてアナログ音声信号に変換され増幅されてスピーカから音声として出力される。

図４及び図５における、筋電信号判定部１２は以下の同じ処理を行う。
ここでは入力される筋電信号が512Hzのサンプリング周波数でアナログ／デジタル変換されていることを前提に処理を説明する。

［筋電信号判定部１２］
筋電信号判定部１２は、デジタル入力された筋電信号から、顔表情を判定する。

図４によれば、筋電信号判定部１２は、ウィンドウ分析部１２１と、バッファ部１２２と、基準パワー記憶部１２３と、顔表情判定部１２４とを有する。これら機能構成部は、ヘッドマウントデバイス２又は端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

図６は、本発明における筋電信号判定部の処理を表すフローチャートである。

［ウィンドウ分析部１２１］
ウィンドウ分析部１２１は、検知された筋電信号を、所定時間毎のウィンドウに区分する。所定時間は100msec〜10sec、例えば500msec程度に設定するのが好ましく、コンピュータの処理能力や分析したい時間的スケールに応じてウィンドウ区間を重ねてスライディングさせるものであってもよい。

ウィンドウ分析部１２１は、ウィンドウ区間の筋電信号から、量子化ビット数による取り得る「最大値」「最小値」に基づき、最大値及び最小値が−1.0〜＋1.0の範囲に収まるように、筋電信号の振幅を一定の比率でリスケーリングして正規化する。一定の比率は、量子化ビット数の他、予め決定した値としてもよい。この正規化された筋電信号の振幅値に対し、以下の分析が行われる。

正規化された筋電信号のウィンドウ区間における、振幅の標準偏差（ＳＤ）を計算する。このＳＤは筋電信号への信号入力があったかを知るための指標である。
また、ウィンドウ分析部１２１は、アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを少なくとも規定している。そして、ウィンドウ毎に、第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出する。
アーチファクト＝「ノイズ」->
第１の周波数帯（5Hz以下）におけるパワー値VLF
第１の顔表情時＝「笑み」 ->
第２の周波数帯（20Hz〜45Hz）におけるパワー値LF
又は、
第１の顔表情時＝「噛み締め」 ->
第２の周波数帯（80Hzから95Hz）におけるパワー値LF

「笑み」の場合、低周波成分（20Hz〜45Hz）にパワー値が大きく出現し、「噛み締め」の場合、高周波成分（80Hzから95Hz）にパワー値が大きく出現する。

他の実施形態として、第２の顔表情時に反応するであろう第３の周波数帯を更に規定したものであってもよい。そして、ウィンドウ毎に、第３の周波数帯におけるパワー値HFも算出する。
アーチファクト＝「ノイズ」->
第１の周波数帯（5Hz以下）におけるパワー値VLF
第１の顔表情時＝「笑み」 ->
第２の周波数帯（20Hz〜45Hz）におけるパワー値LF
第２の顔表情時＝「噛み締め」 ->
第３の周波数帯（80Hz〜95Hz）におけるパワー値HF

ウィンドウ分析部１２１は、正規化された信号に対して、モルレーのウェーブレットを使用した連続ウェーブレット変換を実行する。そして、各所定周波数帯について、ウェーブレット変換値の周波数帯とウィンドウ幅時間スケールに対する振幅の総和を、所定周波数帯域幅で除算した平均値を、そのウィンドウ区間かつ所定周波数帯での「パワー値」とする。
これら各所定周波数帯のパワー値及び前述した筋電信号振幅の標準偏差（ＳＤ）は、バッファ部１２２へ出力される。
尚、連続ウェーブレット変換の代わりに、高速フーリエ変換（ＦＦＴ）により、所定周波数帯の「パワー値」を算出してもよい。

［バッファ部１２２］
バッファ部１２２は、ウィンドウ分析部１２１で分析された筋電信号振幅の標準偏差と所定周波数帯のパワー値を一定期間記憶する。つまりウィンドウ分析部１２１による複数のウィンドウ区間の分析結果を一時記憶する。

［基準パワー記憶部１２３］
基準パワー記憶部１２３は、基準パワーを算出するために例えば現時点から前３０個分のウィンドウ区間のＳＤと所定周波数帯のパワー値を、バッファ部１２２から取得する。そして前３０個分のウィンドウ区間を評価し、各所定周波数帯における基準パワー値を算出する。
ここで基準パワー値とは、ユーザが無表情状態で筋肉の活動が小さく筋電信号の振幅が小さい状態での各所定周波数帯でのパワー値と定義する。

基準パワー記憶部１２３は、まず、筋電センサが正しく装着されていないかを判定するために、前３０個分のウィンドウ区間におけるＳＤの全てが予め記憶している充分大きな規定値以上であるか、又は、ＳＤが０を連発しているかで筋電センサの「装着はずれ」を判定する。
「装着はずれ」と判定した場合、ＳＤ及び基準パワー値等の初期化を行い、処理を終了する。以後、「装着はずれでない」と判定されるまで顔表情の判定は行わない。
「装着はずれ」と判定されなかった場合、前３０個分のウィンドウ区間におけるＳＤの全てが記憶中の基準ＳＤより小さく、且つＳＤが０ではない筋電信号状態であるかを判定する。これは正規化された筋電信号の振幅が小さい時、つまりユーザが無表情状態で顔表情を作る筋肉活動の小さいときの「基準となる筋電信号状態」を知るためである。
尚、記憶中の基準ＳＤの初期値は、した「装着はずれ」を判定するための予め記憶している充分大きな規定値とする。

「基準となる信号状態」（無表情時）と判定した場合、記憶中の基準ＳＤを最新３０個分のウィンドウ区間のＳＤの平均値で更新する。これにより現在の筋電センサが正しく装着されていることを示すので、より小さい顔表情の筋活動を計算可能になる。
そして、最新３０個分のウィンドウ区間の各所定周波数帯におけるパワー値について以下の標準偏差を計算する。
SD_VLF：第１の周波数帯（5Hz以下）におけるパワー値の標準偏差
SD_LF ：第２の周波数帯（20Hz〜45Hz）におけるパワー値の標準偏差
SD_HF ：第３の周波数帯（80Hz〜95Hz）におけるパワー値の標準偏差
基準パワー記憶部１２３は、以下のように、無表情時の基準パワーを以下のように計算して記憶する。

標準偏差SDが小さく計算され更新される毎に、併せて前30個分ウィンドウ区間における各周波数帯のパワー平均値及び標準偏差から算出した、以下の基準パワーを記憶する。
VLFbase＝（第１の周波帯のパワー値の平均値）＋Ａ×SD_VLF
LFbase＝（第２の周波帯のパワー値の平均値）＋Ｂ×SD_LF
HFbase＝（第３の周波帯のパワー値の平均値）＋Ｃ×SD_HF
尚、Ａ，Ｂ，Ｃは、0以上の係数であって、基準パワーを調整する。
そして、これら基準パワーは、顔表情判定部１２４から参照される。
「基準となる信号状態」（無表情時）と判定しなかった場合を含めて、記憶中のＳＤと基準パワー値による顔表情判定を行う。

図７は、顔表情毎に所定周波数帯に対するパワー値を表すグラフである。

図７（ａ）は、無表情時の周波数対パワー値のグラフであって、計算された各周波数帯の基準パワーVLFBase, LFbase, HFbaseのパワー値のイメージを示す。
図７（ｂ）は、ノイズ発生時の周波数対パワー値のグラフであって、第１の周波数帯において基準パワーVLFBaseを超えた反応があることを示す。
図７（ｃ）は、第１の表情「笑み」時の周波数対パワー値のグラフであって、第２の周波数帯において基準パワーLFBaseを超えた反応があることを示す。
図７（ｄ）は、第２の表情「噛み締め」時の周波数対パワー値のグラフであって、第３の周波数帯において基準パワーHFBaseを超えた反応があることを示す。

［顔表情判定部１２４］
顔表情判定部１２４は、バッファ部１２２から最新のウィンドウ区間のＳＤ及び所定周波数帯のパワー値と、基準パワー記憶部１２３から装着状態判定結果と無表情時の所定周波数帯の基準パワー値とを取得し、評価する。
第１の周波数帯におけるパワーVLFが第１の基準パワーVLFBaseよりも小さく、且つ、第２の周波数帯におけるパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する。
また、顔表情判定部１２４は、好ましい他の実施形態として、第２の周波数帯における基準パワーLFBaseと第３の周波数帯における基準パワーHFBaseとの基準比を算出し、基準比を用いて第２の周波数帯におけるパワーLFと第３の周波数帯におけるパワーHFとの比を算出し、比が基準比より大きく且つ第２の周波数帯におけるパワーLFが第２の基準基準パワーLFBaseよりも大きい場合、第１の顔表情であると判定し、
逆に、比が基準比より小さく且つ第３の周波数帯におけるパワーHFが第３の周波数帯の基準パワーHFBaseよりも大きい場合、第２の顔表情であると判定する。

１チャンネルの筋電センサの電極を左右の頬近傍に配置して検出した筋電信号について、顔表情毎に、その反応が出る周波数帯も異なる。筋電信号の振幅は、「無表情」よりも、「笑み」「噛み締め」の方が大きくなる。但し、筋電信号の振幅のみを用いて分析した場合、ノイズの影響を受けやすい。ノイズとしては、口の開閉や眼球運動等による低周波のアーチファクトや、商用電源ノイズ等であって、表情を作る筋肉の活動の信号よりも大きい。そのために、振幅のみを用いて分析した場合、誤って顔表情を検出する場合がある。

図８は、顔表情判定部の処理を表すフローチャートである。

（Ｓ１１１）最初に、基準パワー記憶部１２３で判定した装着状態判定結果が、顔表情が識別できないノイズ状態にあるかヘッドフォンの装着はずれと判定されていた場合、「装着はずれ」と判定し、その場合、顔表情を識別することなく「ノイズ状態」と判定する。

ユーザが口を開閉する等によるアートファクトが発生すると、超低周波成分のパワーVLFが突出する特徴がある。これをノイズと判定するには、超低周波成分のパワーVLFと基準パワーVLFbaseとを比較し、評価ウィンドウのVLFが大きいならば、「ノイズ状態」と判定する。ノイズと判定する閾値（基準パワーVLFbase）を調整するには、係数Ａを調整する。ノイズ状態と判定されなければ、Ｓ１１２へ移行する。

図７（ｂ）によれば、ノイズ状態時の周波数対パワー値のグラフである。特に、筋電信号の超低周波成分のパワー値がピークを表しており、基準パワーVLFBase以上となっている。この状態は、「ノイズ」が混入しており、顔表情を判定することができない。

（Ｓ１１２）次に、顔表情が「笑み」か又は「噛み締め」かを識別する。

図７（ｃ）によれば、顔表情「笑み」時の周波数対パワー値のグラフである。特に、筋電信号の低周波成分のパワー値がピークを表しており、基準パワーLFBase以上となっている。

図７（ｄ）によれば、顔表情「噛み締め」時の周波数対パワー値のグラフである。特に、筋電信号の低周波成分のパワー値がピークを表しているが、図７（ｃ）（ｄ）両方とも、基準パワーLFBase以上となっており、これだけでは顔表情を識別できない。
そこで、「笑み」の場合は、第２の周波数帯のパワー上昇率が第３の周波数帯のパワー上昇率に比較して上昇すること、「噛み締め」の場合は、逆に第２の周波数帯のパワー上昇率よりも第３の周波数帯のパワー上昇率が大きい現象があることを基に以下の計算を行う。

最初に、顔表情判定部１２４は、第２の基準パワーLFBaseと第３の基準パワーHFBaseとの基準比LFHFbaseを算出する。
LFHFbase＝log₁₀(LFbase)−log₁₀(HFbase)
次に、基準比LFHFbaseを用いて、第２のパワーLFの常用対数と第３のパワーHFの常用対数との差である比Ｘを算出する。
Ｘ＝(log₁₀(LF)−log₁₀(HF))−LFHFbase

そして、比Ｘが正であって、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい（LF＞LFbase）場合、第２の顔表情「笑み」であると判定する。そして、顔表情「笑み」の度合いSMILEを、SMILE＝Ｄ×Ｘとする。
逆に、比Ｘが負であって、且つ、第３のパワーHFが第３の基準パワーHFBaseよりも大きい（HF＞HFbase）場合、第３の顔表情「噛み締め」であると判定する。そして、顔表情「噛み締め」の度合いCLENCHを、CLENCH＝Ｅ×（−Ｘ）とする。

尚、計数Ｄ及びＥを調整することによって、度合いを調整することができる。
また、度合いの計算に対数を用いたことによって、ヴェーバー・フェヒナーの法則におけるヒトの感覚に近い度合いを得ることができる。

また、「口を窄める」「顎を突き出す」等の顔の動作の場合、第２及び第３の周波数が同率に上昇する傾向がある。するとSMILEまたCLENCHは０に近い値となる。このように「笑み」又は「噛み締め」どちらか明確でない信号の場合、SMILEまたCLENCHを入力とし、入力値が０に近い程、低い度合いを出力し、０より離れる程直線的な出力を得られる関数にあてて、「笑み」と「噛み締め」の間の判定について遊び区間を設けるようにしても良い。あるいは、SMILEとCLENCHの基準度合いを予め設けて、その基準度合いを超えた場合に「笑み」又は「噛み締め」と判定しても良い。

例えばユーザが「笑み」の表情を浮かべた場合、SMILEが大きくなる。アプリケーションに応じて「笑み」を検出し、その度合いを評価したい時間分解能が異なる。即ち、時間分解能によって測定対象時間が異なる。この測定対象時間内でSMILEの時系列変化を積分し、その測定対象時間で除算することによって、「笑み」の大きさを定量化することができる。

例えば１つの映像コンテンツの再生期間中で１つの値を評価したい場合、筋電信号から例えばウィンドウ幅毎のSMILEを算出し、コンテンツ再生中に閾値を超えるSMILE値(SMILE(t))を積分し、そのコンテンツ再生終了後、そのコンテンツの実再生時間(T)で除算した「感情度」を算出する。
感情度＝1/T×∫₀ ^TSMILE(t+τ)dτ
この感情度は、コンテンツのメタ情報に、実再生回数と共に付与される。ここで、実再生回数は、コンテンツの再生途中でスキップすることもあるので、完全に最後まで再生されたら１回再生となるようにする。
実再生回数＝（前回までの実再生回数）＋（実際の再生時間／コンテンツの時間）
２回目以降の感情度は、以下の式で更新する。
感情度＝（（前回までの実再生回数＊前回までの感情度）＋今回の感情度）
／今回の実再生回数

SDが、所定規定値よりも高い状態が長時間（例えば閾値評価期間）続く場合、感情度の算出を中止する。そして、記憶しているSMILE及びSDをリセットする。その後、SDが所定規定値以下となるまで（筋電信号が安定するまで）、監視を継続する。

以上、詳細に説明したように、本発明のデバイス、端末及びプログラムによれば、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情を識別することができる。

前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１２ 筋電信号判定部
１２１ ウィンドウ分析部
１２２ バッファ部
１２３ 基準パワー記憶部
１２４ 顔表情判定部
２ ヘッドマウントデバイス、ヘッドフォン

Claims (10)

1. 筋電信号を検知する筋電センサを搭載したデバイスであって、
   ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置され、
   アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
   第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
   無表情時において前記ウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
   現行時に、第１のパワーVLFが第１の基準パワーVLFBase以下であり、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
   を有することを特徴とするデバイス。
2. 無表情時に起こるであろう、筋電信号の低振幅状態を知るための筋電信号振幅の標準偏差を算出し、
   検知された筋電信号を、所定時間毎のウィンドウに区分するウィンドウ分析手段を更に有し、
   前記ウィンドウ分析手段は、ウィンドウ毎に、筋電信号振幅の標準偏差と、第１のパワーVLF及び第２のパワーLFを算出する
   ことを特徴とする請求項１に記載のデバイス。
3. 前記パワー値は、周波数帯における平均パワー値であり、
   前記基準パワー記憶手段による、基準パワー計算では、複数の前記ウィンドウにおける各所定周波数帯におけるパワー値の標準偏差を算出することに基づく
   ことを特徴とする請求項２に記載のデバイス。
4. 第１の顔表情は、「笑み」又は「噛み締め」である
   ことを特徴とする請求項１から３のいずれか１項に記載のデバイス。
5. 前記ウィンドウ分析手段は、ウィンドウ毎に、第２の顔表情時に反応する周波数帯におけるパワー値HFを更に算出し、
   前記基準パワー記憶手段は、無表情時に、第３のパワーHFを「第３の基準パワーHFBase」として記憶し、
   前記顔表情判定手段は、第２の基準パワーLFBaseの常用対数と第３の基準パワーHFBaseの常用対数との差である基準比を算出し、第２のパワーLFの常用対数と第３のパワーHFの常用対数との差である比が基準比より大きく且つ第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合、第１の顔表情であると判定し、
   比が基準比より小さく且つ第３のパワーHFが第３の基準パワーHFBaseよりも大きい場合、第２の顔表情であると判定し、
   それ以外の条件の場合、無表情と判定する
   ことを特徴とする請求項２のいずれか１項に記載のデバイス。
6. 第１の顔表情は、「笑み」であり、
   第２の顔表情は、「噛み締め」である
   ことを特徴とする請求項５に記載のデバイス。
7. 前記顔表情判定手段は、現行時に、第１のパワーVLFが第１の基準パワーVLFBaseよりも大きい場合、ノイズ状態であると判定する
   ことを特徴とする請求項１から６のいずれか１項に記載のデバイス。
8. ヘッドマウント型である
   ことを特徴とする請求項１から７のいずれか１項に記載のデバイス。
9. ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されたデバイスと通信する端末であって、
   アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
   第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
   無表情時において前記ウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
   現行時に、第１のパワーVLFが第１の基準パワーVLFBase以下であり、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
   を有することを特徴とする端末。
10. ユーザの頭部に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されたデバイスと通信する端末に搭載されたコンピュータを機能させるプログラムであって、
    アーチファクトに反応するであろう第１の周波数帯と、第１の顔表情時に反応するであろう第２の周波数帯とを規定しており、
    第１の周波数帯におけるパワー値VLFと、第２の周波数帯におけるパワー値LFとを算出するウィンドウ分析手段と、
    無表情時において前記ウィンドウ分析手段によって算出された、第１のパワーVLFを「第１の基準パワーVLFBase」とし、第２のパワーLFを「第２の基準パワーLFBase」として記憶する基準パワー記憶手段と、
    現行時に、第１のパワーVLFが第１の基準パワーVLFBase以下であり、且つ、第２のパワーLFが第２の基準パワーLFBaseよりも大きい場合に、第１の顔表情時であると判定する顔表情判定手段と
    してコンピュータを機能させることを特徴とするプログラム。