JP2018202191A - アイウエア、データ収集システム及びデータ収集方法 - Google Patents

Abstract

【課題】ＥＯＧ付きアイウエアを利用して、人の心身状態を推定できるようにする。
【解決手段】一実施の形態に係る心身状態推定装置は、アイウエアのデバイス形態で用いられる。そのアイウエアを装着したユーザの眼電位（ＥＯＧ）に基づいて、特徴的な眼動（瞬目、目瞑り、眼球の上下左右動または回転など）を検出する。そして、特徴的な眼動と、その眼動が検出されたときの外部刺激（例えば、映画やビデオの種々なシーンにおける、人の五感への刺激）とを、タイムコードなどにより対応付けて記録し、両者（特徴的な眼動と外部刺激）を比較検討できるようにする。特徴的な眼動のパターンとユーザの心身状態（泣き笑い怒りなどの感情発露、意欲、精神的な集中、疲労、ストレス、睡眠など）との対応関係を事前に調べておけば、特定の外部刺激によりユーザがどのような心身状態となったのかを推定できる。
【選択図】 図４

Description

この発明の実施形態は、眼電位センシング技術を応用したアイウエア、データ収集システム及びデータ収集方法に関する。

眼電位センシング技術に関しては、公知例１がある（特許文献１参照）。この公知例１では、眼電位センシングにＥＯＧ（Electro-Oculography）電極を用い、ＥＯＧ電極から取得した眼電データよりユーザの眼球運動を検出している（段落００２３）。公知例１の実施形態ではＥＯＧ電極をゴーグルに設けているが（段落００６１）、ＥＯＧ用の電極をメガネのノーズパッド部に設けた公知例２もある（特許文献２、段落００１３参照）。ゴーグルやメガネは、一般の人々が手軽に使用できるアイウエアの一種である。

特開２００９−２８８５２９号公報 特開２０１３−２４４３７０号公報

ＥＯＧはアイウエアとの相性がよく、ＥＯＧ付きアイウエアはその応用が色々研究されている。しかし、その応用範囲は研究され尽くしたとはいえず、ＥＯＧ付きアイウエアの応用には新規な可能性が残されている。

例えば、映画館において上映作品の観客反応を観察しようとすると、映画鑑賞を妨げずに暗闇の中で多人数に対する観察を行わなければならない。しかしそのような観察は実施困難なため、現実的には映画鑑賞後の出口調査となってしまう。この場合、例えば上映時間が２時間のストーリーを数十秒で各観客に思い返して貰うことなる。しかし、観客が複数のシーンに感動してからそれらの印象を思い返すときまでに少なからぬ時間が経過しているため、上映作品に対する出口調査の結果は、大枠に限られたり的を絞った情報量の少ないものとなってしまう。ここで欲しい調査結果の内容は、例えば、上映作品の種々なシーンにおいて、観客にどのような感情が誘発されたのか、観客が集中して観たのか、観客に疲労やストレスがあったのか、居眠りしてしまったのか等の心身状態の推定に役立つ内容のものである。（この心身状態は、外部刺激に対する人々の反応あるいは評価がどうであったのかに関係する。）しかし、そのような調査内容を出口調査で得るのは難しい。

例えば上に挙げたような問題（状況により変化し得る人々の心身状態の推定が困難）に対してＥＯＧ付きアイウエアをどのように利用すればよいのかについては、これまで分かっていなかった。

この発明の実施形態により解決しようとする課題の１つは、ＥＯＧ付きアイウエアを利用してデータを収集することである。

一実施の形態に係るアイウエアは、検出部と、送信部と、を具備する。

前記検出部は、眼電位に基づいて眼動を検出する。前記送信部は、前記検出部で検出された前記眼動の検出タイミングに関する情報と、デバイス識別情報とからなる検出データを外部のサーバに送信する。

一実施の形態に係る心身状態推定装置用の情報処理部１１が組み込まれたメガネ型アイウエアを説明する図（ＥＯＧ電極がノーズパッドに配置されたＡＲメガネの例）。 一実施の形態に係るメガネ型アイウエアにおけるＥＯＧ電極の実装例を説明する図。 種々な実施の形態に取り付け可能な情報処理部１１と、その周辺デバイスとの関係を説明する図。 アイウエアを装着したユーザの種々な眼動（瞬目、目瞑り、視線移動、眼球回転など）と、図２に示す３つのアナログ／デジタルコンバータ（ＡＤＣ）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図（ＥＯＧ）。 第１の実施形態に係る心身状態推定方法の一例を説明するフローチャート。 第２の実施形態に係る心身状態推定方法の一例を説明するフローチャート。 第３の実施形態に係る心身状態推定方法の一例を説明するフローチャート。 第４の実施形態に係る心身状態推定方法の一例を説明するフローチャート。 他の実施形態におけるＥＯＧ電極の実装例を説明する図。 他の実施形態に係るメガネ型アイウエアにおけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネの例）。 さらに他の実施形態に係るゴーグル型アイウエア（左右両眼のアイフレームが連続したタイプ）におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネの他の例）。 さらに他の実施形態に係るゴーグル型アイウエア（左右両眼のアイカップが分離したタイプ）におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネのさらに他の例）。

以下、初めに基礎的な情報を提供し、続いて、図面を参照しながら種々な実施形態を説明する。

＜基礎情報＞
成人の眼球の直径は約２５ｍｍ。生後は１７ｍｍ程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約６５ｍｍ。（一般市販のステレオカメラは６５ｍｍの間隔で作られている物が多い。）
成人女性の瞳孔間距離は男性に比べて数ｍｍ短い。
眼電位は数十ｍＶ。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μＶの電位差として現れる。

なお、眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある：
＜眼球運動（眼動）の種類＞
（01）補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。

（02）随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。

（03）衝撃性眼球運動（サッケード）
物を見ようとして注視点を変えるときに発生する眼球運動（検出し易い）。

（04）滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動（検出し難い）。

＜眼球の移動範囲（一般的な成人の場合）＞
（11）水平方向
左方向: 50°以下
右方向: 50°以下
（12）垂直方向
下方向: 50°以下
上方向: 30°以下
（自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。（閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。）
（13）その他
輻輳角: 20°以下。

＜瞬目から推定しようとする対象に＞ついて
・集中度の推定では、単純な瞬目頻度の変化から、ストーリーに対する時間軸上での瞬目発生タイミングを調べる。

・緊張／ストレスの推定では、瞬目の発生頻度の変化を調べる。

・眠気の推定では、瞬目群発、瞬目時間／瞬目速度の変化を調べる。

・感情や体調その他の心身状態の推定については、今後の研究に委ねられる部分が多いが、本願実施形態では、感情や体調その他の心身状態の推定を行おうとする技術思想があることを、例示している。

図１は、一実施の形態に係る心身状態推定装置用の情報処理部１１が組み込まれたメガネ型アイウエア１００を説明する図（ＥＯＧ電極がノーズパッドに配置された例）である。この実施形態では、右アイフレーム（右リム）１０１と左アイフレーム（左リム）１０２がブリッジ１０３連結されている。左右アイフレーム１０２、１０１およびブリッジ１０３は、例えばアルミ合金、チタンなどで構成できる。左アイフレーム１０２の左外側は左ヒンジ１０４を介して左テンプルバー１０６に繋がり、左テンプルバー１０６の先端に左モダン（左イヤーパッド）１０８が設けられている。同様に、右アイフレーム１０１の右外側は右ヒンジ１０５を介して右テンプルバー１０７に繋がり、右テンプルバー１０７の先端に右モダン（右イヤーパッド）１０９が設けられている。

右テンプルバー１０７（または左テンプルバー１０６）内には、には、情報処理部１１（数ミリ角の集積回路）が取り付けられている。この情報処理部１１は、数十ＭＩＰＳ以上の処理能力を持つマイクロコンピュータ、数十ＭＢ以上のフリーエリアを持つフラッシュメモリ（EEPROM）、BlueTooth（登録商標）やＵＳＢなどを利用した通信処理部、１以上のＡＤＣ（Analog-to-Digital Converter）その他が集積されたＬＳＩにより構成できる（情報処理部１１の詳細については、図３を参照して後述する）。

リチウムイオン電池などの小型電池（ＢＡＴ）が、例えば左テンプルバー１０６内（あるいは右テンプルバー１０７内、もしくはモダン１０８または１０９内）に埋め込まれ、メガネ型アイウエア１００の動作に必要な電源となっている。

左ヒンジ１０４寄りの左アイフレーム１０２端部には、左カメラ１３Ｌが取り付けられ、右ヒンジ１０５寄りの右アイフレーム１０１端部には、右カメラ１３Ｒが取り付けられている。これらのカメラは、超小型のＣＣＤイメージセンサを用いて構成できる。

これらのカメラ（１３Ｌ、１３Ｒ）は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ（１３Ｒ）とレーザー（１３Ｌ）を配置し、赤外線カメラ＋レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク（１３Ｒ）と超音波を放射する小型圧電スピーカー（１３Ｌ）などで構成することもできる。

上記距離センサにより、ユーザの視線の先にある目視対象物と左右フレーム１０１／１０２との間の距離が分かる。メガネフレームのデザインにもよるが、ユーザの眼球位置は左右フレーム１０１／１０２から４０〜５０ｍｍほど後頭部側へ奥まった位置にずれており、大人の瞳孔間距離は６５ｍｍくらいある。この瞳孔間距離６５ｍｍと、前記距離センサで測った距離をフレームから眼球位置までのずれで補正した距離とから、ユーザが目視対象物を見ているときの輻輳角（より目の角度）を、算出できる。フレームから目視対象物までの距離がフレームから眼球位置までのずれ量よりずっと大きいときは、このずれ量を無視しても、輻輳角を大まかに算出できる。

なお、左右カメラ１３Ｌ／１３Ｒの代わりに、あるいは左右カメラ１３Ｌ／１３Ｒに加えて、ブリッジ１０３部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る。（これらのカメラは、図３ではカメラ１３として示されている。これらのカメラや外線カメラ＋レーザーによる距離センサは、オプション扱いとすることができ、アイウエア１００の用途に応じて適宜設ければよい。）
左アイフレーム１０２には左ディスプレイ１２Ｌがはめ込まれ、右アイフレーム１０１には右ディスプレイ１２Ｒがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶（ＰＤＬＣ）を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ１２Ｌ、１２Ｒの一方または両方を構成できる。（このディスプレイは、図３ではディスプレイ１２として示されている。）
フィルム液晶を利用した透明な左右ディスプレイ１２Ｌ／１２Ｒは、メガネを通して見える現実の世界に数字や文字などの画像情報を付加させる拡張現実（ＡＲ：Augmented Reality）を提供する手段として、利用できる。

左右ディスプレイ１２Ｌ／１２Ｒのフィルム液晶は、３Ｄ映画（または３Ｄビデオ）を観賞する際に左右の映像を分離する液晶シャッタとして用いることもできる。なお、３Ｄメガネを構成するにあたっては、液晶シャッタ方式以外に、偏光方式も利用可能である。

ユーザの眼球位置と目視対象物との距離が事前に分かっているときは、距離センサがなくても前述した輻輳角を算出できる。例えば、映画館の客席中央でスクリーンから１０ｍ離れた座席（座席番号で特定できる位置にある）に座っている観客（瞳孔間距離６５ｍｍ）の輻輳角は、tan-1[65/10000]くらいになる。左右ディスプレイ１２Ｌ／１２Ｒにおいて３Ｄの字幕をＡＲ表示する際は、そのＡＲ表示を見る際の輻輳角が、１０ｍ先のスクリーンに投影された３Ｄ映像を見るときの輻輳角と同じくらいになるように、ＡＲ表示する３Ｄ字幕の左右表示位置を制御することができる。そうすれば、ＡＲ表示された３Ｄ字幕と１０ｍ先の３Ｄスクリーン映像を見続ける際に、目の疲れを軽減できる。

３Ｄ映画の鑑賞に限らず一般化していうと、ディスプレイが左右に存在する場合は、所望の輻輳角に対応して、左右のディスプレイに表示する画像（図１のＩＭ１、ＩＭ２）の映像を左右で逆方向にずらすことができる。これにより、現実世界で見える対象物とＡＲ表示を交互に見る場合の目の負担を減らすことができる。

左右のアイフレーム１０２、１０１の間であって、ブリッジ１０３の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド１５０Ｌと右ノーズパッド１５０Ｒのペアで構成される。右ノーズパッド１５０Ｒには右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌには左ノーズパッド電極１５２ａ，１５２ｂが設けられている。

これらの電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは互いに電気的に分離され、絶縁された配線材（図示せず）を介して、３つのＡＤコンバータ（ＡＤＣ１５１０、１５２０、１５１２）に接続される。これらのＡＤＣからの出力は、アイウエア１００を装着したユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じたデジタルデータとして、情報処理部１１に供給される。電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、視線検出センサとして用いられ、３つのＡＤＣとともに図３の眼動検出部１５の構成要素となっている。なお、３つのＡＤＣは情報処理部１１とともに１つのＬＳＩに組み込むこともできる。また、使用するＡＤＣの数は、目的により適宜増減でき、３つという数は一例である（例えば目的が右側の瞬目によるＥＯＧ波形を検出するだけの場合は、使用するＡＤＣの数はＡＤＣ１５１０の１つでよい。目的に応じて、ＡＤＣの数は１〜２個で済む場合もあれば４個以上使用する場合もある。）
右ノーズパッド１５０Ｒには右マイク（または右振動ピックアップ）１６Ｒが設けられ、左ノーズパッド１５０Ｌには左マイク（または左振動ピックアップ）１６Ｌが設けられている。左右のマイク１６Ｌ／１６Ｒは、例えば超小型のエレクトレットコンデンサマイクで構成できる。また、左右の振動ピックアップ１６Ｌ／１６Ｒは、例えば圧電素子で構成できる。笑い声、悲鳴、怒号、びっくりしたときの反射的な体動など大きな感情表出に伴い誘発された音や動きは、マイク（または振動ピックアップ）１６Ｌ／１６Ｒを用いて検出できる（これらのマイクまたは振動ピックアップは、図３ではマイク（または振動ピックアップ）１６として示されている）。鼻をすする小さなすすり泣きは、左右のマイク１６Ｌ／１６Ｒで検出可能である。なお、ユーザの体動は、図３のセンサ部１１ｅが内蔵する加速度センサやジャイロによって検出することもできる。

アイウエア１００は、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）によって、図示しないユーザの頭部に固定される。この実施形態では、ユーザの頭部（または顔面）に直接触れるのは、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）だけでよいが、ＡＤＣ（１５１０、１５２０、１５１２）とユーザのボディとの間の電圧合わせなどのために、それら（ノーズパッド、テンプルバー、モダン）以外の部分がユーザに触れる実施形態があってもよい。

図１の右ディスプレイ１２Ｒのフィルム液晶には、例えば、日本語文字（ひらがなカタカナ漢字）、数字、アルファベット、所定形状のマーク、その他のアイコン群を含む右表示画像ＩＭ１を表示できる。左ディスプレイ１２Ｌのフィルム液晶にも、ＩＭ１と同様な内容の左表示画像ＩＭ２を表示できる。

ディスプレイ１２Ｌ、１２Ｒの表示内容は、何でも良い。例えば緑内障の視野検査に用いる輝点をディスプレイ１２Ｌまたは１２Ｒで表示することができる。表示を行わないときは表示状態を全面黒表示にして、フィルム液晶を目隠しあるいは遮光シートとして用いることもできる。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示されるテンキーやアルファベットは、数字や文字を入力する際に利用できる。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示される文字列、マーク、アイコン等は、特定の情報項目を探したり、目的の項目の選択／決定したり、ユーザに注意喚起をする際に利用できる。

表示画像ＩＭ１、ＩＭ２は、メガネを通して見える現実の世界に数字、文字、マークなどの情報を付加させる拡張現実（ＡＲ）の表示手段として利用でき、このＡＲ表示は適宜オンオフできる。表示画像ＩＭ１の内容と表示画像ＩＭ２は、実施形態に応じて、同じ内容（ＩＭ１＝ＩＭ２）としても、異なる内容（ＩＭ１≠ＩＭ２）としてもよい。また、表示画像ＩＭ１（またはＩＭ２）の表示は、右ディスプレイ１２Ｒおよび／または左ディスプレイ１２で行うことができる。ＡＲ表示の内容を、メガネ越しに見える現実世界に重なる（奥行きを伴った）３Ｄ画像としたいときは、ＩＭ１とＩＭ２を左右別々の３Ｄ用画像とすることができる。

また、ディスプレイ（１２Ｒ、１２Ｌ）が左右に存在する場合、例えば輻輳角を調整して、左右の表示画像（ＩＭ１、ＩＭ２）の映像を左右で逆方向にずらすこともできる。これにより、現実世界で見える対象物とＡＲ表示を交互に見る場合の目の負担を減らすことが考えられる。しかし、通常は、左右のディスプレイ（１２Ｒ、１２Ｌ）で同じ内容の画像を表示する。

ディスプレイ１２Ｌ、１２Ｒでの表示制御は、右テンプルバー１０７に埋め込まれた情報処理部１１で行うことができる。（ディスプレイで文字、マーク、アイコンなどを表示する技術は周知。）情報制御部１１その他の動作に必要な電源は、左テンプルバー１０６に埋め込まれた電池ＢＡＴから得ることができる。

なお、実施形態に対応するアイウエア１００の試作品をデザイナーや設計者が装着してみて重量バランスが悪いと感じる可能性がある。その主因が左テンプルバー１０６内のＢＡＴにあるならば、右テンプルバー１０７内に左テンプルバー１０６内のＢＡＴに見合った「おもり（または別の同重量バッテリ）」を入れておくことができる。

図２は、一実施の形態に係るメガネ型アイウエア１００におけるＥＯＧ電極の実装例を説明する図である。右ノーズパッド１５０Ｒの上下には右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌの上下には左ノーズパッド電極１５２ａ，１５２ｂが設けられている。右ノーズパッド電極１５１ａ，１５１ｂの出力はＡＤＣ１５１０に与えられ、左ノーズパッド電極１５２ａ，１５２ｂの出力はＡＤＣ１５２０に与えられ、左右ノーズパッドの下側電極１５１ｂ，１５２ｂ（または上側電極１５１ａ，１５２ａ）の出力はＡＤＣ１５１２に与えられる。

ＡＤＣ１５１０からは、ユーザの右側上下眼動に対応して変化するＣｈ１信号が得られる。ＡＤＣ１５２０からは、ユーザの左側上下眼動に対応して変化するＣｈ２信号が得られる。ＡＤＣ１５１２からは、ユーザの左右眼動に対応して変化するＣｈ０信号が得られる。左右両眼の上下動については、ＡＤＣ１５１０およびＡＤＣ１５２０の出力の平均で評価してもよい。（Ｃｈ０，Ｃｈ１，Ｃｈ２の信号波形と眼動との関係については、図４を参照して後述する。）
＜図１、図２に示される眼電位センサについての補足説明＞
＊ノーズパッドに設けるＥＯＧ電極について
上下方向の眼球移動検出用には最低限１組（１５１ａと１５１ｂの組；または１５２ａと１５２ｂの組）の測定電極を具備する。その場合は、左または右の（どちらか片方）のノーズパッドの上下に眼電位測定用の電極が設けられる（電極端子数は２個）。

上下方向の眼球移動検出精度向上に1組の測定電極を追加する。その場合は、左右（両方）のノーズパッド１５０Ｌ／１５０Ｒの上下に眼電位測定用の電極（１５１ａと１５１ｂ；および１５２ａと１５２ｂ）が設けられる（電極端子数は４個）。

＊ＡＤＣ（Analog-to-Digital Converter）について
上下方向の眼球移動検出用には最低限１個のＡＤＣ（Ｃｈ１用またはＣｈ２用）を具備する。

上下方向の眼球移動検出精度向上のために1個のＡＤＣ（Ｃｈ２用またはＣｈ１用）を追加する（その結果Ｃｈ１とＣｈ２の双方に１個ずつＡＤＣが設けられる）。(精度向上用オプション）
左右方向の眼球移動検出用には更に1個のＡＤＣ（Ｃｈ０用）を追加する。（機能向上用オプション）
図３は、種々な実施の形態に取り付け可能な情報処理部１１と、その周辺デバイスとの関係を説明する図である。図３の例では、情報処理部１１は、プロセッサ１１ａ、不揮発性メモリ（フラッシュメモリ／ＥＥＰＲＯＭ）１１ｂ、メインメモリ１１ｃ、通信処理部１１ｄ、センサ部１１ｅ、タイマ(フレームカウンタ)１１ｆ、デバイスＩＤ１１ｇなどで構成されている。プロセッサ１１ａは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ１１ｂに格納しておくことができる。不揮発性メモリ１１ｂには、タイマ１１ｆを用いたタイムスタンプ（および／またはフレームカウンタでカウントしたフレーム番号）とともに、種々な検出データを記憶しておくことができる。プログラムを実行する際のワークエリアはメインメモリ１１ｃが提供する。

センサ部１１ｅは、アイウエア１００（あるいはこのアイウエアを装着したユーザの頭部）の位置および／またはその向きを検出するためのセンサ群を含んでいる。これらのセンサ群の具体例としては、３軸方向（ｘ−ｙ−ｚ方向）の移動を検出する加速度センサ、３軸方向の回転を検出するジャイロ、絶対方位を検出する地磁気センサ（羅針盤機能）、電波や赤外線などを受信して位置情報その他を得るビーコンセンサがある。この位置情報その他の獲得には、iBeacon（登録商標）あるいはBluetooth（登録商標）4.0を利用できる。

情報処理部１１に利用可能なＬＳＩは、製品化されている。その一例として、東芝セミコンダクター＆ストレージ社の「ウエアラブル端末向けＴＺ１０００シリーズ」がある。このシリーズのうち、製品名「ＴＺ１０１１ＭＢＧ」は、ＣＰＵ（１１ａ、１１ｃ）、フラッシュメモリ（１１ｂ）、Bluetooth Low Energy（登録商標）（１１ｄ）、センサ群（加速度センサ、ジャイロ、地磁気センサ）（１１ｅ）、２４ビットデルタシグマＡＤＣ、Ｉ／Ｏ（ＵＳＢ他）を持つ。

プロセッサ１１ａで何をするかは、通信処理部１１ｄを介して、ローカルサーバ（またはパーソナルコンピュータ）１０００から、指令することができる。通信処理部１１ｄでは、ZigBee（登録商標）、Bluetooth（登録商標）、Wi-Fi（登録商標）などの既存通信方式を利用できる。プロセッサ１１ａでの処理結果は、通信処理部１１ｄを介して、ローカルサーバ１０００にリアルタイムで送ることができる。また、メモリ１１ｂに記憶された情報も、通信処理部１１ｄを介して、ローカルサーバ１０００に提供できる。ローカルサーバ１０００は、１以上のアイウエア１００の情報処理部１１から送られてきた情報を、レコーダ／ローカルデータベース１００２で記録し蓄積できる。レコーダ／ローカルデータベース１００２に記録／蓄積された情報は、インターネットなどのネットワークを介して、メインサーバ１００００に送ることができる。メインサーバ１００００には１以上のローカルサーバ１０００から種々な情報が送られてきており、それらの情報を統合してビッグデータのデータベースを構築できるようになっている。

情報処理部１１のシステムバスには、ディスプレイ１２（１２Ｌと１２Ｒ）、カメラ１３（１３Ｌと１３Ｒ）、眼動検出部１５、マイク（または振動ピックアップ）１６等が接続されている。図３の各デバイス（１１〜１６）は、バッテリＢＡＴにより給電される。

図３の眼動検出部１５は、視線検出センサを構成する４つの眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）と、これらの電極から眼動に対応したデジタル信号を取り出す３つのＡＤＣ（１５１０、１５２０、１５１２）と、これらＡＤＣからの出力データをプロセッサ１１ａ側に出力する回路を含んでいる。プロセッサ１１ａは、ユーザの種々な眼動（上下動、左右動、瞬目、眼瞑りなど）から、その眼動の種類に対応する指令または状態を解釈し、その指令または状態に対応する処理を実行することができる。

眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し（コンピュータマウスのワンクリックに類似）、連続した所定回数の両目の瞬目（あるいは片目の瞬目／ウインク）なら選択された情報項目に対する処理の実行を開始させる（コンピュータマウスのダブルクリックに類似）指令がある。

眼動の種類に対応する状態の具体例としては、所定数の瞬目、所定時間の目瞑り、視線の上下左右動がある、例えば、眼動が講演の節目における１〜２回の瞬目ならユーザが講演内容に集中し理解したことを推定できる。眼動が検査用映像の再生中における数秒以上の目瞑りならユーザが検査用映像の再生中に居眠りしたことを推定できる。眼動が睡眠中における上下左右動ならユーザがレム睡眠中であったことを推定できる。

上記眼動の種類に対応する指令または状態は、眼動検出部１５を用いた情報入力Ｂの一例である。

＜図３に示される構成要素についての補足説明＞
＊プロセッサ１１ａを構成するマイクロコンピュータユニットの動作について
マイクロコンピュータユニットのプログラミングにより瞬目などの検出エンジンを構成し、この検出エンジンを動作させることで、リアルタイムのＡＤＣ生データではなくて、タイムスタンプ付の瞬目イベントを記録することができる。（例えば、タイマをスタートしてから５分１０秒後に１〜２回連続する瞬目の発生イベントがあったなら、その瞬目のＥＯＧ波形をＡＤ変換した生データを記録するのではなくて、代わりにそのような瞬目が発生したことを５分１０秒のタイムスタンプとともに記録する。）このようにすれば、生データをそのまま記録するよりも記録に必要なメモリ容量を大幅に節約できる。なお、メモリ容量に十分な余裕があるときは、ＡＤＣ生データを記録するようにしてもよい。

＊不揮発性メモリ１１ｂを構成するフラッシュメモリ／ＥＥＰＲＯＭについて
例えば映画館で映画を鑑賞している大勢の観客から瞬目の情報を収集する場合を考えてみる。その場合、全ての観客からリアルタイムで瞬目の情報を集め続けるよりも、個々の観客の瞬目情報を個々の観客のローカルメモリ（１１ｂ）に一時記憶しておき、映画終了後に全ての観客のローカルメモリ（１１ｂ）から記憶した瞬目情報を回収する方が、効率的な情報収集ができる。

＊通信処理部１１ｄについて
例えば映画が終了し、全ての観客のローカルメモリ（１１ｂ）で瞬目情報の一時記憶が終わったなら、一時記憶された瞬目情報（タイムスタンプ付き）を映画館のローカルサーバ（１０００）で回収することができる。この回収は、例えば、映画館の座席または館内特定場所に設けたBlueTooth（無線）またはＵＳＢ（有線）を介して行うことができる。

＊電源（電池／バッテリー）ＢＡＴについて
以下の動作を行うための電源供給維持のために、小型バッテリーが用いられる。

・映画の上映中には、「瞬目」検出エンジンを動作させてＥＯＧ波形のＡＤ変換結果から「瞬目」をリアルタイムで検出し、検出した「瞬目」イベントの情報をタイムスタンプと一緒にメモリ１１ｂに記録してゆく。

・映画の上映終了後には、メモリ１１ｂに記録した「瞬目」イベント情報を回収できるようにする。

図４は、アイウエア１００を装着したユーザの種々な眼動（瞬目、目瞑り、眼球回転など；特に瞬目）と、図２に示す３つのアナログ／デジタルコンバータ（ＡＤＣ）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図（ＥＯＧ）である。縦軸は各ＡＤＣのサンプル値（ＥＯＧ信号レベルに相当）を示し、横軸は時間を示す。

図４の上段に示すＣｈ０のＥＯＧ波形のＡＤＣサンプル値において、視線が左を向いたときの凹波形と視線が右を向いたときの凸波形の組合せ波形Ｐｒ（またはＰｒ＊）により、左右方向の眼球回転が検出される。

図４の中段に示すＣｈ１のＥＯＧ波形のＡＤＣサンプル値または、同図下段に示すＣｈ２のＥＯＧ波形のＡＤＣサンプル値において、視線が上を向いたときの凸波形と視線が下を向いたときの凹波形の組合せ波形Ｐｔ（またはＰｔ＊）により、上下方向の眼球回転が検出される。

図４の中段に示すＣｈ１のＥＯＧ波形のＡＤＣサンプル値または、同図下段に示すＣｈ２のＥＯＧ波形のＡＤＣサンプル値において、１〜２回の瞬目は、瞬間的にレベル上昇して元に戻る凸パルス波形Ｐｃにより検出される。

図４の中段に示すＣｈ１のＥＯＧ波形のＡＤＣサンプル値または、同図下段に示すＣｈ２のＥＯＧ波形のＡＤＣサンプル値において、３回の瞬目は、瞬間的にレベル上昇して元に戻る凸パルス波形Ｐｓにより検出される。（図示しないが、４回以上の瞬目も３回の場合と同様に検出できる。）
図４の中段に示すＣｈ１のＥＯＧ波形のＡＤＣサンプル値または、同図下段に示すＣｈ２のＥＯＧ波形のＡＤＣサンプル値において、瞬目より長い期間生じる目瞑りは、幅広な凸パルス波形Ｐｆにより検出される。（図示しないが、より長い目瞑りはより広いパルス幅の波形で検出される。）
＜図４のＥＯＧ波形と眼動との関係＞
（０１）視線が左右にきょろきょろと動いているときは、波形Ｐｒ（またはＰｒ＊）が表れる。視線が上下にきょろきょろと動いているときは、波形Ｐｔ（またはＰｔ＊）が表れる。視線が左右上下にきょろきょろと動いているときは、波形Ｐｒ（またはＰｒ＊）と波形Ｐｔ（またはＰｔ＊）が連続して表れる。つまり、ＥＯＧ波形Ｐｒおよび／またはＰｔ（Ｐｒ＊および／またはＰｔ＊）から、「きょろつき」型眼動を検出できる。

（０２）瞬目がなされると、瞬目の回数に応じたパルス波形Ｐｃ、Ｐｓ（またはＰｃ＊，Ｐｓ＊）が表れる。つまり、ＥＯＧ波形Ｐｃ、Ｐｓ（またはＰｃ＊，Ｐｓ＊）から、種々な回数の「瞬目」型眼動を検出できる。なお、「瞬目」型眼動の検出さえできればよいのであれば、Ｃｈ０のＡＤＣは不要となる。「瞬目」型眼動の検出目的では、最低限、Ｃｈ１またはＣｈ２のＡＤＣが１つあればよい。しかしＣｈ１およびＣｈ２の２つのＡＤＣを用い、両者の出力を合成すれば、信号対雑音比（Ｓ／Ｎ）を改善できる。その理由は、Ｃｈ１とＣｈ２の間で相関性がある信号成分（Ｐｃ、Ｐｓ、Ｐｆ、Ｐｔなど）は２つのＡＤＣ出力の合成により＋６ｄＢ増えるが、相関性がないランダムなノイズ成分は＋３ｄＢしか増えないからである。

（０３）目瞑りがなされると、目瞑りの長さに応じたパルス波形Ｐｆ（またはＰｆ＊）が表れる。つまり、ＥＯＧ波形Ｐｆ（またはＰｆ＊）から、種々な長さの「目瞑り」型眼動を検出できる。「目瞑り」型眼動はＣｈ０のＥＯＧ波形にも少し表れるが、「目瞑り」型眼動の検出目的では、Ｃｈ０のＡＤＣはなくてもよい。

＜眼動と心身状態の関係＞
（１１）ＥＯＧを利用した検査中（例えば緑内障の視野検査中）に「きょろつき」型眼動が検出されたときは、被験者の集中力が欠け落ち着きなない状態にあると推定することが考えられる。

（１２）ＥＯＧを利用した検査中（例えば講演や授業の理解度調査中）に、要所（講演内容の意味の区切り箇所など）で少数回（例えば１〜２回）の「瞬目」型眼動が検出されたときは、被験者は集中しており理解が進んでいる状態にあると推定することが考えられる。

（１３）ＥＯＧを利用した検査中（例えば接客店員の適性検査中）に、要所（「被験者が混雑した店内で複数客から矢継ぎ早に種々な注文を受ける」といった検査内容の箇所など）で数回以上（例えば３回以上）の「瞬目」型眼動が検出されたときは、被験者は緊張しており精神的にストレスを受けた状態にあると推定することが考えられる。

（１４）ＥＯＧを利用した検査中（例えばドライブシミュレータを用いた検査において、単調な走行画面と単調な連続振動音の出力中）に短めの「目瞑り」型眼動が複数回検出されたときは、被験者は疲労しており検査項目に集中できない状態にあると推定することが考えられる。

（１５）ＥＯＧを利用した検査中（例えば睡眠の調査中）に長期間の「目瞑り」型眼動が検出されたときは、被験者は睡眠（仮眠）しておりノンレム睡眠あるいはレム睡眠の状態にあると推定することが考えられる。

（１６）ＥＯＧを利用した検査（例えば睡眠状態の検査）において、長時間の「目瞑り」型眼動が検出されている間に「きょろつき」型眼動が検出されたときは、被験者がレム睡眠の状態にあると推定することが考えられる。

（１７）ＥＯＧを利用した検査（例えば睡眠からの覚醒の検査）において、長時間の「目瞑り」型眼動が検出されたあと（ノンレム睡眠あるいはレム睡眠の状態にあると推定される）、「瞬目」型眼動が検出されたときは、その「瞬目」型眼動の検出により睡眠から覚醒したものと推定することが考えられる。

＜眼電位センシング技術を用いた劇場３Ｄメガネ向け感情（心身状態）推定/記録の要点＞
＊主要な検出対象は瞬目（瞬き）である。

ユーザの顔面に対して、最低限、上下方向（例えば左右ノーズパッドの片側の上下）に１組のＥＯＧ電極（使用するＡＤＣは最小限１個）を装着する。

ユーザの顔面に装着した１組以上のＥＯＧ電極からの検出結果に基づいて、ユーザのストレス、集中度、眠気、睡眠状態（レム睡眠／ノンレム睡眠）などが推定可能となる。

＊これに以下を追加して、スクリーン映像や４Ｄシアターのギミックに対する観客のリアクションを収集できるようになる。すなわち
ユーザ（個々の観客）の顔面に対して左右方向に、最小１組（精度を上げるには２組）のＥＯＧ電極（使用するＡＤＣは合計２個以上）を追加して装着する。（例えば、左右ノーズパッドの一方側の上下と他方側の上または下、あるいは左右ノーズパッド各々の上下に、合計３個または４個のＥＯＧ電極を設ける。）
以上の追加構成により、左右方向を含めた眼球の回転方向（任意方向の視線移動または眼球回転）を推定できるようになる。

図５は、第１の実施形態に係る心身状態推定方法の一例を説明するフローチャートである。３Ｄビデオ再生は一般家庭では普及には至らなかったが、映画館における３Ｄ上映は継続的に行われている。図５は、３Ｄメガネを用いた３Ｄ映画（あるいは３Ｄメガネを用いた３Ｄ映画に振動など視聴覚以外の五感に対する効果を追加した４Ｄ映画）における観客の集中度・疲労度・ストレスなどを集計し記録する処理の一例を示している。さらに、図５は、或る期間に渡り上映された作品（３Ｄ／４Ｄ作品に限らず２Ｄ作品も含まれ得る）への不特定多数観客データを集計して、多数の観客の一般評価を判定し次回の作品プロデュースにフィードバックする処理も例示している。

いま、図３に示すようなローカルサーバ１０００を図示しない映写室（あるいは事務室）に備えた３Ｄ／４Ｄ対応映画館が存在し、この映画館で或る３Ｄ（または４Ｄ）作品が上映される場合を想定してみる。その３Ｄ作品の上映が始まる前に、映画館の係員は、図１のようなアイウエア形態を持つ３Ｄメガネ１００を入場者（観客）に配布する（ＳＴ１０）。

配布する３Ｄメガネ１００は男性用と女性用で色分けされ、大人用と子供用でサイズが分けられている。つまり、この３Ｄメガネ１００には大人の男女用に２種類と、子供の男女用に２種類の、合計４種類がある、この４種類は、例えば図３のデバイスＩＤ１１ｇの先頭ビットにより区分けできる（２ビットで４種類、４ビットなら１６種類の区分けが可能）。また、３Ｄメガネ１００個々の識別（配布人数分の識別）は、デバイスＩＤ１１ｇの後続ビットにより区分けできる（１２ビットで４０９６人分、１４ビットで１６３８４人分の区分けが可能）。デバイスＩＤ１１ｇのビット数は、配布するメガネ１００の区分け分類数と、配布するメガネ１００の最大個数に応じて、適宜決定すればよい。

なお、図１に示すようなメガネ１００では、画像ＩＭ１および／またはＩＭ２において字幕をオン／オフ可能にＡＲ表示できる。その際、デバイスＩＤが大人用を示しておればデフォルト表示される字幕を小さ目の「かな漢字交じり日本語または原語（英語など）」とすることができ、デバイスＩＤが子供用を示しておればデフォルト表示される字幕を大き目の「ひらがなまたはカタカナのみの日本語」とすることができる。

メガネ１００を装着した観客が映画館の座席に着席したあと、上映開始時間になると、館内の照明が落とされ、上映が開始される。その上映開始と同時に、図３のローカルサーバ１０００から各メガネ１００へ上映開始の合図が送られる。この合図を通信処理部１１ｄで受けると、各メガネ１００のタイマ（またはフレームカウンタ）１１ｆが自動的に（つまりメガネユーザが何もしなくても）スタートする。すると、メガネユーザ（個々の観客）の眼動（瞬目など）に対応したイベントが眼動検出部１５で検出される毎に、あるいはメガネユーザの声や体動（笑い声やびっくりしたときの反射的な動き）に対応したイベントがマイク１６やセンサ部１５で検出される毎に、そのイベントを示す情報ビットにタイムスタンプ（またはフレームカウント値）の情報ビットを付加した検出データが、各メガネユーザのＥＯＧデータとして、メモリ１１ｂに連続記録される（ＳＴ１２）。なお、メモリ１１ｂの記憶容量が十分に大きいときは、ＡＤ変換したＥＯＧの生データを各メガネユーザのＥＯＧデータとしてメモリ１１ｂに記録してもよい。

上記検出データは、デバイスＩＤ１１ｇの情報ビットに、検出されたイベントの種類（眼動の種類、声の種類、体動の種類など）を示す情報ビットと、タイムスタンプ（またはフレームカウント値）の情報ビットを付加したものとすることもできる。用途にもよるが、検出データのビット数としては、８０〜１６０ビット（１０〜２０バイト）くらいあれば十分実用に耐えると考えられる。

上記イベントの発生原因となる映像の表示形式は、３Ｄに限られず、２Ｄであっても、４Ｄであってもよい（４Ｄは、映像部分だけで言えば３Ｄと同等）。また、イベント発生の原因となり得る音声／音響効果（４Ｄでは振動その他の体感効果も加わる）は、モノラルでも、前方２〜３チャネルステレオでも、４チャネル以上の前後サラウンドステレオでもよい。これらの音声／音響効果は、映画のシーンによって適宜切り替えられても良い。どのような音声／音響効果があったのかは、タイマ（またはフレームカウンタ）１１ｆから得られるタイムスタンプ（またはフレームカウント値）から特定できる。

フレームカウント値は１枚１枚の映像フレームを示しており、例えば動画の連続フレーム中に１ないし数枚のサブリミナル画像を挿入した場合に、そのサブリミナル画像フレームをフレームカウント値で特定することができる。また、フレームレートが例えば毎秒６０フレームであれば、フレームカウント値を６０で割ることによりそのフレームカウント値に対応するタイムスタンプを算出できる。従い、フレームカウンタはタイマと同様な機能を持つことができる。

メモリ１１ｂに記録されたデータは、自身のデバイスＩＤ１１ｇを含めて、所定のタイミングで（例えば５〜１０分毎に）、Bluetoothなどを利用して通信処理部１１ｄからローカルサーバ１０００へ自動転送することができる（ＳＴ１４）。ローカルサーバ１０００は、（小分けにして）転送されてきたデータを、送り元のデバイスＩＤ１１ｇを含めて、デジタルレコーダ１００２に連続記録し、および／またはローカルデータベース１００２に累積記録する。種々なメガネユーザのデータがレコーダ／ローカルデータベース１００２の記録エリア上で不連続に分断記録されていても、デバイスＩＤ１１ｇを選別キーとすることにより、個々のメガネユーザのデータを選別し纏めて取り出すことができる。

メモリ１１ｂへのデータ記録（ＳＴ１２）と記録データのローカルサーバ１０００への小分け転送（ＳＴ１４）は、上映作品が終了する前まで反復される（ＳＴ１６ノー）。

上映作品が終了しエンドテロップが始まると（ＳＴ１６イエス）、メモリ１１ｂ内の未転送分のデータがローカルサーバ１０００へ転送される。これにより、観客に配布した全てのメガネ（全てのユーザメガネ）のデータがローカルサーバ１０００で収集され、レコーダ／ローカルデータベース１００２への記録が完了する（ＳＴ１８）。なお、全てのメガネユーザのデータを収集するとデータ量が多くなりすぎるときは、デバイスＩＤをランダムに一定数決め、決めたデバイスＩＤのユーザデータだけを収集するようにしてもよい（あるいは、例えば奇数または偶数相当のデバイスＩＤのユーザデータだけを収集することで、データ量を半減できる）。

必要なユーザデータの収集が終わりその記録が完了したら、係員が配布した３Ｄメガネ１００を退場するユーザ（観客）から回収する（ＳＴ２０）。（または使用済みの３Ｄメガネを回収箱に入れてもらう。）回収されたメガネ１００の通信機能は即座にオフされる。すると、未回収のメガネ１００とローカルサーバ１０００との間の通信回路は生きているので、メガネ１００が持ち出されようとすると、劇場の出口にいる係員がビーコンセンサ１１ｅなどによりそのメガネ１００の持ち主を特定し、メガネ１００の紛失を防止できる。

観客を入れ替えて再上映するときは（ＳＴ２２イエス）、ＳＴ１０〜ＳＴ２０の処理を反復し、新たな観客からのデータを収集する。

その日の上映が全て終了したら（ＳＴ２２ノー）、収集したデータの集計と記録の整理を行う（ＳＴ２４）。例えば、収集したデータに基づいて、１以上のユーザ（観客）の特徴的なＥＯＧ波形変化（例えば瞬目に対応するイベント相当）と、その変化があったときのタイムスタンプ（またはフレーム番号）が示す上映内容（シーン、効果音、振動などの４Ｄエフェクトなど）と、ユーザの特徴（性別／年齢層など）等との対応関係を、スプレッドシート形式に纏めて集計する。すると、例えば大人の女性はあるシーンと効果音で驚き悲鳴を上げる頻度が多いが、男性ではその頻度は少ないなど、上映作品のシーンや効果音毎の観客の反応（心身状態）の程度を推定できるようになる。

１以上の映画館で一定期間（例えば１ヶ月）の間にローカルサーバ１０００で集計したデータは、インターネットなどの通信回線を介して、メインサーバ１００００へ継続的に送ることができる（ＳＴ２６）。

例えば、検出データを１０バイトで構成しそのうちの２バイトをデバイスＩＤ用に用いるとすると、検出イベントの種類に２バイトを割り当て、タイムスタンプ（またはフレームカウント値）等に６バイトを割り当てることができる。１回の映画上映で１人当たり平均１０００イベントの検出がなされたとすると、１回の映画上映で１０００人の観客から１０Ｍバイトの情報が集まる。１ヶ月間に１００回の上映があったとすると検出データ量は１つの映画館当たり月間間で１Ｇバイトとなる。１００箇所の映画館から同様なデータが図３のメインサーバ１００００に集まると、トータルで１００Ｇバイトのデータとなり、年単位では１Ｔバイト以上のビッグデータとなる。

このビックデータは、データ収集当事の社会情勢も考慮して、次回映画作品のジャンル選択のヒントを与えてくれる。例えば、自爆テロが頻発する社会情勢において、ある３Ｄ映画中のテロリストとの戦闘シーンに対して観客の集中度が高いことがＥＯＧデータの集合から推測できたなら、テロに立ち向かうヒーローの３Ｄ映画を次に製作しよう、という映画製作会社の企画が可能になる。

＜第１の実施形態（図５）の纏め＞
映画館の３Ｄ上映用の３Ｄメガネ（シャッター方式、偏光方式のどちらでもよい）に、眼電位センシングを応用した集中度・疲労・ストレス推定を組み合わせる。これにより、現在上映中の映画に対する観客の反応（シーン毎の集中度・疲労度・ストレス）を集計する事が可能となり、上映時間に合わせた本編の再編集や、更には、今後の新作映画の製作へ、顧客の声（Voice of the Customer：ＶＯＣ）としてフィードバックできる。

上映中の作品に対する観客反応の検出・推定・（時間軸に沿った）記録を個々のメガネ単体で行うことにより、映画館に居る全員分の反応結果を集める事が可能になる。

図６は、第２の実施形態に係る心身状態推定方法の一例を説明するフローチャートである。ここでは、ＡＲアイウエア（ＡＲメガネ）１００に眼電位センシング機能を設けて瞬目（瞬き）等の検出を行えるようにし、ＡＲメガネ越しに（またはＡＲメガネ上で）試験用映像（トレーニングビデオ）を表示しながら、「瞬目」等を基にした集中度・疲労・ストレス推定を行う。

まず、被験者（アイウエアのユーザ）が、ＥＯＧ電極付きのＡＲアイウエア（メガネ型またはゴーグル型）１００を装着する（ＳＴ３０）。試験用映像（ドライバの適性試験ならドライブシミュレータの映像など）の上映開始と同時に、タイマ（またはフレームカウンタ）１１ｆをスタートさせて、被験者（長距離バスのドライバや高齢の自動車ドライバなど）のＥＯＧデータ（例えば図４のＥＯＧ波形に対応したイベントの情報）の連続記録を、メモリ１１ｂを用いて開始する（ＳＴ３２）。試験用映像は、コンピュータグラフィックス（ＣＧ）でも実写映像でもアニメーションでもよい。映像の表示方法は、２Ｄ、３Ｄ、４Ｄのいずれでも良い。音声（４Ｄでは振動なども加わる）は、ステレオでもモノラルでもサラウンドでもよい。映像の表示方法や音声等の提示方法は、試験内容に応じて、適宜切替可能である。

試験映像には、所定のチェック箇所において、被験者の集中度、疲労度、ストレスなどを推定するためのＥＯＧ信号波形パターンに関連する映像内容（種々なストレス映像）が組み込まれている。例えば、車線が急に曲がりくねったり、突然、横側からボールや動物が飛び出てきたり、単調で眠くなるような景色が続くような映像が組み込まれている。このような所定のチェック箇所において被験者が付けたアイウエア１００から得られたＥＯＧデータ（瞬目発生などのイベントに対応したデータ）は、タイムスタンプまたはフレーム番号とともに、メモリ１１ｂに一時的に記録される。このメモリ１１ｂに記録されたデータの内容は、所定のタイミング（例えば試験映像内のシーンの区切れ）でローカルサーバ１０００に転送され、レコーダ／ローカルデータベース１００２で記録される（ＳＴ３４）。

種々なストレス映像を含む試験映像を用いた被験者のデータ記録が済むと（ＳＴ３６イエス）、レコーダ／ローカルデータベース１００２で記録されたデータの評価が行われる（ＳＴ３８）。ＳＴ３８の評価では、今回の試験で得られたＥＯＧデータがうまく取れているかどうかがチェックされる。（普通は瞬目反応がある映像箇所で瞬目が認められないなど疑義があれば再チェックし（ＳＴ４０イエス）、そうでなければ次の処理に進む。）
今回の試験で被験者のＥＯＧデータがうまくとれているようであれば（ＳＴ４０ノー）、被験者の特徴的なＥＯＧ波形変化（瞬目、目瞑りなどに対応）と、その変化があったときのタイムスタンプ（またはフレーム番号）が示す試験映像の内容（シーン、効果音、振動や気温等の４Ｄエフェクト、その他）と、被験者（メガネユーザ）の特徴（性別／年齢／過去の経歴など）との対応関係を、その被験者について、ローカルサーバ１０００において集計し、集計結果をレコーダ／ローカルデータベース１００２に記録する（ＳＴ４２）。

レコーダ／ローカルデータベース１００２には、同じ被験者（長距離バスのドライバや高齢の自動車ドライバなど）が健常であったときの、同じ試験映像に対する過去の比較用ＥＯＧデータ、あるいは同じ業種で健常な平均的人物の、同じ試験映像に対する比較用ＥＯＧデータが、既に記録されている。今回の試験で得られた被験者のＥＯＧデータは、既に記録されている比較用ＥＯＧデータと比較される。比較される両データの箇所は、同じタイムスタンプ（または同じフレームカウント値）の箇所である。比較の結果、今回の試験データから、単調な走行映像で居眠り（図４のＰｆなど）が認められたり、不意の飛び出し映像箇所で瞬目反応（図４のＰｃ、Ｐｓなど）の発生がない箇所が散見されたときは、その発生状況に応じて、被験者（長距離バスのドライバや高齢の自動車ドライバなど）がこれからの業務（長時間に渡るバス運転など）を正常に行えるかどうか判定する（ＳＴ４４）。

一定期間（たとえば１年）以上かけてローカルサーバ１０００で集計したデータは、インターネットなどを介して、継続的にメインサーバ１００００へ送られる。あちこちのローカルサーバ１０００から継続的に送られてくる集計データは、メインサーバのデータベースに蓄積され、ビッグデータとなる（ＳＴ４６）。このビッグデータを分析すれば、ＳＴ３２の試験映像によりどのようなＥＯＧデータが得られるのが健常者にとって普通なのかを推定できる。このような推定による知見は、疲労気味の労働者や高齢者の就業適性を判定することに役立つ。

適切な内容の試験映像を作成することにより、図６の試験は、自動車運転以外の業種の作業（インフラの保守作業や倉庫のピッキング作業など）における集中度・疲労度・ストレスなどの推定にも利用可能である。例えば、作業時／トレーニング時において、集中度低下・ストレス増大・神経異常をきたした事などを、リアルタイムに推定できる。「瞬目」の回数が多くなる現象は、不安・緊張・心の葛藤・ストレスなど心因性なものと、神経に異常をきたしているケースが考えられる。作業においてはどの状態も好ましいものではない。「瞬目」の検出／記録を行うことにより、作業者の負担を軽減するための環境作りや作業手順の改善等について、検討・対策を講じる事ができる。

また、トレーニング時の瞬目（瞬き）発生パターンより、理解度をリアルタイムに推定できる。説明を聞いている際、意味の切れ目に瞬きをしていれば良く理解されており、区切りではない箇所で瞬きをしていれば説明の聴講に集中できていないと推定できる。

「瞬目」の検出／記録を行うことにより、トレーニング効果の評価および、トレーニング内容の改善も可能となる。

作業時の「瞬目」および「目瞑り」の発生パターンより、居眠りをリアルタイムに推定できる。

視線を真上に向けた場合と、意図的に一定時間以上目を閉じた場合とでは、垂直方向の眼電位の絶対値に明らかな差が見られる（視線を真上に向けた場合 << 一定時間、例えば０．５秒以上の閉眼）。

日常的に一定時間（数秒）以上目を閉じ続ける事は無いため、「瞬目」および「目瞑り」を検出する事により、このような動作が作業中（例えば自動車の運転中）に発生した場合には、その発生を記録するだけでなく、作業者へアラートを出す事ができる。

また、ＡＲアイウエア１００に加速度センサ／ジャイロセンサ（図３の１１ｅ）を設けることにより、ＡＲアイウエア１００を装着したユーザの身体動作（居眠りに伴う頭部のこっくり等）の検出精度を（眼動検出部１５だけしか使わない場合と比べて）向上できる。

図７は、第３の実施形態に係る心身状態推定方法の一例を説明するフローチャートである。ここでは、緑内障視野検査時の被験者の集中度（視線がキョロキョロ動いてていないか）・疲労度・ストレスなどを集計し記録する。まず、図示しない視野検査装置のアイフレームのＥＯＧ電極に被験者の眼周辺の顔面皮膚を接触させる（ＳＴ５０）。

次に、タイムスタンプを提供するタイマ１１ｆをスタートさせ、被験者の右眼（または左眼）の眼前で視野検査用の輝点（図示せず）を、所定のプログラム手順で発生させる。被験者は、輝点が見えたら、検査ボタン（図示せず）を押して、輝点が見えたことを装置に通知する。この検査ボタンを押したというイベントは、ボタンが押されたときのタイムスタンプと、そのときのＥＯＧデータ（図４）ともに、検出データとしてメモリ１１ｂに記録される（ＳＴ５２）。

輝点発生のプログラムが終了したら（ＳＴ５４イエス）、メモリ１１ｂに記録された検出データの信頼性が評価される（ＳＴ５６）。この評価では、ボタンが押されたときのＥＯＧデータが「きょろつき」に対応する波形（Ｐｒ、Ｐｔなど）あるいは「目瞑り」に対応する波形（Ｐｆなど）のときは、誤操作でボタンが押されたものと推定する。検査技師あるいは眼科医師が「ボタンの誤操作が多すぎる」と判断したら、再検査となる（ＳＴ５８イエス）。

検査技師あるいは眼科医師が「ボタンの誤操作発生頻度は診断に問題がない程度に少ない」と判断したら、メモリ１１ｂ内の検査結果をローカルサーバ（パーソナルコンピュータ）１０００に転送する。転送された検査結果は、その被験者の過去の検査結果や医師の診断見解を含め、被験者のカルテの一部として、レコーダ／ローカルデータベース１００２に記録される（ＳＴ６０）。

なお、ＳＴ５０〜ＳＴ６０の処理は、被験者の片目（右眼または左眼）だけに対する場合と、被験者の両目に対する場合がある。

図８は、第４の実施形態に係る心身状態推定方法の一例を説明するフローチャートである。ここでは、被験者のレム睡眠とノンレム睡眠を眼動のＥＯＧから検出し、レムからノンレムに移行する際に、被験者がどのような映像を見ていたのか、および／またはどのような音声・音楽を聴いていたのか等の情報を収集し記録する。また、被験者のレム睡眠とノンレム睡眠を眼動のＥＯＧから検出し、レムからノンレムに移行するタイミングで被験者を強制的に覚醒させて、覚醒前に見ていた夢の情報を収集し記録する。

まず、被験者（アイウエアのユーザ）が、ＥＯＧ電極付きのＡＲアイウエア（メガネ型、ゴーグル型またはアイマスク型）１００を装着する（ＳＴ７０）。アイウエア１００がメガネ型またはゴーグル型の場合は、ＡＲ表示スクリーン越しに、図示しない外部モニタに映し出されたビデオ映像を見ることができる。アイウエア１００がアイマスク型の場合は、アイマスクの内側に有機ＥＬなどを用いた板状の画像表示部（図示せず）を設け、その画像表示部でビデオ表示するように構成できる。

アイウエア１００を装着する被験者は、睡眠を誘発しやすい環境におかれる。睡眠を誘発しやすい環境の一例として、適温（２５℃位）適湿（５０〜６０％位）の薄暗い室内で、リクライニングシートに柔らかいシーツを被せた環境が考えられる。あるいは、寒い室内でコタツに入り横になっている環境でもよい。

このような睡眠を誘発しやすい環境において、睡眠誘導用ビデオの再生を開始する。このビデオ再生開始と同時に、タイマ（またはフレームカウンタ）１１ｆをスタートさせて、被験者のＥＯＧデータの連続記録を、メモリ１１ｂを用いて開始する（ＳＴ７２）。睡眠誘導用ビデオの映像は、コンピュータグラフィックス（ＣＧ）でも実写映像でもアニメーションでもよい。このビデオは、睡眠誘導だけを目的とするものに限らず、睡眠学習を意図した内容を含んでいてもよい。

映像の表示方法は、２Ｄ、３Ｄ、４Ｄのいずれでも良い。音声（４Ｄでは振動なども加わる）は、ステレオでもモノラルでもサラウンドでもよい。映像の表示方法や音声等の提示方法は、再生内容に応じて、適宜切替可能である。睡眠誘導ビデオの内容は、過去の実験で多数の人に対して睡眠誘導効果が認められた映像・音・ストーリーの作品から選択する（４Ｄ作品では振動や匂いなども適宜加わる）。被験者が眠りに付いたあと（目瞑りが継続される）は映像は見なくなるので、音（音楽など）や４Ｄ効果（振動など）が大きな意味を持つようになる。被験者が眠りについた後の音や４Ｄ効果の中身は、タイムスタンプ（またはフレーム番号）により特定できる。

なお、記録するＥＯＧデータには、被験者の生理データ（呼吸数、脈拍、血圧など）を付加してもよい。毎分の呼吸数は、例えば図３のタイマ１１ｆとマイク１６（呼吸音を検出する）により検出できる。マイク１６は、被験者の寝息やいびきの検出にも利用できる。血圧などの生理データは、例えばリストバンド型の小型血圧計（図示せず）を用いて得ることができる。ＥＯＧデータに生理データを適宜含めて検討すれば、被験者の心身状態の推定精度をより高めることができる。

長い目瞑り（および、寝息やいびきの発生、もしくは脈拍や血圧の低下）から被験者の入眠（睡眠開始）を検出する。一般的にいって、入眠すると最初にノンレム睡眠が表れ、その後にレム睡眠が表れ、以後目覚めるまでの間に、ノンレム睡眠（脳は眠っている）とレム睡眠（脳は活動している）が交互に表れる。レム睡眠は、例えば９０分毎に表れ、２０〜３０分くらい続く。レム睡眠中は眼動がある(眼がきょろきょろ動く）ので、この眼動をＥＯＧ波形から検出することにより、レム睡眠をノンレム睡眠から区別できる。これにより、睡眠中の眼動の有無から、レム睡眠とノンレム睡眠を検出し、それらの検出イベントを、タイムスタンプとともにメモリ１１ｂに記録する（ＳＴ７４）。レム睡眠中は脳が活動しているので、夢を見ていることが多い。

レム睡眠からノンレム睡眠に切り替わると、睡眠中の眼動が検出されなくなるという変化が生じる。このような変化があったとき（ＳＴ７６イエス）、被験者を強制的に覚醒させると、直前のレム睡眠中に見ていた夢を思い出せる可能性が高い。

そこで、夢の調査をする際は、被験者を強制的に覚醒させ（ＳＴ７８イエス）、被験者に夢の内容を記録してもらう（夢の記録手段は問わない、マイク１６を用いた音声記録でも、手書きメモでもよい）。夢の内容は、覚醒時のタイムスタンプとともに、メモリ１１ｂに記録する（ＳＴ８０）。覚醒以前のＥＯＧデータは別途記録されており（ＳＴ７２）、覚醒直前のレム睡眠中に再生されていたビデオの内容（特に視覚以外の五感に訴える情報：音楽や効果音あるいは、掛け算の九九のような、単純でリズミカルな音声など）は、タイムスタンプから特定できる。

別の夢のデータをとりたいといは、被験者に再度寝てもらい（ＳＴ８２イエス）、ＳＴ７２〜ＳＴ８０の処理を繰り返す。そうでなければ（ＳＴ８２ノー）、被験者毎に記録した全てのデータ（タイムスタンプ、ＥＯＧデータ、夢の内容メモなど）をローカルサーバ１０００に送り、整理してからレコーダ／ローカルデータベース１００２に記録する（ＳＴ８４）。とくに、夢の内容が手書きメモのときは、覚醒後の被験者に意味の分かりやすい文書に書き直してもらい（例えば、夢に出てきた人が「ににんがし、にさんがろく」と言っていたなど）、その文書データをレコーダ／ローカルデータベース１００２に記録するとよい。ローカルサーバ１０００に記録したデータは、適宜、メインサーバ１００００に送ってそのサーバに記録する。

ローカルサーバ１０００および／またはメインサーバ１００００に記録されたデータは、例えば次のような調査に利用できる。すなわち、１度の睡眠時間（３〜９時間位）の間に１度以上生じるレム睡眠とノンレム睡眠において、睡眠中に再生したビデオコンテンツがどのように夢に反映されたかを、調査できる（ＳＴ８８）。この調査結果は、睡眠学習の開発に利用できる。

また、睡眠誘導用ビデオの再生を開始してから睡眠が始まるまで（あるいは最初のレム睡眠またはノンレム睡眠が検出されるまで）の睡眠誘導所用時間を、タイマ１１ｆを用いて計測できる。複数の被験者に対して種々な睡眠誘導用ビデオＶ１、Ｖ２、Ｖ３、…を見せて、各ビデオＶ１、Ｖ２、Ｖ３、…の再生における個別の睡眠誘導所用時間データを複数の被験者から収集できる。これらの睡眠誘導所用時間データを分析すれば、「よく眠れる／快眠できるビデオ（映画）」の製作に役立てることができる。

図９は、他の実施形態におけるＥＯＧ電極の実装例を説明する図である。この実施形態は、例えば緑内障患者の視野検査における、きょろつき、集中度・ストレスチェックにおいて利用できる。図９の電極実装例では、ゴーグル型アイウエアのクッション面（ユーザの顔面皮膚に接触する面）において、図１とは異なる電極配置を行っている。

すなわち、例えばシリコーン製のクッションがゴーグルのフレーム１１０上に設けられ、このクッションの図示位置に所要の眼電位検出電極（ＥＯＧ電極１５１ａ、１５１ｂ、１５２ａ、１５２ｂ）が取り付けられる。シリコーン製のクッションは、ユーザの顔面の凹凸に合うように柔らかく変形して、全てのＥＯＧ電極をユーザの皮膚面に安定接触させる。

また、ゴーグルのフレーム１１０上には、キャリブレーションマーカーとなる４つのＬＥＤ（Ｍ０１、Ｍ０２、Ｍ１１、Ｍ１２）が（オプションで）取り付けられている。さらに、ユーザが正視する際のガイドとして、左右両眼の真正面（Ｐ１とＰ２の位置）にセンターマーカーが（オプションで）形成されている。センターマーカーは、例えば、フレーム１１０内に嵌め込まれる透明プラスチック板の所定箇所（Ｐ１とＰ２の位置）に罫書き加工することで、形成できる。このセンターマーカーに周辺のフレーム１１０に取り付けられたＬＥＤからのサイド光が当ると、その光の一部がセンターマーカー部分で乱反射して、ユーザが視認できるような輝点となる。

なお、フレーム１１０内の透明板上にフィルム液晶などを用いたディスプレイが設けられているときは、そのディスプレイによりＡＲ表示またはＶＲ表示が可能となる。（ＡＲは拡張現実：Augmented Realityの略で、ゴーグル越しに見える現実の世界に種々な情報を付加させるテクノロジーを指す。また、ＶＲは仮想現実：Virtual Realityの略で、現実世界とは切り離された任意の情報を表示できる。視野検査用の輝度パターン表示も、ＶＲ表示の一種とみることができる。）このＡＲ表示（またはＶＲ表示）を用いてマーカー（Ｍ０１、Ｍ０２、Ｍ１１、Ｍ１２、Ｐ１、Ｐ２）をユーザに提示することもできる。

なお、１２Ｌと１２Ｒを有機ＥＬパネルで作り。アイフレームの前面全体を遮光シートで覆えば、ビデオ表示（またはＶＲ表示）機能付きのアイマスクになる。

図９の構造をモディファイして、顎紐つきの帽子（車掌帽などのヘッドマウントデバイス）にＥＯＧ電極を設けることもできる。図示しないが、制服を着た電車の車掌（ユーザ）がよく着用する顎紐つきの車掌帽には、ユーザの額に当接する額鍔と、着用した帽子をユーザの頭部に固定する顎紐が付いている。図示しないが、この額鍔の内側箇所に、図９のＥＯＧ電極１５１ａと１５２ａを設けることができる。図示しないが、図９のＥＯＧ電極１５１ｂは顎紐の右頬寄り部分にスライド可能に取り付けられ、図９のＥＯＧ電極１２ｂは顎紐の左頬寄り部分にスライド可能に取り付けられる。この車掌帽のユーザは、体を動かしたり風を受けたりしても帽子が脱げ落ちないように、車掌帽を着用したあとに顎紐の長さを調整して、帽子を固定する。この固定後、に、ユーザは、電極１５１ａと１５１ｇを結ぶ線上に右眼の中心（図９のＰ２）がくるように、顎紐の右側についているＥＯＧ電極１５１ｂを右耳付近でスライドさせる。同様に、ユーザは、電極１５２ａと１５２ｇを結ぶ線上に左眼の中心（図９のＰ１）がくるように、顎紐の左側についているＥＯＧ電極１５２ｂを左耳付近でスライドさせる。

このようにすると、ユーザの左右眼球の眼電位が、車掌帽の額鍔と顎紐に設けられたＥＯＧ電極１５１ａ、１５１ｂ、１５２ａ、１５２ｂにより検出される。

以上を纏めると、ＥＯＧ電極を車掌帽に適用する場合は、
・車掌帽の額部内側に上側電極（１５１ａと１５２ａ）を配置する；
・顎紐の耳下腺咬筋部（じかせんこうきんぶ）に上下方向へ可動可能な電極（１５１ｂと１５２ｂ）を配置する。ここで、顎紐側の電極が上下方向で可動式になっているところがポイントである。左右それぞれの上下電極間を結ぶ線が左右それぞれの眼球中心付近を通過するように、顎紐上の電極位置を合わせる。これにより、瞬目や視線検出を行うに十分な振幅のＥＯＧ検出信号を得ることができる。

図１０は、他の実施形態に係るメガネ型アイウエアにおけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネの例）である。図１０のアイウエア１００は、ＥＯＧ電極配置に関しては図９と類似しているが、以下の点で図１のアイウエア１００と違っている。

すなわち、右ノーズパッド１５０ＲのＥＯＧ電極１５１ａおよび１５１ｂが右アイフレーム１０１側に移動し、左ノーズパッド１５０ＬのＥＯＧ電極１５２ａおよび１５２ｂが左アイフレーム１０２側に移動している。ＥＯＧ電極１５１ａおよび１５１ｂはユーザの右眼中心位置（図示せず）に対して略点対称となる位置に配置され、ＥＯＧ電極１５２ａおよび１５２ｂはユーザの左眼中心位置（図示せず）に対して略点対称となる位置に配置される。また、ＥＯＧ電極１５１ａおよび１５１ｂそれぞれを結ぶ右斜線とＥＯＧ電極１５２ａおよび１５２ｂそれぞれを結ぶ左斜線は、ユーザの鼻筋に沿った垂直線（図示せず）に対して略線対称となっている。電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、弾性体（スポンジ、シリコーン製クッションなど）の先端に設けた導電性部材（金属、導電性高分子など）で構成できる。各ＥＯＧ電極は、アイウエア１００を装着したユーザの顔の皮膚面に、弾性体の弾性反発力で軽く圧接される。

図１０のようなＥＯＧ電極配置構造を採ると、ノーズパッド部にＥＯＧ電極を配置する構造と比べて帯電した眼球の周囲にできる電界をより検知し易くなる。そのため、図１の実施形態よりも図１０の実施形態の方が、より大きな振幅のＥＯＧ信号を検出できる。

図１１は、さらに他の実施形態に係るゴーグル型アイウエア（左右両眼のアイフレームが連続したタイプ）１００におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネの他の例）である。図１１のような構造を採ると、図１０の構造よりもＥＯＧ電極の皮膚接触安定性が高くなる。そのため、より高精度にＥＯＧ信号を検出することができる。また、図１１の構造では、大型化した情報処理部１１その他の装置を内蔵し易い。そのため、図１１の構造では、デザイン性をさして気にすることなく、ＧＰＳ付きスマートフォンの機能を仕込むことができる。その場合の画面表示は、フィルム液晶などを利用した左右のディスプレイ１２Ｌ／１２Ｒにおいて、ＡＲ表示により行うことができる。図示しないが、ゴーグルフレームの左右の耳付近に小型スピーカを取り付け、ノーズクッション付近に小型マイクを取り付けることもできる。また、スマートフォンに対するコマンド入力は、視線移動、瞬目、目瞑り、ウインクなどの眼動により行うことができる。図１１のようなゴーグル型アイウエア１００は、スキーヤー、スノーボーダーの集中度・ストレスチェックに利用できる。また、ゴーグル型アイウエア１００は、ＡＲ表示に限らずＶＲ表示にも対応できる。

図１２は、さらに他の実施形態に係るゴーグル型アイウエア（左右両眼のアイカップが分離したタイプ）１００におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたＡＲメガネのさらに他の例）である。図１２の実施形態では、図１０の場合と同様な、ＥＯＧ電極配置構造とセンサ部１１ｅの配置構造を採用している。但し、図１２のゴーグル構造は海中ダイビング使用（あるいはスカイダイビング使用）にも耐える。図１２のゴーグルは、マリンダイバーやスカイダイバーの訓練中における、集中度・ストレスチェックに利用できる。

なお、ＶＲ表示機能の適用対象は、保護メガネとしてのゴーグル型アイウェアに限定されない。例えば図１２に示すようなゴーグル１００にＶＲ表示機能を付加することができる。このＶＲゴーグル１００で海中ダイビングやスカイダイビング（あるいはゲーム）のトレーニングビデオをユーザに見せることができる。（このトレーニングビデオは、初心者には対応が難しい訓練内容の、熟練者による対応実写、コンピュータグラフィック、あるいはアニメなどを含むことができる。）
トレーニングビデオの特定シーンでユーザがどのような眼動反応を示したのかは、ＶＲゴーグル１００のＥＯＧ電極（１５１ａ、１５１ｂ、１５２ａ、１５２ｂのうち２つ以上）を用いて検出できる。また、眼動反応が検出されたときの特定シーンは、図３のタイマ／フレームカウンタ１１ｆからのタイムスタンプ（またはフレーム番号）により特定できる。眼動反応の検出結果は、タイムスタンプ（またはフレーム番号）とともに、検出データとして図３のメモリ１１ｂに一時記憶される。一時記憶された検出データは、トレーニングビデオ終了後にローカルサーバ（パーソナルコンピュータ）１０００に取り込むことができる。

トレーナー（訓練教官）は、チェックポイントとなるビデオシーンにおいて、被験者（ＶＲゴーグルユーザ）の集中度がどうであったのか等を、瞬目の発生パターンやその変化などから、分析できる。この分析には、ローカルサーバ１０００のパーソナルコンピュータを利用できる。

チェックポイントとしては、多数の被験者がいずれも同じような眼動反応（瞬目の発生パターンやその変化タイミングが類似）をしたときのビデオ内容を用いることができる。そのチェックポイントのビデオ内容は、タイムスタンプ（またはフレーム番号）に基づき該当シーンを再生することにより、どんな内容であったのかを確認できる。例えばスカイダイビングの訓練ビデオにおいて、パラシュートのロープが体に絡み付いて開かなくなったシーンをチェックポイントとし、そのときの被験者の瞬目の出方が多くの被験者（あるいは熟練者）の場合と比べてどうであったのか（１〜２回の瞬目反応：落ち着いて集中できていたのか、あるいは眼瞑りや多数回の瞬目反応：パニック状態に陥っていたのか等）を調べることができる。

訓練ビデオのシーンが単調な空撮シーンのときに検出された瞬目（被験者が無意識に行う瞬きなど）については、その発生タイミングが被験者毎にばらばらとなるので、そのようなシーンはチェックポイントから外すことができる。

上記のようなＶＲゴーグル１００の利用は、映画館用３Ｄメガネの適用と同様な効果を提供し得る。

本願のＡＲ／ＶＲアイウエアには、上記以外の応用も考えられる。例えば図１または図１０のアイウエア１００にはカメラ１３Ｌ／１３Ｒが組み込まれている。このカメラを用いて実写録画をしているときに、種々な眼動反応（瞬目の発生パターンやその変化タイミング）をタイムスタンプ（またはフレーム番号）とともにメモリ１１ｂに記録できる（この場合はメモリ１１ｂになるべく容量の大きいフラッシュメモリを用いることが望ましい）。

この実写録画の特定シーン（例えば駅のホームで電車を待っているときに突然後ろから人がぶつかってきたなど）とそのときに起きた眼動反応（例えば短い眼瞑りと多数回の瞬目）は、タイムスタンプ（またはフレーム番号）とともに記録し、その記録内容を適宜ローカルサーバ１０００に転送できる。ローカルサーバ１０００に転送されたデータは、アイウエア１００のユーザが置かれた状況に応じてどんな緊張／ストレスが生じたのかの分析に役立てることができる。

＜実施形態の纏め＞
（ａ）例えば左右どちらかのノーズパッド上下に最小限１組の電極を配置し、最小限１個のＡＤＣを用いて眼電位センシングをおこなうことができる。これにより、３Ｄメガネにおいて低消費電力（ＡＤＣを用いた眼電位センシングに要する電力は、ワイヤレスで動作する心電計と同等）かつ、低コスト（「瞬目」検出用の特徴量計算を数ＭＩＰＳ〜数十ＭＩＰＳ程度で行うことにより、ワイヤレスで動作する心電計とコストは同程度）に「瞬目」(瞬時)および「目瞑り」(一定時間持続）の検出が可能となる。

（ｂ）実施形態の技術によって、映画館の３Ｄ上映用３Ｄメガネ（シャッター方式、偏光方式のどちらにも対応可能)）に眼電位センシングを応用でき、それに集中度・疲労・ストレス推定を組み合わせることができる。これにより、現在上映中の映画に対する観客の反応（時間軸に沿った、あるいはシーン毎の、集中度・疲労度・ストレス)を集計する事が可能となり、上映時間に合わせた本編の再編集や、更には、今後の新作映画の製作へＶＯＣ（Voice of the Customer：観客あるいは顧客の声）としてフィードバックする事ができる。

（ｃ）更に、加速度センサやジャイロセンサを３Ｄメガネに付加することで、４Ｄと呼称される体験型／アトラクション型のシアターにおけるＶＯＣ収集の幅を広げる事ができる。（体験型／アトラクション型のシアターでは、シートが動く以外に、Air、Waterミスト、香り、泡、霧、風、フラッシュ、雪、雨の体験ができる。そのような体験ができるものとして、4DX、TOHO CINEMASのMediaMation MX4Dなどがある。）
ここで、眼電位センシングでは、瞬目、目瞑り（ＡＤＣが最小限１個）から視線方向（ＡＤＣが２〜３個）などの推定が可能であるが、これに加速度センサやジャイロセンサを加える事で、３Ｄメガネの向く方向（メガネユーザの頭部の向く方向）を含めて、ＶＯＣの情報収集が可能となる。

（ｄ）
また、劇場３Ｄメガネでは字幕が読み難い（字幕も３Ｄ化され、一番手前に表示されるので、他の映像と視線を往復させると疲れる）と言う声があるため、ＡＲメガネをベースとして輻輳角制御を含めて字幕表示するのも有効である（既知の方法も利用しつつ、それに眼電位センシングを利用したストレス推定をする事で、輻輳角制御を含むＡＲ字幕表示の有効性を確認できる）。

＜出願当初請求項の内容と実施形態との対応関係例＞
［１］一実施の形態に係る心身状態推定装置は、アイウエア(１００)のデバイス形態を採り、このアイウエアを装着したユーザの眼電位（図４のＥＯＧ）に基づいて前記ユーザの眼動を検出する眼動検出部（１５）と、前記眼動が検出されるときのタイミングを計測するタイマ（１１ｆ）と、前記眼動に基づく情報処理を行う情報処理部（１１）を備えている。この心身状態推定装置において、前記アイウエアを装着したユーザに外部刺激（例えば、種々なエンターテイメントシーンにおける五感への刺激；種々なストレス試験映像における五感への刺激；視野検査における視覚および精神的緊張への刺激；種々な夢における意識の刺激）が与えられたときの前記ユーザの特徴的な眼動（例えば、図４の瞬目Ｐｃ／Ｐｓ、目瞑りＰｆ、眼球の上下左右動または回転Ｐｒ／Ｐｔなどに対応したＥＯＧ）を前記眼動検出部（１５）により検出する。

また、前記特徴的な眼動が検出されたときのタイミングを前記タイマ（１１ｆ）により計測し、前記計測タイミングにおける前記外部刺激の内容と前記計測タイミングにおける前記特徴的な眼動の内容（その眼動に対応するＥＯＧ波形）との対応関係から、前記ユーザの心身状態（外部刺激に対する個人評価に関係）を推定できるように構成する。

［２］前記［１］の装置は、各アイウエアで収集した情報を一時記憶するメモリを持つ。すなわち、この装置は、前記外部刺激の内容（種々な映画シーンなど）を特定する情報（タイマまたはフレームカウンタの出力）と、前記特徴的な眼動（瞬目など）の情報を記憶するメモリ（１１ｂ）をさらに具備することができる。

［３］前記［１］の装置は、外部のローカルサーバおよび／またはメインサーバが情報収集できるように構成される。すなわち、この装置は、前記外部刺激の内容（種々な映画シーンなど）を特定する情報（タイマまたはフレームカウンタの出力）と、前記特徴的な眼動（瞬目など）の情報とを相互に対応付けた調査情報を、外部サーバ（１０００および／または１００００）へ提供する手段（１１ａ〜１１ｄ）をさらに具備することができる。

［４］前記［１］の装置が組み込まれたアイウエア（１００）は、調査情報の提供元を特定できるように構成される。すなわち、この装置は、自身を特定できるデバイスＩＤ（１１ｇ）を持ち、このデバイスＩＤにより、個々の情報提供元となったアイウエアを特定できる。

［５］一実施の形態に係る心身状態推定方法は、アイウエア(１００)を装着したユーザの眼電位（図４のＥＯＧ）に基づいて前記ユーザの眼動を検出し、前記眼動が検出されるときのタイミングを計測し、前記眼動に基づく情報処理を行う構成（図３）を用いる。この心身状態推定方法では、前記アイウエアを装着したユーザに外部刺激（例えば、種々なエンターテイメントシーンにおける五感への刺激；種々なストレス試験映像における五感への刺激；視野検査における視覚および精神的緊張への刺激；種々な夢における意識の刺激）を与え、外部刺激が与えられたときの前記ユーザの特徴的な眼動（例えば、図４の瞬目Ｐｃ／Ｐｓ、目瞑りＰｆ、眼球の上下左右動または回転Ｐｒ／Ｐｔなどに対応したＥＯＧ）を検出する（ＳＴ１２；ＳＴ３２：ＳＴ５２；Ｔ７２）。また、前記特徴的な眼動が検出されたときのタイミングを計測する（ＳＴ１２；ＳＴ３２；ＳＴ５２；ＳＴ７２）。そして、前記計測タイミングにおける前記外部刺激の内容と前記計測タイミングにおける前記特徴的な眼動の内容（その眼動に対応するＥＯＧ波形）との対応関係から、前記ユーザの心身状態（外部刺激に対する個人評価に関係）を推定する（ＳＴ２４；ＳＴ４２−ＳＴ４４；ＳＴ５６；ＳＴ７４−ＳＴ８８）。

［６］前記［５］の方法は、例えば映画館での３Ｄ／４Ｄ上映作品に対する観客の反応調査に利用できる。この方法では、検出された前記特徴的な眼動が所定回数未満（１〜２回）の瞬目（図４のＰｃ）であれば、前記ユーザの心身状態が前記計測タイミングにおける前記外部刺激の内容（映画の痛快なシーンなど）に集中した状態であると推定する（図５のＳＴ２４）。あるいは、検出された前記特徴的な眼動が所定回数以上連続した（３回以上）瞬目（図４のＰｓ）であれば、前記ユーザの心身状態が前記計測タイミングにおける前記外部刺激の内容（映画の怖いシーンなど）にストレスを受けた状態であると推定する（ＳＴ２４）。

［７］前記［５］の方法は、例えば長距離バスドライバの疲労度調査に利用できる。この方法では、検出された前記特徴的な眼動が所定時間未満（例えば３秒以上５分未満）の目瞑りに対応するもの（目瞑りが検出されてのち最初の瞬目が検出されるまでの時間が所定時間未満）であれば、前記ユーザの心身状態が前記計測タイミングにおいて疲労した状態あるいは居眠り（うたた寝）状態であると推定する（図６のＳＴ４２）。あるいは、検出された前記特徴的な眼動が所定時間以上（例えば５分以上）の目瞑りに対応するもの（目瞑りが検出されてのち最初の瞬目が検出されるまでの時間間隔が所定時間以上）であれば、前記ユーザの心身状態が前記計測タイミング以降において仮眠（例えば１５〜３０分の睡眠）あるいは睡眠（例えば９０以上の睡眠）状態であると推定する（ＳＴ４２）。

この方法を用いた疲労度調査において、短時間（例えば３０分以下）の調査中に居眠り状態が認められたり、長時間（例えば２時間以上）の調査中に仮眠あるいは睡眠状態が認められたときは、被験者がこれから長距離バス運転の勤務につくのを止めさせることができる。

［８］前記［５］の方法は、例えば緑内障患者の視野調査に利用できる。この方法では、輝点の有無または輝点の移動を被験者に対する検査用外部刺激として用いる。この視野検査において、検出された前記特徴的な眼動が所定回数未満（１〜２回）の瞬目（図４のＰｃ）であれば、前記ユーザの心身状態が前記計測タイミング（視野検査中に検査ボタンを押したとき）における前記外部刺激の内容に集中した状態であると推定する（図７のＳＴ５６）。あるいは、検出された前記特徴的な眼動が眼球の上下動または回転（きょろつき）を示す眼電波形（例えば図４のＰｒ／Ｐｔ）であれば、前記ユーザの心身状態が前記計測タイミングにおける前記外部刺激の内容にストレスを受けた状態であると推定する（ＳＴ５６）。

［９］前記［５］の方法は、例えば睡眠調査に利用できる。この方法では、ラピッドアイモーションの有無を被験者の睡眠中の状態変化検出に用いる。この睡眠検査において、検出された前記特徴的な眼動が、特定時間以上（例えば９０分以上）の睡眠に対応するもの（長めの目瞑りが検出されてから、目覚めにより最初の瞬目が検出されるまでの時間間隔が９０分以上）であり、その睡眠期間中にラピッドアイモーションを示す眼電波形（例えば図４のＰｒ／Ｐｔ）が検出されれば、前記ユーザの心身状態がレム睡眠状態であると推定する（図８のＳＴ７４）。あるいは、検出された前記特徴的な眼動が、特定時間以上（例えば９０分以上）の睡眠に対応するもの（長めの目瞑りが検出されてから、目覚めにより最初の瞬目が検出されるまでの時間間隔が９０分以上）であり、その睡眠期間中にラピッドアイモーションを示す眼電波形（例えば図４のＰｒ／Ｐｔ）が検出されなければ、前記ユーザの心身状態がノンレム睡眠状態であると推定する（ＳＴ７４）。

例えばレム睡眠からノンレム睡眠に変化したときを被験者の眼動のＥＯＧ波形から検知したら、被験者を強制的に覚醒させる。すると、覚醒する直前のレム睡眠時に見ていた夢を思い出せる可能性が高いので、被験者に夢の内容を（音声、文字、絵などで）記録してもらう。そして、覚醒時のタイムスタンプから覚醒直前に再生していたビデオ映像の内容（睡眠に入る前は映像と音、睡眠に入ったあとは音）と、被験者に記録してもらった夢の内容を比較する。この比較から、レム睡眠中に再生していたビデオの内容が夢にどのように反映されたかのチェックができる。このチェック結果は、睡眠学習に利用できる。

この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。

１００…アイウエア（ゴーグル型またはメガネ型）；１１０…アイフレーム；１１…心身状態推定装置の主要部となる情報処理部（プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部（ＧＰＳ処理部）１１ｄ、センサ部１１ｅなどを含む集積回路）；１１ｅ…加速度センサ、ジャイロセンサなどを含むセンサ部；ＢＡＴ…電源（リチウムイオン電池など）；１２…ディスプレイ部（右ディスプレイ１２Ｒと左ディスプレイ１２Ｌ：フィルム液晶など）；ＩＭ１…右表示画像（テンキー、アルファベット、文字列、マーク、アイコンなど）；ＩＭ２…左表示画像（テンキー、アルファベット、文字列、マーク、アイコンなど）；１３…カメラ（右カメラ１３Ｒと左カメラ１３Ｌ、またはブリッジ１０３部分に取り付けられた図示しないセンターカメラ）；１５…眼動検出部（視線検出センサ）；１６…マイク（または振動ピックアップ）；１５１０…右側（Ｃｈ１）ＡＤコンバータ；１５２０…左側（Ｃｈ２）ＡＤコンバータ；１５１２…左右間（Ｃｈ０）ＡＤコンバータ；１５１４…左右間（Ｃｈ３）ＡＤコンバータ。

Claims (9)

1. 眼電位に基づいて眼動を検出する検出部と、
   前記検出部で検出された前記眼動の検出タイミングに関する情報と、デバイス識別情報とからなる検出データを外部のサーバに送信する送信部と、
   を具備するアイウエア。
2. 前記検出データを記憶するメモリをさらに具備し、
   前記送信部は前記メモリに記憶された前記検出データを前記外部のサーバに送信する請求項１記載のアイウエア。
3. 前記デバイス識別情報は前記アイウエアを装着するユーザの種類を示す請求項１又は請求項２記載のアイウエア。
4. アイウエアと、サーバと、を具備するデータ収集システムであって、
   前記アイウエアは、
   眼電位に基づいて眼動を検出する検出部と、
   前記検出部で検出された前記眼動の検出タイミングに関する情報と、デバイス識別情報とからなる検出データを前記サーバに送信する送信部と、を具備するデータ収集システム。
5. 前記サーバは、
   複数の前記アイウエアから前記検出データを収集する複数のローカルサーバと、
   前記複数のローカルサーバから前記検出データを収集するメインサーバと、
   を具備する請求項４記載のデータ収集システム。
6. 前記検出データを記憶するメモリをさらに具備し、
   前記送信部は前記メモリに記憶された前記検出データを前記サーバに送信する請求項４又は請求項５記載のデータ収集システム。
7. 前記デバイス識別情報は前記アイウエアを装着するユーザの種類を示す請求項４、請求項５又は請求項６記載のデータ収集システム。
8. 眼電位に基づいて眼動を検出するアイウエアで検出された検出データをサーバが収集するデータ収集方法であって、
   前記検出データは、検出された前記眼動の検出タイミングに関する情報と、デバイス識別情報とからなるデータ収集方法。
9. 前記デバイス識別情報は前記アイウエアを装着するユーザの種類を示す請求項８記載のデータ収集方法。

Images