JP2018136989A - 眼球運動検出装置及び眼球運動検出方法 - Google Patents

Abstract

【課題】ＥＯＧ電極付アイウェアを装着したユーザが歩行した際に、頭部の動揺によって眼電データに混入するノイズ成分を抑える。
【解決手段】一実施の形態に係る眼球運動検出装置は、アイウェア型のデバイス形態で用いられ、そのアイウェアのユーザの眼球回転を検出するＥＯＧ電極と、そのアイウェアの移動を検出する加速度センサと、そのアイウェアの回転を検出するジャイロセンサを備えている。このアイウェアを装着したユーザが現実世界の固定物を注視して歩行している際に、眼球回転の検出と同時に、ユーザ頭部の移動および回転を検出する。そして、ユーザの頭部が動いている状態で現実世界の固定物を注視している際に眼電位に混入するノイズを、加速度センサおよび／またはジャイロセンサによって検出した頭部の動きに対応する信号成分(混入ノイズに対して逆相となる成分)の合成によって、打ち消す（低減または排除する）。
【選択図】図１７

Description

この発明の実施形態は、眼電位センシング技術を応用した眼球運動検出装置及び眼球運動検出方法に関する。

通常、人が前方を見つつ歩行する際は、その人の頭は上下左右に揺れているが、その人には周りの景色がはっきり見えている。これは、歩行時における頭部の動揺が身体の他の部分よりも小さい範囲（視線の遠近によらず振幅２〜３ｃｍ位）に抑えられ、その小さい範囲内で頭部と眼球が視線の安定を保つように協調的に動いているためである（非特許文献１参照）。この非特許文献１は、「歩行時には頭部が上下左右に動揺し、この動揺に対する視線安定化の動作として頭部の回転および眼球の補償回転が発生する」ことを教示している。

眼電位センシング技術に関しては、人の眼球運動による眼電に基づいてその人の視線位置を検出する公知例１がある（特許文献１参照）。この公知例１では、眼電検出（眼電位センシング）にＥＯＧ（Electro-Oculography）電極を用い、ＥＯＧ電極から取得した眼電データよりユーザの視線位置を検出している（段落００２５）。公知例１の実施形態ではＥＯＧ電極をゴーグルに設けているが（段落００６１）、ＥＯＧ用の電極をメガネに設けた公知例２もある（特許文献２参照）。ゴーグルやメガネは、人の眼球付近に装着されるアイウェアの一種である。アイウェアを装着したユーザが歩行すると、アイウェアも頭部と一緒に動揺する。

特開２００９−２８８５２９号公報 特開２０１３−２４４３７０号公報

歩行中の視線安定を維持する頭部運動と眼球運動論文 2000-03 矢崎、鋭矢 大阪大学大学院人間科学研究科記要.26 P.177-P.193http://ir.library.osaka-u.ac.jp/dspace/bitstream/11094/5672/1/hs26-177.pdf

静止した着座状態（ＥＯＧ電極付アイウェアを装着したユーザの頭部に外乱となる動きが混入しない状態）では、眼電位センシングによって視線／眼球回転を安定して検出できる。しかし、歩行状態（ＥＯＧ電極付アイウェアを装着したユーザの頭部に上下左右の揺れが発生する状態）において現実世界の固定物を注視した場合には、着座状態と比べて目的の視線／眼球回転を検出するのが困難となる。その理由は、人体の持つ視線安定化のための補完動作として眼球回転が無意識に行われており、眼電位センシング結果にもこの無意識な眼球回転の信号成分が（ノイズあるいは外乱として）重畳するためである。

すなわち、ＥＯＧ電極付アイウェアを装着したユーザが歩行すると、ユーザが視線を前方の特定物に固定していても、歩行に伴う頭部の動揺によって、ＥＯＧ電極から取得した眼電データも変動する。この眼電データの変動分は、実際の視線に対応した眼電データに対して、ノイズ（外乱）となる。

この発明の実施形態により解決しようとする課題の１つは、頭部の動揺によって眼電データに混入するノイズ成分を抑えることである。

実施形態によれば、眼球運動検出装置は、現実世界画像又は前記現実世界画像に画像情報を付加させる拡張現実画像を表示する表示部と、ユーザの眼動を検出する第１検出部と、前記ユーザの頭部の動きを検出する第２検出部と、前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きに基づいて、前記ユーザが見ているものを判定する判定手段と、を具備する。

前方を見ながら歩行中の人の頭部動揺（上下左右動による位置変化）を説明する図。 歩行中に前方の固定物を注視している人の頭部動揺（前屈／後屈による角度変化）を説明する図。 頭部が縦方向に前後屈変化をした場合の、視標距離（眼から注視対象までの距離）と眼球運動との関係を説明する図。 頭部前後屈の角度変化／速度変化と眼動の角度変化／速度変化との間の位相関係を例示する図。 一実施の形態に係る眼球運動検出装置が組み込まれたメガネ型アイウェアを説明する図（ＥＯＧ電極がノーズパッドに配置された例）。 一実施の形態に係るメガネ型アイウェアにおけるＥＯＧ電極の実装例を説明する図。 種々な実施の形態に取り付け可能な情報処理部１１と、その周辺デバイスとの関係を説明する図。 例えば２５ｍ先にある現実世界の固定物を注視しながら、右足から歩き始めて１３歩目の右足で止まった場合の、ＥＯＧ波形の一例を示す図。 図８と同じ条件で、再び右足から歩き始めて１３歩目の右足で止まった場合の、ＥＯＧ波形の他例（反復再現性の確認）を示す図。 頭部の動揺に起因するノイズが打ち消された場合において、正面から上方への眼動と、図６に示す３つのアナログ／デジタルコンバータ（ＡＤＣ）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１とＣｈ２の平均レベルＣｈ１＋２）との関係を例示する眼電図（ＥＯＧ）。 頭部の動揺に起因するノイズが打ち消された場合において、正面から下方への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図。 頭部の動揺に起因するノイズが打ち消された場合において、左から右への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図。 頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、瞬き（両目）を５秒間隔で５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、１秒の眼瞑り（両目）と４秒の眼開き（両目）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを５回反復した直後に左目のウインク（左側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを５回反復した直後に右目のウインク（右側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図。 頭部の動揺に起因するノイズを最小化する処理（ノイズ打ち消し処理）の一例を説明するフローチャート。 他の実施形態に係るメガネ型アイウェアにおけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置された例）。 さらに他の実施形態に係るゴーグル型アイウェア（左右両眼のアイフレームが連続したタイプ）におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置された他の例）。 さらに他の実施形態に係るゴーグル型アイウェア（左右両眼のアイカップが分離したタイプ）におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたさらに他の例）。

以下、初めに基礎的な情報を提供し、続いて、図面を参照しながら種々な実施形態を説明する。
＜基礎情報＞
成人の眼球の直径は約２５ｍｍ。生後は１７ｍｍ程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約６５ｍｍ。（一般市販のステレオカメラは６５ｍｍの間隔で作られている物が多い。）
成人女性の瞳孔間距離は男性に比べて数ｍｍ短い。
眼電位は数十ｍＶ。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μＶの電位差として現れる。

なお、眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある：
＜眼球運動（眼動）の種類＞
（01）補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。
（02）随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
（03）衝撃性眼球運動（サッケード）
物を見ようとして注視点を変えるときに発生する眼球運動（検出し易い）。
（04）滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動（検出し難い）。
＜眼球の移動範囲（一般的な成人の場合）＞
（11）水平方向
左方向: 50°以下
右方向: 50°以下
（12）垂直方向
下方向: 50°以下
上方向: 30°以下
（自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。（閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。）
（13）その他
輻輳角: 20°以下。
＜歩行に伴う頭部の動きについて（図１、図２の出典は非特許文献１）＞
図１は、前方を見ながら歩行中の人の頭部動揺（上下左右動による位置変化）を説明する図である。歩行時の下肢の動きによって、人の頭部は上下に位置変化する（図１（ａ））。一般的な大人の歩行周期（１歩行サイクル）は、例えば０．６秒位になる。同時に、この歩行において、人の頭部は左右にも位置変化する（図１（ｂ））。この左右位置変化の周期は、歩行周期の２倍の１．２秒位になる。上下の位置変化幅および左右の位置変化幅は、それぞれ２〜３ｃｍ位ある。この上下左右動は略リニアで規則性があり、歩行周期と密接に関連した周期を持つ。

図２は、歩行中に前方の固定物を注視している人の頭部動揺（前屈／後屈による角度変化）を説明する図である。前方の目視対象（視標）を注視している人が歩行を開始すると、歩行に伴い頭部が上下に位置変化する（図２（ａ））。視標を注視している間、頭部が上位置にきたときはその頭部は前屈（ピッチダウン）し、頭部が下位置にきたときはその頭部は後屈（ピッチアップ）する（図２（ｂ））。このような前後屈（頭部の縦方向回転運動）が、１歩行サイクル中に、頭部の上下動に対応（同期）して起きる。同様に、頭部が左右に位置変化した場合（図１（ｂ））は、頭部に左右方向の回転運動（頭部の上下動に同期）が起きる。

すなわち、歩行中、人の頭部は上下左右の動きを代償するような回転運動を行っており、視線が前方の目視対象（視標）を捉えるのを助けるように頭部は高低位置で前後屈する。左右に対しても同様で、歩行に伴い身体が左右に揺れて頭部が左右に動くと、頭部は左右に回旋（往復回転）する。こうした頭部の回転は「代償的回転: Compensatory Rotation」と呼ばれ、視線の安定を助けていると考えられている。

また、歩行中に人の体幹は前後左右に回転するため、頭部はこれらをも代償する必要がある。この体幹の変化に対して頭部を逆方向に回転させる事で、頭部の角度位置を水平に保っている。
＜歩行に伴う眼球の動きについて（図３、図４の出典は非特許文献１）＞
図３は、頭部が縦方向に前後屈変化をした場合の、視標距離（眼から注視対象までの距離）と眼球運動との関係を説明する図である。ここでは、頭部を固定した場合の視標位置をＨＦＰとし、実際の視標がＨＦＰよりも近い場合（Near Target）と遠い場合（Far Target）について、頭部の前後屈回転角（φｈ）と眼球の代償回転角（φｅｎ、φｅｆ）を例示している。

前述したように、頭部は代償的回転を行うが、それだけでは視線安定化を完全に達成できない。頭部は上下動を代償して回転する際に過不足を起こすことがままある。この代償回転の過不足によるズレを補うために、歩行中には周期的な眼球の補償回転が必要となる。例えば、３０ｃｍ先の近い視標（Near Target）に対しては、眼球は頭部の回旋／回転(φｈ)と同方向の代償回転（φeｎ）を行う。これにより頭部の回旋／回転が不十分でも眼球は頭部と動方向に協調回転して頭部の回旋不足を補う。一方、例えば１００ｍ先の遠い視標（Far Target）に対しては、眼球は頭部の回旋／回転(φｈ)と逆方向の代償回転（φeｆ）を行う。これにより頭部の回旋／回転が過度となっても眼球は逆方向に回転して、頭部回旋の過度分を打ち消す。(なお、視標が近くても遠くても、歩行時の頭部の移動量に実質的な差はない。）
図４は、頭部前後屈の角度変化／速度変化と眼動の角度変化／速度変化との間の位相関係を例示する図である。図３に示す頭部の前後屈の角度（φｈ）は、アイウェアに取り付けられた３軸ジャイロ（図７の１１ｅ）によって検出できる。また図３に示す眼球の回転角度（φｅｎ、φｅｆ）は、眼球のＥＯＧを利用した眼動検出部（図７の１５）によって検出できる。

歩行にともなう頭部の上下動変化（縦方向の前後屈変化）は、視標が近い（Near Target）場合は眼球回転の変化と同相で変化する（図４(ａ)）。一方、視標が遠い（Far Target）場合は、頭部の上下動変化（縦方向の前後屈変化）は眼球回転の変化と逆相で変化する（図４(ｂ)）。視標が図３の固定位置ＨＦＰにあるときは、眼球回転はなくなり、図４（ａ）（ｂ）に示す破線の波形変化は極小（図示上では略水平）になる（この極小ポイントを境にして、頭部の縦方向の前後屈変化と眼球回転の変化との間の位相が反転する）。同様な位相反転は、頭部上下動の速度変化および眼球回転の速度変化の間でも見られる（図４（ｃ）（ｄ））。

いま、上記「歩行にともなう頭部の上下動変化」に起因してＥＯＧに生じる信号変化を「体動ノイズ」と呼ぶことにする。歩行行為は加速度センサやジャイロセンサで検出可能であり、眼動行為はＥＯＧから検出可能である。すると、「歩行中」かつ「眼動行為無し」が検出されている際に、ＥＯＧに体動ノイズが現れない場合には、「アイウェアのユーザは視標の距離によって体動ノイズが位相反転するポイント（図３の位置ＨＦＰに対応）を注視している」ことが示される。

図５は、一実施の形態に係る眼球運動検出装置が組み込まれたメガネ型アイウェア１００を説明する図（ＥＯＧ電極がノーズパッドに配置された例）である。この実施形態では、右アイフレーム（右リム）１０１と左アイフレーム（左リム）１０２がブリッジ１０３連結されている。左右アイフレーム１０２、１０１およびブリッジ１０３は、例えばアルミ合金、チタンなどで構成できる。左アイフレーム１０２の左外側は左ヒンジ１０４を介して左テンプルバー１０６に繋がり、左テンプルバー１０６の先端に左モダン（左イヤーパッド）１０８が設けられている。同様に、右アイフレーム１０１の右外側は右ヒンジ１０５を介して右テンプルバー１０７に繋がり、右テンプルバー１０７の先端に右モダン（右イヤーパッド）１０９が設けられている。

ブリッジ１０３には、眼球運動検出装置の主要部となる情報処理部１１（数ミリ角の集積回路）が取り付けられている。この情報処理部１１は、マイクロコンピュータ、メモリ、通信処理部などを集積したＬＳＩにより構成できる（情報処理部１１の詳細については、図７を参照して後述する）。

リチウムイオン電池などの小型電池（ＢＡＴ）が、例えば左テンプルバー１０６内（あるいは右テンプルバー１０７内、もしくはモダン１０８または１０９内）に埋め込まれ、メガネ型アイウェア１００の動作に必要な電源となっている。
左ヒンジ１０４寄りの左アイフレーム１０２端部には、左カメラ１３Ｌが取り付けられ、右ヒンジ１０５寄りの右アイフレーム１０１端部には、右カメラ１３Ｒが取り付けられている。これらのカメラは、超小型のＣＣＤイメージセンサを用いて構成できる。

これらのカメラ（１３Ｌ、１３Ｒ）は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ（１３Ｒ）とレーザー（１３Ｌ）を配置し、赤外線カメラ＋レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク（１３Ｒ）と超音波を放射する小型圧電スピーカー（１３Ｌ）などで構成することもできる。

なお、左右カメラ１３Ｌ／１３Ｒの代わりに、あるいは左右カメラ１３Ｌ／１３Ｒに加えて、ブリッジ１０３部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る（これらのカメラは、図７ではカメラ１３として示されている）。

左アイフレーム１０２には左ディスプレイ１２Ｌがはめ込まれ、右アイフレーム１０１には右ディスプレイ１２Ｒがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶（ＰＤＬＣ）を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ１２Ｌ、１２Ｒの一方または両方を構成できる（このディスプレイは、図７ではディスプレイ１２として示されている）。

フィルム液晶を利用した透明な左右ディスプレイ１２Ｌ／１２Ｒは、メガネを通して見える現実の世界に数字や文字などの画像情報を付加させる拡張現実（ＡＲ：Augmented Reality）を提供する手段として、利用できる。
左右のアイフレーム１０２、１０１の間であって、ブリッジ１０３の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド１５０Ｌと右ノーズパッド１５０Ｒのペアで構成される。右ノーズパッド１５０Ｒには右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌには左ノーズパッド電極１５２ａ，１５２ｂが設けられている。

これらの電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは互いに電気的に分離され、絶縁された配線材（図示せず）を介して、３つのＡＤコンバータ（ＡＤＣ１５１０、１５２０、１５１２）に接続される。これらのＡＤＣからの出力は、アイウェア１００を装着したユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じたデジタルデータとして、情報処理部１１に供給される。電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、視線検出センサとして用いられ、３つのＡＤコンバータとともに図７の眼動検出部１５の構成要素となっている。

アイウェア１００は、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）によって、図示しないユーザの頭部に固定される。この実施形態では、ユーザの頭部（または顔面）に直接触れるのは、左右のノーズパッド（１５０Ｌ、１５０Ｒ）と左右のテンプルバー（１０６、１０７）と左右のモダン（１０８、１０９）だけでよいが、ＡＤＣ（１５１０、１５２０、１５１２）とユーザのボディとの間の電圧合わせなどのために、それら（ノーズパッド、テンプルバー、モダン）以外の部分がユーザに触れる実施形態があってもよい。

図５の右ディスプレイ１２Ｒのフィルム液晶には、例えばテンキー（数字、演算子、Enter、他）、アルファベット、所定形状のマーク、その他のアイコン群を含む右表示画像ＩＭ１を表示できる。また、左ディスプレイ１２Ｌのフィルム液晶には、例えば任意の文字列、任意形状のマーク、種々なアイコンなどを含む左表示画像ＩＭ２を表示できる（ディスプレイ１２Ｌ、１２Ｒの表示内容は、何でも良い）。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示されるテンキーやアルファベットは、数字や文字を入力する際に利用できる。右ディスプレイ１２Ｒ（または左ディスプレイ１２Ｌ）に表示される文字列、マーク、アイコン等は、特定の情報項目を探したり、目的の項目の選択／決定したり、ユーザに注意喚起をする際に利用できる。

表示画像ＩＭ１、ＩＭ２は、メガネを通して見える現実の世界に数字、文字、マークなどの情報を付加させる拡張現実（ＡＲ）の表示手段として利用でき、このＡＲ表示は適宜オンオフできる。表示画像ＩＭ１の内容と表示画像ＩＭ２は、実施形態に応じて、同じ内容（ＩＭ１＝ＩＭ２）としても、異なる内容（ＩＭ１≠ＩＭ２）としてもよい。また、表示画像ＩＭ１（またはＩＭ２）の表示は、右ディスプレイ１２Ｒおよび／または左ディスプレイ１２で行うことができる。ＡＲ表示の内容を、メガネ越しに見える現実世界に重なる（奥行きを伴った）３Ｄ画像としたいときは、ＩＭ１とＩＭ２を左右別々の３Ｄ用画像とすることができる。

また、ディスプレイ（１２Ｒ、１２Ｌ）が左右に存在する場合、例えば輻輳角を調整して、左右の表示画像（ＩＭ１、ＩＭ２）の映像を左右で逆方向にずらすこともできる。これにより、現実世界で見える対象物とＡＲ表示を交互に見る場合の目の負担を減らすことが考えられる。しかし、通常は、左右のディスプレイ（１２Ｒ、１２Ｌ）で同じ内容の画像を表示する。

ディスプレイ１２Ｌ、１２Ｒでの表示制御は、右テンプルバー１０７に埋め込まれた情報処理部１１で行うことができる。（ディスプレイで文字、マーク、アイコンなどを表示する技術は周知。）情報制御部１１その他の動作に必要な電源は、左テンプルバー１０６に埋め込まれた電池ＢＡＴから得ることができる。

なお、実施形態に対応するアイウェア１００の試作品をデザイナーや設計者が装着してみて重量バランスが悪いと感じる可能性がある。その主因が左テンプルバー１０６内のＢＡＴにあるならば、右テンプルバー１０７内に左テンプルバー１０６内のＢＡＴに見合った「おもり（または別の同重量バッテリ）」を入れておくことができる。

図６は、一実施の形態に係るメガネ型アイウェア１００におけるＥＯＧ電極の実装例を説明する図である。右ノーズパッド１５０Ｒの上下には右ノーズパッド電極１５１ａ，１５１ｂが設けられ、左ノーズパッド１５０Ｌの上下には左ノーズパッド電極１５２ａ，１５２ｂが設けられている。右ノーズパッド電極１５１ａ，１５１ｂの出力はＡＤＣ１５１０に与えられ、左ノーズパッド電極１５２ａ，１５２ｂの出力はＡＤＣ１５２０に与えられ、左右ノーズパッドの下側電極１５１ｂ，１５２ｂ（または上側電極１５１ａ，１５２ａ）の出力はＡＤＣ１５１２に与えられる。

ＡＤＣ１５１０からは、ユーザの右側上下眼動に対応して変化するＣｈ１信号が得られる。ＡＤＣ１５２０からは、ユーザの左側上下眼動に対応して変化するＣｈ２信号が得られる。ＡＤＣ１５１２からは、ユーザの左右眼動に対応して変化するＣｈ０信号が得られる。左右両眼の上下動については、ＡＤＣ１５１０およびＡＤＣ１５２０の出力の平均に対応するＣｈ1+2信号で評価できる。（Ｃｈ０，Ｃｈ１，Ｃｈ２，Ｃｈ1+2の信号波形と眼動との関係については、後述する。）
図７は、種々な実施の形態に取り付け可能な情報処理部１１と、その周辺デバイスとの関係を説明する図である。図７の例では、情報処理部１１は、プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部１１ｄ、センサ部１１ｅなどで構成されている。プロセッサ１１ａは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ１１ｂに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ１１ｃが提供する。

センサ部１１ｅは、アイウェア１００（あるいはこのアイウェアを装着したユーザの頭部）の位置および／またはその向きを検出するためのセンサ群を含んでいる。これらのセンサ群の具体例としては、３軸方向（ｘ−ｙ−ｚ方向）の移動を検出する加速度センサ、３軸方向の回転を検出するジャイロ、絶対方位を検出する地磁気センサ（羅針盤機能）、電波や赤外線などを受信して位置情報その他を得るビーコンセンサがある。この位置情報その他の獲得には、iBeacon（登録商標）あるいはBluetooth（登録商標）4.0を利用できる。

情報処理部１１に利用可能なＬＳＩは、製品化されている。その一例として、東芝セミコンダクター＆ストレージ社の「ウエアラブル端末向けＴＺ１０００シリーズ」がある。このシリーズのうち、製品名「ＴＺ１０１１ＭＢＧ」は、ＣＰＵ（１１ａ、１１ｃ）、フラッシュメモリ（１１ｂ）、Bluetooth Low Energy（登録商標）（１１ｄ）、センサ群（加速度センサ、ジャイロ、地磁気センサ）（１１ｅ）、２４ビットデルタシグマＡＤＣ、Ｉ／Ｏ（ＵＳＢ他）を持つ。

この情報処理部１１は、加速度センサ、ジャイロセンサなどのセンサ部１１ｅとＥＯＧ電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）との相対位置関係が崩れない場所の一例として、ブリッジ１０３に取り付けられている。
プロセッサ１１ａで何をするかは、通信処理部１１ｄを介して、図示しない外部サーバ（またはパーソナルコンピュータ）から、指令することができる。通信処理部１１ｄでは、ZigBee（登録商標）、Bluetooth（登録商標）、Wi-Fi（登録商標）などの既存通信方式を利用できる。プロセッサ１１ａでの処理結果は、通信処理部１１ｄを介して、図示しないサーバなどへ送ることができる。

情報処理部１１のシステムバスには、ディスプレイ１２（１２Ｌと１２Ｒ）、カメラ１３（１３Ｌと１３Ｒ）、眼動検出部１５等が接続されている。図７の各デバイス（１１〜１５）は、バッテリＢＡＴにより給電される。
なお、通信処理部１１ｄには、携帯電話やスマートフォンなどで周知のＧＰＳ（Global Positioning System）機能を組み込んでも良い（あるいはＧＰＳ付き携帯電話機能をアイウェア１００の何処かに仕込んでもよい）。このＧＰＳ機能を利用したインターネットの地図サービスアプリをプロセッサ１１ａで実行すれば、アイウェア１００を装着したユーザが今現在どの場所でどの方向を見ながら歩いているのかを、歩行時の眼球補償回転に起因するノイズを抑えて、検出できる。（従来の携帯電話ＧＰＳではユーザの現在位置を地図画面上に表示できても、そのユーザの視線が何処を向いているかまでは表示できていない。）
図７の眼動検出部１５は、視線検出センサを構成する４つの眼動検出電極（１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）と、これらの電極から眼動に対応したデジタル信号を取り出す３つのＡＤＣ（１５１０、１５２０、１５１２）と、これらＡＤＣからの出力データをプロセッサ１１ａ側に出力する回路を含んでいる。プロセッサ１１ａは、ユーザの種々な眼動（上下動、左右動、瞬目、眼瞑りなど）から、その眼動の種類に対応する指令を解釈し、その指令を実行することができる。

眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し（コンピュータマウスのワンクリックに類似）、連続した複数回の瞬目あるいはウインクなら選択された情報項目に対する処理の実行を開始させる（コンピュータマウスのダブルクリックに類似）指令がある。この指令は、眼動検出部１５を用いた情報入力Ｂの一例である。

図８は、例えば２５ｍ先にある現実世界の固定物を注視しながら、右足から歩き始めて１３歩目の右足で止まった場合の、ＥＯＧ波形の一例を示す図である。歩行に伴う頭部の上下動に対応する眼球の補償回転は、Ｃｈ１およびＣｈ２のＡＤＣ検出信号レベル変化（ＥＯＧ変化）に表れている。このＥＯＧ変化に同期した頭部の上下動変化は、情報処理部１１のセンサ部１１ｅが持つ３軸加速度センサで検出できる。また、歩行に伴う頭部の左右回転に対応する眼球の補償回転は、Ｃｈ０のＡＤＣ検出信号レベル変化（ＥＯＧ変化）に表れている。このＥＯＧ変化に同期した頭部の左右回転変化は、情報処理部１１のセンサ部１１ｅが持つ３軸ジャイロセンサで検出できる。

図８の例では、Ｃｈ１およびＣｈ２のＥＯＧ変動周期（約０．６秒）は歩行ピッチに同期しており、Ｃｈ０のＥＯＧ変動周期（約１．２秒）は歩行ピッチの２倍に同期している。歩行に伴う頭部の上下動および左右回転に対応したＥＯＧ変動周期ははっきりしているので、歩行ピッチに同期した周期（この例では約０．６秒とその２倍）で、歩行に起因するＥＯＧ変動を検出できる。

図９は、図８と同じ条件で、再び右足から歩き始めて１３歩目の右足で止まった場合の、ＥＯＧ波形の他例（反復再現性の確認）を示す図である。図９の例でも、Ｃｈ１およびＣｈ２のＥＯＧ変動周期（約０．６秒）は歩行ピッチに同期しており、Ｃｈ０のＥＯＧ変動周期（約１．２秒）は歩行ピッチの２倍に同期している。歩行に伴う頭部の上下動および左右回転に対応したＥＯＧ変動周期はやはり明確に認められ、歩行ピッチに同期した周期（この例でも約０．６秒とその２倍）でもって、歩行に起因するＥＯＧ変動を検出できることがわかる。

図８および図９には以下の特徴が共通して認められ、事象の再現性があることが確認できる：
（１）歩行の周期（約０．６秒）に合わせて上下方向の眼球回転運動が確認できる（Ｃｈ１とＣｈ２のＥＯＧ検出信号レベル参照）。
（２）歩行周期の２倍の周期（約１．２秒）に合わせて左右方向の眼球回転運動が確認できる（Ｃｈ０のＥＯＧ検出信号レベル参照）。

（３）歩行に伴う頭部の動揺に起因したＥＯＧ検出信号の振幅は、２００μＶ〜４００μＶに達している場所がある。頭部が静止した状態で測定されるＥＯＧ信号振幅は、通常は約１ｍＶ程度なので、任意の眼球回転を検出する場合には、２００μＶ〜４００μＶは無視できない大きさのノイズとなってしまう。このノイズは、以下に述べるように、打ち消す（低減または排除する）ことが可能である。

すなわち、歩行に伴う頭部の上下動を歩行ピッチに同期した周期（この例では約０．６秒）で加速度センサにより検出でき、歩行に伴う頭部の左右回転を歩行ピッチに同期した別の周期（この例では約１．２秒）でジャイロセンサにより検出できる。そうすると、歩行に伴う頭部の上下動（動揺）に起因するＥＯＧ変動（ノイズとみなす）は加速度センサの検出結果によって打ち消す（低減または排除する）ことが可能となり、歩行に伴う頭部の左右回転（動揺）に起因するＥＯＧ変動（ノイズとみなす）はジャイロセンサの検出結果によって打ち消す（低減または排除する）ことが可能となる（この打ち消しの具体例は図１７を参照して後述する）。

図１０は、頭部の動揺に起因するノイズが打ち消された場合において、正面から上方への眼動と、図６に示す３つのアナログ／デジタルコンバータ（ＡＤＣ）から得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１とＣｈ２の平均レベルＣｈ１＋２）との関係を例示する眼電図（ＥＯＧ）である。眼動検出は、図中の破線枠内の検出信号波形に基づいて行う。検出の基準は、アイウェア１００を装着したユーザが真正面を見ており眼動がない場合とする（頭部の動揺に起因するノイズが打ち消されていれば、図６に示す３つのＡＤＣからの出力信号波形Ｃｈ０〜Ｃｈ２は、瞬きなしで真正面を見ている区間では、略平坦で時間経過に伴う変化は殆どない）。ユーザの左右両眼の視線が正面を向いた状態で、両眼の視線を瞬時に上へ動かし、視線を上に向けた状態を１秒維持し、そのあと瞬時に視線を正面に戻す。これを５回繰り返したときの検出信号レベルの変化が、図１０に例示されている。

図１１は、図１０と同様な眼動検出を、視線が正面から下向きに動く場合について、例示している。頭部の動揺に起因するノイズが打ち消されておれば、例え歩行中であっても、図１０および図１１の波形変化から、視線が正面を向いている場合を基準として、視線が上にあるのか下にあるのかを、検出できる。

図１２は、頭部の動揺に起因するノイズが打ち消された場合において、左から右への眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２、およびＣｈ１＋２）との関係を例示する眼電図である。左から右への眼動があると、Ｃｈ０の検出信号波形の経時変化が、右肩上がりになる（図示しないが、右から左への眼動があると、Ｃｈ０の検出信号波形の経時変化は、右肩下がりになる）。このようなＣｈ０の波形変化から、視線が正面を向いている場合を基準として、視線が右にあるのか左にあるのかを、検出できる。

図１０〜図１２の検出結果を総合すれば、次のことが分かる。すなわち、頭部の動揺に起因するノイズが打ち消されておれば、例え歩行中であっても、視線が正面を向いている場合を基準として、視線が上下左右のどちらを向いているのかが分かる。
図１３は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、瞬き／瞬目（両目）を５秒間隔で５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。両目の瞬き／瞬目は、Ｃｈ１およびＣｈ２に表れるパルスにより検出できる。ユーザが無意識に行う瞬きは周期性がないことが多い。そのため、図１３に示すように一定間隔の複数パルスを検出することにより、ユーザの意図的な瞬き／瞬目を検知できる。

なお、人の「瞬き／瞬目」動作の時間あるいは「瞬き／瞬目」で視界が遮られる時間は、一説によれば300msec程度（他説によれば100msec〜150msec程度）とされている。どちらの場合であっても、歩行ピッチ周期を下回るハイパスフィルタ（またはバンドパスフィルタ）によって、「瞬き／瞬目」による信号成分は取り除くことができる。瞬き／瞬目の間隔（例えば約300msec）は通常歩行のピッチ（約600msec）とは異なり、また意図的でない瞬き／瞬目の間隔は通常の歩行ピッチと同期しない。そのため、通常歩行に伴う頭部動揺に起因したＥＯＧノイズを打ち消す際に、瞬き／瞬目によるＥＯＧ波形変化が全て打ち消されてしまうことはない。

図１４は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、１秒の眼瞑り（両目）と４秒の眼開き（両目）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。両目の眼瞑りは、Ｃｈ１およびＣｈ２に表れる幅広パルスにより検出できる（意図的に眼を瞑っている時間は瞬き／瞬目で眼を閉じる時間よりも長いため、検出されるパルス幅が広くなる）。図１４に例示されるようなＣｈ１およびＣｈ２の幅広パルスを検出することにより、ユーザの意図的な眼瞑りを検知できる。

なお、図示しないが、ユーザが右目だけ瞑ったときはＣｈ１に振幅の大きな幅広パルスが表れ、ユーザが左目だけ瞑ったときはＣｈ２に振幅の大きな幅広パルスが表れる。このことから、左右別々に眼瞑りを検出することもできる。
片目だけを瞑った場合には、Ｃｈ０に左右で逆相となる小さな波が現れる。Ｃｈ０で見ると、以下のような小さな凹凸波形が現れる。

・右眼を瞑ると、−電極のプラス電位が減少するため凸波形；
・左眼を瞑ると、＋電極のプラス電位が減少するため凹波形。
図１５は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを５回反復した直後に左目のウインク（左側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。

図６に例示されるように、Ｃｈ０のＡＤＣ１５１２の位置は、左右両目の眼球中心線より下方にオフセットしている。このオフセットのため、両目同時の瞬きでは、図６のＡＤＣ１５１２の＋入力と−入力の双方に負方向の電位変化が現れる。その際、＋入力と−入力の双方の電位変化（量と方向）が略同じとすれば、その変化は殆ど打ち消され、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルの値は、略一定となる（図１５の左側破線内のＣｈ０レベル参照）。一方、片目（左目）の瞬きでは、ＡＤＣ１５１２の−入力側は電位変化が殆どなく、ＡＤＣ１５１２の＋入力側に比較的大きめの負方向電位変化が現れる。そうすると、ＡＤＣ１５１２の＋入力と−入力の間における電位変化の打ち消し量は小さくなり、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルには、負方向に小さなパルス（信号レベルの小波）が表れる（図１５の右側破線内のＣｈ０レベル参照）。この信号レベルの小波（負方向のパルス）の極性から、左目のウインクがなされたことを検出できる（頭部の動揺に起因するＥＯＧのノイズが打ち消された場合において、Ｃｈ０を利用した左ウインク検出の一例）。

なお、ユーザの顔の歪みや皮膚の状態等でＡＤＣ１５１２の＋入力と−入力の電位変化が均等にならない場合は、アイウェア１００をユーザが装着し両目同時に瞬きしたときのＣｈ０ＡＤＣの出力が最小（＋入力成分と−入力成分との間の打ち消し量が最大）となるようなキャリブレーションを、事前に行っておけばよい。

また、両目瞬き／瞬目が行われた時の検出信号Ｃｈ１／Ｃｈ２のピーク比SL1a/SL2aを基準とすると、左眼ウインクが行われたときのピーク比SL1b/SL2bは変化する（SL1b/SL2bはSL1a/SL2aとイコールでない）。このことからも、左ウインクを検出できる。

図１６は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを５回反復した直後に右目のウインク（右側片目の瞬き）を５回反復した眼動と、図６に示す３つのＡＤＣからから得られる検出信号レベル（Ｃｈ０、Ｃｈ１、Ｃｈ２）との関係を例示する眼電図である。

前述したように、図６のＡＤＣ１５１２の位置が左右両目の眼球中心線より下方にオフセットしているため、両目同時の瞬きではＡＤＣ１５１２の＋入力と−入力の双方に負方向の電位変化が現れる。しかし、＋入力と−入力における同様な電位変化は殆ど打ち消され、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルの値は、略一定となる（図１６の左側破線内のＣｈ０レベル参照）。一方、片目（右目）の瞬きでは、ＡＤＣ１５１２の＋入力側は電位変化が殆どなく、ＡＤＣ１５１２の−入力側に比較的大きめの負方向電位変化が現れる。そうすると、ＡＤＣ１５１２の−入力と＋入力の間における電位変化の打ち消し量は小さくなり、Ｃｈ０のＡＤＣ１５１２から出力される信号レベルには、正方向に小さなパルス（信号レベルの小波）が表れる（図１６の右側破線内のＣｈ０レベル参照）。この信号レベルの小波（正方向のパルス）の極性から、右目のウインクがなされたことを検出できる（頭部の動揺に起因するＥＯＧのノイズが打ち消された場合において、Ｃｈ０を利用した右ウインク検出の一例）。

また、両目瞬きが行われた時の検出信号Ｃｈ１／Ｃｈ２のピーク比SR1a/SR2aを基準とすると、右眼ウインクが行われたときのピーク比SR1b/SR2bは変化する（SR1b/SR2bはSR1a/SR2aとイコールでない）。また、左ウインク時のピーク比SL1b/SL2bは右ウインク時のピーク比SR1b/SR2bと異なった値を持つ（どの程度異なるのかは実験で確認できる）。このことから、右ウインクとは別に、左ウインクを検出できる（Ｃｈ１とＣｈ２を利用した左右ウインク検出の一例）。

左右のウインク検出にＣｈ０を利用するのかＣｈ１／Ｃｈ２を利用するのかは、機器設計者が適宜決めればよい。Ｃｈ０〜Ｃｈ２を利用した左右のウインク検出結果は、操作コマンドとして利用できる。
図１７は、頭部の動揺に起因するノイズを最小化する処理（ノイズ打ち消し処理）の一例を説明するフローチャートである。このフローチャートに対応するコンピュータプログラムは、例えば図７の不揮発性メモリ１１ｂに格納され、プロセッサ１１ａにより実行される。

まず、図５に例示されるようなアイウェア１００を装着したユーザが、前方の固定物を注視しつつ一定リズムで定速歩行する（ＳＴ１０）。この歩行に伴い、ユーザの頭部は所定パターンで動揺（移動／回転）する（図１（ａ）、（ｂ）参照）。
歩行に伴うユーザの頭部の移動／回転は、図５の情報処理部１１の内部に設けられた加速度センサ／ジャイロセンサ（図７の１１ｅ）によって検出される（ＳＴ１２）。歩行に伴うユーザの頭部の移動／回転は、ノイズとして、ＥＯＧ検出信号波形に混入してくる（図８または図９参照）。このＥＯＧ検出信号波形に、加速度センサ／ジャイロセンサの検出信号を、所定の位相で加算する（ＳＴ１４）。

上記信号加算の結果、もし信号振幅が増えてしまったなら（ＳＴ１６ノー）、加算する検出信号の位相を反転し（ＳＴ１８）、再度、ＥＯＧ検出信号波形に加速度センサ／ジャイロセンサの検出信号を加算する（ＳＴ１４）。
上記信号加算の結果、信号振幅が減少したなら（ＳＴ１６イエス）、加算結果の信号振幅が最小（極小）となるように、加算する信号のレベルを調整する（ＳＴ２０）。加算結果の信号振幅を最小（極小）とすることで、ＥＯＧ検出信号波形に混入してくるノイズを打ち消す（低減または排除する）。

頭部の動揺（移動／回転）に起因するノイズが打ち消されたあとのＥＯＧ検出結果に基づいて、ユーザの眼動（図１０〜図１６の視線移動、瞬目、目瞑り、ウインクなど）を判定し（ＳＴ２２）、その判定に基づく処理を行う（ＳＴ２４）。例えば、ユーザがウインクすると、視線の先にある建物の名称がアイウェア１００の表示画面（図５のＩＭ１／ＩＭ２）にＡＲ表示される、といった処理を行うことができる。

ユーザ頭部の動揺パターンが変わると、ノイズ打ち消しの内容も変わる。そこで、ユーザ頭部の動揺パターンが変わったかどうかを、加速度センサ／ジャイロセンサの検出結果の変化から、検出する（ＳＴ２６）。例えば、前方の固定物を注視しつつ定速歩行しているアイウェア１００のユーザが地下鉄へ降りる降り階段の前で立ち止まり、階段の隣接ステップの段差を前後屈および視線移動で視線スイープしたとする。すると、この段差前後での視線スイープにより頭部の動揺パターンが歩行時とは異なるものとなり、またＥＯＧ検出信号波形も歩行時とは違うものとなる。

そこで、ユーザ頭部の動揺パターンが変化したときは（ＳＴ２６イエス）、ステップＳＴ１２に戻り、ＳＴ１４〜ＳＴ２０の処理をやり直す。ＳＴ１４〜ＳＴ２０の処理をやり直すことにより、新たな頭部の動揺パターンに起因するＥＯＧノイズが打ち消され（低減または排除され）、純粋な視線移動に対応したＥＯＧが検出される。この純粋な視線移動に対応したＥＯＧ検出結果と、変化したユーザ頭部の動揺パターンに対応した加速度センサ／ジャイロセンサの検出結果を比較する。この比較の結果、例えば階段の段差位置で図４（ａ）から図４（ｂ）への位相反転が検出されたとすれば、その位相反転ポイント付近に階段の段差があるものと判定する（ＳＴ２２）。そして、段差の存在を示すマークをアイウェア１００でＡＲ表示する（ＳＴ２４）。このＡＲ表示は、ユーザ頭部の動揺パターンに対応した加速度センサ／ジャイロセンサの検出結果が消滅してから一定時間後（例えば１０秒後）に自動的に消すことができる。

ＡＲ表示のオン／オフは、ＥＯＧ波形（図８または図９のＣｈ１／Ｃｈ２波形）と加速度センサの検出信号波形とが同期しているかどうかで、自動的に行うこともできる。ユーザがＡＲ表示を見ているときは眼球は頭部の動揺を補償する回転をしていないので上記の同期関係はないが、ユーザがＡＲ表示でなく現実世界を注視しているときは上記の同期関係が生じる。同様な考えで、ＥＯＧ波形（図８または図９のＣｈ０波形）とジャイロセンサの検出信号波形とが同期しているかどうかで、ＡＲ表示を自動的にオン／オフできる。

ユーザ頭部の動揺パターンが変化しない間ユーザがアイウェアを使用し続ければ（ＳＴ２８ノー）、ＳＴ２２〜ＳＴ２４の処理は続く。ユーザが数秒目瞑りするなどして図７のプロセッサ１１ａにアイウェア１００の使用終了を指示すれば（ＳＴ２８イエス）、図１７の処理は終了する。

図１８は、他の実施形態に係るメガネ型アイウェア１００におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置された例）である。図１８のアイウェア１００は、以下の点で図５のアイウェア１００と違っている。
第１の違いは、右ノーズパッド１５０ＲのＥＯＧ電極１５１ａおよび１５１ｂが右アイフレーム１０１側に移動し、左ノーズパッド１５０ＬのＥＯＧ電極１５２ａおよび１５２ｂが左アイフレーム１０２側に移動している点にある。ＥＯＧ電極１５１ａおよび１５１ｂはユーザの右眼中心位置（図示せず）に対して略点対称となる位置に配置され、ＥＯＧ電極１５２ａおよび１５２ｂはユーザの左眼中心位置（図示せず）に対して略点対称となる位置に配置される。また、ＥＯＧ電極１５１ａおよび１５１ｂそれぞれを結ぶ右斜線とＥＯＧ電極１５２ａおよび１５２ｂそれぞれを結ぶ左斜線は、ユーザの鼻筋に沿った垂直線（図示せず）に対して略線対称となっている。電極１５１ａ，１５１ｂ，１５２ａ，１５２ｂは、弾性体（スポンジ、シリコーン製クッションなど）の先端に設けた導電性部材（金属、導電性高分子など）で構成できる。各ＥＯＧ電極は、アイウェア１００を装着したユーザの顔の皮膚面に、弾性体の弾性反発力で軽く圧接される。

図１８のようなＥＯＧ電極配置構造を採ると、ノーズパッド部にＥＯＧ電極を配置する構造と比べて帯電した眼球の周囲にできる電界をより検知し易くなる。そのため、図５の実施形態よりも図１８の実施形態の方が、より大きな振幅のＥＯＧ信号を検出できる。

第２の違いは、加速度センサやジャイロセンサを含むセンサ部１１ｅをブリッジ１０３に残し、それ以外の情報処理部１１の機能をテンプルバー１０７側に移した点にある。例えば情報処理能力の強化やＧＰＳ機能の追加などで情報処理部１１の物理的なサイズが大きくなる場合、大きくなった情報処理部１１をブリッジ１０３に取り付けると、アイウェア１００のデザイン性やその装着感に問題が生じる恐れがある。ブリッジ１０３に取り付ける構造体をセンサ部１１ｅだけにすれば、ブリッジ１０３上の構造体は情報処理部１１全体を設けるよりも小型軽量化されるため、デザイン性や装着感は改善される可能性がある。一方、テンプルバー１０７（および／または１０６）の内部なら、比較的大きな構造体を設けてもアイウェア１００のデザイン性やその装着感に問題が生じる恐れは小さい。

図１９は、さらに他の実施形態に係るゴーグル型アイウェア（左右両眼のアイフレームが連続したタイプ）１００におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置された他の例）である。図１９のような構造を採ると、図１８の構造よりもＥＯＧ電極の皮膚接触安定性が高くなる。そのため、頭部の動揺に起因するノイズを打ち消しつつ、より高精度にＥＯＧ信号を検出することができる。また、図１９の構造では、大型化した情報処理部１１その他の装置を内蔵し易い。そのため、図１９の構造では、デザイン性をさして気にすることなく、ＧＰＳ付きスマートフォンの機能を仕込むことができる。その場合の画面表示は、フィルム液晶などを利用した左右のディスプレイ１２Ｌ／１２Ｒにおいて、ＡＲ表示により行うことができる。図示しないが、ゴーグルフレームの左右の耳付近に小型スピーカを取り付け、ノーズクッション付近に小型マイクを取り付けることもできる。また、スマートフォンに対するコマンド入力は、視線移動、瞬目、目瞑り、ウインクなどの眼動により行うことができる。

図２０は、さらに他の実施形態に係るゴーグル型アイウェア（左右両眼のアイカップが分離したタイプ）１００におけるＥＯＧ電極の実装例を説明する図（ＥＯＧ電極が眼球周辺に配置されたさらに他の例）である。図２０の実施形態では、図１８の場合と同様な、ＥＯＧ電極配置構造とセンサ部１１ｅの配置構造を採用している。但し、図２０のゴーグル構造は水中使用（あるいは宇宙遊泳訓練使用）にも耐える。水中で泳ぐダイバーの頭部は地上歩行よりも大きな動揺をするが、その大きな動揺（上下左右の位置移動や回転）は、センサ部１１ｅ内の３軸加速度センサや３軸ジャイロセンサで検出できる。検出した動揺成分はＥＯＧ信号に混入するノイズ成分の打ち消しに利用できる。頭部の動揺に起因したノイズが抑えられたＥＯＧ信号を利用して、両手が塞がったユーザ（ダイバー）の眼動（瞬目、目瞑り、その他）に基づき、種々なコマンド入力が可能となる。
＜実施形態の纏め＞
（ａ）従来の視線検出技術には赤外線カメラを用いて画像処理にて視線方向を推定する方式があるが、必要となる装置の量（高輝度な赤外線ＬＥＤに加え、外部に見える眼球全体を撮影可能なカメラ、画像処理用の比較的高性能な演算装置、これらを動作させる電力供給装置）が大規模となる。そのため、従来の視線検出技術は据置タイプの装置では応用されているが、ウェアラブル機器への適用は進んでいない。

これに対し、眼電位センシングによる視線検出は、必要となる装置の量（電極および、ＡＤＣ、比較的性能の低い演算装置、これらを動作させる電力供給装置）が赤外線カメラ方式と比較してかなり小規模であり、ＡＲメガネのようなウェアラブル機器への応用も可能となる。ＥＯＧはＡＲメガネとの親和性が高く赤外線方式と比べると低消費電力なためウェアラブル機器への適用が期待できる技術である。

（ｂ）現実世界の固定物を注視する時の、アイウェアユーザの頭部の揺れ分を打ち消す。これにより、任意の眼球回転に対する検出精度が向上する。
（ｃ）注視している現実世界の固定物が遠景か近景かを検出する（図４の位相反転ポイントの検出）。これにより、アイウェアユーザの頭部の揺れから、現実世界（固定物）の注視の有無を検出する。

（ｄ）アイウェアユーザの頭部の揺れをＡＲ表示の自動オン／オフ制御に利用する。
（ｅ）眼球の補償回転を打ち消した、任意の眼球動作のみを抽出する。
（ｆ）注視しているものが、現実世界か否かを検出する（歩行時に加速度センサおよび／またはジャイロセンサの検出波形と眼電位ＥＯＧ波形が同期していれば現実世界にあるものを見ていると判定し、加速度センサおよび／またはジャイロセンサの検出波形と眼電位ＥＯＧ波形は同期しないときは歩行時にＡＲ表示などを見ていると判定する）。

（ｇ）眼球動作をＵＩ（ユーザインターフェース）として使用する場合のノイズ打ち消しとして有効。
（ｈ）アイウェアを利用した作業履歴情報収集に使用すると、これまでに無い指標となる（例えば、頭部動揺によるノイズの影響を排除した状態で、倉庫のピッキング作業などにおいて、「正しい標的物に視線を向けた度数が一定値以上なら作業員として合格」といった合否判定に利用できる）。
＜出願当初請求項の内容と実施形態との対応関係例＞
［１］一実施の形態に係る眼電位検出装置（図７の１１：図１７の処理を実行するプロセッサ１１ａを含む）は、アイウェア（１００）を装着したユーザの眼電位（ＥＯＧ）に基づいて前記ユーザの眼球回転を含む眼動（視線移動、瞬目など）を検出する眼動検出部（１５；１５１ａ，１５１ｂ，１５２ａ，１５２ｂ）と、前記アイウェアの移動を検出する加速度センサ（１１ｅの一部）と、前記アイウェアの回転を検出するジャイロセンサ（１１ｅの一部）を備えている。この眼球運動検出装置は、前記眼電位（ＥＯＧ）に基づいて前記眼動が検出される際に、前記加速度センサおよび／または前記ジャイロセンサにより前記アイウェアの移動および／または回転を検出する検出手段（ＳＴ１２を実行する１１ａ）と、前記アイウェアの移動および／または回転に起因して前記眼電位に混入するノイズ（頭部の動きを打ち消す方向に働く代償的眼球回転によって付加された眼電位成分）を、前記加速度センサおよび／または前記ジャイロセンサによって検出した信号成分(混入ノイズに対して逆相となる成分)の合成によって低減（最小化または打ち消し）するノイズ低減手段（ＳＴ１４〜ＳＴ２０を実行する１１ａ）を具備している。

［２］前記［１］の装置は、前記低減手段による信号合成結果が減少に向かうように、前記加速度センサおよび／または前記ジャイロセンサによって検出した信号成分の位相を選択する位相選択手段（ＳＴ１６〜ＳＴ１８を実行する１１ａ）をさらに具備している。

［３］前記［１］の装置（１１）は、アイウェア（図５、図１８〜図２０の１００）に組み込まれる。
［４］前記［３］のアイウェア（１００）は、ディスプレイ部（１２Ｌ、１２Ｒ）を持ち、前記ノイズ低減手段によりノイズが低減されたあとの前記眼電位（ＥＯＧ）に基づく表示（ＡＲ表示）を前記ディスプレイ部（１２Ｌ、１２Ｒ）で行う表示手段（ＳＴ２２〜ＳＴ２４を実行する１１ａ）を具備している。

［５］前記［１］の装置は、前記ユーザの頭部の前後屈変化に対応した回転を前記ジャイロセンサ（１１ｅ）により検出し、そのユーザの視線方向の変化（図１０、図１１：Ｃｈ１／Ｃｈ２の±レベル変化から上下の視線方向変化を検出できる）を前記眼動検出部（１５）により検出し、前記前後屈変化の信号位相と前記視線方向変化の信号位相が同相（図４（ａ））か逆相(図４（ｂ））かによって前記ユーザが見ている場所の遠近を識別するように構成されている（注視している現実世界の固定物が、遠景か近景かを検出できる）。

［６］前記［１］の装置は、前記眼電位（ＥＯＧ）に基づいて前記眼動が検出される際に、前記加速度センサおよび／または前記ジャイロセンサにより検出された前記アイウェアの移動および／または回転（図１）が前記眼電位（ＥＯＧ）の変化（図８または図９）に同期する場合（図１７のＳＴ１４において「所定の位相関係」を維持できる場合）は前記ユーザが現実世界を見ているものと判定するように構成されている（注視しているものが、現実世界か否かを検出できる）。

［７］一実施の形態に係る眼電位検出方法は、アイウェア（１００）を装着したユーザの眼電位（ＥＯＧ）に基づいて前記ユーザの眼球回転を含む眼動（視線移動、瞬目など）を検出し、前記アイウェアを装着したユーザの頭部の移動を検出し、前記アイウェアを装着したユーザの頭部の回転を検出する処理を含む。この方法は、前記眼電位（ＥＯＧ）に基づいて前記眼動が検出される際に、前記アイウェアを装着したユーザの頭部の移動および／または回転を検出する工程と（ＳＴ１２）、前記アイウェアを装着したユーザの頭部の移動および／または回転に起因して前記眼電位に混入するノイズ（頭部の動きを打ち消す方向に働く代償的眼球回転によって付加された眼電位成分）を、前記アイウェアを装着したユーザの頭部の移動および／または回転に対応して検出した信号成分(混入ノイズに対して逆相となる成分)の合成によって低減（最小化または打ち消し）する工程（ＳＴ１４〜ＳＴ２０）を具備している。

［８］前記［７］の方法は、前記信号成分の合成結果が減少に向かうように、前記アイウェアを装着したユーザの頭部の移動および／または回転に対応して検出した信号成分の位相を選択する工程（ＳＴ１６〜ＳＴ１８）をさらに具備している。
この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

例えば、実施形態の説明においてＥＯＧ電極を備えたアイウェアとしてメガネ型やゴーグル型のデバイスを紹介したが、それ以外に、アイマスク、眼帯、ヘルメット、帽子、頭巾のような形態の物品をＥＯＧ電極付アイウェアに利用することも考えられる。
これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。

１００…アイウェア（ゴーグル型またはメガネ型）；１１０…アイフレーム；１１…眼球運動検出装置の主要部となる情報処理部（プロセッサ１１ａ、不揮発性メモリ１１ｂ、メインメモリ１１ｃ、通信処理部（ＧＰＳ処理部）１１ｄ、センサ部１１ｅなどを含む集積回路）；１１ｅ…加速度センサ、ジャイロセンサなどを含むセンサ部；ＢＡＴ…電源（リチウムイオン電池など）；１２…ディスプレイ部（右ディスプレイ１２Ｒと左ディスプレイ１２Ｌ：フィルム液晶など）；ＩＭ１…右表示画像（テンキー、アルファベット、文字列、マーク、アイコンなど）；ＩＭ２…左表示画像（テンキー、アルファベット、文字列、マーク、アイコンなど）；１３…カメラ（右カメラ１３Ｒと左カメラ１３Ｌ、またはブリッジ１０３部分に取り付けられた図示しないセンターカメラ）；１５…眼動検出部（視線検出センサ）；１５１０…右側（Ｃｈ１）ＡＤコンバータ；１５２０…左側（Ｃｈ２）ＡＤコンバータ；１５１２…左右間（Ｃｈ０）ＡＤコンバータ；１５１４…左右間（Ｃｈ３）ＡＤコンバータ。

Claims (12)

1. 現実世界画像又は前記現実世界画像に画像情報を付加させる拡張現実画像を表示する表示部と、
   ユーザの眼動を検出する第１検出部と、
   前記ユーザの頭部の動きを検出する第２検出部と、
   前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きに基づいて、前記ユーザが見ているものを判定する判定手段と、
   を具備する眼球運動検出装置。
2. 前記判定手段は、前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きとが同期しているか否かに基づいて、前記ユーザが前記現実世界画像を見ているか又は前記拡張現実画像を見ているかを判定する請求項１記載の眼球運動検出装置。
3. 前記判定手段は、
   前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きとが同期している場合、前記ユーザが前記現実世界画像を見ていると判定し、
   前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きとが同期していない場合、前記ユーザが前記拡張現実画像を見ていると判定する請求項２記載の眼球運動検出装置。
4. 前記表示部は、前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きとが同期しているか否かの前記判定手段による判定結果に応じて前記拡張現実画像の表示をオン、オフする請求項２又は請求項３記載の眼球運動検出装置。
5. 前記判定手段は、前記第１検出部により検出された前記眼動の位相と前記第２検出部により検出された前記頭部の動きの位相が同相であるか否かに基づいて、前記ユーザが見ている物体の遠近を判定する請求項１記載の眼球運動検出装置。
6. 前記判定手段は、
   前記第１検出部により検出された前記眼動の位相と前記第２検出部により検出された前記頭部の動きの位相が同相である場合、前記ユーザが前記現実世界画像の中の近距離の物体を見ていると判定し、
   前記第１検出部により検出された前記眼動の位相と前記第２検出部により検出された前記頭部の動きの位相が逆相である場合、前記ユーザが前記現実世界画像の中の遠距離の物体を見ていると判定する請求項５記載の眼球運動検出装置。
7. 前記表示部は、前記第１検出部により検出された前記眼動の位相及び前記第２検出部により検出された前記頭部の動きの位相の反転を前記判定手段が検出すると、前記拡張現実画像の表示をオンする請求項５又は請求項６記載の眼球運動検出装置。
8. 前記第１検出部により検出された前記眼動に含まれるノイズを前記第２検出部により検出された前記動きに基づいて低減する補償手段をさらに具備する請求項１、請求項２、請求項３、請求項４、請求項５、請求項６又は請求項７記載の眼球運動検出装置。
9. 前記第１検出部は上下方向の眼動及び左右方向の眼動を検出し、
   前記判定手段は前記ユーザが歩行時に前記現実世界画像を見ていることを判定した場合、前記ユーザの注視点が上下方向又は左右方向に移動したことを判定する請求項２記載の眼球運動検出装置。
10. 現実世界画像又は前記現実世界画像に画像情報を付加させる拡張現実画像を表示部により表示することと、
    ユーザの眼動を第１検出部により検出することと、
    前記ユーザの頭部の動きを第２検出部による検出することと、
    前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きに基づいて前記ユーザが見ているものを判定手段により判定することと、
    を具備する眼球運動検出方法。
11. 前記判定することは、前記第１検出部により検出された前記眼動と前記第２検出部により検出された前記頭部の動きとが同期しているか否かに基づいて、前記ユーザが前記現実世界画像を見ているか又は前記拡張現実画像を見ているかを判定する請求項１０記載の眼球運動検出方法。
12. 前記ユーザの眼動を前記第１検出部により検出することは上下方向の眼動及び左右方向の眼動を検出することを具備し、
    前記判定することは、前記ユーザが歩行時に前記現実世界画像を見ていることを判定した場合、前記ユーザの注視点が上下方向又は左右方向に移動したことを判定する請求項１１記載の眼球運動検出方法。

Images