JP2019025070A - 眼電位検出装置、帽子及びヘッドウェア - Google Patents

眼電位検出装置、帽子及びヘッドウェア Download PDF

Info

Publication number
JP2019025070A
JP2019025070A JP2017148548A JP2017148548A JP2019025070A JP 2019025070 A JP2019025070 A JP 2019025070A JP 2017148548 A JP2017148548 A JP 2017148548A JP 2017148548 A JP2017148548 A JP 2017148548A JP 2019025070 A JP2019025070 A JP 2019025070A
Authority
JP
Japan
Prior art keywords
electrode
eyeball
view
user
electrooculogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017148548A
Other languages
English (en)
Other versions
JP6871104B2 (ja
Inventor
広昭 古牧
Hiroaki Komaki
広昭 古牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017148548A priority Critical patent/JP6871104B2/ja
Publication of JP2019025070A publication Critical patent/JP2019025070A/ja
Application granted granted Critical
Publication of JP6871104B2 publication Critical patent/JP6871104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】眼電位を精度良く検出する、眼電位検出装置及び帽子及びヘッドウェアを提供する。
【解決手段】眼電位検出装置は、頭部に接触可能な第1電極と第2電極と、第1電極と第2電極からの信号に基づいて眼電位を検出する検出回路と、を具備する。頭部の正面図、平面図、側面図の少なくとも1つにおいて第1電極と第2電極とを結ぶ線が眼球を通過する。
【選択図】図1

Description

本発明の実施形態は眼電位検出装置、帽子及びヘッドウェアに関する。
眼球の運動(回転)を検出するための一つの方法として、眼球電位(以下、眼電位と称する)法(Electro-Oculography:EOG法とも称する)がある。眼球側は角膜側がプラス、網膜側がマイナスに帯電しており、数十mVの電位差を持つ電流双極子と考えられている。眼球の近傍の皮膚に電極を取り付けると、この電位差である眼電位を検出でき、眼電位の計測結果に基づいて眼球回転を検出できる。電極は眼球の近傍に配置する必要があるので、メガネやゴーグル等のアイウェアに電極を設けることが考えられている。眼電位の検出精度は電極の配置場所に大きく依存するが、これまでに提案されたアイウェアの鼻パッドおよびその周辺に電極を設ける装置の場合、眼電位を効率良く検出することが困難である。
米国特許出願公開第2011/0178784号明細書 特開2011-125693号公報 特開2013-244370号公報 特開2013-215356号公報 特開2006-340986号公報 特開2014-215963号公報 米国特許出願公開第2010/0228145号公報 特開2009-288529号公報
従来の眼電位検出装置は精度良く眼電位を検出できないという課題があった。
本発明の目的は眼電位を精度良く検出する眼電位検出装置、帽子及びヘッドウェアを提供することである。
実施形態によれば、眼電位検出装置は、頭部の硬毛の生えていない皮膚に接触可能な第1電極と第2電極と、第1電極と第2電極からの信号に基づいて眼電位を検出する検出回路と、を具備する。頭部の正面図、平面図、側面図の少なくとも1つにおいて第1電極と第2電極とを結ぶ線が眼球を通過する。
図1は眼電位検出電極の配置の一例を示す図である。 図2は眼電位検出電極の配置の具体例を示す図である。 図3は眼球回転検出の原理を示すEOG波形を示す図である。 図4は眼球回転を検出する情報処理部の一例を示すブロック図である。 図5は第1実施形態の制帽をユーザが着用する様子の一例を示す正面図である。 図6は図5のA−A*線に沿った断面から制帽を見た図である。 図7は第1実施形態の制帽をユーザの左側から見た図である。 図8は第1実施形態の制帽をユーザの左前方から見た図である。 図9は第1実施形態の制帽の変形例をユーザが着用する様子の一例を示す正面図である。 図10は図9のB−B*線に沿った断面から制帽を見た図である。 図11は無線給電により制帽の電池を充電する様子の一例を示す図である。 図12は“におい”カプセルの一例を示す図である。 図13は第1実施形態の制帽を利用する運行管理システムの一例を示す図である。 図14は第1実施形態の制帽を利用するバス運行管理システムの動作の一例を示すフローチャートである。 図15は第1実施形態の制帽を利用する電車運行管理システムの動作の一例を示すフローチャートである。 図16は第1実施形態の制帽の電極配置の変形例を示す図である。 図17は第2実施形態のサンバイザをユーザがインカムとともに着用する様子の一例を示す図である。 図18は第2実施形態のサンバイザの変形例である制帽の一例を示す図である。 図19は第3実施形態の眼電位検出装置の下側電極が装着される右耳用のイヤーセットの一例を示す図である。 図20は第3実施形態の眼電位検出装置の下側電極が装着される左耳用のイヤーセットの一例を示す図である。 図21は第4実施形態の眼電位検出装置の下側電極の装着例を示す図である。 図22は第5実施形態の眼電位検出装置の下側電極の装着位置の一例を示す図である。 図23は第5実施形態の眼電位検出装置の下側電極が装着されるイヤホンの一例を示す図である。 図24はアイウェアに関する第6実施形態の一例であるメガネを示す図である。 図25は図24のメガネを下から見た図である。 図26はユーザが第6実施形態のメガネをかける様子の一例を示す図である。 図27は第6実施形態の電極配置の一例を示す図である。 図28は第6実施形態においてユーザの視線が左に移動した時の検出信号の波形変化の一例を示す図である。 図29は第6実施形態においてユーザの視線が右に移動した時の検出信号の波形変化の一例を示す図である。 図30は第6実施形態においてユーザの左右の視線が互いに近づく方向に移動した時の検出信号の波形変化の一例を示す図である。 図31は第6実施形態においてユーザの左右の視線が互いに離れる方向に移動した時の検出信号の波形変化の一例を示す図である。 図32は第6実施形態のEOG波形の一例を示す図である。
以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
[眼球の基礎情報]
成人の眼球の直径は約25mmである。生後は17mm程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約65mmである。一般市販のステレオカメラは65mmの間隔で作られている物が多い。
成人女性の瞳孔間距離は男性に比べて数mmだけ短い。
眼電位は数十mVである。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μVの電位差(眼電位と称する)として現れる。
眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある:
<眼球運動(眼動)の種類>
(01)補償性眼球運動
頭や身体の動きにかかわらず外界の像を網膜上で安定させるために発達した非随意的な眼球運動。
(02)随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
(03)衝撃性眼球運動(サッケード)
物を見ようとして注視点を変えるときに発生する眼球運動であり、検出し易い。
(04)滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動であり、検出し難い。
<眼球の移動範囲(一般的な成人の場合)>
(11)水平方向
左方向: 50°以下
右方向: 50°以下
(12)垂直方向
下方向: 50°以下
上方向: 30°以下
自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトするためである。
(13)その他
輻輳角: 20°以下
<瞬目から推定しようとする対象に>ついて
・集中度の推定では、単純な瞬目頻度の変化から、集中すべき対象に対する時間軸上での瞬目発生タイミングを調べる。
・緊張/ストレスの推定では、瞬目の発生頻度の変化を調べる。
・眠気の推定では、瞬目群発、瞬目時間/瞬目速度の変化を調べる。
[電極配置]
図1は実施形態に係る眼電位検出装置のための電極の配置を説明するための図である。右眼球154Rの眼電位を測定する一対の電極(EOG電極とも称する)151a、151bが眼球154Rを挟んで配置される。上側電極151aは眼球154Rの上、例えば額に位置する。下側電極151bは眼球の下で頭髪または髭等の硬毛の生えていない領域に位置する。下側電極151bは、例えば耳あるいは耳周辺、具体的には、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起と耳朶の間の窪み、乳様突起直下の領域、外耳道等に位置する。一対の電極151a、151bは図示しないリード線に接続され、リード線を介して差動増幅器等を含む検出回路に接続される。一対の電極151a、151bの一方が+電極となり、他方が−電極となり、一対の電極151a、151b間の電位差である眼電位が検出され、眼球の上下回転が検出される。
左眼球154Lについても同様に一対の電極152a、152bが眼球154Lを挟んで配置される。一対の電極152a、152b間の電位差である眼電位が検出され、眼球の上下回転が検出される。しかし、左右眼球についてそれぞれ電極対を設け、それぞれの眼球の眼電位を測定することは必須ではない。いずれか一方の眼球についてのみ電極対を設け、いずれか一方の眼球についてのみ眼電位を測定しても眼球の上下回転は検出できる。ただし、左右眼球についてそれぞれ電極対を設けると、左右の電極対151b、152b間の電位差または左右の電極対151a、152a間の電位差から左右回転も検出可能である。
図1(a)は頭部の正面図、図1(b)は頭部の平面図、図1(c)は頭部の側面図であり、電極の配置条件を説明する。側面図は右側面図でも左側面図でも構わないが、ここでは左側面図を示す。
図1(a)の正面図において、額に配置される上側電極151a(152a)と耳あるいは耳周辺に配置される下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するように上側電極151a(152a)と下側電極151b(152b)が配置される。すなわち、前方から見ると、上側電極151a(152a)は眼球154R(154L)より上に位置し、下側電極151b(152b)は眼球154R(154L)より下に位置する。また、前方から見ると、上側電極151a(152a)は眼球154R(154L)より右(左)に位置し、下側電極151b(152b)は眼球154R(154L)より左(右)に位置する。
図1(b)の平面図において、上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するように上側電極151a(152a)と下側電極151b(152b)が配置される。すなわち、上方から見ると、上側電極151a(152a)は眼球154R(154L)より前に位置し、下側電極151b(152b)は眼球154R(154L)より後に位置する。また、上方から見ると、上側電極151a(152a)は眼球154R(154L)より左(右)に位置し、下側電極151b(152b)は眼球154R(154L)より右(左)に位置する。
図1(c)の側面図において、上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するように上側電極151a(152a)と下側電極151b(152b)が配置される。すなわち、左側方から見ると、上側電極151a(152a)は眼球154R(154L)より上に位置し、下側電極151b(152b)は眼球154R(154L)より下に位置する。また、左側方から見ると、上側電極151a(152a)は眼球154R(154L)より前に位置し、下側電極151b(152b)は眼球154R(154L)より後に位置する。
なお、上側電極151a(152a)と下側電極151b(152b)の配置は、電極対を結ぶ線が眼球154R(154L)を通過するように決めればよく、電極対を結ぶ線が眼球154R(154L)の中心を通過する必要はない。電極対を結ぶ線が眼球154R(154L)のいずれの部位を通過すればよい。ただし、電極対を結ぶ線が眼球154R(154L)の中心を通過すると、眼電位の検出信号の振幅が最も高くなり、最も精度良く検出することができる。
上側電極151a(152a)と下側電極151b(152b)は、図1(a)、(b)、(c)の少なくとも1つの条件を満足するように配置されると、精度良く眼電位を検出することができる。例えば、正面図において上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するが、平面図と側面図においては上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球を通過しなくてもよい。平面図において上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するが、正面図と側面図においては上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球を通過しなくてもよい。さらに、側面図において上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球154R(154L)を通過するが、正面図と平面図においては上側電極151a(152a)と下側電極151b(152b)を結ぶ線が眼球を通過しなくてもよい。ただし、図1(a)、(b)、(c)の全ての条件を満足するような位置に配置すると眼電位の検出信号の振幅が最も高くなり、最も精度良く検出することができる。
[眼電位・眼球回転検出原理]
図2は、ヘッドウェア(帽子、サンバイザ、ヘルメット、ゴーグル、メガネなど)で用いられる眼電位検出用電極の配置例を説明する図である。ゴーグル、メガネ等の眼球に関係するヘッドウェアは他のヘッドウェアと区別してアイウェアと称することもある。この図は人の顔を正面から見ている図なので、右側に左眼が示され、左側に右眼が示されている。帽子の一例は、電車、バス、タクシー、大型船舶、飛行機等の運転手/操縦士や車掌や、駅員、警備員、ベルボーイ、整備士、工員、レストラン従事者等が勤務中に着用する制帽を含む。サンバイザは、クラウンが無い“ひさし”のみの帽子であるので、以下、帽子はサンバイザも含めた総称として使用することもある。ヘルメット、ゴーグル、メガネ等は整備士、工員等が作業中に着用するものを含む。ヘッドウェアにおいて眼電位を検出する目的の一つは、眼電位から眼球の回転を検出し、眼球の回転からユーザの眠気度、集中度、緊張度、ストレス等を推定し、推定結果をユーザ、あるいはユーザを監視する管理者にフィードバックし、事故の発生等を防止することである。
ここでは、大人の眼球の平均的なサイズを、左眼右眼とも、直径約25mmとしている。また、大人の左右両眼間の平均的な中心間隔を、約65mmとしている。人の眼球は、左右両眼とも、角膜側が「+」に帯電し、網膜側が「−」に帯電している。これらの帯電により生じている眼球周りの電場(あるいは電気力線の状態)が、種々な眼動(上下左右方向の視線移動、左右両目の瞬目(瞬き)や目瞑り、左目または右目のウインクなど)に対応して変化する。この種々な眼動に対応した電場変化は、眼球周囲に配置した複数のEOG電極151a、151b、152a、152bから取り出される1以上のチャネル信号から、区別して検出できる。
眼球の運動の種類は、垂直方向あるいは上下方向の眼球の回転である瞬目(瞬き)や目瞑り、ウインク等(以下、これらを瞬きと総称することもある)と、左右の眼球が左右の同じ方向に無意識に回転する緩徐運動(Slow Eye Movement)と、左右の眼球が左右の異なる方向に回転する輻輳角変動に大別される。眼球を上下方向で挟むように電極を配置することにより、瞬きが検出できる。眼球を上下方向及び左右方向で挟むように電極を配置することにより、瞬き及び緩徐運動が検出できる。眼球を前後方向及び左右方向で挟むように電極を配置することにより、緩徐運動及び輻輳角変動が検出できる。
図1に示すように配置される4つの電極の中で眼球を前後方向で挟む電極対の電極どうしの間隔は、眼球を他の方向で挟む電極対の電極どうしの間隔に比べて小さい。2つの電極が検出する電位差は2つの電極の位置ずれに応じている。そのため、図1の配置の4つの電極は瞬きと緩徐運動と輻輳角変動を全て検出可能ではあるが、輻輳角変動を示す検出信号のレベルは小さいので、検出信号のレベルが大きい瞬きと緩徐運動を検出対象とする。
具体的には、左右両眼の中心を結ぶ水平線よりも下側の左右電極対152b、151bの電位差を第1チャネルCh0の信号として検出し、鼻筋よりも右眼側(図示では左側)の上下電極対151a、151bの電位差を第2チャネルCh1の信号として検出し、鼻筋よりも左眼側(図示では右側)の上下電極対152a、152bの電位差を第3チャネルCh2の信号として検出する。第1〜第3チャネル信号はアナログ信号として検出されるが、これらのアナログ信号は3つのA/Dコンバータ(ADC Ch0〜Ch2)1512、1510、1520により個別にデジタルデータ化され、図4に示す情報処理部等へ情報入力Aとして送出される。
図2に示す第1チャネルCh0の検出信号は眼球を左右方向に挟む電極対の検出信号に対応し、これにより視線の左右移動(緩徐運動)が検出される。また、第2、第3チャネルCh1、Ch2の検出信号は眼球を上下方向に挟む電極対の検出信号に対応し、これにより視線の上下移動(極短時間の移動である瞬目と目瞑りを含む)が検出される。
図2に示すEOG電極151a、151b、152a、152bの配置方法は、種々な形態のヘッドウェア(制帽、サンバイザ、ヘルメット、ゴーグル、メガネなど)に応用できる。ヘッドウェアが顎紐付きのヘッドウェア、例えば制帽(例えば図5の運転手帽200)であれば、上側電極151a、152aは制帽のクラウン台座(あるいはサイドクラウン、腰)202の内側の額に接する“すべり”の一部に設けることができ、下側電極151b、152bは顎紐210R、210Lの一部に設けることができる。ヘッドウェアがユーザの顔面上の両眼周囲に当接するフレームを持つゴーグルであれば、上側電極151a、152aはゴーグルフレームの上側の一部(ユーザの両眼より内側)に設けることができ、下側電極151b、152bはゴーグルフレームの下側の一部(ユーザの両眼より外側)に設けることができる。
図1で説明したように、種々な形態のヘッドウエア(制帽、ヘルメット、ゴーグルなど)において、左眼側の上下電極対152a、152bを結ぶ線上にユーザの左眼154Lが位置する(中心に限らず、眼球のいずれかの点が位置すればよい)ように電極配置を行い、右眼側の上下電極対151a、151bを結ぶ線上にユーザの右眼154Rが位置する(中心に限らず、眼球のいずれかの点が位置すればよい)ように電極配置を行う。このようにすると、ユーザの左右両眼の動きに対応した眼電位変化を、より良いS/N比で検出できる。
図3は、ユーザの種々な眼動(瞬目、目瞑り、視線移動)と、図2に示す3つのアナログ/デジタルコンバータ(ADC)1512、1510、1520から得られる検出信号Ch0、Ch1、Ch2のEOG波形との関係の一例を説明する眼電図(EOG)である。縦軸はCh0、Ch1、Ch2の各チャネルのADCのサンプル値(EOG信号レベルに相当)の参考例を示し、横軸は時間を示す。縦軸は、例えば3.3V,24ビットのADCのサンプル値を示し、196.695×10-9を乗算するとボルトとなる。縦軸の1目盛である10000は約2mV(=10000x196.695×10-9=1.96695×10-3)である。横軸は、例えば250fsのサンプル数を示し、250で割ると秒となる。
図3の上段に示すCh0のEOG波形のADCサンプル値において、視線が左に移動したときの凸波形(上に凸な波形)と視線が右に移動したときの凹波形(下に凸な波形)かつCh1およびCh2に現れる逆相波形の組合せ波形Prにより、眠気が増した時に発生する左右方向の眼球回転(眼球振盪)が検出される。右/左はユーザから見た右/左を意味する。
図3の中段に示すCh1のEOG波形のADCサンプル値および、同図下段に示すCh2の同相EOG波形のADCサンプル値(瞬目とは形状が異なり、目瞑りとは振幅が異なる)において、視線が上を向いたときの凸波形(上に凸な波形)と視線が下を向いたときの凹波形(下に凸な波形)の組合せ波形Ptにより、上下方向の眼球回転が検出される。すなわち、上下方向の瞬目および目瞑りによって発生する眼球の回転はCh1のEOG波形のADCサンプル値またはCh2のEOG波形のADCサンプル値のいずれか1つに基づいて検出可能であり、瞬目および目瞑りのみを検出する用途においては左右眼球についてそれぞれ電極対を設ける必要はなく、いずれか一方の眼球についてのみ電極対を設けてもよい。
図3の中段に示すCh1のEOG波形のADCサンプル値または、同図下段に示すCh2のEOG波形のADCサンプル値において、1〜2回の瞬目は、瞬間的にレベル上昇して元に戻る1〜2波の凸パルス波形PcまたはPc*により検出される。図3の中段に示すCh1のEOG波形のADCサンプル値または、同図下段に示すCh2のEOG波形のADCサンプル値において、3回の瞬目は、瞬間的にレベル上昇して元に戻る3波の凸パルス波形PsまたはPs*により検出される。図示しないが、4回以上の瞬目も3回の場合と同様に検出できる。
図3の中段に示すCh1のEOG波形のADCサンプル値または、同図下段に示すCh2のEOG波形のADCサンプル値において、瞬目より長い期間生じる目瞑りは、幅広でかつ視線が上を向いた際よりも大きな凸パルス波形PfまたはPf*により検出される。図示しないが、より長い目瞑りはより広いパルス幅の波形で検出される。
EOG波形の形状および振幅から、瞬目(瞬き)や目瞑りといった眼動は、第2チャネルCh1および/または第3チャネルCh2の信号波形から区別して検出できる。上下の眼動(上方または下方への視線移動)は、第2チャネルCh1および/または第3チャネルCh2の信号波形から区別して検出できる。左右の眼動(左方または右方への視線移動)は、第1チャネルCh0の信号波形、または第2チャネルCh1もしくは第3チャネルCh2の信号波形から区別して検出できる。
なお、眼球の左右回転を検出するための第1チャネルの信号波形を出力する電極152b、151bの位置が眼球の中心を結ぶ線に近い程、第1チャネルの信号波形は大きくなる。
<EOG波形と眼動との関係>
(01)視線が左右にきょろきょろと動いているときは、波形Prが現れる。視線が上下にきょろきょろと動いているときは、波形Ptが現れる。視線が左右上下にきょろきょろと動いているときは、波形Prと波形Ptが連続して現れる。つまり、EOG波形(Prおよび/またはPtから、「きょろつき」型眼動を検出できる。
(02)瞬目がなされると、瞬目の回数に応じたパルス波形(Pc、Ps)または(Pc*,Ps*)が現れる。つまり、EOG波形(Pc、Ps)または(Pc*,Ps*)から、種々な回数の「瞬目」型眼動を検出できる。なお、「瞬目」型眼動の検出さえできればよいのであれば、Ch0のADCは不要となる。「瞬目」型眼動の検出目的では、最低限、Ch1またはCh2のADCが1つあればよい。しかしCh1およびCh2の2つのADCを用い、両者の出力を合成すれば、信号対雑音比(S/N)を改善できる。その理由は、Ch1とCh2の間で相関性がある信号成分Pc、Ps、Pf、Ptなどは2つのADC出力の合成により+6dB増えるが、相関性がないランダムなノイズ成分は+3dBしか増えないからである。
(03)目瞑りがなされると、目瞑りの長さに応じたパルス波形Pfが現れる。つまり、EOG波形Pfから、種々な長さの「目瞑り」型眼動を検出できる。「目瞑り」型眼動はCh0のEOG波形にも少し表れるが、「目瞑り」型眼動の検出目的では、Ch0のADCはなくてもよい。
<眼動と心身状態の関係>
(11)EOGの波形観測中に、「きょろつき」型眼動に対応したEOG波形パターンが認められたときは、EOG電極付きヘッドウェアのユーザの集中力が欠け落ち着きがない状態にあると推定することが考えられる。
(12)EOGの波形観測中に、要所で少数回(例えば1〜2回)の「瞬目」型眼動に対応したEOG波形パターンが認められたときは、ユーザは集中している状態にあると推定することが考えられる。ここでの要所としては、例えばビデオ等を用いてある作業手順を学習している際の、作業内容上の意味の区切り箇所を想定できる。
(13)EOGの波形観測中に、要所で数回以上(例えば3回以上)の「瞬目」型眼動に対応したEOG波形パターンが認められたときは、ユーザは緊張し精神的にストレスを受けた状態にあると推定することが考えられる。ここでの要所としては、例えばユーザであるバスドライバが路上で後続車に急な追い越しを仕掛けられた場合、あるいは先行車が急ブレーキをかけたことで追突しそうになった場合などを想定できる。
(14)EOGの波形観測中に所定時間以上(例えば数秒〜数十秒以上)続く「目瞑り」型眼動に対応したEOG波形パターンが認められたときは、ユーザは疲労しており業務や作業に集中し難い状態にあると推定することが考えられる。
(15)特定状況下(例えば長距離バスの運行において、単調な路面走行中)のEOGの波形観測中に、短め(例えば数秒以下)の「目瞑り」型眼動に対応したEOG波形パターンが認められたときは、ユーザは瞬間的な居眠りしており交通事故が起きやすい状態にあると推定することが考えられる。
すなわち、ユーザの種々な眼動に対応したEOGの波形パターンから、ユーザの心身状態(集中度、ストレス、疲労、居眠りなど)を推定あるいは察知することができ、その推定(察知)内容に応じて、事故や作業ミス等が起きにくくなるような対策を講じることが可能となる。
図1、図2で説明したように、上下電極対151a、151bの電極どうしを結ぶ線または上下電極対152a、152bの電極どうしを結ぶ線は、頭部の正面図、平面図、側面図の少なくとも1つにおいて眼球の中心に限らず眼球のいずれかの部分を通過すればよい。ただし、この線が眼球の中心から離れるにつれてEOG検出波形の信号レベルが小さくなり、眼動(瞬目、眼瞑りなど)を高S/Nで検出し難くなる。その対策としては、高性能なフィルタの採用が考えられる。例えば、検出したい眼動(瞬目、眼瞑りなど)の信号周波数成分(例えば図3のPc、Ps、Pfの周波数スペクトル)を事前調査しておく。この事前調査の結果に基づき、所望信号成分だけを抽出するために必要最小限の通過帯域幅を持ち肩特性が非常にシャープな(例えば120dB/oct〜300dB/oct)デジタルバンドパスフィルタを、図4の眼動検出部15または情報処理部11に設ける。プロセッサ11aが高速で処理能力に余力があるなら、ソフトウエアにより、急峻な肩特性を持つFIR型またはIIR型のデジタルバンドパスフィルタをプロセッサ11aで構成してもよい。ノイズまみれで僅かな信号痕跡しか検出されない場合でも、シャープなバンドパスフィルタを通すことによりノイズの大部分を削り落とすことができる。そうすれば、少なくともバイナリレベルで(例えば、瞬目あるいは眼瞑りに対応した特定のEOG信号成分が存在するか否かといったレベルで)眼動を検出し得る。
図4は、ヘッドウェア(制帽、サンバイザ、ヘルメット、ゴーグル、メガネなど)200に含まれる情報処理部11と、その周辺デバイスとの関係を説明する図である。図4の例では、情報処理部11は、プロセッサ11a、不揮発性メモリ(フラッシュメモリ/EEPROM)11b、メインメモリ11c、通信処理部11d、センサ部11e、タイマ(フレームカウンタ)11f、デバイスID11gなどで構成されている。図2の各ADCを処理部11内に設ける実施形態も可能である。プロセッサ11aは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このプロセッサの処理速度を必要十分な最小限の速度に抑えることで、低消費電力化を図ることができる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ11bに格納しておくことができる。不揮発性メモリ11bには、タイマ11fを用いたタイムスタンプ(および/または録画ビデオのフレームをカウントしたフレーム番号)とともに、種々な検出データを記憶しておくことができる。プログラムを実行する際のワークエリアはメインメモリ11cが提供する。
センサ部11eは、ヘッドウェア(制帽、ヘルメット、ゴーグルなど)200の位置および/またはその向きを検出するセンサ群を含んでいる。これらのセンサ群の具体例としては、3軸方向(x−y−z方向)の移動を検出する加速度センサ、3軸方向の回転を検出するジャイロ、絶対方位を検出する地磁気センサ(羅針盤機能)、電波や赤外線などを受信して位置情報その他を得るビーコンセンサがある。これらの情報の獲得において、iBeacon(登録商標)あるいはBluetooth(登録商標)4.0(Bluetooth Low Energy(登録商標))が利用されてもよい。センサ部11eを用いた検出情報は、情報処理部等へ情報入力Bとして送出される。
情報処理部11に利用可能なLSIは、製品化されている。その一例として、東芝セミコンダクター&ストレージ社の「ウエアラブル端末向けTZ1000シリーズ」がある。このシリーズのうち、製品名「TZ1011MBG」は、CPU(11a、11c)、フラッシュメモリ(11b)、Bluetooth Low Energy(11d)、センサ群(加速度センサ、ジャイロ、地磁気センサ)(11e)、24ビットデルタシグマADC、I/O(USB他)を持つ。
プロセッサ11aで何をするかは、通信処理部11dを介して、通信機能を持つローカルプロセッサ(スマホ、タブレット、パーソナルコンピュータPCなど)1000から、指令することができる。あるいは、プロセッサ11aで何をするかは、メモリ11bに格納されたコンピュータプログラムにより予め決めておくことができる。
通信処理部11dでは、ZigBee(登録商標)、Bluetooth Low Energy(登録商標)、Wi-Fi(登録商標)などの既存通信方式を利用できる。プロセッサ11aでの処理結果は、通信処理部11dを介して、ローカルプロセッサ1000にリアルタイムで送ることができる。また、メモリ11bに記憶された情報も、通信処理部11dを介して、ローカルプロセッサ1000に提供できる。ローカルプロセッサ1000は、1以上のヘッドウェア200の情報処理部11から送られてきた情報を、レコーダ/ローカルデータベース1002で記録し蓄積できる。レコーダ/ローカルデータベース1002に記録/蓄積された情報は、4G LTE(第4世代の携帯高速通信技術)などの高速通信回線を介して、管理センター10000のサーバコンピュータに送ることができる。管理センター10000には1以上のローカルプロセッサ1000から種々な情報が送られてきており、それらの情報を統合してビッグデータのデータベース(ビッグデータBD)を構築できるようになっている。
ビッグデータBDを構築できる管理センター10000には、音声認識、音声合成、翻訳、対話、意図理解、画像認識(顔・人物画像認識)などのメディア知識処理技術を統合したシステムを導入することができる。そのようなメディア知識処理技術の具体例として(株)東芝が開発したRECAIUS(リカイアス)(登録商標)がある。リカイアスに関する具体的な情報はインターネット等から入手可能なため詳細は述べないが、リカイアスのような高度なメディア知識処理技術が利用可能になっていることをここで紹介しておく。
なお、管理センター10000は、インターネットなどを介して、図示しないVICS(登録商標)センターや図示しないWICS(登録商標)センターに接続することができる。VICSは”Vehicle Information and Communication System”の略で、財団法人 道路交通情報通信システムセンターが運営している。また、WICSは”Weather Information and Communication Service”の略で、(株)気象情報通信サービス会社が運営している。VICSからは、リアルタイムで(または所定時間毎にもしくは任意のタイミングで)種々な交通情報(渋滞情報、交通規制情報、駐車場情報、交通障害情報、現在位置から目的地までの所要時間情報など)を得ることができる。また、WICSからは、リアルタイムで(または所定時間毎にもしくは任意のタイミングで)種々な気象情報(日時および場所毎の、天気、気温、降水量、風速、日射量など)を得ることができる。
例えばある長距離バスの走行ルートがバス運行開始前に予め決まっていても、VICSからの交通情報(運行計画に影響する、渋滞情報、渋滞ルートを通る場合の所要時間情報など)やWICSからの気象情報(事故の起きやすさに関係し得る、積雪、豪雨、強風、濃霧などの情報)に応じて、適切な運行ルートの変更候補を管理センター10000から個々のバスドライバに連絡することができる。過去において交通情報や気象情報の内容に応じて選択されたことのある安全・適切な走行ルートの候補が管理センター10000のビッグデータDBに貯まっているときは、それらの候補のうち採用事例が多い上位の数候補を、自動的にバスドライバに提案することも可能である。
なお、プロセッサ1000では種々なアプリ(アプリケーションプログラム)を実行できる。例えばVICSやWICSの情報を適宜利用するカーナビゲーションアプリを用意し、そのアプリを用いてプロセッサ1000をカーナビとして利用することができる。
情報処理部11のシステムバスには、アクチエータ12、カメラ13、感圧センサ14眼動検出部15、マイク(または振動ピックアップ)16等が接続されている。
アクチエータ12は、ユーザの左右の耳付近に2つ(例えば図5の12L、12R)設けることができる。アクチエータ12(12Lおよび/または12R)は、ユーザの耳元で「ピピピ…」といったアラート音を出す、あるいは携帯電話のマナーモードのようなブザー振動を出すことができる。アラート音に関するアクチュエータはイヤホンとして実現することもできる。イヤホンは単独で設けてもよいが、後述するマイク16とともにインカムとして設けてもよい。運転手等は制帽200とともにインカムも着用することがあり、インカムの上から制帽200をかぶる、あるいは制帽200の上からインカムをかぶることもある。あるいは、アクチエータ12(12Lおよび/または12R)に電気パルス発生回路(図示せず)を設け、ユーザの左右のこめかみ付近にパルス状の軽い電気ショックを与えることができる。アクチエータ12がユーザの鼻先に配置される“におい”カプセル(例えば図9の120)の開閉シャッタを駆動するものであるときは、適宜シャッタを開けることで、カプセル内の気付け薬(例えばアンモニア)をユーザに嗅がせることができる。あるいは、カプセル内に香水を入れておき、ストレスを受けて緊張状態にあるユーザを爽やかな香りでリラックスさせることも考えられる。
カメラ13はオプション扱いでよいが、ユーザの額中央付近に中央カメラ(例えば図5の13)を設けてもよいし、ユーザの左右両眼の上側付近にステレオカメラ(例えば図9の13L、13R)を設けてもよい。
例えば図5(または図9)のように制帽200をかぶったユーザが図示しない鏡の前に立つと、鏡に映ったユーザの顔と制帽の外観をカメラ13または13L、13Rで撮影できる。この撮影画像を画像解析することにより、ユーザの鼻筋を通る垂線を基準として、ユーザの左右両眼の中心位置P1、P2と、下側電極151bの位置および下側電極152bの位置の、相対位置関係が分かる。また、制帽200の“すべり”の所定位置に固定された上側電極151aおよび上側電極152a(これらの電極はカメラに写っていない)の鼻筋垂線に対する相対位置も、制帽200を正面からみた外観画像から推定できる。
このことから、ユーザのカメラ撮影画像を画像解析することにより、下側電極152bが顎紐210L上の適切な位置に留められているか、すなわち左側の眼球が電極152aと電極152bを結ぶ線上にあるか否か、あるいは下側電極151bが顎紐210R上の適切な位置に留められているか、すなわち右側の眼球が電極151aと電極151bを結ぶ線上にあるか否かを、コンピュータ判定できる。この画像解析には、例えば前述したRECAIUS(リカイアス)の画像認識(顔・人物画像認識)技術を利用できる。
感圧センサ14は、ユーザの手が触れる部分に設けることができる。例えば、制帽200をかぶるユーザがバスのドライバだとすると、バスのハンドル(図示せず)のうち左手で握る部分と右手で握る部分の両方に感圧センサ14が取り付けられる。ドライバが正常にバスを運転しているときは、左右の手の少なくとも一方でハンドルを握って(あるいは掴んで)いる。このハンドル握り(掴み)状態を、ハンドルに取り付けた感圧センサ14で検知することができる。例えばバスの運転中にドライバが居眠りすると、ハンドルを握る手の握力が落ち、場合によってはハンドルから手が離れることが想定される。バスの走行中にドライバの両手でこのような状態が(極短時間であっても)感圧センサ14により検知されたならば、交通事故発生の恐れがあると判定する材料の1つになる。
あるいは、制帽200をかぶるユーザが電車の運転士だとする。すると、電車の運転操作室(先頭車両の最前部にある小部屋)に設けられた運転操作レバー(図示せず)のうち運転士の利き手(通常は右手)で握る部分に感圧センサ14が取り付けられる。運転士が正常に運転しているときは、操作レバーを握って(あるいは押して)いる。この操作レバーの握り状態(あるいは押圧状態)を、操作レバーに取り付けた感圧センサ14で検知することができる。例えば電車運転中に運転士が居眠りすると、操作レバーを握る(あるいは押す)力が落ち、場合によっては操作レバーから手が離れる。電車の走行中にこのような状態が感圧センサ14により所定時間以上続いて検知されたならば、事故(例えば停車駅のホームの所定位置で止まれないなど)が発生する恐れがあると判定する材料の1つになる。感圧センサ14による検知情報は、情報処理部等へ情報入力Cとして送出される。
マイク16は、ユーザ(バスドライバや電車運転士など)自身の声を捕らえ、あるいは周辺の人々(バスの乗客など)の声を捕らえることに使用できる。マイク16で捕らえた声は、音声認識してプロセッサ11aに対する処理命令に利用できる。あるいは、例えば交通事故によりバスドライバが怪我をして声が出なくなってしまった場合に、そのバスに乗り合わせた乗客が現状を音により管理センター10000へ伝える際にも、マイク16を利用することができる。マイクは単独で設けても良いが、音を発生するアクチュエータ12としてのイヤホンとともにインカムとして設けてもよい。
振動ピックアップ16は、オプション扱いでもよいが、音声以外の機械振動を検出したいときに用いることができる。例えば、ユーザの音声入力用には一般的なエレクトレットコンデンサマイク16を用い、それ以外に、音声に対する感度は低いがエンジンの異常振動音やブレーキの異常作動音などには敏感な特性を持たせた振動ピックアップ16を、用いることができる。
図4の各デバイス11〜16は、充電可能な電池17を用いた電源により給電される。電池17は、無線受電装置18により適宜充電される。無線受電装置18にはアンテナ19が繋がっており、このアンテナ19で外部の無線給電装置20から電磁エネルギの供給を受けることで、無線受電装置18は電池17を充電できる。
無線給電(ワイヤレス給電)には、ワイヤレスパワーコンソーシアム(Wireless Power Consortium:略してWPC)が策定した国際標準規格が存在する。この規格はQi(「ちー」と読む)と略称されている。現在、携帯電話やスマホを対象とした15W以下の低電力向け規格がQiで規格化されている。このQi規格に準拠したワイヤレス充電機能は、電源電池17において使用することができる。
図4の眼動検出部15は、視線検出センサを構成する4つの眼動検出電極151a,151b,152a,152bと、これらの電極から眼動に対応したデジタル信号を取り出す3つのADC1510、1520、1512と、これらADCからの出力データ(情報入力A)をプロセッサ11a側に出力する回路を含んでいる。ADCは情報処理部11の一部として構成されてもよい。プロセッサ11aは、ユーザの種々な眼動(上下動、左右動、瞬目、眼瞑りなど)から、その眼動の種類に対応する指令または状態を解釈し、その指令または状態に対応する処理を実行することができる。なお、図16を用いて後述するが、上側電極151aと152aの中間に、ユーザの皮膚電位とADCの回路電位を合わせるための電極153を設けてもよい。
眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し(コンピュータマウスのワンクリックに類似)、連続した所定回数の両目の瞬目あるいは片目の瞬目/ウインクなら選択された情報項目に対する処理の実行を開始させる(コンピュータマウスのダブルクリックに類似)指令が考えられる。
眼動の種類に対応する状態の具体例としては、所定数の瞬目、所定時間の目瞑り、視線の上下左右動がある、例えば、眼動がある講習の節目における1〜2回の瞬目ならユーザが講習内容に集中し理解したことを推定できる。眼動が突発的な3回以上の瞬目ならユーザが何らかの出来事でストレスを受けた可能性がある。眼動が数秒以上の目瞑りならユーザが居眠りしたことを推定できる。眼動が長時間(数十分以上)に渡る眼瞑り中における上下左右動なら、ユーザがレム睡眠中であったことを推定できる。長時間(数十分以上)に渡る眼瞑り中に眼動が認められないときは、ユーザはノンレム睡眠中であったと推定できる。
上記眼動の種類に対応する指令または状態は、眼動検出部15を用いた情報入力Aの一例である。
<図4に示される構成要素についての補足説明>
*プロセッサ11aを構成するマイクロコンピュータユニットの動作について
マイクロコンピュータユニットのプログラミングにより瞬目などの検出エンジンを構成し、この検出エンジンを動作させることで、リアルタイムのADC生データではなくて、タイムスタンプ付の瞬目イベントを記録することができる。例えば、タイマをスタートしてから5分10秒後に1〜2回連続する瞬目の発生イベントがあったなら、その瞬目のEOG波形をAD変換した生データを記録するのではなくて、代わりにそのような瞬目が発生したことを5分10秒のタイムスタンプとともに不揮発性メモリ11bなどで記録する。このようにすれば、生データをそのまま記録するよりも記録に必要なメモリ容量を大幅に節約できる。なお、メモリ容量に十分な余裕があるときは、ADC生データを記録するようにしてもよい。
*不揮発性メモリ11bを構成するフラッシュメモリ/EEPROMについて
例えば長距離バスを運転しているドライバの瞬目情報を収集する場合を考えてみる。その場合、長時間に渡りリアルタイムで瞬目情報を集め続ける代わりに、個々のドライバの瞬目情報を個々のメモリ11bに一時記憶しておき、長距離バスのパーキング停車時あるいは運行終了後にメモリ11bから記憶した瞬目情報をローカルプロセッサ1000で回収することが考えられる。この回収は、BlueTooth(無線)またはUSB(有線)を介して行うことができる。このようにすれば、情報回収時以外ではローカルプロセッサ1000を別の使途で、例えばカーナビとして、利用できる。
*電源(充電可能電池17)について
図4のデバイス11〜16に対する電源供給維持のために、小型電池17が用いられる。しかし、図4のデバイス11〜16が組み込まれたヘッドウエア(制帽、ヘルメット、ゴーグルなど)が、必要十分な大きさの電磁エネルギ供給を常時受けられる環境で使用されるならば、電池17がなくても、無線受電装置18とアンテナ19だけで、電源供給を維持可能となる。例えば、座席の背後や天井に外部無線給電装置20が配備されたバス内では、運転席に座ったバスドライバが着用している制帽200内のデバイス11〜16は、アンテナ19と無線受電装置18を介して、外部無線給電装置20から直接給電できる。この場合、電池17がなくても(あるいは充電電池17が使用不能状態に劣化していても)制帽200内のデバイス11〜16は正常動作できる。換言すると、必要十分な大きさの電磁エネルギ供給を受けられる場所にいるユーザがかぶるヘッドウェアのデバイスは、そのような場所にいる限り、電池なしでも動作できる。
図1〜図4の説明は、眼電位検出及び眼球回転検出の原理に関するものである。この原理を用いて電極や検出回路の構成要素を実際にどのように配置するかの実装に関する実施形態を以下に説明する。図1〜図4の説明は全部の実施形態に対して共通に適用される。
[第1実施形態]
第1実施形態として、勤務中に着用されるヘッドウェアを説明する。図5はヘッドウェアの一例である制帽200と、この制帽200をユーザ(例えば、電車、バスのドライバ、車掌など)がどのように着用するかの一例を説明する図である。また、図6は、図5のA−A*線に沿った断面の左側から制帽200を見た図である。
この制帽200は、クラウン台座(あるいは腰)202と、クラウン台座202の上側に取り付けられる天井(クラウン)204と、クラウン台座202の前方下側に張り出すように取り付けられた“ひさし”206を持っている。クラウン台座202の内側にはユーザの額に接する“すべり”が設けられる。
ひさし206の中央真上にくる天井204の前方部分には、記章208が取り付けられる。記章208は、天井204から外せないように縫い付けられるか、マジックテープ(登録商標)などで着脱自在に天井204に取り付けられる。この記章208の外観は、その制帽200をかぶるユーザの職種(例えばバスドライバ)や所属会社または組織を示唆するように、デザインできる。
図6に示すように、天井204の内側のうち、ユーザの頭頂部に面する大面積部分には、図4のアンテナ19が取り付けられる。天井204の内側のうち、記章208の裏側に面する部分には、図4の無線受電装置18および充電可能な小型電池(例えばコイン状のリチウムイオン電池)17が取り付けられる。無線受電装置18は、アンテナ19で受けた電磁エネルギを用いて、例えばQi規格に準拠したワイヤレス充電機能により電池17を充電できる。
クラウン台座202の右側側面のうち右耳付近にアクチエータ12Rが取り付けられ、および/または、クラウン台座202の左側側面のうち左耳付近にアクチエータ12Lが取り付けられる。アクチエータ12(12Rおよび/または12L)には、小型スピーカユニット、小型ブザー、昇圧回路(電撃パルス発生用)などが適宜組み込まれる。アクチエータ12(12Rおよび/または12L)の外装周辺寄りの一部分は、クラウン台座202の側面でボタン止めされる。これにより、アクチエータ12(12Rおよび/または12L)の外装部分は、クラウン台座202の外面に沿って、ボタン止め箇所を中心に、ユーザの手の力で回動できるようになる。この回動可能な取り付け方法により、アクチエータ12(12Rおよび/または12L)の位置を右耳および/または左耳付近で適宜回転移動させて、位置決めすることができる。
クラウン台座202の右側側面の一部には、右側アクチエータ12Rの回動を阻止しないように、右側顎紐210Rの一端が取り付けられる。同様に、クラウン台座202の左側側面の一部には、左側アクチエータ12Lの回動を阻止しないように、左側顎紐210Lの一端が取り付けられる。左側顎紐210Lの他端は右側顎紐210Rの他端と重ねられ、その重なり部分に顎紐留め212が設けられる。ユーザは、顎紐留め212により1本に繋がった顎紐210Lと210Rを顎の下に回し、顎紐留め212からはみ出た顎紐の端を手で引っ張るなどして、顎紐の長さを顔の長さに合わせる。これにより、左側顎紐210Lはユーザの左頬に密着し、右側顎紐210Rはユーザの右頬に密着する。
図1、図2の下側電極151bは、図5の右側顎紐210R上で移動可能に取り付けられ、ユーザの右耳付近で頭髪または髭等の硬毛の生えていない領域、例えば、耳朶と揉み上げの間の領域に接触し、上下電極151a、151bを結ぶ線が右眼154Rを通過するように下側電極151bの位置が調節される。実際の眼球の厳密なサイズ・位置はユーザには判り難いが、眼球の大まかなサイズ・位置が分かっているので、上下電極151a、151bを結ぶ線が右眼154Rを通過するように調節することは可能である。同様に、図1、図2の下側電極152bは、図5の左側顎紐210L上で移動可能に取り付けられ、ユーザの左耳付近で頭髪または髭等の硬毛の生えていない領域、例えば、耳朶と揉み上げの間の領域に接触し、上下電極152a、152bを結ぶ線がユーザの左眼154Lを通過するように下側電極152bの位置が調節される。電極151bは、顎紐210Rに設けられた柔軟性のある電線158Rを通して、ADC1510の「−」入力とADC1512の「−」入力に接続される。同様に、電極152bは、顎紐210Lに設けられた柔軟性のある電線158Lを通して、ADC1520の「−」入力とADC1512の「+」入力に接続される。
制帽200の正面中央であってクラウン台座202の内側の“すべり”(ひさし206との境目付近)には、制帽200の正面中央を通る垂線(図5のA−A*線)からみて左右対称になる位置に、図1、図2の上側電極151aおよび152aが取り付けられる。電極151aおよび152a(制帽200の外側からは見えない)は、“すべり”に取り付けられているので、電極151a、151bは制帽200をかぶったユーザの額(左右両眼より内側)に密着するようになっている。ここでは図示しないが、電極151aと電極152aの中間に、図16で説明する電極153をさらに取り付けてもよい。
クラウン台座202の前方の内側(ひさし206の中央真上)には、図4の情報処理部11が配置され、この処理部11に眼動検出部15が接続される。この眼動検出部15(または情報処理部11)のADC1510、1520、1512に、図5、図6に示した電極151a、151b、152a、および152bが電気的に接続される。
第1実施形態では、
・制帽200のクラウン台座202の内側の“すべり”に上側電極151a、152aを配置する;
・顎紐210R、210Lに上下方向へ可動可能な下側電極151b、152bを配置する。顎紐側の電極151b、152bが上下方向で可動式になっているところがポイントである。左右それぞれの上下電極間を結ぶ線が左右それぞれの眼球を通過するように、顎紐上の下側電極151b、152bの位置を調整する。これにより、頭部の正面図、平面図、側面図の3つにおいて上側電極151a、152aと下側電極151b、152bとを結ぶ線が眼球を通過することができ、瞬目や視線検出を行うに十分な振幅のEOG検出信号を得ることができる。
クラウン台座202の正面側のうち、ひさし206の中央真上付近に、図5に示すようにカメラ13を(オプションで)設けることができる。ユーザは、図示しない鏡に映った自分の顔をカメラ13で撮影できる。すると、その撮影画像から、下側電極151b、152bの位置が適性であるかどうか、すなわち電極151a、151bを結ぶ線が右眼を通るか否か、あるいは電極152a、152bを結ぶ線が左眼を通るか否か)を画像処理で判定できる。
なお、アクチエータ12(12Rおよび/または12L)によるユーザへのパルス電撃は、右の上下電極151a、151b、および/または左の上下電極152a、152bを用いて、行うこともできる。
記章208がマジックテープなどにより天井(クラウン)部204に着脱自在に取り付けられる構成では、記章208を電池蓋として利用できる。すなわち、劣化した電池17を交換する際には、記章208を天井部204からはがし取り、記章208の下の電池収納部(図示せず)から劣化電池17を取り外して良品電池17と交換し、記章208による電池蓋を閉じる。
情報処理部11、電池17、無線給電装置18などは、厚手の記章208に内蔵させることもできる。この記章208がマジックテープなどにより天井部204側と着脱自在になっているときは、マジックテープの一部を切り取り、そこに多接点コネクタを設けることができる。この着脱自在記章208の内部回路(情報処理部11など)は、図示しない多接点コネクタを介して、制帽200側のアンテナ19や眼動検出部15と接続できる。着脱自在の記章208に無線給電用の小型アンテナ19を設ける実施形態も考えられ、その場合は制帽200側のアンテナ19は不要となる。
着脱自在の記章208に情報処理部11を内蔵させる実施形態では、各記章208内の情報処理部11の不揮発性メモリ11b(図4)にその記章208の用途に応じたプログラムやパラメータを入れておくことができる。また、異なるプログラムやパラメータを持つ個々の記章208は、デバイスID11g(図4)に書き込まれたIDコードにより、識別できる。
このようにすると、制帽200の本体はどの用途にも使える汎用製品となり、その用途(例えばA社のバスドライバ用、B社の電車運転士用など)は、着脱自在な記章208を使い分けることで、自在に変更できる。各記章208内の情報処理部11の内蔵プログラムや内蔵パラメータにより、制帽200の用途を決めることができる。
図7、図8は、ユーザが制帽200を着用する様子を図5、図6とは別の角度から見た図を示す。図7は左側からユーザを見た状態を示し、図8は右前方からユーザを見た状態を示す。これらの図から、正面図、平面図または側面図の少なくともいずれかにおいて、上側電極151aと下側電極151bを結ぶ線が眼球154Rを通過することが分る。
図9は、図5の制帽200の変形例(“におい”カプセル120によりユーザに気付け薬等を嗅がせることができる例)を説明する図である。また、図10は、図9のB−B*線に沿った断面により制帽200を説明する図である。
制帽200の前方に向いているクラウン台座202の内側の“すべり”の2箇所(ユーザの鼻の上方の、両目の間)には、図5と同様な上側電極151a、152aが取り付けられる。図示しないが、電極151a、電極152aの中間に図16で説明する電極153をさらに取り付けてもよい。また、左右の顎紐210L、210Rには、図5と同様な下側電極151b、152bが取り付けられる。左右の顎紐210L、210Rには、下側電極151b、152bより下に位置調節可能なスライダ156L、156Rも取り付けられる。これらのスライダ156L、156Rの間には、これらの電極を橋渡しするようにフレキシブルだが姿勢維持力のあるワイヤ121が張られている。このワイヤ121上に、左右移動とワイヤの断面円周方向に回転可能な“におい”カプセル120が取り付けられる。カプセル120の構成については図12を参照して後述する。
右側の下側電極151bとスライダ156Rは、ユーザの右頬側の顎紐210R上で、少し力を加えることで自由に移動できるように取り付けられている。左側の下側電極152bとスライダ156Lも、ユーザの左頬側の顎紐210L上で、少し力を加えることで自由に移動できるように取り付けられている。顎紐210Lの先端部分および顎紐210Rの先端部分は互いに重ねられ、その重なった部分を顎紐留め212で締め付け固定することができる。この締め付け固定により顎紐210R、210Lはユーザの顔面上で殆ど動かなくなり、顎紐210R、210L上で位置決めされた電極151b、152b、スライダ156R、156L、およびワイヤ121もユーザの顔面上で殆ど動かなくなる。
すなわち、ユーザは、制帽200が脱げ落ちたり位置ずれしたりしないよう、制帽200を着用したあとに顎紐210R、210Lの重なり具合を調整する。その後に、ユーザは、電極151a、151bを結ぶ線上に右眼のエリアが来るように、顎紐210Rに付いている電極151bを右耳付近でスライドさせる。同様に、ユーザは、電極152a、152bを結ぶ線上に左眼のエリアが来るように、顎紐210Lに付いている電極152bを左耳付近でスライドさせる。
このようにすると、図1、図2に示すような電極配置を個々のユーザの顔面上で再現できるようになる。すると、ユーザの左右眼球の眼電位を、制帽200のクラウン台座202の内側の“すべり”と顎紐210R、210Lに設けられた電極151a、151b、152a、152bにより、効率的に検出できる。
以上の電極位置調整がなされた後で、ユーザは、“におい”カプセル120が外鼻孔の下になるように、スライダ156L、156Rを鼻付近でスライドさせるとともに、“におい”カプセル120の開孔部分(におい放出面)がユーザの外鼻孔へ向くように、ワイヤ121上に取り付けられたにおいカプセル120の位置と角度を指先で調整する。これにより、眼電位の検出からユーザの状態を推定し、推定した状態に基づいて“におい”カプセル120を駆動して、ユーザに“におい”を知覚させ、ユーザの状態を変えることができる。
図5の例ではオプションのカメラ13は制帽200の中央に1つであったが、図9の例ではステレオカメラ13R、13Lをオプションで設けている。ステレオカメラを用いれば、制帽200をかぶったユーザの顔を3D画像として捉えることができる。そうすると、位置調整が必要な下側電極151b、152bの眼球に対する前後位置関係も、画像解析の材料の1つに加えることができる。また、“におい”カプセル120がユーザの鼻孔より前に出すぎていないかどうかも、3D画像解析により判定可能となる。
図11は、制帽200のクラウン(天井)204に取り付けられたアンテナ19を用いた無線給電の実施状況を例示する図である。充電可能電池17が放電状態の(またはフル充電状態にない)場合は、使用途中でのバッテリ切れを回避するために、使用前に電池17を無線充電する(Qi規格に準拠したワイヤレス充電)。その充電方法は簡単であり、外部無線給電装置20の電磁波放出アンテナ20bが裏面に取り付けられたボード20aの表面に制帽200のクラウン204を載せるだけである。ボード20aの所定位置に一定の重さがある制帽200が載置されると、ボード20a上の感圧センサ(図示せず)がその載置を検出する。すると、アンテナ20bに接続された発振器20cが発振を開始し、制帽200のアンテナ19を介して、電池17が無線充電される。電池17がフル充電状態に達したら、発振器20cの発振は自動停止し、充電完了を示す合図(図示しない音や光)が出される。ユーザは、この充電完了合図を確認したら、制帽200を着用し、前述した顎紐の電極位置調整などを行って、業務遂行に向かう。
図12は、図9の制帽200で用いられた“におい”カブセル120の具体例を説明する図である。図12(a)は、“におい”カブセル120の蓋120c側から開孔部を見た図である。図12(b)は、図12(a)のa−a*線に沿った断面を示し、図12(c)は“におい”カブセル120の斜視図である。外形1〜2cm程度の円筒形カプセル120の肉厚底部120b(図12(b))には、フレキシブルだが姿勢維持力のある、断面円形のワイヤ121が貫通している。カプセル120は、手で力を加えれば、ワイヤ121の左右方向に自由に移動でき、ワイヤ121の円形断面の円周方向に自由に回動可能となっている。ワイヤ121上で位置決めされたあとのカプセル120は、底部120bの貫通孔内面とワイヤ121表面との間の摩擦により、位置決めされた場所に留まる(勝手に動かない)ようになっている。
カプセル120の外周壁120wの上端にはオスネジ(図示せず)が切られている。このオスネジに勘合するメスネジ(図示せず)が切られた蓋120cが外周壁120wの上端にねじ込まれる。この蓋120cの天井120tには、部分的な開孔120pが開けられている。蓋120cの内側には、時計回りまたは反時計回りに半回転〜1回転できる小型プリントモータ120mが組み込まれている。モータ120mの回転軸120sには、半月状のシャッタ120hが取り付けられ、シャッタ120hの回転位置に応じて、開孔120pの開孔面積が変わるようになっている。シャッタ120hは、その回転位置に応じて蓋120cの開孔120pを完全に閉じることができるように、組み立てられる。モータ120mを駆動する給電電線(図示せず)は、ワイヤ121内を通して外部(例えば顎紐上のスライダ156R、156Lから電極151b、152b側)に導くことができる。
カプセル120内には、例えば気付け用の薬剤(例えばアンモニア)をしみこませた綿または薬剤に侵されない材質の多孔性物質(スポンジ)120aを詰め込むことができる。シャッタ120hが蓋120cを完全に閉じているときは、気付け薬の臭気がカプセル120の外部に出ないようにしてある。モータ120mに通電してシャッタ120hを回転させると、その回転角に応じたレートで蓋120cが開き、気付け薬の臭気がカプセル120内から外部に放出される。開孔120pがユーザの鼻腔に向くようにセットされているときに蓋120cを開くと、ユーザはその臭気の刺激で気付けされる。
ワイヤ121の両端は、カプセル120がユーザの鼻先で動かなくなるように、ヘッドウェア(制帽、ゴーグル、ヘルメットなど)200の特定部分に取り付けられる。一例として、ワイヤ121の右端を制帽200の顎紐210R上で移動可能に取り付けられたスライダ156Rに固定し、ワイヤ121の左端を制帽200の顎紐210L上で移動可能に取り付けられたスライダ156Lに固定することができる。スライダ156R、156Lに電気配線を接続し、この配線をモータ120mの給電に利用することができる。但しこのモータ給電で電極151b、152bに接続されたADCが破損しないように、適切な保護回路を設けておくこともある。
“におい”カプセル120は、気付け用以外にも利用できる。例えばカプセル120内に香水をしみ込ませておき、ユーザがストレス状態にあるときに香水の香りでリラックスできるようにすることも可能である。
図13は、運転手用帽子(制帽)200を着用した運転手(例えばバスドライバ)の運行を管理するシステムにおいて、帽子200のEOG電極で検出した眼電位変化パターン(例えば眼瞑りや瞬目によるEOG波形変化)からドライバの心身状態(眠気や緊張など)を推定し、推定結果に応じたイベントをドライバと運行管理システムに通知する例を説明する図である。
<車両運転手向け帽子型デバイスによる眠気や緊張度の推定>
図13の運転手用帽子(制帽の一種)200は、外観は多少異なるものの、図5他の制帽200に対応する構成を備えている。すなわち、図13の帽子200は、運転手(その帽子のユーザ)の額に当接する部分に上側EOG電極151a、152aを持ち、左右の顎紐に下側EOG電極151b、152bを持つ。帽子200の内部には、図4の情報処理部11による視線検出エンジン(眼動検出エンジン)が組み込まれている。この検出エンジンにより、運転手の瞬目(まばたき)や目瞑りなどの特徴的な眼動発生状況を、EOG波形から検出できる。
帽子200のユーザ(運転手)の特徴的な眼動をEOG波形(図3参照)から検出することにより、ユーザの心身状態を推定(あるいは察知)することができる。具体例をあげると、瞬目の群発パターンが複数回連続して検出されたときは、ユーザが眠気に襲われていると推定することが考えられる。複数回の瞬目における平均閉眼時間が時間経過に伴い増加する傾向にあれば、疲労などによりユーザの意識低下が進んでいる(あるいは緊張感が落ちている)と推定することが考えられる。1度以上の眼瞑りにおいて、それらの閉眼時間が瞬目による閉眼時間より明らかに長い(例えば1秒以上、あるいは1分以上)ときは、ユーザは居眠りしている可能性があると考えることができる。
検出された運転手の瞬目(まばたき)回数やその発生タイミング(発生時間)などの情報は、帽子200からローカルプロセッサとしてのスマホ1000へ、情報処理部11内の通信処理部11dを介してリアルタイムで送信される。スマホ1000では、瞬目(まばたき)等の検出結果に基づく「眠気推定アプリ」や「緊張度推定アプリ」等が実行される。
運転手の心身状態(緊張、ストレス、眠気、居眠りなどの状態)は、瞬目の出方により推定し得る、例えば、瞬目の発生頻度の変化を調べることにより、緊張やストレスの有無を推定できる。あるいは、瞬目の群発状態を調べたり、瞬目時間および/または瞬目速度の変化を調べたりすることで、眠気の有無を推定できる。なお、瞬目により目を閉じている時間がコンマ数秒より長く続くときは、その長い瞬目は眼瞑り状態と捉えることができる。眼瞑り状態が両目で同時検出されたときは、居眠りがあったと推定できる。なお、眼瞑りが片目だけのウインク状態は、居眠りとの推定から除外できる。
例えば運転手の眠気が検出(推定)されたときは、「眠気推定アプリ」は、その検出イベントを「居眠り防止のアラート」として運転手に通知する。このアラートは、図4のアクチエータ12により行うことができる。あるいは、例えば運転手の緊張が検出(推定)されたときは、「緊張度推定アプリ」はその検出イベントを運転手に通知する。「眠気推定アプリ」や「緊張度推定アプリ」によるイベント通知は、高速な公衆回線(4G LTEなど)を介して、管理センター(運行管理者)10000のモニタリングコンピュータへも送られる。このモニタリングコンピュータは、運転手用帽子200をかぶった運転手の現状を遠隔監視しており、その運転手の運行記録に関するデータを蓄積し続けている。このデータ蓄積により、例えばその運転手が運転するバスが事故で大破しドライブレコーダが壊れてしまっても、ドライブレコーダの記録内容をモニタリングコンピュータ側に残すことができる。
アプリは図3のような測定結果から単位時間当たりの瞬目の回数、1回の瞬目の平均持続時間等を求め、管理者端末あるいはユーザのスマホ1000で表示するようにしてもよい。管理者端末での表示はリアルタイムでよいが、スマホ1000での表示はリアルタイムではなく、勤務外の時に過去のデータを表示するようにする。表示内容は、推定した眠気度、集中度、緊張度、ストレス度等でもよい。これらは数値として表示するだけでなく、色、形状、大きさ等が数値により変化するアイコンとしても表示してもよい。
<ゴーグル、メガネ、またはヘルメットによる作業点検>
定期点検が必要な設備(例えば発電所や化学工場)あるいは装置(例えば電車や飛行機)の保守点検作業員(ユーザ)は、図1、図2のようなEOG電極をフレームに備えた防護用ゴーグル(図示せず)、メガネ、あるいはヘルメットを着用して、保守点検作業に向かうことができる。
図13の例と同様に、作業員が着用するゴーグル、メガネ、あるいはヘルメットには視線検出エンジン(眼動検出エンジン)が組み込まれている。この検出エンジンにより、作業員の瞬目など特徴的な眼動の発生状況をEOG波形(図3)から検出できる。検出された作業員の瞬目回数やその発生タイミング(発生時間)などの情報は、ゴーグルあるいはヘルメットからスマホ1000へ、情報処理部11内の通信処理部11dを介してリアルタイムで送信される。スマホ1000では、瞬目等の検出結果に基づく「眠気推定アプリ」、「緊張度推定アプリ」、「ストレス推定アプリ」等が実行される。
例えば作業員の眠気が検出(推定)されたときは、「眠気推定アプリ」は、その検出イベントを「居眠り防止のアラート」として作業員に通知する。このアラートは、図4のアクチエータ12により行うことができる。あるいは、例えば作業員の緊張あるいはストレスが検出(推定)されたときは、「緊張度推定アプリ」あるいは「ストレス推定アプリ」はその検出イベントを作業員に通知する。「眠気推定アプリ」、「緊張度推定アプリ」、「ストレス推定アプリ」等によるイベント通知は、公衆回線(4G LTEなど)を介して、管理センター(作業管理者)10000のモニタリングコンピュータへも送られる。このモニタリングコンピュータは、ゴーグル、メガネ、あるいはヘルメットをかぶった作業員の現状を遠隔監視しており、その作業員の心身状態(眠気発生など)や作業状態(作業ミスの発生など)に関するデータを、作業時のタイムスタンプとともに、蓄積できるようになっている。
ゴーグル、メガネ、あるいはヘルメットの前面にビデオカメラ(図示せず)13を設け、そのビデオ撮影画像と各ビデオフレームのカウント値が管理センター10000へ送信されるように構成することもできる。そうすると、保守点検作業終了後に設備(例えば発電機)あるいは装置(例えば電車)を試験運転した際に不具合がみつかったなら、その不具合が作業員のどのような不手際に起因するのかを、ビデオ画像から調査できる。
<ゴーグルによるコンピュータゲーム>
コンピュータゲーム機のユーザ(ゲーマー)は、図1、図2のようなEOG電極を接眼フレームに備えたゴーグル型のヘッドマウントディスプレイ(図示せず)を着用して、VR(仮想現実)型の3Dビデオゲームをプレイできる。
図13の例と同様に、ゲーマーが着用するヘッドマウントディスプレイには視線検出エンジン(眼動検出エンジン)が組み込まれている。この検出エンジンにより、ゲーマーの視線上下動や瞬目など特徴的な眼動発生状況をEOG波形(図3)から検出できる。検出されたゲーマーの瞬目回数やその発生タイミング(発生時間)などの情報は、ヘッドマウントディスプレイからローカルプロセッサ(高速CPUを搭載したスマホ、あるいは高速CPUを搭載したPC)1000へ、情報処理部11内の通信処理部11dを介してリアルタイムで送信される。ローカルプロセッサ1000では、瞬目等の検出結果に基づく「疲労度推定アプリ」や「ストレス推定アプリ」等が実行される。
例えばゲーマーの疲労が検出(推定)されたときは、「疲労度推定アプリ」は、その検出イベントをゲーマーに通知して、休息を提案することができる。この通知は、図4のアクチエータ12により行うことができる。あるいは、ゲーマーのストレスが検出(推定)されたときは、「ストレス推定アプリ」はその検出イベントをゲーマーに通知して、「ゲームの難易度を下げたらどうか?」といったような提案をすることができる。
「疲労度推定アプリ」や「ストレス推定アプリ」等によるイベント通知は、公衆回線(4G LTEなど)を介して、管理センター(ゲーム事業者)10000のモニタリングコンピュータへ送ることもできる。このモニタリングコンピュータは、ヘッドマウントディスプレイ200を着用したゲーマーの現状を遠隔監視することができ、そのゲーマーの生体情報(疲労状態やストレス状態など)やゲームのクリアレベル等に関するデータを、ゲームプレイ時のタイムスタンプ(あるいはプレイしたVRビデオゲームのビデオフレームカウント値)とともに、蓄積できるようになっている。モニタリングコンピュータに蓄積された多数のゲーマーからのデータ(ビッグデータになり得る)は、新たなゲーム開発に有効利用できる。
図14は、制帽200を利用した車両(バスやトラックなど)の運行管理がどのように行われるのかの一例を説明するフローチャートである。
ヘッドウェアの一例である制帽200のユーザ(例えば長距離バスのドライバ)は、業務に出向く前に、制帽200内の電池17の状態を調べ、フル充電状態でないことがわかれば充電し(図11参照)、充電してもフル充電状態にならないなら電池17を良品に交換する(ST10)。電池17がOKなら、業務内容あるいは使用状況に応じてアラートのパラメータを設定し、動作チェックする(ST10)。例えば、「1秒以上の眼瞑りが最初検出されたらアラート音を出し、1秒以上の眼瞑りが2度目に検出されたら電気パルスによる電気刺激を出す」といったパラメータ設定を行う。
ヘッドウェア(制帽)200を装着したユーザ(バスのドライバ)は、例えば鏡の前に立って自分の顔をみながら、装着した制帽200の顎紐210上にあるEOG電極151b、152bの位置を調整する(ST12)。これにより、図1に示すような電極配置が得られるように、電極151b、152bを位置決めできる。
図5に示すように制帽200をかぶったバスドライバは、自分が運転する大型バス(図示せず)に乗車した後、自分のスマホ1000を用いて、自分のバス会社の運行管理センター10000と無線接続する(ST14)。そして、VICS(道路交通情報通信システム)センターやWICS(気象情報通信サービス)会社と適宜インターネット接続できるようにし、カーナビおよびドライブレコーダを起動する(ST14)。
次に、バス運行を開始し(ST16)、バスターミナルで乗客を乗せたあと、所定の運行計画に従って走行する(ST18)。
なお、運行計画で事前に決めておいた走行ルートは、VICSからの渋滞情報やWICSからの天候情報に基づいて、適宜変更され得る。走行ルートの変更は、その変更がなされたときの現在時刻情報、GPS位置情報、交通情報、気象情報、ドライバ仲間から入手した口コミ情報、ドライバのEOG波形変化イベント等を適宜織り交ぜて、適宜、運行管理センター10000へ無線連絡される(ST20)。
無事目的地に到着したら、今回のバス運行は終了する(ST22イエス)。運行途中(ST22ノー)でEOGの特定パターン(例えば眼瞑り)の検出時間がT1以上であったかどうかのチェックがなされる(ST24)。T1の値は、ST10のパラメータ設定時に例えば1秒と決めておくことができるが、T1の値は任意に変更可能となっている。検出時間がT1以上でないときは(ST24ノー)、計画された走行を続ける(ST18)。
特定パターンの検出時間がT1以上であるときは(ST24イエス)、図4のアクチエータ12を用いて、ドライバにアラートを出す(ST26)。アラートは音、振動、臭気、軽い電気刺激等を含む。N回以内(例えば1回以内)のアラートでドライバが所定時間T2以内に覚醒したなら(ST28イエス)、アラートをオフにして、計画された走行に戻る(ST18)。ここで、EOG波形から、ドライバがアラートにびっくりして両目を「きりっと」見開く状態が数秒以上検出されたなら、ドライバが覚醒したと判定(推定)できる。Nの値は、ST10のパラメータ設定時に例えば1と決めておくことができるが、Nの値は任意に変更できる。
ドライバが所定時間T2以内に覚醒しないなら(ST28ノー)、あるいはT2以内に覚醒してもその覚醒がN回を超える(例えば2回以上の)アラート反復の結果であったなら(ST28ノー)、安全第一のため、アラートはオンのままとし(ST28ノー)、計画された走行(ST18)には戻らない。
ドライバが所定時間T2以内に覚醒しない場合(ST28ノー)、あるいはT2以内に覚醒してもその覚醒がN回を超えるアラート反復の結果であった場合(ST28ノー)は、アラーとはオンのままとし、ST24の特定パターン検出前後において、ドライバの頭部が「こっくり」したかどうか、またはハンドルを握る手に弛緩があったかどうか、チェックされる(ST30)。頭部の「こっくり」は、図4のセンサ部11eに設けた加速度センサにより検出できる。また、ハンドルを握る手の弛緩は、図4の感圧センサ14により検出できる。
ドライバが所定時間T2以内に覚醒しない場合(ST28ノー)、あるいはT2以内に覚醒してもその覚醒がN回を超えるアラート反復の結果であった場合(ST28ノー)でも、「こっくり」や「手の弛緩」が検出されていないときは(ST30ノー)、ドライバは軽い睡魔に襲われたものの一時休息で回復する可能性があるものと推定して、自動運転モード1に移行できる(ST32)。
自動運転モード1では、車外に警告(テールランプの点滅など)を出しつつ減速して最寄りの路肩まで移動し、停車する(ST32)。ドライバは、この停車状態で一時的に休息をとることができる。自動運転モード1が発動したことは運行管理センター10000へ自動的に連絡され、運行管理者が適切な処置をとれるようにする。
自動運転モード1が発動した際に、例えば回送時で乗客がおらず(ST34ノー)、一時休息でドライバが正常運転可能なまでに回復したならば(ST36イエス)、アラートをオフにして、計画された走行(回送など)に戻ることができる(ST18)。
自動運転モード1が発動した際に、例えば乗客が存在するときは(ST34イエス)、直ぐに運行管理センター10000へ交代ドライバを無線で要請し、交代ドライバがくるまで停車状態で待機するか、交代ドライバが待機する最寄りのパーキングまで自動運転により徐行運転(仮運行)する(ST38)。その際、乗客には、状況説明の自動アナウンスがなされるようにするとよい。乗客がいる場合に直ぐ交代ドライバを要請する理由は、現在不調な状態にあるドライバがいつ回復するのか乗客には分からず、乗客の不安が増すからである。新たなドライバと交代したら(ST40)、計画された走行に戻ることができる(ST18)。
なお、上記の自動運転には種々な方式が提案されているが、既知の自動運転技術の一例として、Googleセルフドライビングカーを紹介しておく。
ドライバが所定時間T2以内に覚醒しない場合(ST28ノー)、あるいはT2以内に覚醒してもその覚醒がN回を超えるアラート反復の結果であった場合(ST28ノー)であって、「こっくり」や「手の弛緩」が検出されていたときは(ST30イエス)、ドライバは居眠り(一時的睡眠状態)あるいは失神していた恐れがある。ドライバの居眠りや失神は大事故に繋がる緊急非常事態であると判定して、自動運転モード2に移行する(ST42)。
自動運転モード2では、車外に警告(ブレーキランプの点灯など)を出しつつ速やかに路上で停車する(ST42)。自動運転モード2が発動したことは運行管理センター10000へ自動的に連絡され、運行管理者が速やかに適切な処置をとれるようにする。状況により、警察や消防へも無線連絡が行くようにしてもよい。この実施形態においては、自動運転モード2が発動されるような緊急事態では、停車まで時間がかかり得るモード1の自動運転処理は採用していない。
自動運転モード2(ST42)が発動した際は、自動的に運行管理センター10000へ交代ドライバを無線で要請し、交代ドライバがくるまで停車状態でその場に待機する(ST44)。その際、乗客の不安を減らすため、状況説明のアナウンスを自動的に車内に流すとよい。なお、路上停車位置の直ぐ近くにバスを停められる広さの路肩があるときは、路上停車位置からその路肩まで自動運転でゆっくり移動し停車するようにしてもよい。新たなドライバと交代したら(ST46)、計画された走行に戻ることができる(ST18)。
図15は図14の変形例であって、制帽200を利用した電車の運行管理がどのように行われるのかの一例を説明するフローチャートである。バスのドライバを電車の運転士に置き換え、バスのハンドルを電車の操作レバーに置き換え、電車の運行管理にATCを導入し、電車の自動運転をATCにより行う場合を想定してみる。そうすると、図15のST110〜ST128は、図14のST10〜ST28と同様な処理となる。また、図15のST132とST140は、図14のST32とST40(またはST42とST46)に対応した処理となる。図14の処理を行うコンピュータプログラムと図15の処理を行うコンピュータプログラムは類似しており、処理上の相違点部分のプログラムを書き換え、そのプログラムで使用するパラメータを適宜変更するだけで、どちらの処理にも対応可能なコンピュータプログラムを作成できる。
なお、電車の走行管理の場合は、車両走行が線路上に限定されることと、自動車の自動運転よりも強力なATCによる制御があるので、ST124におけるT1(眼瞑りなどの検出閾値)は、図14のST24よりも長めに設定することが考えられる。
図16は、眼電位検出用電極の配置例の変形例(図1、図2の例に新たな電極153を追加した例)を説明する図である。図16では、ユーザの皮膚電位とADCの回路電位を合わせるための電極153が上側電極151a、152aの中間の位置において、ユーザの皮膚面に接触するように設けられている。
図2の実施形態では3つのADCを用いているが、図16の実施形態ではアナログマルチプレクサ1501とアナログ平衡アンプ1502を用いて、3つのADC機能を1つのADC1503に纏めている。3つのADC機能が纏められたADC1500の電源(Vdd=3.3V)とグランド(GND)の間には抵抗R1とR2の直列回路が接続され、R1とR2の接続点に、電極153が繋がっている。このようにすると、ADC1500の電源の中点電位(1.65V)がユーザの皮膚電位と同じになる。すると、ユーザの皮膚電位に混じりこむノイズ電位でADC1500の電源中点電位が動くため、ユーザの皮膚電位のノイズがADCの変換結果に混入し難くなる。これにより、ユーザの生体電位の検出S/Nの劣化を防止できる。
上述の説明は帽子に関するが、第1実施形態のヘッドウェアはサンバイザ、ヘルメット等にも適用可能である。
第1実施形態によれば、ヘッドウェアにおいてユーザの額に接する“すべり”に上側電極151a、152aが設けられ、顎紐の耳付近の頭髪または髭等の硬毛の生えていない領域に下側電極151b、152bが設けられる。下側電極151b、152bの位置は、正面図、平面図、側面図の3つにおいて上側電極151a、152aと下側電極151b、152bを結ぶ線が眼球を通過するように調整することができる。しかし、下側電極151b、152bの位置は必ずしも正面図、平面図、側面図の3つにおいて調整しなければならないものではなく、正面図、平面図、側面図の少なくともいずれかにおいて上側電極151a、152aと下側電極151b、152bを結ぶ線が眼球を通過するように調整すればよい。ヘッドウェアの顎紐に下側電極151b、152bを取り付けるというヘッドウェアの若干の変更が必要であるが、その変更はユーザには気付かれない程度のものであるので、ユーザが違和感を覚えることがなく、ユーザの抵抗無く、ユーザの眼電位、眼球の回転を精度よく検出することができる。眼球の回転検出結果から、ユーザの眠気度、集中度、緊張度、ストレス等が推定でき、推定結果に応じた適切な対応をとることが可能であり、居眠り運転や作業ミス等を防止することができる。なお、顔には頭髪または髭等の硬毛が生えている領域もあり、これらの領域に電極が設けられると、正しく眼電位を検出できない可能性がある。第1実施形態によれば、上側電極は額に接触し、下型電極も硬毛の生えていない耳の周辺に接触しているので、眼電位を正しく検出できる。
他の実施形態を説明する。他の実施形態の説明で、第1実施態様と対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。第1実施形態の説明の中の図9、図10に示す変形例、図11に示す電池の充電方法、図12に示す“におい”カプセルの詳細、図13に示す運行管理システム、図14、図15に示す運行管理システムのフローチャート、図16に示す電極配置の変形例の説明は他の実施形態にも同様に適用されるので、重複する説明は省略する。
[第2実施形態]
第1実施形態は制帽等のヘッドウェアに関する。第2実施形態も同様に制帽等のヘッドウェアに関するが、頭部の皮膚の硬毛の生えていない領域に接触可能な下側電極の取り付けにおいて、第2実施形態は第1実施形態と異なる。第1実施形態では顎紐を利用して下型電極を耳付近に取り付けるが、顎紐が無いヘッドウェアもある。第2実施形態は、図17(a)に示すように顎紐が無いヘッドウェアに関する。図17はヘッドウェアとしてはサンバイザ304を示すが、第1実施形態と同様に、第2実施形態も帽子、ヘルメット、メガネ、ゴーグル等にも適用可能である。
図17(a)に示すようにサンバイザ304は頭部に嵌められるバンド部306と、バンド部306から前方に延びる“ひさし”308からなる。バンド部306は頭部の周囲を一周する環状、ベルト状のものでもよいが、図17(a)に示すように額から耳の後位まで達するが後頭部は欠けている嵌め具形状のものでもよい。後者の場合、バンド部306は頭部に密着するように弾性を有することがある。
バンド部306の額に接触する箇所に上側電極151a、152aが設けられ、バンド部306の耳に対応する箇所に電極取り付け用のガイド302R、302Lが設けられる。図示しないが、図4に示す情報処理部と周辺回路もバンド部306に実装される。ガイド302R、302Lの先端に下側電極151b、152bが取り付けられる。下側電極151b、152bは図示しないリード線を介して第1実施形態と同じ情報処理部11と周辺回路に接続される。情報処理部11と周辺回路はバンド部306等に配置される。第1実施形態と同様に、下側電極151b、152bの位置は、正面図、平面図、側面図の3つにおいて上側電極151a、152aと下側電極151b、152bとを結ぶ線が眼球を通過するように調整可能である。しかし、第1実施形態と同様に、下側電極151b、152bの位置は必ずしも正面図、平面図、側面図の3つにおいて調整しなければならないものではなく、正面図、平面図、側面図の少なくともいずれかにおいて上側電極151a、152aと下側電極151b、152bを結ぶ線が眼球を通過するように調整すればよい。
図1等から明らかなように下型電極は頭部の皮膚の硬毛の生えていない領域、例えば耳周辺に配置される。そのため、ガイド302R、302Lの先端は、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起と耳朶の間の窪み、乳様突起直下の領域等に位置する。図17(c)、(d)は、ガイド302R、302Lの先端が乳様突起と耳朶の間の窪みに位置する例を示す。ガイド302R、302Lはその先端に取り付けられた電極151b、152bを皮膚に押さえつけるような弾性を有する部材、例えばバネからなってもよい。
第2実施形態のサンバイザ304は単独でも眼電位を検出できるが、図17(b)に示すようなインカム312とともに着用されることもある。そのため、ガイド302R、302Lがインカムのヘッドフォンと干渉しないように、ガイド302R、302Lは耳の後でバンド部306に取り付けられる。図17(c)はインカムの上からサンバイザが着用される一例を示す。図17(d)はインカムとサンバイザの左側側面図であり、図17(e)はインカムとサンバイザの正面図である。ガイド302R、302Lはインカムの耳当ての下を通り、乳様突起と耳朶の間の窪みに下側電極151b、152bを接触させる。下側電極151b、152bが耳朶と揉み上げの間の領域、耳介、耳朶等の耳の前側の領域に接触させる場合は、ガイド302R、302Lは耳当ての上を通ってもよいし、ガイド302R、302Lは耳の前でバンド部306に取り付けられてもよい。
第2実施形態によれば、顎紐が無いヘッドウェアを着用する場合でも、上側電極と下側電極を図1、図2に示すような位置関係で配置することができるので、眼電位、眼球回転を正確に測定することができる。第1実施形態に比べて顎紐が無いので、ユーザがヘッドウェアを着用する際、ストレスを感じることが少なく、ヘッドウェアの使い勝手がよい。さらに、帽子ではなくサンバイザとすることにより、インカムを着用する場合でも、インカムと眼電位検出可能なヘッドウェアとの併用が容易である。勤務中に制帽を着用する業界でも夏季はクールビズのため脱帽で勤務する場合もあるが、サンバイザであればクールビズにもなるし日除けにもなり、バス等の安全運転に寄与できる。
図18は第2実施形態が適用された帽子の例を示す。ガイド302R、302Lはクラウン台座の耳に対応する箇所に設けられる。上側電極151a、152aは第1実施形態と同様にクラウン台座の内側の“すべり”に設けられる。図18の帽子もサンバイザ304と同様に単独でも眼電位を検出可能であるが、インカムとともに着用可能でもある。図4の情報処理部11と周辺回路がクラウン台座の前方の内側(ひさしの中央真上)に配置される。
[第3実施形態]
第1、第2実施形態ではEOG電極はヘッドウェアに取り付けられている。上側電極は額に接触する必要があり、ヘッドウェアの“すべり”に設けられるが、下側電極は硬毛の生えていない領域、例えば耳周辺に設けられればよく、ヘッドウェアの一部である顎紐に取り付ける必要、あるいはヘッドウェアを変更して電極取り付け用のガイドを設ける必要は無い。下側電極をヘッドウェアとは無関係な部材、例えばイヤークリップ、イヤーフック、イヤーカフ、イヤリング、イヤホン、ヘッドセットまたはインカム等の耳に取り付けられるイヤウェアにより耳周辺に設ける第3実施形態を図19、図20を参照して説明する。
図19はマイク、イヤホンからなる右耳用の耳掛け型ヘッドセット200Rを示す。図20は図19のヘッドセット200Rを左右反転した形状を持つ左耳用の耳掛け型ヘッドセット200Lがユーザに装着された状態を説明する。右耳用ヘッドセット200Rと左耳用ヘッドセット200Lは、左右で対称の外観構造を持ち、機能的には同様に構成できる。ただし、ヘッドセット200R、200Lは左右で異なる外観構造、異なる機能であってもよい。
ヘッドセット200Rは、ユーザの右耳朶と乳様突起との間の窪みに当接する位置に下側電極151bを備えている。下部電極151bは、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起直下の領域等の硬毛の生えていない領域に当接するように設けられてもよい。ヘッドセット200Rは、ユーザの右耳朶の裏側(後頭部側)に当接する構造体の内部に、図4で説明した情報処理部11、眼動検出部15、充電可能電池17、無線受電装置18、小型アンテナ19等を備えている。下側電極151bは図示しないリード線を介して情報処理部11に接続される。さらに、ヘッドセット200Rは、ユーザの右外耳道に挿入される部分にアクチエータ12(イヤホン機能等を持つ)を備え、ユーザの右頬の一部に当接する位置にマイク(および/または振動ピックアップ)16を備えている。
同様に、ヘッドセット200L(図20)は、ユーザの左耳朶と乳様突起との間の窪みに当接する位置に下側電極152bを備えている。下部電極152bも、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起直下の領域等の硬毛の生えていない領域に当接するように設けられてもよい。また、ヘッドセット200Lは、ユーザの左耳朶の裏側(後頭部側)に当接する構造体の内部に、図4で説明した情報処理部11、眼動検出部15、充電可能電池17、無線受電装置18、小型アンテナ19等を備えている。下側電極152bは図示しないリード線を介して情報処理部11に接続される。さらに、ヘッドセット200Lは、ユーザの左外耳道に挿入される部分にアクチエータ(イヤホン)12を備え、ユーザの左頬の一部に当接する位置にマイク(および/または振動ピックアップ)16を備えている。なお、左右のヘッドセット200R、200Lにそれぞれ情報処理部11と周辺回路が設けられているので、図19のヘッドセット200Rと図20のヘッドセット200Lはセットで使用しなくて、いずれか一方のみを使用してもよい。また、図19、図20の左右のヘッドセット200R、200Lをセットで使用する前提があれば、情報処理部11と周辺回路は左右のヘッドセット200R、200Lのいずれか一方のみに設けてもよい。その場合、一方のヘッドセット内の下側電極からの検出信号がリード線を介して、あるいは無線を介して、他方のヘッドセット内の情報処理部11と周辺回路に伝送される。
第3実施形態では、帽子、サンバイザ等のヘッドウェアが着用される場合は、上側電極は、第1、第2実施形態と同様に、ヘッドウェアの“すべり”に設けてもよい。ヘッドウェアが着用されない場合は、サンバイザのベルト部のような押さえ部材に設けてもよいし、さらには、接着性のあるジェルパッド等の接着剤により額に貼り付けてもよい。いずれの場合でも、上側電極からのリード線がピンジャックやホック等によりヘッドセット内の情報処理部11と周辺回路に接続される。ヘッドセット等のイヤウェアの着用は眼鏡を掛けない人には全く影響がないし、眼鏡を掛ける人にもゴム製であれば眼鏡の“つる”の滑り止めを防止できる効果もある。
乳様突起には胸鎖乳突筋が付着しているので、眼電位のみならず筋電位も検出される可能性がある。しかし、この筋肉は乳様突起が終点位置になるので、筋電位は眼電位に比べて非常に小さく、下部電極の出力は実質的に眼電位のみであり、筋電位の影響はない。
ヘッドセット以外の他のイヤウェア、例えばイヤークリップ、イヤーフック、イヤーカフ、イヤリング、またはインカムの耳当て等を用いて下型電極151b、152bを取り付けてもよい。
第3実施形態によっても、下側電極151b、152bの位置は、正面図、平面図、側面図の3つにおいて上側電極151a、152aと下側電極151b、152bを結ぶ線が眼球を通過するように調整することができるので、眼電位、眼球回転を正確に測定することができる。第1実施形態と同様に、下側電極151b、152bの位置は必ずしも正面図、平面図、側面図の3つにおいて調整しなければならないものではなく、正面図、平面図、側面図の少なくともいずれかにおいて上側電極151a、152aと下側電極151b、152bを結ぶ線が眼球を通過するように調整すればよい。下側電極はヘッドウェアとは無関係であるので、上側電極をヘッドウェアと無関係に取り付ける場合は、ヘッドウェアを着用する必要はない。運転手、車掌、作業員等は制帽とともにヘッドセットあるいはインカムを着用する場合がある。第3実施形態によれば、帽子の着用を必要としないので、夏季にクールビズのため脱帽で勤務しても、ヘッドセットあるいはインカムに下側電極が設けられていれば、上側電極だけ追加することにより、脱帽時でも眼電位、眼球回転を検出することができる。
[第4実施形態]
第1〜第3実施形態は下側電極を取り付ける部材を必要とするが、電極取り付け部材を不要とし、硬毛が生えていない領域、例えば耳の周辺に下側電極を貼り付ける第4実施形態を説明する。第4実施形態では、図21に示すように、左側の耳朶と揉み上げの間の領域162、耳介164、耳朶166、乳様突起168、乳様突起と耳朶の間の窪み170、乳様突起直下の領域172等に下型電極が貼り付けられる。電極の貼り付けには、ジェルパッド、両面テープ等の接着性のある媒体が利用可能である。右側も同様に耳の周辺に電極が貼り付けられる。図示しないが、図4の情報処理部11と周辺回路がクラウン台座の前方の内側(ひさしの中央真上)に配置される。
上側電極は上述の実施形態のいずれかの方法により取り付けられる。図21は帽子またはサンバイザが着用される前提であり、“すべり”に上側電極が設けられ、情報処理部11と周辺装置も“すべり”に設けられる。図示しないが、下型電極にはリード線が接続され、リード線を介して情報処理部11と周辺回路に接続される。リード線と情報処理部11と周辺回路の接続は、ピンジャックやホック等により行われる。なお、上側電極はヘッドウェアとは無関係にベルト等により額に取り付ける、あるいは下側電極と同様にジェルパッド等の接着性のある媒体により額に接着させてもよい。
第4実施形態によっても、下側電極の位置は、正面図、平面図、側面図の3つにおいて上側電極と下側電極を結ぶ線が眼球を通過するように調整することができるので、眼電位、眼球回転を正確に測定することができる。第1実施形態と同様に、下側電極の位置は必ずしも正面図、平面図、側面図の3つにおいて調整しなければならないものではなく、正面図、平面図、側面図の少なくともいずれかにおいて上側電極と下側電極を結ぶ線が眼球を通過するように調整すればよい。下側電極を貼り付ける場所には制約はないので、上側電極と下側電極とを結ぶ線が眼球の中心を通るような位置に貼り付けることができ、高S/NでEOG検出波形を得ることができる。さらに、第3実施形態と同様に上側電極をヘッドウェアと無関係に取り付ける場合は、ヘッドウェアを着用する必要はないので、夏季のクールビズにも容易に対応可能である。
[第5実施形態]
上述した実施形態では、下部電極は硬毛の生えていない領域、例えば耳の周辺の皮膚に接触される。しかし、眼球はほとんどが体内に隠れているので、図22に示すように外耳道176に設けても図1の関係が満たされる。外耳道176も硬毛が生えていない領域である。図22の166は耳朶である。外耳道176に下側電極を設ける手段の一例は、図23に示すように、イヤホンに下側電極を取り付ける例がある。上述の実施形態でインカムの着用について説明したが、マイクが不要な場合は、運転手等への指示やアラートのためにイヤホンが着用されることがある。
図23(a)に示すように、左右のイヤホン320L、320Rにおいて、イヤチップ326の後側の本体の周囲に導電性繊維(例えば銀メッキ繊維)328を巻き付けて下側電極とする。導電性繊維328にはリード線322が接続され、図示しない情報処理部と周辺回路に接続される。324はイヤホン320に音声信号を伝送する信号線である。図23(b)に示すように、導電性繊維328は本体の周囲全周に巻き付ける必要はなく、一部分は本体が露出していてもよい。このようにすることで、イヤホンに下側電極を設けても、ユーザには全く違和感がなく、眼電位、眼球回転の検出に対する抵抗感が生じない。
上側電極は上述の実施形態のいずれかの方法により取り付けられる。
第5実施形態によっても、眼電位、眼球回転を正確に測定することができる。
[第6実施形態]
上述の実施形態のヘッドウェアは帽子、サンバイザを例にとり説明したが、メガネ、ゴーグル等のアイウェアに適用した第6実施形態を説明する。図2に示す第1チャネルCh0が眼球を左右方向に挟む電極対を構成する電極間の電位差を検出し、第2、第3チャネルCh1、Ch2が眼球を上下方向に挟む電極対を構成する電極間の電位差を検出するので、上述の実施形態の検出対象は、瞬き(上下方向の視線移動で、瞬目と目瞑りを含む)と緩徐運動(左右方向の視線移動)である。
第6実施形態では、左右の眼球における水平方向で同方向の回転及び逆方向の回転を検出することを目的とし、理想的には同一の平面内において、左右それぞれの眼球に対して同相(同じベクトル)となる前後位置で、かつ左右それぞれの眼球に対して逆相(逆のベクトル)となる左右方向から眼球を挟むように電極の配置を変更し、眼球を前後方向及び左右方向に挟む電極対の検出信号を得るようにしている。なお、第6実施形態も瞬きと緩徐運動と輻輳角変動を全て検出可能ではあるが、瞬きを示す検出信号のレベルは小さいので、検出信号のレベルが大きい緩徐運動と輻輳角変動を検出対象とする。
図24は、第6実施形態に係るメガネの一例を前方の上部から見た様子を示す。図25は、図24のメガネを下から見た様子を示す。右フレーム602、左フレーム604がブリッジ606により互いに接続される。第6実施形態では、右/左はユーザから見た右/左を意味する。右フレーム602、左フレーム604にはテンプル612、614がそれぞれ取り付けられる。テンプル612、614の後端の耳にあたる部分には金属箔からなるテンプル電極626、628がそれぞれ取り付けられる。テンプル電極626、628は、図25に示すように、テンプル612、614の側面(側頭部に接する)と下面(耳の付け根に接する)に亘って設けられ、メガネが顔に装着される際、テンプル612、614の自重により、テンプル電極626、628が耳の付け根の硬毛が生えていない領域に接触する。右フレーム602、左フレーム604にはノーズパッド616、618がそれぞれ取り付けられる。ノーズパッド616、618の表面の鼻に接触する部分にはノーズパッド電極622、624がそれぞれ取り付けられる。テンプル電極626、628は左右フレーム602、604を結ぶ直線の中点と直交する直線(例えば鼻の中心から後頭部に延びる直線)に関して線対称である。
図26は第6実施形態のメガネをかけたユーザを右前方から見た様子を示す。図26に示すように、右ノーズパッド電極622と右テンプル電極626とを結ぶ線は、頭部の平面図、側面図において眼球を通過する。なお、上述した実施形態と同様に、2つの電極を結ぶ線は眼球の中心に限らず眼球のいずれかの部分を通過すればよい。同様に、左ノーズパッド電極624と左テンプル電極628とを結ぶ線は頭部の平面図、側面図において眼球を通過する。
情報処理部632とバッテリ634が両方のテンプル612、614にそれぞれ内蔵、あるいは外付けされる。図24では、情報処理部632が右テンプル612に設けられ、バッテリ634が左テンプル614に設けられるが、情報処理部632が左テンプル614に設けられ、バッテリ634が右テンプル612に設けられてもよい。さらには、情報処理部632とバッテリ634が一つのテンプル、フレーム等に内蔵あるいは外付けされてもよい。情報処理部632は図4に示す第1実施形態の情報処理部11、眼動検出部15、無線受電装置18を備え、図1と同様の機能を有する。ただし、第6実施形態の情報処理部632の電源は第1実施形態とは異なり、無線給電により充電される充電可能電池17ではなく、ボタン電池と呼ばれる小型のバッテリ634からなる。
図27は、ノーズパッド電極622、624、テンプル電極626、628の中のいずれの2つの電極で電位差を検出するか、すなわち4つの電極をどのように3つのA/Dコンバータ(ADC Ch0〜Ch2)632、634、636に接続するかの一例を示す。右テンプル電極626が第1チャネル(Ch0)のADC632のマイナス入力端子(−)に接続され、左テンプル電極628が第1チャネルのADC632のプラス入力端子(+)に接続される。右テンプル電極626は右眼球640Rより右に位置し、左テンプル電極628は左眼球640Lより左に位置する。そのため、左右のテンプル電極対626、628は眼球を左右(それぞれの眼球については対称/逆相)方向から挟む図2の下側電極対152b、152aに対応する。そのため、第1チャネルCh0の検出信号は視線の左右移動(緩徐運動)を示す。
右ノーズパッド電極622が第2チャネルCh1のADC634のプラス入力端子(+)に接続され、右テンプル電極626が第2チャネルのADC634のマイナス入力端子(−)に接続される。右ノーズパッド電極622は右眼球640Rより前に位置し、右テンプル電極626は右眼球640Rより後に位置する。そのため、右側の電極対622、626は眼球を前後方向から挟み、第2チャネルCh1の検出信号は輻輳角変動を示す。
同様に、左ノーズパッド電極624が第3チャネル(Ch2)のADC636のプラス入力端子(+)に接続され、左テンプル電極628が第3チャネルのADC636のマイナス入力端子(−)に接続される。左ノーズパッド電極624は左眼球640Lより前に位置し、左テンプル電極628は左眼球640Lより後に位置する。そのため、左側の電極対624、628は眼球を前後方向から挟み、第3チャネルCh2の検出信号は輻輳角を示す。
上記の説明はメガネに限らず、ゴーグルにも適用可能である。例えば、ノーズパッドの代わりにゴーグルの前面のフォームの一部に電極を設け、テンプルの代わりにベルトに電極を設けてもよい。
図28〜図31は眼球を正面向きから左右に回転した場合のADCの検出信号の変化を示す。図27はユーザの視線方向が正面方向である状態を示す。この状態から図28に示すように左右の眼球640L、640Rが左に回転(視線が左に移動)すると、右眼球640Rのプラスに帯電している角膜が右ノーズパッド電極622に近づき、マイナスに帯電している網膜が右テンプル電極626に近づく。同様に、左眼球640Lのプラスに帯電している角膜が左テンプル電極628に近づき、マイナスに帯電している網膜が左ノーズパッド電極624に近づく。このため、左右電極対628、626が接続される第1チャネル(Ch0)のADC632の検出信号は凸波形(上に凸な波形)となる。右側のノーズパッド電極622、テンプル電極626が接続される第2チャネル(Ch1)のADC634の検出信号は凸波形(上に凸な波形)となる。左側のノーズパッド電極624、テンプル電極628が接続される第3チャネル(Ch2)のADC636の検出信号は凹波形(下に凸な波形)となる。
図27の状態から図29に示すように左右の眼球640L、640Rが右に回転(視線が右に移動)すると、右眼球640Rのプラスに帯電している角膜が右テンプル電極626に近づき、マイナスに帯電している網膜が右ノーズパッド電極622に近づく。同様に、左眼球640Lのプラスに帯電している角膜が左ノーズパッド電極624に近づき、マイナスに帯電している網膜が左テンプル電極628に近づく。このため、左右電極対628、626が接続される第1チャネル(Ch0)のADC632の検出信号は凹波形(下に凸な波形)となる。右側のノーズパッド電極622、テンプル電極626が接続される第2チャネル(Ch1)のADC634の検出信号は凹波形(下に凸な波形)となる。左側のノーズパッド電極624、テンプル電極628が接続される第3チャネル(Ch2)のADC636の検出信号は凸波形(上に凸な波形)となる。
図27の状態から図30に示すように右眼球640Rが左に回転し、左眼球640Lが右に回転する(両眼が互いに近づく方向に輻輳角が変化する)と、右眼球640Rのプラスに帯電している角膜が右ノーズパッド電極622に近づき、マイナスに帯電している網膜が右テンプル電極626に近づく。同様に、左眼球640Lのプラスに帯電している角膜が左ノーズパッド電極624に近づき、マイナスに帯電している網膜が左テンプル電極628に近づく。このため、左右電極対628、626が接続される第1チャネル(Ch0)のADC632の検出信号は変化がなく、凸波形も凹波形も現れない。右側のノーズパッド電極622、テンプル電極626が接続される第2チャネル(Ch1)のADC634の検出信号は凸波形(上に凸な波形)となる。左側のノーズパッド電極624、テンプル電極628が接続される第3チャネル(Ch2)のADC636の検出信号は凹波形(下に凸な波形)となる。
図27の状態から図31に示すように右眼球640Rが右に回転し、左眼球640Lが左に回転する(両眼が互いに離間する方向に輻輳角が変化する)と、右眼球640Rのプラスに帯電している角膜が右テンプル電極626に近づき、マイナスに帯電している網膜が右ノーズパッド電極622に近づく。同様に、左眼球640Lのプラスに帯電している角膜が左テンプル電極628に近づき、マイナスに帯電している網膜が左ノーズパッド電極624に近づく。このため、左右電極対628、626が接続される第1チャネル(Ch0)のADC632の検出信号は変化がなく、凸波形も凹波形も現れない。右側のノーズパッド電極622、テンプル電極626が接続される第2チャネル(Ch1)のADC634の検出信号は凹波形(下に凸な波形)となる。左側のノーズパッド電極624、テンプル電極628が接続される第3チャネル(Ch2)のADC636の検出信号は凹波形(下に凸な波形)となる。
図32は、ユーザの種々な眼動と、図27に示すCh0、Ch1、Ch2のADC632、634、636から得られる検出信号であるEOG波形との関係の一例を示す眼電図(EOG)である。縦軸の数値とボルトの関係、及び横軸の数値と秒の関係は図3と同じである。
左右眼球の左回転による視線の左移動(図28)は、上段に示すCh0のEOG波形に現れる凸波形と、中段と下段に示すCh1、Ch2のEOG波形に現れる逆相波形の組合せ波形(Ch1が凸波形でCh2が凹波形)により検出される。同様に、左右眼球の右回転による視線の右移動(図29)は、上段に示すCh0のEOG波形に現れる凹波形と、中段と下段に示すCh1、Ch2のEOG波形に現れる逆相波形の組合せ波形(Ch1が凹波形でCh2が凸波形)により検出される。
両眼が互いに近づく方向に回転する視線の移動(図30)は、上段に示すCh0のEOG波形の無変化と、中段と下段に示すCh1、Ch2のEOG波形に現れる凸波形により検出され、図32では寄り目と記されている。図32には示していないが、両眼が互いに離間する方向に回転する視線の移動(図31)は、上段に示すCh0のEOG波形の無変化と、中段と下段に示すCh1、Ch2のEOG波形に現れる凹波形により検出される。
第6実施形態によれば、メガネにおいてノーズパッドとテンプルに電極が設けられ、ノーズパッド電極とテンプル電極を結ぶ線が正面図、平面図、側面図の少なくともいずれかにおいて眼球を通過する。このため、ノーズパッド電極とテンプル電極との電位差と、左右のテンプル電極の電位差から、ユーザの眼電位、眼球の回転を精度よく検出することができる。メガネに取り付けた電極はメガネに一体化しているので、ユーザは違和感を覚えることがなくこのメガネをかけることができ、ユーザの抵抗無く検出を行うことができる。さらに、電極が皮膚に接触する箇所は、頭髪または髭等の硬毛が生えている領域ではないので、正しく眼電位を検出できない可能性が生じない。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
151a,152a…上側電極、151b,152b…下側電極、154R,154L…眼球、1510,1512,1520…アナログ/デジタルコンバータ、11a…プロセッサ、12…アクチュエータ、13…カメラ、15…眼動検出部、17…電源、18…無線受電装置、1000…ローカルプロセッサ、10000…管理センター。

Claims (13)

  1. 頭部に接触可能な第1電極と第2電極と、
    前記第1電極と前記第2電極からの信号に基づいて眼電位を検出する検出回路と、を具備する眼電位検出装置において、
    頭部の正面図、平面図、側面図の少なくとも1つにおいて前記第1電極と前記第2電極とを結ぶ線が眼球を通過する眼電位検出装置。
  2. 前記第1電極は前記眼球より上に位置し、
    前記第2電極は硬毛の生えていない領域に位置する請求項1記載の眼電位検出装置。
  3. 前記第2電極は、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起と耳朶の間の領域、乳様突起直下の領域、外耳道のいずれかに位置する請求項2記載の眼電位検出装置。
  4. 前記第2電極は接着性ジェルパッドを備える請求項2記載の眼電位検出装置。
  5. 前記第2電極はイヤークリップ、イヤーフック、イヤーカフ、イヤリング、イヤホン、ヘッドセットまたはインカムに取り付けられる請求項2記載の眼電位検出装置。
  6. 前記第1電極はメガネのノーズパッドに取り付けられ、前記第2電極は前記メガネのテンプルに取り付けられる請求項1記載の眼電位検出装置。
  7. 左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第1電極と左右対称な第3電極と、
    前記左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第2電極と左右対称な第4電極と、をさらに具備し、
    前記検出回路は、前記第1電極と前記第2電極からの信号または前記第3電極と前記第4電極からの信号に基づいて眼球の上下方向の回転を検出し、前記第2電極と前記第4電極からの信号または前記第1電極と前記第3電極からの信号に基づいて眼球の左右方向の回転を検出する請求項1記載の眼電位検出装置。
  8. 額に接触可能なすべりに設けられる第1電極と、
    硬毛の生えていない領域に対応する顎紐の部分に設けられる第2電極と、
    前記第1電極と前記第2電極からの信号に基づいて眼電位を検出する検出回路と、を具備し、
    頭部の正面図、平面図、側面図の少なくとも1つにおいて前記第1電極と前記第2電極とを結ぶ線が眼球を通過する帽子。
  9. 前記第2電極は、耳朶と揉み上げの間の領域に位置する請求項8記載の帽子。
  10. 左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第1電極と左右対称な第3電極と、
    前記左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第2電極と左右対称な第4電極と、をさらに具備し、
    前記検出回路は、前記第1電極と前記第2電極からの信号または前記第3電極と前記第4電極からの信号に基づいて眼球の上下方向の回転を検出し、前記第2電極と前記第4電極からの信号または前記第1電極と前記第3電極からの信号に基づいて眼球の左右方向の回転を検出する請求項8記載の帽子。
  11. 額に接触可能な第1電極と、
    先端が耳周辺の硬毛の生えていない領域に接するようにヘッドウェア本体に取り付けられた電極取り付け部材の先端に設けられる第2電極と、
    前記第1電極と前記第2電極からの信号に基づいて眼電位を検出する検出回路と、を具備し、
    頭部の正面図、平面図、側面図の少なくとも1つにおいて前記第1電極と前記第2電極とを結ぶ線が眼球を通過するヘッドウェア。
  12. 前記電極取り付け部材の先端は、耳朶と揉み上げの間の領域、耳介、耳朶、乳様突起、乳様突起と耳朶の間の領域、乳様突起直下の領域のいずれかに位置する請求項11記載のヘッドウェア。
  13. 左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第1電極と左右対称な第3電極と、
    前記左右の眼球を結ぶ線分の中点で該線分と直交する線に対して前記第2電極と左右対称な第4電極と、をさらに具備し、
    前記検出回路は、前記第1電極と前記第2電極からの信号または前記第3電極と前記第4電極からの信号に基づいて眼球の上下方向の回転を検出し、前記第2電極と前記第4電極からの信号または前記第1電極と前記第3電極からの信号に基づいて眼球の左右方向の回転を検出する請求項11記載のヘッドウェア。
JP2017148548A 2017-07-31 2017-07-31 帽子及びヘッドウェア Active JP6871104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017148548A JP6871104B2 (ja) 2017-07-31 2017-07-31 帽子及びヘッドウェア

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017148548A JP6871104B2 (ja) 2017-07-31 2017-07-31 帽子及びヘッドウェア

Publications (2)

Publication Number Publication Date
JP2019025070A true JP2019025070A (ja) 2019-02-21
JP6871104B2 JP6871104B2 (ja) 2021-05-12

Family

ID=65475513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017148548A Active JP6871104B2 (ja) 2017-07-31 2017-07-31 帽子及びヘッドウェア

Country Status (1)

Country Link
JP (1) JP6871104B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466781B2 (en) 2018-03-19 2019-11-05 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018167A (ja) * 2003-06-23 2005-01-20 Softopia Japan Foundation 生体反応利用機器制御装置及び機器の制御方法
WO2013140725A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 眼球疲労判定装置および眼球疲労判定方法
WO2017060560A1 (en) * 2015-10-08 2017-04-13 University Of Eastern Finland Arrangement for carrying out electrode measurements
JP2017093984A (ja) * 2015-11-27 2017-06-01 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018167A (ja) * 2003-06-23 2005-01-20 Softopia Japan Foundation 生体反応利用機器制御装置及び機器の制御方法
WO2013140725A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 眼球疲労判定装置および眼球疲労判定方法
WO2017060560A1 (en) * 2015-10-08 2017-04-13 University Of Eastern Finland Arrangement for carrying out electrode measurements
JP2017093984A (ja) * 2015-11-27 2017-06-01 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466781B2 (en) 2018-03-19 2019-11-05 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
US11054900B2 (en) 2018-03-19 2021-07-06 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
US11481028B2 (en) 2018-03-19 2022-10-25 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
US11886635B2 (en) 2018-03-19 2024-01-30 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system

Also Published As

Publication number Publication date
JP6871104B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
US11883197B1 (en) Head-mounted physiological signal monitoring system, devices and methods
JP6184989B2 (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
US10039445B1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20110077548A1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP6625930B2 (ja) 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法
WO2012170816A2 (en) Sleep onset detection system and method
US11395615B2 (en) Fatigue and drowsiness detection
JP6396351B2 (ja) 心身状態推定装置、心身状態推定方法、およびアイウエア
US11856355B2 (en) Information processing system and non-transitory computer readable medium storing program
TW201626951A (zh) 穿戴式生理監測裝置及系統
JP6871104B2 (ja) 帽子及びヘッドウェア
TWI610656B (zh) 穿戴式生理監測裝置
Nguyen et al. LIBS: a low-cost in-ear bioelectrical sensing solution for healthcare applications
TWM574026U (zh) 穿戴式生理監測裝置及系統
WO2024106195A1 (ja) 情報処理装置および情報処理システム
JP2018202191A (ja) アイウエア、データ収集システム及びデータ収集方法
JP2021035499A (ja) アイウエア、データ収集システム及びデータ収集方法
RU2455694C1 (ru) Интеллектуальная перчатка для водителя транспорта, препятствующая дремоте за рулем
KR20240044696A (ko) 동작감지 센서 또는 자이로 센서가 설치된 졸음방지 안경
JP2022144230A (ja) 生体情報検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210415

R151 Written notification of patent or utility model registration

Ref document number: 6871104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151