JP2013215356A - 眼疲労計測装置およびその方法 - Google Patents

眼疲労計測装置およびその方法 Download PDF

Info

Publication number
JP2013215356A
JP2013215356A JP2012087865A JP2012087865A JP2013215356A JP 2013215356 A JP2013215356 A JP 2013215356A JP 2012087865 A JP2012087865 A JP 2012087865A JP 2012087865 A JP2012087865 A JP 2012087865A JP 2013215356 A JP2013215356 A JP 2013215356A
Authority
JP
Japan
Prior art keywords
fatigue
unit
blink
eye fatigue
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012087865A
Other languages
English (en)
Inventor
Yumiko Kato
弓子 加藤
Jun Ozawa
順 小澤
Takeshi Inoue
剛 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012087865A priority Critical patent/JP2013215356A/ja
Publication of JP2013215356A publication Critical patent/JP2013215356A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】簡易に眼疲労を計測することができる眼疲労計測装置を提供する。
【解決手段】ユーザが装着する眼鏡の鼻あて部に装着される電極であってユーザの目頭の下に位置する眼輪筋上の皮膚に接触する電極110と、電極110を用いてユーザが下瞼を動かすときに生じる生体電位を示す筋電位データを生成する眼輪筋電位計測部120と、筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで筋電位データから眼疲労に起因する瞬きを検出する瞬き検出部130と、検出された瞬きの頻度を計算し、得られた瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することでユーザの眼の疲労度を判定する疲労度判定部230とを備える。
【選択図】図2

Description

本発明は、ユーザの眼の疲労度を計測する装置およびその方法に関し、特に、筋電位を用いて眼疲労を計測する装置に関する。
従来、眼の疲労を計測する技術、あるいは、筋電位を計測する技術として、様々な方法が提案されている(例えば、特許文献1、特許文献2参照)。
特許文献1は、瞬きをする際の瞼の動きを観察し、閉眼時と開眼時の所要時間から瞬きの種類、すなわち自然瞬目動作と随意瞬目動作とを判別して疲労を検出することを開示している。
特許文献2は、顔の表情をCG(Computer Graphics)化するために、顔の各筋肉における筋電位を記録する際に、下眼瞼の鼻側に筋電位計測用の電極を設置することを開示している。
特開2010−273954号公報 特開2011−108281号公報
しかしながら、特許文献1に開示された技術では、計測のための装置の規模が大きくなり、コストがかかるという課題がある。
また、特許文献2に開示された技術では、眼疲労の計測は行えないという課題がある。
そこで、本発明は、このような課題に鑑みてなされたものであり、簡易に眼疲労を計測することができる眼疲労計測装置およびその方法を提供することを目的とする。
上記目的を達成するために、本発明に係る眼疲労計測装置の一形態は、ユーザの眼の疲労度を計測する眼疲労計測装置であって、前記ユーザが装着する眼鏡の鼻あて部に装着される電極であって、前記ユーザの目頭の下に位置する眼輪筋上の皮膚に接触する電極と、前記電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測部と、前記眼輪筋電位計測部で生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで、前記筋電位データから眼疲労に起因する瞬きを検出する瞬き検出部と、前記瞬き検出部により検出された瞬きの頻度を計算し、得られた前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定部とを備える。
本発明の眼疲労計測装置およびその方法によれば、特殊な電極治具を用いることなく、かつ、眼疲労に起因する瞬きだけが検出されるので、簡易に眼疲労を計測することができる。
よって、3D(3次元)コンテンツを視聴する機会が増えてきた今日における本発明の実用的価値は極めて高い。
瞬きに伴う垂直眼電位と眼輪筋の筋電位との時間変化(実験データ)を示すグラフである。 図1Aに示された実験に用いられた電極の位置を示す模式図である。 本発明の実施の形態1における眼疲労計測装置の構成の一例を示すブロック図である。 本発明の実施の形態1における電極治具の一例を示す模式図である。 本発明の実施の形態1における瞬き頻度−疲労度関係記憶部に記憶されるデータの一例を示す図である。 本発明の実施の形態1における眼疲労計測装置の動作の一例を示すフローチャートである。 本発明の実施の形態2における眼疲労計測装置の構成の一例を示すブロック図である。 本発明の実施の形態2における筋電位データ蓄積部に蓄積されるデータの一例を示す図である。 本発明の実施の形態2における眼疲労計測装置の動作の一例を示すフローチャートである。 本発明の実施の形態1の変形例1における眼疲労計測装置の構成の一例を示すブロック図である。 本発明の実施の形態1の変形例1における疲労度別処理記憶部に記憶されるデータの一例を示す図である。 本発明の実施の形態1の変形例2における眼疲労計測装置の構成の一例を示すブロック図である。 本発明の実施の形態1の変形例2におけるタグ付映像情報蓄積部に蓄積されたデータの一例を示す図である。 本発明の実施の形態1の変形例2における疲労度判定部の判断動作を説明する模式図である。 本発明に係る眼疲労計測装置の処理部をコンピュータシステムで実現する場合に用いられるハードウェア構成を示すブロック図である。
(背景技術における課題の詳細)
本願発明者らは、「背景技術」の欄において記載した特許文献1および特許文献2の技術に関し、以下の問題が生じることを見出した。
テレビやパソコンのモニタディスプレイ等を長時間注視していると目が疲労する。従来、眼電位やカメラ画像の分析から瞬きを検出し、瞬きの頻度より眼の疲労度を決定する方法がある。しかしながら、瞬きには、疲労していなくても眼球の乾燥を防ぐために生ずる生理的な瞬きがある。よって、生理的な瞬きと眼疲労に起因する瞬きとを区別することなく瞬き検出したのでは、眼疲労を正確に計測することができない。
特許文献1では、高速度カメラを用いて、瞬きの閉眼動作と開眼動作のそれぞれにおける継続時間と、瞼の移動速度とを計測し、瞬きの種類を分類している。しかしながら、高速度カメラを利用する瞬きの検出は、装置の規模が大きくなり、コストがかかるため、不便である。
一方、筋電位の計測は、生体の電気反応の計測の中では比較的簡易である。特許文献2では、目の表情を捉えるために筋電位を検出しているが、瞬きに関わる処理は行っておらず、瞬きの種類による眼疲労の計測は行えないという課題がある。
(課題を解決するための態様)
そこで、本願発明者らは、簡易に眼疲労を計測することができる眼疲労計測装置およびその方法を考案した。
つまり、本発明に係る眼疲労計測装置の一態様は、ユーザの眼の疲労度を計測する眼疲労計測装置であって、前記ユーザが装着する眼鏡の鼻あて部に装着される電極であって、前記ユーザの目頭の下に位置する眼輪筋上の皮膚に接触する電極と、前記電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測部と、前記眼輪筋電位計測部で生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで、前記筋電位データから眼疲労に起因する瞬きを検出する瞬き検出部と、前記瞬き検出部により検出された瞬きの頻度を計算し、得られた前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定部とを備える。
これにより、ユーザが装着する眼鏡の鼻あて部に装着される電極を用いて目頭の下に位置する下瞼の筋電位を計測することで、特殊な電極治具を用いることなく、かつ、各種瞬きの中から眼疲労に起因する瞬きのみを検出できるので、簡易に眼疲労の度合いが計測される。特に、ユーザが3次元用メガネを用いて3Dコンテンツを視聴する場合には、3次元用メガネに電極を装着しておくことができるので、特殊な電極治具が不要となる。
ここで、前記瞬き検出部は、前記筋電位データが、絶対値が500μVより大きい電位を示したときに、眼疲労に起因する瞬きが行われたと判断してもよい。
これにより、筋電位データから、眼疲労に起因する瞬きが確実に検出される。
また、前記眼鏡は、3次元コンテンツを視聴するときに利用する眼鏡であり、前記眼疲労計測装置はさらに、前記ユーザが3次元コンテンツを視聴しているときに、前記疲労度判定部で判定された疲労度に従って、前記ユーザの眼の疲労を防止するための処理を決定する疲労防止処理決定部と、前記疲労防止処理決定部で決定された処理に従って、前記3次元コンテンツの表示を制御する画像表示制御部とを備えてもよい。
これにより、検出されたユーザの眼の疲労度に応じて、表示する3Dコンテンツに対して、その疲労度を軽減する処理(2D化等)が施されるので、ユーザの眼が疲労してしまうことが回避される。
また、さらに、前記ユーザに提示する3次元コンテンツにおける場面変化の時刻を記憶している場面変化時刻記憶部を備え、前記疲労度判定部は、前記場面変化時刻記憶部で記憶されている時刻から所定時間後までの間に検出された瞬きを除外したうえで前記頻度を計算してもよい。
これにより、検出されたユーザの瞬きから、ユーザが視聴しているコンテンツの場面変化に起因する瞬きを除外したうえで、眼の疲労度が特定されるので、より正確に眼の疲労度が計測される。
また、さらに、前記瞬き検出部により前記瞬きが検出されたことを示す瞬き検出信号を、伝送路を介して送信する送信部と、前記送信部から送信されてくる前記瞬き検出信号を受信する受信部と、前記受信部が前記瞬き検出信号を受信した時刻を蓄積する時刻記憶部とを備え、前記疲労度判定部は、前記時刻記憶部に蓄積された時刻に基づいて、前記瞬きの頻度を計算してもよい。具体的には、前記眼疲労計測装置は、表示装置に表示されたコンテンツを視聴しているユーザを対象として前記疲労度を計測し、前記電極、前記眼輪筋電位計測部、前記瞬き検出部および前記送信部は、前記眼鏡に装備され、前記受信部、前記時刻記憶部および前記疲労度判定部は、前記表示装置に装備されてもよい。
これにより、眼疲労計測装置の構成要素を眼鏡と表示装置とに分散させて装備させることで、本発明に係る眼疲労計測装置を表示システムに組み込むことができる。
また、さらに、前記眼輪筋電位計測部で生成された筋電位データを、伝送路を介して送信する送信部と、前記送信部から送信されてくる筋電位データを受信する受信部と、前記受信部が受信した筋電位データを、受信された時刻とともに蓄積していく筋電位データ蓄積部とを備え、前記瞬き検出部は、前記筋電位データ蓄積部に蓄積された筋電位データおよび時刻に基づいて、前記瞬きを検出するとしてもよい。具体的には、前記眼疲労計測装置は、表示装置に表示されたコンテンツを視聴しているユーザを対象として前記疲労度を計測し、前記電極、前記眼輪筋電位計測部および前記送信部は、前記眼鏡に装備され、前記受信部、前記筋電位データ蓄積部、前記瞬き検出部および前記疲労度判定部は、前記表示装置に装備されてもよい。
これにより、眼疲労計測装置の構成要素を眼鏡と表示装置とに分散させて装備させることで、本発明に係る眼疲労計測装置を表示システムに組み込むことができる。
また、本発明に係る眼疲労計測方法の一態様は、ユーザの眼の疲労度を計測する眼疲労計測方法であって、前記ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測ステップと、前記眼輪筋電位計測ステップで生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、前記筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップと、前記瞬き検出ステップにより検出された瞬きの頻度を計算し、得ら前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定ステップとを含む。
これにより、ユーザが装着する眼鏡の鼻あて部に装着される電極を用いて目頭の下に位置する下瞼の筋電位を計測することで、特殊な電極治具を用いることなく、かつ、各種瞬きの中から眼疲労に起因する瞬きのみを検出できるので、簡易に眼疲労の度合いが計測される。
なお、本発明は、眼疲労計測装置および眼疲労計測方法として実現できるだけでなく、眼疲労計測装置または眼疲労計測方法の一部または全部の処理(ステップ)をコンピュータに実行させるプログラムとして、さらに、そのプログラムを記録したコンピュータ読み取り可能なCD−ROM等の記録媒体として実現してもよい。
(本願発明者らによる知見)
まず、本発明の詳細な実施の形態を説明する前に、眼輪筋の筋電位と瞬きの種類との関係について説明する。
眼球の乾燥を防ぐ生理的な瞬き、すなわち人が無意識に行う瞬目動作である自然瞬目動作は、軽い瞬きであり、このような瞬きでは、瞼の動きが小さく、上瞼しか動かない。一方、眼疲労時に生ずる意識的な瞬き、すなわち人が意識して行う瞬目動作である随意瞬目動作は瞼の動きが大きく、このような瞬きでは、上瞼に加えて下瞼の一部も動く。
本願発明者らは、意識的な瞬きのうち、眼疲労による瞬きでのみ、下瞼を動かす眼輪筋の、正負両方に急峻で大振幅の電位を持つ特徴的な筋電位が記録できることを発見した。
図1Aは、本願発明者らによる実験で得られたデータであって、被験者が意識的に瞬きを行った際の垂直眼電位と下瞼の筋電位との時間変化を示すグラフである。
図1Bは、上記実験での計測に用いられた電極の位置を示す模式図である。
図1Bに示されるように、垂直眼電位計測用電極(図中の「眼電位計測用電極」)の装着については、額における、遠方視の際の瞳孔中心位置の上方で眉毛の上の位置と、頬における、遠方視の際の瞳孔中心位置の下方眼窩の下の位置との2箇所で皮膚に接触させた。一方、眼輪筋の筋電位計測用電極(図中の「筋電位計測用電極」)の装着については、下瞼における、目頭の下の位置に、眼窩の骨に沿って2つの電極を皮膚に接触させた。
図1Aに示されるデータは、1名の被験者の片目に対して、垂直眼電位計測用電極と下瞼の眼輪筋の筋電位計測用電極とを貼り付け、垂直眼電位と下瞼の眼輪筋の筋電位とを同時に計測した結果である。図中、垂直眼電位は破線で示されており、筋電位は実線で示されている。
破線で示された垂直眼電位では、眼疲労に起因する瞬き(以下、「眼疲労起因瞬き」ともいう。図中の「眼疲労起因瞬き」)を含む、図中の意識的な瞬き(図中の「随意瞬目」)すべてに対して大きな振幅の電位が記録されている。一方、実線で示された下瞼の眼輪筋の筋電位では、眼疲労起因瞬き4回のうち3回でのみ大きな電位が記録されており、それ以外の瞬きに対しては、観察可能な電位をもつ筋電位は記録されていない。
これらのことから、垂直眼電位では、意識的瞬きのうち、眼疲労起因瞬きとそれ以外の瞬きとを判別するためには波形の差を判断する必要があるが、下瞼の眼輪筋の筋電位では、閾値を設定し、その閾値以上の電位があったか否かを判断するだけで眼疲労に起因する瞬きのみを検出できることがわかる。
また、垂直眼電位を計測するためには、電極を額と頬とに接触させる必要がある。そのために、粘着テープ等で電極を貼り付ける以外には、電極の固定には大きなゴーグルのようなものが必要となり不便である。これに対して、下瞼の眼輪筋の筋電位を計測するためには、目頭の下の狭い領域の皮膚に2つの電極を接触させる必要があるが、目頭の下はメガネ等では鼻あて部の位置もしくは鼻あて部の周辺であるため、メガネ様の治具により簡易に電極を固定することができる。
そこで、本実施の形態においては、メガネの鼻あて部に装着された電極でユーザの下瞼の眼輪筋における筋電位を計測することで、ユーザの眼疲労を簡易に検出することを実現している。
以下、図面を用いて、本発明に係る眼疲労計測装置およびその方法の実施の形態について説明する。なお、以下で説明する実施の形態およびその変形例は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態およびその変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態およびその変形例における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成する任意の構成要素として説明される。
(実施の形態1)
以下、本発明の実施の形態1における眼疲労計測装置について、説明する。
図2は、実施の形態1における眼疲労計測装置1の構成の一例を示すブロック図である。
眼疲労計測装置1は、ユーザの眼の疲労度を計測する装置であって、大きく分けて、電極治具10と処理部20とからなる。
図3は、本実施の形態における電極治具10の外観の一例を示す。本実施の形態では、電極治具10は、鼻あて部150とつる160と耳掛け170を含むメガネ(眼鏡)型の治具である。
電極治具10は、電極110(電極110a−110d、電極110r、電極110E)と、眼輪筋電位計測部120と、瞬き検出部130と、送信部140とを備える。なお、眼輪筋電位計測部120と、瞬き検出部130と、送信部140とは、図3に示されていないが、例えば、つる160または耳掛け170に固定された匡体内に回路として収納されてもよいし、あるいは、つる160または耳掛け170の内部に1チップの集積回路として埋め込まれてもよい。
電極110a−110dは、ユーザが装着する眼鏡の鼻あて部150に装着され、ユーザの目頭の下に位置する眼輪筋上の皮膚に接触する電極である。目頭の下は、下瞼を動かす眼輪筋の上(つまり、眼輪筋を覆う皮膚)に当たる。眼輪筋の筋肉の繊維は眼窩の輪郭線にほぼ平衡であり、本実施の形態のように片目の眼輪筋について、その筋電位を2つの電極を用いて測定する際には、図1Bに示されるように、左右の目のそれぞれについて、筋肉の繊維に沿って2つの電極を配置する必要がある。このため、本実施の形態では、電極110aと電極110bとの2つ、および、電極110cと電極110dとの2つは、それぞれ、目頭の下に、眼窩の骨に沿って配置されている。
電極110rは、左の耳掛け170の内側に装着され、ユーザの左耳の後ろの皮膚に接触し、筋電位計測時の基準電極(基準電位を検出するための電極)となる。
電極110Eは、右の耳掛け170の内側に装着され、ユーザの右耳の後ろの皮膚に接触し、筋電位計測時のアース電極となる。
眼輪筋電位計測部120は、電極110(特に、電極110a−110d)を用いて、ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する回路等である。具体的には、この眼輪筋電位計測部120は、左右それぞれの眼輪筋の筋電位として、それぞれ、電極110aでの電位と電極110bでの電位との差と、電極110cでの電位と電極110dでの電位との差とを求める。
なお、電極110rおよび電極110Eは、電極110a−110dによって眼輪筋の筋電位を安定して計測するための補助的な電極であり、必ずしも必要な電極ではない。たとえば、電極110aおよび電極110bの一方を基準電位用の電極とし、他方を計測用の電極として筋電位を計測してもよい。同様に、電極110cおよび電極110dの一方を基準電位用の電極とし、他方を計測用の電極として筋電位を計測してもよい。
瞬き検出部130は、眼輪筋電位計測部120で生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで、筋電位データから眼疲労に起因する瞬きを検出する回路である。具体的には、この瞬き検出部130は、眼疲労に起因する瞬きの判別閾値、例えば絶対値500μVを記憶しており、眼輪筋電位計測部120により求められた左右の眼輪筋の電位のそれぞれについて、電位が判別閾値以上である場合に、眼疲労に起因する瞬きが行われたと検出し、そのことを示す瞬き検出信号(例えば、パルス信号)を生成する。つまり、筋電位データが、絶対値が500μVより大きい電位を示したとき、つまり、一定時間内に電位が500μVを超える正電圧のパルスと−500μVを超える負電圧パルスとが観察されたときに、眼疲労に起因する瞬きが行われたと判断する。
なお、この瞬き検出部130は、直前の眼疲労に起因する瞬きの検出から所定の時間以内を、検出の除外区間として設定している。
送信部140は、瞬き検出部130から出力される瞬き検出信号を、伝送路を介して、例えば、無線通信により、送信する通信インターフェイスである。
処理部20は、例えば、ユーザが視聴する3Dコンテンツを表示する表示装置であり、受信部210と、時刻記憶部220と、疲労度判定部230と、瞬き頻度−疲労度関係記憶部240とを備える。
受信部210は、送信部140から送信されてくる瞬き検出信号を、例えば、無線通信により、受信する通信インターフェイスである。
時刻記憶部220は、時間を計測する計時部(タイマー)を備え、受信部210が瞬き検出信号を受信した時刻(あるいは、時刻記憶部220が受信部210から筋電位データを受け取った時刻、言い換えると、眼疲労起因瞬きが検出された時刻)を蓄積する、メモリ付きタイムスタンプ回路等である。
瞬き頻度−疲労度関係記憶部240は、所定の時間当たりの眼疲労起因瞬きの回数(つまり、眼疲労に起因する瞬きの頻度)と眼疲労の度合いとの関係を予め記憶している。図4は、瞬き頻度−疲労度関係記憶部240が記憶するデータの一例を示す。所定の時間あたり、例えば、1分あたりの眼疲労起因瞬きの回数(図中の「瞬き頻度」)に対して、あらかじめ実験的に特定された疲労度、例えば疲労がない場合の疲労度を0として非常に強い疲労における疲労度9までの10段階で示される疲労度との対応が記憶されている。図4では頻度は両目を合わせた回数で示している。
疲労度判定部230は、時刻記憶部220に記憶された時刻に基づいて、瞬き検出部130により検出された瞬きの頻度を計算し、得られた瞬きの頻度に対応する眼の疲労度を、瞬き頻度−疲労度関係記憶部240に記憶されたデータを参照して特定することで、ユーザの眼の疲労度を判定する処理部である。つまり、この疲労度判定部230は、まず、時刻記憶部220に記憶された、瞬きが検出された時刻に基づいて眼疲労に起因する瞬きの頻度を計算する。そして、この疲労度判定部230は、その計算結果に基づき、瞬き頻度−疲労度関係記憶部240を参照して、現在の眼疲労起因瞬きの頻度に対応する疲労度を判定する。
なお、疲労度判定部230は、瞬きの頻度の計算では、例えば、現在時刻を基点に過去10分間の間の時刻に検出された眼疲労起因瞬きの回数を数える。そして、これを10で除することで、1分あたりの瞬き頻度を計算する。
なお、図2において点線枠で示された構成要素(送信部140、受信部210、時刻記憶部220、瞬き頻度−疲労度関係記憶部240)は、本発明の目的を達成する観点からは、必ずしも眼疲労計測装置1が備える必要はない。つまり、送信部140および受信部210については、瞬き検出部130と、時刻記憶部220または疲労度判定部230とが直接、電気的に接続される場合には、送信部140および受信部210等の通信インターフェイスは必ずしも必要ではない。同様に、時刻記憶部220についても、疲労度判定部230が瞬き検出部130から送られてくる瞬き検出信号を受信する頻度を計測できる機能を備える場合には、必ずしも必要ではない。また、瞬き頻度−疲労度関係記憶部240についても、疲労度判定部230が、眼疲労計測装置1の外部から、所定の時間当たりの眼疲労起因瞬きの回数(つまり、眼疲労に起因する瞬きの頻度)と眼疲労の度合いとの関係を示すデータを取得できる場合には、必ずしも必要ではない。以上のことは、後述する他の実施の形態および変形例についても同様である。
図5は、実施の形態1の眼疲労計測装置1の動作(つまり、眼疲労計測方法)を示すフローチャートである。
<ステップS1010>
図示しない入力部等からの入力に基づき、図示しない制御部より動作開始信号が入力され、眼疲労計測装置1は動作を開始する。
<ステップS1020>
図示しない制御部より動作終了信号が入力された場合は、ステップS1090に進む。動作終了信号の入力がない場合はステップS1030に進む。
<ステップS1030>
眼輪筋電位計測部120は、電極110から各電極の電位を取得する。
<ステップS1040>
眼輪筋電位計測部120は、電極110aの電位と電極110bの電位とからユーザの左目の下瞼の筋電位を計算し、一方、電極110cの電位と電極110dの電位とからユーザの右目の下瞼の筋電位を計算し、筋電位データを生成する。
<ステップS1045>
瞬き検出部130は、眼輪筋電位計測部120で生成された筋電位データに基づいて、眼疲労起因瞬きを検出する。このとき、直前の眼疲労起因瞬きの検出から所定の時間以内、例えば800ms以内、であるか否かを判断する。これは、眼疲労起因瞬きの検出から所定の時間以内(ここでは、800ms以内)を検出の除外区間とするためである。このような除外区間の判断は、例えば瞬き検出部130が、内蔵するタイマーを用いて、眼疲労起因瞬きを検出した時点でタイマーを0にセットし、次の眼疲労起因瞬きを検出するまでの時間を計測することによって行われる。当該時間が除外区間内(S1045にてNo)の場合は、ステップS1020へ戻る。除外時間外の場合(S1045にてYes)はステップS1050へ進む。
ステップS1045での除外区間の処理により、1回の瞬きで、つまり、絶対値の大きい電位が計測される一つの区間において、複数個の瞬き検出信号が出力されてしまうことを防ぐことができる。
<ステップS1050>
瞬き検出部130は、ステップS1040で計算されたユーザの左右の目の下瞼の筋電位が判別閾値以上かどうかを判断する。つまり、瞬き検出部130は、左右の目の下瞼のそれぞれについて、眼輪筋電位計測部120で生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで、筋電位データから眼疲労に起因する瞬きを検出する。その結果、少なくともどちらか一方の筋電位が判別閾値以上の場合(S1050にてYes)は、瞬き検出部130は、瞬き検出信号を出力してステップS1060へ進む。瞬き検出信号は、一方の目で筋電位が閾値以上である場合には1回分の検出信号として出力され、両方の目で筋電位が閾値以上であった場合には2回分の検出信号として出力される。左右の眼の下瞼の筋電位がどちらも判別閾値未満の場合(S1050にてNo)はステップS1020に戻る。
<ステップS1060>
時刻記憶部220は、瞬き検出部130が出力した瞬き検出信号を取得し、取得した各時刻を記憶する。
<ステップS1070>
疲労度判定部230は、図示しない外部からの入力に基づき、図示しない制御部より疲労判定の要求信号が入力されたか否かを確認する。
疲労判定の要求信号が入力された場合(S1070にてYes)はステップS1080へ進む。疲労判定の要求信号が入力されていない場合(S1070にてNo)はステップS1020へ戻る。
疲労判定の要求信号は、例えば30分間隔で、自動入力される場合や、ユーザによる疲労判定要求の入力操作により生成される場合等がある。
<ステップS1080>
疲労度判定部230は、瞬き頻度−疲労度関係記憶部240に記憶されたデータを参照して、現在の疲労度を決定する。
<ステップS1090>
眼疲労計測装置1の動作を終了する。
ステップS1080終了後は、ステップS1020へ戻り、ステップS1020からステップS1080を繰り返す。
このように、本実施の形態における眼疲労計測方法は、ユーザの眼の疲労度を計測する眼疲労計測方法であって、ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて、ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測ステップ(S1030〜S1040)と、眼輪筋電位計測ステップで生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップ(S1045〜S1050)と、瞬き検出ステップにより検出された瞬きの頻度を計算し、得られた瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、ユーザの眼の疲労度を判定する疲労度判定ステップ(S1060〜S1080)を含む。
以上のように、本実施の形態では、目頭の下に接触させた電極により下瞼の筋電位を計測することで、各種瞬きの中から眼疲労に起因する瞬きのみを簡易に検出でき、眼疲労の度合いが判定される。つまり、ユーザが装着する眼鏡の鼻あて部に装着される電極を用いて目頭の下に位置する下瞼の筋電位を計測することで、特殊な電極治具を用いることなく、かつ、各種瞬きの中から眼疲労に起因する瞬きのみを検出できるので、簡易に眼疲労の度合いが計測される。
なお、実施の形態1の眼疲労計測装置1において、電極治具10と処理部20との間の通信は、送信部140と受信部210との間の無線による通信によって行ったが、有線の通信を用いてもよい。
(実施の形態2)
次に、本発明の実施の形態2における眼疲労計測装置について、説明する。
図6は、実施の形態2による眼疲労計測装置1aの構成の一例を示すブロック図である。本実施の形態における眼疲労計測装置1aは、電極治具10から瞬き検出部130がなくなり、処理部20の時刻記憶部220が筋電位データ蓄積部320に置き換わり、処理部20に瞬き検出部330が付け加わった以外は、図2に示される眼疲労計測装置1と同様の構成を備える。図2と同一の構成要素には同一番号を付し、説明を適宜省略する。
本実施の形態では、送信部140は、眼輪筋電位計測部120で生成された筋電位データを、伝送路を介して送信する。よって、受信部210は、送信部140から送信されてくる筋電位データを受信する。
筋電位データ蓄積部320は、時間を計測する計時部(タイマー)を備え、受信部210が受信した筋電位データを、受信された時刻(言い換えると、眼疲労起因瞬きが検出された時刻)とともに蓄積していくメモリ等であり、具体的には、眼輪筋電位計測部120で計測された左右の下瞼の筋電位データを、受信部210で受信された時刻(あるいは、筋電位データ蓄積部320が受信部210から筋電位データを受け取った時刻)と共に記憶する。図7は筋電位データ蓄積部320に蓄積されるデータの一例を示す。
瞬き検出部330は、筋電位データ蓄積部320に記憶された筋電位の時系列データ(筋電位データおよび時刻の系列データ)より、眼疲労に起因する瞬きを検出する。眼疲労に起因する瞬きの検出は、例えば以下の要領で行う。所定時間幅、例えば1秒以内に、所定の値以下、例えば−500μV以下の電位と、所定の値以上、例えば500μV以上の電位とが観察される場合に、瞬き検出部330は、眼疲労に起因する瞬きが行われたと扱うことで、眼疲労に起因する瞬きを検出する。
図8は、実施の形態2における眼疲労計測装置1aの動作(つまり、眼疲労計測方法)を示すフローチャートである。図8に示すフローチャートは、図5に示すフローチャートに、ステップS2010、およびステップS2020を追加し、ステップS1050がステップS2030に置き換わったものに相当する。図8のステップS1010からS1040、ステップS1080およびステップS1090は、図5と同様である。
<ステップS1040>
眼輪筋電位計測部120は、ステップS1030で取得された各電極の電位より、ユーザの左目の下瞼の筋電位と右目の下瞼の筋電位を計算し、筋電位データを生成する。
<ステップS2010>
筋電位データ蓄積部320は、ステップS1040で眼輪筋電位計測部120が計算したユーザの左目の下瞼の筋電位と右目の下瞼の筋電位を、取得した時刻とともに記憶する。
<ステップS1070>
疲労度判定部230は、図示しない制御部より疲労判定の要求信号が入力されたか否かを確認する。疲労判定の要求信号が入力された場合、疲労度判定部230は、瞬き検出部330に対して、現時点から所定時間範囲内での眼疲労起因瞬きの検出を指示する信号を出力し、ステップS2020へ進む。所定時間範囲は、例えば10分である。疲労判定の要求信号が入力されていない場合はステップS1020へ戻る。
<ステップS2020>
瞬き検出部330は、筋電位データ蓄積部320から、現時点から所定時間範囲の筋電位データを切り出して取得する。なお、所定時間範囲は、固定値であっても、疲労度判定部230より入力される可変値であってもよい。
<ステップS2030>
瞬き検出部330は、ステップS2020で切り出した範囲の筋電位の時系列データより、眼疲労起因瞬きを抽出し、抽出された眼疲労起因瞬きの回数を疲労度判定部230へ出力する。瞬き検出部330は、眼疲労に起因する瞬きの検出では、所定時間幅以内に所定の値以下の電位と所定の値以上の電位とが観察される場合に、眼疲労に起因する瞬きが行われたと扱うことで、眼疲労に起因する瞬きを検出する。
<ステップS1080>
疲労度判定部230は、ステップS2030で瞬き検出部330から出力された眼疲労に起因する瞬きの回数に基づいて単位時間あたりの眼疲労起因瞬きの頻度を求める。さらに瞬き頻度−疲労度関係記憶部240を参照して、求めた眼疲労起因瞬きに対応する眼の疲労度、つまり、ユーザの現在における眼の疲労度を決定する。
このように、本実施の形態における眼疲労計測方法は、ユーザの眼の疲労度を計測する眼疲労計測方法であって、ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて、ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測ステップ(S1030〜S2010)と、眼輪筋電位計測ステップで生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップ(S1070〜S2030)と、瞬き検出ステップにより検出された瞬きの頻度を計算し、得られた瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、ユーザの眼の疲労度を判定する疲労度判定ステップ(S1080)を含む。
以上のように、本実施の形態によれば、目頭の下に接触させた電極により下瞼の筋電位を計測することで、各種瞬きの中から眼疲労に起因する瞬きのみを簡易に検出し、簡易な構成で眼疲労の度合いを判定できる。つまり、ユーザが装着する眼鏡の鼻あて部に装着される電極を用いて目頭の下に位置する下瞼の筋電位を計測することで、特殊な電極治具を用いることなく、かつ、各種瞬きの中から眼疲労に起因する瞬きのみを検出できるので、簡易に眼疲労の度合いが計測される。
さらに、本実施の形態では、筋電位の時系列データを処理部20に蓄積することで、疲労判定に用いる時間幅と瞬きの検出方法について、実施の形態1よりも柔軟な処理を行うことが可能なる上、電極治具10の負荷が軽減され、電極治具10の縮小や消費電力の削減ができ、電極治具10をより小さく、軽くして、ユーザの負荷を軽減することができる。
(実施の形態1の変形例1)
次に、本発明の実施の形態1の変形例1における、眼疲労計測装置の応用例(3次元表示システム)について、説明する。
本変形例は、実施の形態1の眼疲労計測装置1を3次元表示装置30と3次元用メガネ40とからなる3次元表示システム2に応用した例である。
図9は、本変形例の3次元表示システム2の構成の一例を示すブロック図である。この3次元表示システム2は、3Dコンテンツをユーザに提供する3次元表示装置30と、その3Dコンテンツを視聴するユーザが装着する3次元用メガネ40とから構成される。図9に示す変形例は、図2に示す実施の形態1の処理部20が3次元表示装置30に含まれ、電極治具10が3次元用メガネ40に含まれる。電極治具10の送信部140が送受信部410に置き替わり、処理部20の受信部210が送受信部420に置き替わった以外は、図9の眼疲労計測装置1bは図2に示す実施の形態1と同様である。
3次元表示装置30は、例えば、3次元表示が可能なTVであり、処理部20と、映像情報蓄積部430と、画像表示制御部440と、表示部450と、同期信号生成部460と、疲労防止処理決定部470と、疲労度別処理記憶部500とを備える。
3次元用メガネ40は、電極治具10と、同期制御部480と、シャッタ490とを備える。
映像情報蓄積部430は、右目用映像と左目用映像とを含んだ3Dコンテンツ(ここでは、3次元表示用の映像のストリーム情報または静止画の情報)を蓄積している。
画像表示制御部440は、映像情報蓄積部430に蓄積された映像情報の画面の表示と3次元用メガネでのシャッタ動作との同期を取り、映像表示を制御する。さらに、この画像表示制御部440は、映像表示の制御をするときに、疲労防止処理決定部470で決定された疲労度防止処理に従って、3Dコンテンツの表示を制御する。
表示部450は、画像表示制御部440の制御に従って映像情報蓄積部430に蓄積された映像を表示するディスプレイ装置である。
同期信号生成部460は、画像表示制御部440の制御に従って表示部450による画像表示の切り替え(右目用映像と左目用映像との表示切り替え)と、3次元用メガネのシャッタ490の切り替え(右目用シャッタと左目用シャッタの動作切り替え)の同期を取るための同期信号を生成する。
疲労防止処理決定部470は、疲労度判定部230から出力された眼の疲労度に従って3Dコンテンツを視聴するユーザの疲労を防止するための処理を決定する。その処理は、例えば、3Dコンテンツの奥行き調整、および、2D化等の画像表示状態の変更、あるいは警告の表示等である。
疲労度別処理記憶部500は、疲労度に対応して行われるべき疲労防止処理を示すデータを記憶するメモリ等である。図10は、疲労度別処理記憶部500に記憶されているデータの一例を示す。本図に示されるように、疲労度別処理記憶部500は、眼の疲労度と、その疲労度において実行する疲労防止処理の内容(図中の「処理」)と、その疲労防止処理の詳細を決定するための処理パラメータ(図中の「パラメータ」)とを、対応させて、複数組、記憶している。
送受信部420は、実施の形態1における受信部210の機能に加えて、同期信号生成部460で生成された同期信号を3次元用メガネ40に送信する。送受信部410は、実施の形態1における送信部140の機能に加えて、3次元用メガネ40の送受信部410から送信される同期信号を受信する。
同期制御部480は、送受信部410で受信された同期信号(つまり、同期信号生成部460で生成された同期信号)に基づき、表示部450に表示される右目用の映像または左目用の映像と同期して、右目用シャッタまたは左目用シャッタを開閉する。
シャッタ490は、右目用シャッタと左目用シャッタとを備える。同期制御部480の制御信号に従って、右目用シャッタと左目用のシャッタとをそれぞれ開閉する。3次元表示を行う際には、シャッタ490は、表示部450に交互に表示される右目用映像または左目用映像と同期して、左目用シャッタと右目用のシャッタとを交互に開閉する。
この3次元表示システム2では、まず、ユーザにより、図示しない電源スイッチが押され、3次元表示装置30と3次元用メガネ40の電源が入り、3次元表示システム2が動作を開始する。
画像表示制御部440は、映像情報蓄積部430より映像情報を取得し、右目用映像と左目用映像とを交互に表示部450へ出力する。
画像表示制御部440は、さらに、表示部450への左目用映像および右目用映像の出力タイミングを同期信号生成部460に出力する。
同期信号生成部460は、画像表示制御部440から出力される左目用映像および右目用映像の出力タイミングに同期した同期信号を生成し、送受信部420へ出力する。
送受信部420は、同期信号生成部460から出力された同期信号を3次元用メガネ40に送信する。
3次元用メガネ40の送受信部410は、3次元表示装置30の送受信部420から送信されてきた同期信号を受信し、同期制御部480へ出力する。
同期制御部480は、送受信部410から出力された同期信号に従って、シャッタ490を制御する。
上記の手順で、3次元表示システム2はユーザに3次元映像を提示する。一方、3次元表示システム2が動作を開始すると同時に、眼疲労計測装置1bが動作を開始する。
眼疲労計測装置1bの動作は、実施の形態1と同様だが、本変形例では、疲労防止処理決定部470が、図5のステップS1070における疲労判定の要求信号を疲労度判定部230に出力する。
疲労判定の要求信号は、3次元表示システム2の動作開始から一定時間間隔ごと、例えば30分ごと、に出力される。
なお、3次元表示システム2の動作開始から時間が経つにつれて疲労度判定の要求信号を出力する時間間隔を狭めてもよい。さらには、疲労度判定の結果に従って要求信号出力する時間間隔を調整してもよい。例えば、疲労度0の場合には、次の疲労度判定要求信号までの時間間隔を30分とし、疲労度1の場合には、その時間間隔を25分とし、疲労度2の場合には、その時間間隔を15分とする。
疲労度判定部230は、ステップS1080において、ユーザの眼の疲労度を決定し、疲労防止処理決定部470に出力する。疲労防止処理決定部470は、疲労度別処理記憶部500を参照して、疲労度判定部230より出力された眼の疲労度に対応する疲労防止処理を決定する。例えば、疲労度判定部230は、疲労度が2であれば、図10に示した疲労度別処理記憶部500のデータに従って、3Dコンテンツを、右目用画像を用いて2D化する、すなわち、両目に右目用画像を提示することで、3D映像を2D映像にして表示する処理を決定し、決定した処理を示す疲労防止処理指示信号を画像表示制御部440に出力する。画像表示制御部440は、疲労防止処理決定部470より出力された疲労防止処理指示信号に従って、映像情報蓄積部430より取得した画像を処理して表示部450へ出力し、さらに同期信号生成部460へ画像の出力タイミングを出力する。
以上のように、本変形例では、眼疲労計測装置1bの電極治具10が3次元表示システム2における3次元用メガネ40に備えられ、3次元表示装置30に処理部20が備えられることで、3次元表示に伴う眼疲労の度合いを特別な計測器を用いることなく、簡易に判定することができるとともに、ユーザの眼の疲労度に基づいた疲労防止処理を行うことができる。これにより、3次元表示システムによる映像の視聴を快適に続けることができる。また、3次元映像の視聴による過度の疲労を防止することができる。
(実施の形態1の変形例2)
次に、本発明の実施の形態1の変形例2における眼疲労計測装置の応用例(3次元表示システム)について、説明する。
本変形例は、実施の形態1の眼疲労計測装置1を3次元表示装置30と3次元用メガネ40とからなる3次元表示システム2aに応用した第2の例である。
図11は、本変形例の3次元表示システム2aの構成の一例を示すブロック図である。図11に示す変形例2は、場面変化時刻記憶部510が加わり、映像情報蓄積部430がタグ付映像情報蓄積部530に置き換わった以外は、図9に示す変形例1と同様である。
タグ付映像情報蓄積部530は、右目用映像と左目用映像とを含んだ3Dコンテンツ(ここでは、3次元表示用の映像のストリーム情報または静止画の情報)を蓄積している。これにあわせて、映像情報については、映像ストリーム中の場面ごとに予め付与された場面ID(場面を識別する情報)が記憶されている。図12は、このようなタグ付映像情報蓄積部530に記憶されるデータの一例を示す。映像中の「時間」と、「右画像」すなわち右目用の画像と、「左画像」すなわち左目用の画像と、「場面ID」とが記憶されている。
場面変化時刻記憶部510は、ユーザに提示する3Dコンテンツにおける場面変化の時刻を記憶するためのメモリであり、ここでは、タグ付映像情報蓄積部530に蓄積された映像において、新しい場面IDが付された画像が提示された時刻を記憶する。
本変形例の3次元表示システム2aの動作については変形例1と異なる部分のみ説明する。
画像表示制御部440は、タグ付映像情報蓄積部530より映像情報と場面IDを取得し、右目用映像と左目用映像とを交互に表示部450へ出力し、画像の出力タイミングを同期信号生成部460に出力する。さらに、タグ付映像情報蓄積部530より取得した場面IDが初出のIDである場合には、当該IDの先頭画像の出力時刻を場面変化時刻記憶部510へ出力する。
場面変化時刻記憶部510は、画像表示制御部440から出力された時刻情報を記憶する。
疲労度判定部230は、疲労度を決定し、疲労防止処理決定部470に出力する。実施の形態1では、疲労度判定部230は、時刻記憶部220に記憶された時刻のうち、所定時間範囲内で眼疲労起因瞬きが検出された時刻の情報を抽出して眼疲労起因瞬きの頻度を計算する。その計算結果に基づき、疲労度判定部230は、瞬き頻度−疲労度関係記憶部240を参照して、現在の眼疲労起因瞬きの頻度に対応する疲労度を判定する。
本変形例では、場面の変化がある場合には瞬きが起りやすいことを考慮して、場面変化時刻記憶部510に記憶された時刻の直後に検出された瞬きは頻度の計算から除外する。そのために、疲労度判定部230は、疲労判定の要求信号に基づいて疲労判定を行う時刻、すなわち現時刻から所定の時間さかのぼった時刻を起点として現時刻までの間における場面変化の時刻を、場面変化時刻記憶部510から取得する。一方、疲労度判定部230は、実施の形態1と同様に、現時刻から所定の時間さかのぼった時刻を起点として現時刻までの間に、時刻記憶部220に記憶された眼疲労起因瞬きの時刻を取得する。所定の時間は例えば10分間である。時刻記憶部220から取得した眼疲労起因瞬きの発生時刻のうち、場面変化時刻記憶部510から取得した場面変化時刻を起点として所定時間以内、例えば1秒以内、の時刻データを除外する。そして、該当のデータを除いた眼疲労起因瞬きの発生時刻から、眼疲労起因瞬きの頻度を計算する。図13は、場面変化による瞬きを除外する処理を模式的に示した図である。10分間の間に検出され、時刻記憶部220に発生時刻を記憶されている瞬きは5回である。一方、場面変化時刻記憶部510に記憶されている場面変化の時刻は22時35分22.817秒(時刻A)と22時37分52.611秒である。5回の瞬きのうち22時35分23.102秒(時刻B)の瞬きは時刻Aから1秒以内の時刻である。このため、時刻Bの瞬きは時刻Aの場面変化による瞬きとして頻度計算から除外する。この場合の眼疲労起因瞬きの頻度は10分間で4回すなわち0.4/分である。
以上のように、本変形例により、場面変化の直後の瞬きを除外することで、映像の影響(場面の変化に起因する瞬き)を除外して、より正確な疲労度の判定が可能となる。
なお、本変形例では場面変化の時刻を記憶しておき、場面変化の影響と見られる瞬きを除外して疲労度を判定したが、場面変化の時刻から、疲労防止処理決定部470が疲労度判定部230に疲労度判定の要求信号を出力するタイミングを調節して、疲労度の判定に用いる所定時間内に場面変化の時刻が入らないようにして、場面変化の影響を回避するものとしてもよい。
以上、本発明に係る眼疲労計測装置およびその方法について、実施の形態1、2、および、その変形例を用いて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。本発明の主旨を逸脱しない範囲で、各実施の形態および変形例に対して当業者が思いつく各種変形を施して得られる形態や、各実施の形態および変形例における構成要素を任意に組み合わせて得られる形態も、本発明に含まれる。
たとえば、上記変形例1および変形例2では、実施の形態1における眼疲労計測装置1を用いて3次元表示システムが構築されたが、実施の形態2の眼疲労計測装置1aを用いて3次元表示システムを構築してもよい。つまり、実施の形態2における眼疲労計測装置1aの処理部20を、3次元表示システムを構成する3次元表示装置30内に装備させ、実施の形態2における眼疲労計測装置1aの電極治具10を、3次元表示システムを構成する3次元用メガネ40内に装備させてもよい。その場合には、瞬き検出部330は、場面変化直後の区間では瞬きの抽出を行わないとすることもできる。
また、上記ブロック図(図2、図6、図9、図11)における機能ブロックは、半導体集積回路であるLSIで実現されてもよい。そのLSIは、機能ブロックごとに1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。なお、ここでは、LSIとは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されるものが含まれる。
また、集積回路化の手法としては、LSI化に限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用して集積回路化をしてもよい。
また、本発明に係る眼疲労計測装置は、コンピュータシステムおよびソフトウェアで実現されてもよい。図14は、本実施の形態における眼疲労計測装置の処理部20をコンピュータシステム19およびソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。このコンピュータシステム19は、図14に示されるように、キーボード、マウス等の入力部11、ハードディスク等の記憶部12と、ディスプレイ装置等の出力部13、CPU14、ROM15、RAM16、および、外部機器との間で信号の入出力をする入出力I/F17で構成される。眼疲労計測装置の受信部210は、入出力I/F17で実現される。また、眼疲労計測装置の時刻記憶部220、瞬き頻度−疲労度関係記憶部240および筋電位データ蓄積部320は、記憶部12で実現される。また、眼疲労計測装置の疲労度判定部230および瞬き検出部330は、ROM15または記憶部12に格納されたプログラムに従ってRAM16を一時的な記憶エリアとして利用しながらCPU14が実行することによって実現される。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個、組み合わされて構成されたものである。
すなわち、そのようなプログラムは、ユーザの眼の疲労度を計測する眼疲労計測装置のためのプログラムであって、(1)ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより生成された筋電位データを取得し、当該筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、取得した筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップと、(2)前記瞬き検出ステップにより検出された瞬きの頻度を計算し、得ら前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定ステップとをコンピュータ(あるいは、プロセッサ)に、実行させてもよい。
また、上記実施の形態における眼疲労計測装置を構成する構成要素の一部または全部は、脱着可能なICカードまたは単体のモジュールから構成されてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、超多機能LSIを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有してもよい。
また、本発明は、上記実施の形態におけるフローチャートに示す方法として実現してもよい。また、その方法をコンピュータにより実現するコンピュータプログラムとして実現してもよいし、そのコンピュータプログラムを表すデジタル信号として実現してもよい。さらに、そのコンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録した記録媒体として実現してもよい。
また、上記コンピュータプログラムまたはデジタル信号は、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送することができるのは言うまでもない。
また、上記コンピュータプログラムまたはデジタル信号を記録媒体に記録して移送することにより、または、上記コンピュータプログラムまたはデジタル信号を、ネットワーク等を経由して移送することで、独立した他のコンピュータシステムにより、本発明に係る眼疲労計測装置またはその方法を実施してもよい。
本発明は、眼疲労計測装置として、特に、画像表示を観視する人の眼の疲労計測に広く利用可能であり、映画館のスクリーン、テレビ、コンピュータの表示画面等で表示される情報を観視する人の眼の疲労を計測する装置として、有用である。また、本発明に係る眼疲労計測装置を表示システムとあわせて用いることにより、疲労防止、疲労軽減に広く応用できる。
1、1a、1b 眼疲労計測装置
2、2a 3次元表示システム
10 電極治具
11 入力部
12 記憶部
13 出力部
14 CPU
15 ROM
16 RAM
17 入出力I/F
19 コンピュータシステム
20 処理部
30 3次元表示装置
40 3次元用メガネ
110(110a〜110d、110r、110E) 電極
120 眼輪筋電位計測部
130、330 瞬き検出部
140 送信部
150 鼻あて部
160 つる
170 耳掛け
210 受信部
220 時刻記憶部
230 疲労度判定部
240 瞬き頻度−疲労度関係記憶部
320 筋電位データ蓄積部
410、420 送受信部
430 映像情報蓄積部
440 画像表示制御部
450 表示部
460 同期信号生成部
470 疲労防止処理決定部
480 同期制御部
490 シャッタ
500 疲労度別処理記憶部
510 場面変化時刻記憶部
530 タグ付映像情報蓄積部

Claims (10)

  1. ユーザの眼の疲労度を計測する眼疲労計測装置であって、
    前記ユーザが装着する眼鏡の鼻あて部に装着される電極であって、前記ユーザの目頭の下に位置する眼輪筋上の皮膚に接触する電極と、
    前記電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測部と、
    前記眼輪筋電位計測部で生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたと扱うことで、前記筋電位データから眼疲労に起因する瞬きを検出する瞬き検出部と、
    前記瞬き検出部により検出された瞬きの頻度を計算し、得られた前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定部と
    を備える眼疲労計測装置。
  2. 前記瞬き検出部は、前記筋電位データが、絶対値が500μVより大きい電位を示したときに、眼疲労に起因する瞬きが行われたと判断する
    請求項1記載の眼疲労計測装置。
  3. 前記眼鏡は、3次元コンテンツを視聴するときに利用する眼鏡であり、
    前記眼疲労計測装置はさらに、
    前記ユーザが3次元コンテンツを視聴しているときに、前記疲労度判定部で判定された疲労度に従って、前記ユーザの眼の疲労を防止するための処理を決定する疲労防止処理決定部と、
    前記疲労防止処理決定部で決定された処理に従って、前記3次元コンテンツの表示を制御する画像表示制御部とを備える
    請求項1または2記載の眼疲労計測装置。
  4. さらに、前記ユーザに提示する3次元コンテンツにおける場面変化の時刻を記憶している場面変化時刻記憶部を備え、
    前記疲労度判定部は、前記場面変化時刻記憶部で記憶されている時刻から所定時間後までの間に検出された瞬きを除外したうえで前記頻度を計算する
    請求項3記載の眼疲労計測装置。
  5. さらに、
    前記瞬き検出部により前記瞬きが検出されたことを示す瞬き検出信号を、伝送路を介して送信する送信部と、
    前記送信部から送信されてくる前記瞬き検出信号を受信する受信部と、
    前記受信部が前記瞬き検出信号を受信した時刻を蓄積する時刻記憶部とを備え、
    前記疲労度判定部は、前記時刻記憶部に蓄積された時刻に基づいて、前記瞬きの頻度を計算する
    請求項1〜4のいずれか1項に記載の眼疲労計測装置。
  6. 前記眼疲労計測装置は、表示装置に表示されたコンテンツを視聴しているユーザを対象として前記疲労度を計測し、
    前記電極、前記眼輪筋電位計測部、前記瞬き検出部および前記送信部は、前記眼鏡に装備され、
    前記受信部、前記時刻記憶部および前記疲労度判定部は、前記表示装置に装備されている
    請求項5記載の眼疲労計測装置。
  7. さらに、
    前記眼輪筋電位計測部で生成された筋電位データを、伝送路を介して送信する送信部と、
    前記送信部から送信されてくる筋電位データを受信する受信部と、
    前記受信部が受信した筋電位データを、受信された時刻とともに蓄積していく筋電位データ蓄積部とを備え、
    前記瞬き検出部は、前記筋電位データ蓄積部に蓄積された筋電位データおよび時刻に基づいて、前記瞬きを検出する
    請求項1〜4のいずれか1項に記載の眼疲労計測装置。
  8. 前記眼疲労計測装置は、表示装置に表示されたコンテンツを視聴しているユーザを対象として前記疲労度を計測し、
    前記電極、前記眼輪筋電位計測部および前記送信部は、前記眼鏡に装備され、
    前記受信部、前記筋電位データ蓄積部、前記瞬き検出部および前記疲労度判定部は、前記表示装置に装備されている
    請求項7記載の眼疲労計測装置。
  9. ユーザの眼の疲労度を計測する眼疲労計測方法であって、
    前記ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて、前記ユーザが下瞼を動かすときに生じる生体電位を計測することにより、筋電位データを生成する眼輪筋電位計測ステップと、
    前記眼輪筋電位計測ステップで生成された筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、前記筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップと、
    前記瞬き検出ステップにより検出された瞬きの頻度を計算し、得ら前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定ステップと
    を含む眼疲労計測方法。
  10. ユーザの眼の疲労度を計測する眼疲労計測装置のためのプログラムであって、
    ユーザが装着する眼鏡の鼻あて部に設けられる電極を用いて前記ユーザが下瞼を動かすときに生じる生体電位を計測することによって生成された筋電位データに基づいて、当該筋電位データが所定の時間内に所定の値より大きい電位と所定の値より小さい電位とを示す場合に眼疲労に起因する瞬きが行われたとして、筋電位データから眼疲労に起因する瞬きを検出する瞬き検出ステップと、
    前記瞬き検出ステップにより検出された瞬きの頻度を計算し、得ら前記瞬きの頻度に対応する眼の疲労度を、予め定められた瞬きの頻度と眼の疲労度との関係に基づいて特定することで、前記ユーザの眼の疲労度を判定する疲労度判定ステップと
    をコンピュータに実行させるプログラム。
JP2012087865A 2012-04-06 2012-04-06 眼疲労計測装置およびその方法 Pending JP2013215356A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012087865A JP2013215356A (ja) 2012-04-06 2012-04-06 眼疲労計測装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012087865A JP2013215356A (ja) 2012-04-06 2012-04-06 眼疲労計測装置およびその方法

Publications (1)

Publication Number Publication Date
JP2013215356A true JP2013215356A (ja) 2013-10-24

Family

ID=49588249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012087865A Pending JP2013215356A (ja) 2012-04-06 2012-04-06 眼疲労計測装置およびその方法

Country Status (1)

Country Link
JP (1) JP2013215356A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202188A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ アイウエア
JP2016032598A (ja) * 2014-07-31 2016-03-10 泰史 安野 医療用画像読影装置、それを備えた画像診断システム、コンピュータプログラムおよびキット
US20160132107A1 (en) * 2014-11-06 2016-05-12 Kabushiki Kaisha Toshiba Electronic device, method and storage medium
KR20160130015A (ko) * 2015-04-30 2016-11-10 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
JP2017049775A (ja) * 2015-09-01 2017-03-09 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2017153887A (ja) * 2016-03-04 2017-09-07 株式会社東芝 心身状態推定装置、心身状態推定方法、およびアイウエア
JP2017191142A (ja) * 2016-04-11 2017-10-19 株式会社ジンズ アイウエア
JP2017206067A (ja) * 2016-05-16 2017-11-24 株式会社東芝 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法
JP2018042712A (ja) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 生体状態判定装置及び生体状態判定プログラム
JP2018093350A (ja) * 2016-12-01 2018-06-14 有限会社曽根地所 注目度評価システム
JP2018187132A (ja) * 2017-05-09 2018-11-29 義則 宮▲崎▼ 眼精疲労の判定補助方法、眼精疲労を判定するための判定装置および判定プログラム
CN109498028A (zh) * 2018-12-24 2019-03-22 深圳和而泰数据资源与云技术有限公司 眨眼检测方法、装置、眨眼监测器和眼戴设备
CN109833041A (zh) * 2017-11-24 2019-06-04 北京航空航天大学 运动性疲劳智能检测与分析系统
WO2019151520A1 (ja) * 2018-02-05 2019-08-08 株式会社疲労科学研究所 情報処理装置、疲労評価方法及びプログラム
CN110245574A (zh) * 2019-05-21 2019-09-17 平安科技(深圳)有限公司 一种用户疲劳状态识别方法、装置及终端设备
JP2019162251A (ja) * 2018-03-19 2019-09-26 株式会社東芝 眼球回転検出装置、電子機器及びシステム
JP2021035499A (ja) * 2020-10-14 2021-03-04 株式会社東芝 アイウエア、データ収集システム及びデータ収集方法
CN113413134A (zh) * 2021-07-01 2021-09-21 南昌虚拟现实研究院股份有限公司 疲劳识别方法、装置、电子设备及存储介质
WO2024059217A1 (en) * 2022-09-16 2024-03-21 The Board Of Trustees Of The Leland Stanford Junior University Devices and methods for fatigue detection

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202188A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ アイウエア
JP2016032598A (ja) * 2014-07-31 2016-03-10 泰史 安野 医療用画像読影装置、それを備えた画像診断システム、コンピュータプログラムおよびキット
CN106154582B (zh) * 2014-11-06 2019-05-28 株式会社东芝 电子装置和方法
US9946340B2 (en) * 2014-11-06 2018-04-17 Kabushiki Kaisha Toshiba Electronic device, method and storage medium
CN106154582A (zh) * 2014-11-06 2016-11-23 株式会社东芝 电子装置和方法
US20160132107A1 (en) * 2014-11-06 2016-05-12 Kabushiki Kaisha Toshiba Electronic device, method and storage medium
US10791954B2 (en) 2015-04-30 2020-10-06 Samsung Electronics Co., Ltd. Portable apparatus and method of changing screen of content thereof
KR20160130015A (ko) * 2015-04-30 2016-11-10 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
KR102072788B1 (ko) 2015-04-30 2020-03-12 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
US10561334B2 (en) 2015-04-30 2020-02-18 Samsung Electronics Co., Ltd. Portable apparatus and method of changing screen of content thereof
US11169617B2 (en) 2015-09-01 2021-11-09 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
US10877567B2 (en) 2015-09-01 2020-12-29 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
JP2017049775A (ja) * 2015-09-01 2017-03-09 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US10168793B2 (en) 2015-09-01 2019-01-01 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
US11880508B2 (en) 2015-09-01 2024-01-23 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
JP2017153887A (ja) * 2016-03-04 2017-09-07 株式会社東芝 心身状態推定装置、心身状態推定方法、およびアイウエア
JP2017191142A (ja) * 2016-04-11 2017-10-19 株式会社ジンズ アイウエア
JP2017206067A (ja) * 2016-05-16 2017-11-24 株式会社東芝 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法
JP2018042712A (ja) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 生体状態判定装置及び生体状態判定プログラム
JP2018093350A (ja) * 2016-12-01 2018-06-14 有限会社曽根地所 注目度評価システム
JP2018187132A (ja) * 2017-05-09 2018-11-29 義則 宮▲崎▼ 眼精疲労の判定補助方法、眼精疲労を判定するための判定装置および判定プログラム
CN109833041A (zh) * 2017-11-24 2019-06-04 北京航空航天大学 运动性疲劳智能检测与分析系统
JP2019134884A (ja) * 2018-02-05 2019-08-15 株式会社疲労科学研究所 情報処理装置、疲労評価方法及びプログラム
WO2019151520A1 (ja) * 2018-02-05 2019-08-08 株式会社疲労科学研究所 情報処理装置、疲労評価方法及びプログラム
JP7112851B2 (ja) 2018-02-05 2022-08-04 株式会社疲労科学研究所 情報処理装置、疲労評価方法及びプログラム
US11481028B2 (en) 2018-03-19 2022-10-25 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
US11054900B2 (en) 2018-03-19 2021-07-06 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
JP2019162251A (ja) * 2018-03-19 2019-09-26 株式会社東芝 眼球回転検出装置、電子機器及びシステム
US10466781B2 (en) 2018-03-19 2019-11-05 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
US11886635B2 (en) 2018-03-19 2024-01-30 Kabushiki Kaisha Toshiba Eye movement detecting device, electronic device and system
CN109498028A (zh) * 2018-12-24 2019-03-22 深圳和而泰数据资源与云技术有限公司 眨眼检测方法、装置、眨眼监测器和眼戴设备
CN110245574A (zh) * 2019-05-21 2019-09-17 平安科技(深圳)有限公司 一种用户疲劳状态识别方法、装置及终端设备
JP2021035499A (ja) * 2020-10-14 2021-03-04 株式会社東芝 アイウエア、データ収集システム及びデータ収集方法
CN113413134A (zh) * 2021-07-01 2021-09-21 南昌虚拟现实研究院股份有限公司 疲劳识别方法、装置、电子设备及存储介质
CN113413134B (zh) * 2021-07-01 2022-05-27 南昌虚拟现实研究院股份有限公司 疲劳识别方法、装置、电子设备及存储介质
WO2024059217A1 (en) * 2022-09-16 2024-03-21 The Board Of Trustees Of The Leland Stanford Junior University Devices and methods for fatigue detection

Similar Documents

Publication Publication Date Title
JP2013215356A (ja) 眼疲労計測装置およびその方法
Dementyev et al. DualBlink: a wearable device to continuously detect, track, and actuate blinking for alleviating dry eyes and computer vision syndrome
JP4465414B2 (ja) 脳波を用いた機器の制御方法および脳波インタフェースシステム
US11612316B2 (en) Medical system and method operable to control sensor-based wearable devices for examining eyes
JP5475893B2 (ja) 視覚疲労度測定装置およびその方法
JP6426589B2 (ja) 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US20170351326A1 (en) Eye training system and computer program product
WO2012157195A1 (ja) 画像表示システムおよび3次元用メガネ
RU2743026C2 (ru) Система наблюдения сердечной активности с использованием датчиков электрического потенциала
JP2015177403A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016520381A (ja) 神経機能状態の監視
Everding et al. A mobility device for the blind with improved vertical resolution using dynamic vision sensors
US11874461B2 (en) Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
KR101948778B1 (ko) 클라우드 연동형 시기능 강화 웨어러블 디바이스
US11856355B2 (en) Information processing system and non-transitory computer readable medium storing program
TW201626951A (zh) 穿戴式生理監測裝置及系統
KR20190056287A (ko) 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
JP2011143059A (ja) 顔面動作推定装置及び顔面動作推定方法
US20230071021A1 (en) Electrooculogram measurement and eye-tracking
CN110547760A (zh) 一种幼儿弱视脑电客观检测仪
CN116367768A (zh) 听筒或与听筒相关的改进
CN110262074B (zh) 一种智能护眼仪
Ghaderi et al. A wearable mobility device for the blind using retina-inspired dynamic vision sensors
CN104238756B (zh) 一种信息处理方法及电子设备
CN111195189A (zh) 帕金森患者步态冻结症状康复训练方法和系统