JP2019034144A - ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法 - Google Patents

ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法 Download PDF

Info

Publication number
JP2019034144A
JP2019034144A JP2018151327A JP2018151327A JP2019034144A JP 2019034144 A JP2019034144 A JP 2019034144A JP 2018151327 A JP2018151327 A JP 2018151327A JP 2018151327 A JP2018151327 A JP 2018151327A JP 2019034144 A JP2019034144 A JP 2019034144A
Authority
JP
Japan
Prior art keywords
wearable
data
wearable device
continuation data
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018151327A
Other languages
English (en)
Other versions
JP7170258B2 (ja
JP2019034144A5 (ja
Inventor
圭祐 森島
Keisuke Morishima
圭祐 森島
仁寛 山中
Kimihiro Yamanaka
仁寛 山中
崇徳 茅原
Takanori CHIHARA
崇徳 茅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa University NUC
Yamaha Motor Co Ltd
Konan University
Original Assignee
Kanazawa University NUC
Yamaha Motor Co Ltd
Konan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa University NUC, Yamaha Motor Co Ltd, Konan University filed Critical Kanazawa University NUC
Publication of JP2019034144A publication Critical patent/JP2019034144A/ja
Publication of JP2019034144A5 publication Critical patent/JP2019034144A5/ja
Application granted granted Critical
Publication of JP7170258B2 publication Critical patent/JP7170258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/297Bioelectric electrodes therefor specially adapted for particular uses for electrooculography [EOG]: for electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

【課題】 ウェアラブルデバイスの装着中に眼電位を計測する電極の位置によって、前記眼電位の測定値が異なるというウェアラブルデバイスの課題に対処できるウェアラブルデバイス対応眼電位データ処理装置を提供する。
【解決手段】ウェアラブルデバイス対応眼電位データ処理装置20は、ユーザが装着自在な眼鏡型ウェアラブルデバイス1に設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器30から、前記継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得し、眼鏡型ウェアラブルデバイス1の使用中に取得された前記ウェアラブル眼電位継続データに基づいて、眼鏡型ウェアラブルデバイス1の使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する。
【選択図】図2

Description

本発明は、ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法に関する。
眼電位を用いて運転余裕度を評価する方法が、検討されている。例えば非特許文献1には、眼電位を用いて運転余裕度を評価する方法が開示されている。前記非特許文献1では、眼電位から算出される眼球運動関連パラメータとして、瞬目率、眼球運動ノルム、眼球運動比率及び眼球運動時間を用いて、運転余裕度を評価している。
一方、前記眼電位を計測する眼電位計測装置が、検討されている。前記眼電位計測装置として、センシング技術の向上によってユーザが装着した際に違和感のないウェアラブルデバイスが提案されている。例えば特許文献1には、眼鏡型の眼電位計測装置として、眼電位信号を得るための生体電極を有するアイウェアが開示されている。なお、前記特許文献1に開示されているアイウェアでは、前記生体電極は、一対のノーズパッド及びブリッジ部分にそれぞれ設けられている。
特開2017−070602号公報
横尾壮一郎、外6名、「ウェアラブルデバイスを想定した眼電位ならびに頭部運動関連パラメータを用いたドライバーの運転余裕評価 」、No.3D2−2(CD−ROM)、2016年9月6日、ヒューマンインタフェース学会
上述のように眼電位を計測するウェアラブルデバイスでは、ユーザの装着位置が、ウェアラブルデバイスの設計上の装着基準位置とは異なる場合がある。また、前記ウェアラブルデバイスの装着位置は、ユーザの装着後に、振動等によって変化する可能性がある。このように、前記ウェアラブルデバイスは、前記装着基準位置とユーザの装着位置とが異なる場合がある。
このように、前記ウェアラブルデバイスにおいて、前記装着基準位置とユーザの装着位置とが異なる場合、ユーザの眼電位を計測する生体電極の位置も、基準位置とは異なる。そのため、上記の生体電極を用いて計測される眼電位のデータは、前記ウェアラブルデバイスの装着位置によって異なる。
その結果、計測された眼電位のデータから取得される眼球運動データは、前記ウェアラブルデバイスの装着位置によって異なる。
本発明は、ウェアラブルデバイスの装着中に眼電位を計測する電極の位置によって、前記眼電位の測定値が異なるというウェアラブルデバイスの課題に対処できるウェアラブルデバイス対応眼電位データ処理装置を提供することを目的とする。
本発明者は、眼電位を計測する電極位置の変化に起因する眼球運動データの変化について考察を行った。
本発明者は、眼電位のデータが変化しないように眼電位を計測する電極の位置を調整する方法ではなく、眼電位を計測する電極の位置の変化を許容する方法を考えた。
そして、この電極の位置の変化を許容する方法を検討する中で、継続して眼電位を計測することによって得られた眼電位継続データに基づいて、眼球運動の一つである眼球移動の量に関連する眼球移動量継続データを取得することに着目した。
この継続的に取得された眼球移動量継続データを用いることによって、ユーザがウェアラブルデバイスを使用している際の電極の位置の変化を検知できることが分かった。
また、継続的に取得された眼電位継続データを用いても、電極の位置の変化を検知できることが分かった。
上述のように電極の位置の変化を検知することができれば、電極の位置が変化した場合の課題にも対処することが可能である。
具体的には、本発明者は、以下のような構成に想到した。
本発明の実施形態に係るウェアラブルデバイス対応眼電位データ処理装置は、ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、前記継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得し、前記ウェアラブルデバイスの使用中に継続的に取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する。
この構成によると、ユーザがウェアラブルデバイスを使用している際に、眼球移動量に関連する継続的なウェアラブル眼球移動量継続データを継続的に取得することができる。ウェアラブル眼球移動量継続データを継続的に取得することで、眼電位計測器がウェアラブルデバイスの設計上の装着基準位置から得られるデータに対して変化していることが分かる。このデータの変化に基づいて、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方の補正またはキャリブレーションを行うことができる。
これにより、ウェアラブルデバイスの装着中に眼電位を計測する眼電位計測器の位置が変化するというウェアラブルデバイスの課題に対処することができる。
従って、実験室で用いられる電極を直接皮膚に貼付するような眼電位計測器ではなく、ユーザが装着するウェアラブルデバイスに設けられた眼電位計測器によって計測される眼電位を、運転余裕度などの評価に用いることができる。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理装置は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理装置は、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方に基づいて、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方を補正する。
この構成によると、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方を用いて、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方を補正することができる。
これにより、ウェアラブルデバイスの装着中に、眼電位を計測する眼電位計測器の位置が変化した場合であっても、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方の補正を行うことができる。
また、ユーザ毎に顔の形状が異なるため、ウェアラブルデバイスの眼電位計測器によって計測される眼電位がユーザ毎に異なったとしても、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方の補正を行うことができる。
さらに、同一ユーザの皮膚インピーダンスの変化によって、ウェアラブルデバイスの眼電位計測器によって計測される眼電位が異なったとしても、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの少なくとも一方の補正を行うことができる。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理装置は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理装置は、前記眼電位計測器は、前記ユーザの複数の位置の眼電位を継続的に計測する。ウェアラブルデバイス対応眼電位データ処理装置は、前記眼電位計測器によって前記継続的に計測された複数の位置の眼電位に基づいて、継続的に複数のウェアラブル眼電位継続データを取得する。
この構成によると、複数の眼電位を継続的に計測し、計測された複数の位置の眼電位に基づいて複数のウェアラブル眼電位継続データを取得することで、より正確にウェアラブル眼球移動量継続データを取得することができる。
例えば、右眼及び左眼の2つの眼電位を継続的に計測することで、眼球運動の上下方向及び左右方向の動きを取得できるとともに、より正確に眼球移動量継続データも取得することができる。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理装置は、以下の構成を含むことが好ましい。前記ウェアラブル眼球移動量継続データは、前記眼電位の大きさに関連するデータである。
この構成によると、眼球移動量継続データが眼電位の大きさに関連するため、ウェアラブル眼球移動量継続データをより簡便に取得することができる。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理装置は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理装置は、前記ウェアラブルデバイスに設けられた頭部運動計測装置から継続的に前記ユーザのウェアラブル頭部運動継続データを取得し、前記継続的に取得された前記ウェアラブル頭部運動継続データからウェアラブル頭部移動量継続データを取得し、前記ウェアラブル眼球移動量継続データと前記ウェアラブル頭部移動量継続データとからウェアラブル視線移動量継続データを取得する。
この構成によると、眼球運動に加え、頭部運動も考慮できるため、より正確にウェアラブル視線移動量継続データを取得することができる。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理装置は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理装置は、前記ウェアラブル眼電位継続データと前記ウェアラブル頭部運動継続データとから、前記ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得し、所定の前記ウェアラブル頭部眼球協調運動継続データに対応する前記ウェアラブル視線移動量継続データを出力する。
この構成によると、所定の前記ウェアラブル頭部眼球協調運動継続データに対応するウェアラブル視線移動量継続データを出力することができる。これにより、出力されたウェアラブル視線移動量継続データを、運転余裕度の評価にも活用することができる。
本発明の一実施形態に係る眼鏡型ウェアラブルデバイスは、上述の各構成を有するウェアラブルデバイス対応眼電位データ処理装置を備える。
この構成によると、ユーザが眼鏡型ウェアラブルデバイスを装着することで、該眼鏡型ウェアラブルデバイスによって、ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得することができる。
本発明の一実施形態に係るウェアラブルデバイス対応眼電位データ処理装置は、ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、前記継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得するウェアラブル眼電位継続データ取得部と、前記ウェアラブルデバイスの使用中に前記ウェアラブル眼電位継続データ取得部で取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得するウェアラブル眼球移動量継続データ取得部と、を備える。
本発明の一実施形態に係るウェアラブルデバイス対応眼電位データ処理方法は、ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、前記継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得し、前記ウェアラブルデバイスの使用中に継続的に取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理方法は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理方法は、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方に基づいて、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方を補正する。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理方法は、以下の構成を含むことが好ましい。前記眼電位計測器は、複数の位置の眼電位を継続的に計測する。ウェアラブルデバイス対応眼電位データ処理方法は、前記眼電位計測器によって前記継続的に計測された複数の位置の眼電位に基づいて、継続的に複数のウェアラブル眼電位継続データを取得する。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理方法は、以下の構成を含むことが好ましい。前記ウェアラブル眼球移動量継続データは、前記眼電位の大きさに関連するデータである。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理方法は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理方法は、前記ウェアラブルデバイスに設けられた頭部運動計測装置から継続的に前記ユーザのウェアラブル頭部運動継続データを取得し、前記継続的に取得された前記ウェアラブル頭部運動継続データからウェアラブル頭部移動量継続データを取得し、前記ウェアラブル眼球移動量継続データと前記ウェアラブル頭部移動量継続データとからウェアラブル視線移動量継続データを取得する。
他の観点によれば、本発明のウェアラブルデバイス対応眼電位データ処理方法は、以下の構成を含むことが好ましい。ウェアラブルデバイス対応眼電位データ処理方法は、前記ウェアラブル眼電位継続データと前記ウェアラブル頭部運動継続データとから、前記ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得し、所定の前記ウェアラブル頭部眼球協調運動継続データに対応する前記ウェアラブル視線移動量継続データを出力する。
本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
本明細書で使用される「及び/または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
本明細書において、「含む、備える(including)」「含む、備える(comprising)」または「有する(having)」及びそれらの変形の使用は、記載された特徴、工程、要素、成分、及び/または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び/または、それらのグループのうちの1つまたは複数を含むことができる。
本明細書において、「取り付けられた」、「接続された」、「結合された」、及び/または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合を含むことができる。
他に定義されない限り、本明細書で使用される全ての用語(技術用語及び科学用語を含む)は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
本発明の説明においては、いくつもの技術及び工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の1つ以上、または、場合によっては全てとともに使用することもできる。
従って、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
本明細書では、本発明に係るウェアラブルデバイス対応眼電位データ処理装置の実施形態について説明する。
以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
[継続的にウェアラブル眼電位継続データを取得]
本明細書において、継続的にウェアラブル眼電位継続データを取得とは、計測された眼電位から、演算によってウェアラブル眼電位継続データを取得する場合だけでなく、あらかじめ定められたマップを用いて、計測された眼電位を変換してウェアラブル眼電位継続データを取得する場合も含む。
[継続的にウェアラブル眼球移動量継続データを取得]
本明細書において、継続的にウェアラブル眼球移動量継続データを取得とは、既に取得されたウェアラブル眼電位継続データから、演算によってウェアラブル眼球移動量継続データを取得する場合だけでなく、あらかじめ定められたマップを用いて、既に取得されたウェアラブル眼電位継続データを変換してウェアラブル眼球移動量継続データを取得する場合も含む。
[眼球運動]
本明細書において、眼球運動とは、頭部に対する眼球の運動を意味する。すなわち、前記眼球運動は、頭部に対する眼球の移動を意味する。前記眼球運動は、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上のサッカード眼球運動(Saccade、Saccadic eye movement)を含む。
[頭部運動]
本明細書において、頭部運動とは、上下左右の絶対座標において頭部が移動または回転した際の頭部の運動を意味する。すなわち、前記頭部運動は、胴体に対して頭部が移動または回転した際の頭部の運動と、頭部が胴体と一緒に移動または回転転した際の頭部の運動と、頭部及び胴体がそれぞれ移動または回転した際の頭部の運動と、を含む。
[有効視野]
本明細書において、有効視野とは、被験者が、視野において視対象を捉える行動において、有効に活用されている視覚情報を収集可能な範囲である。
[継続的にウェアラブル頭部運動継続データを取得]
本明細書において、継続的にウェアラブル頭部運動継続データを取得とは、計測された頭部運動計測装置の情報から、演算によって、ウェアラブル頭部運動継続データを取得する場合だけでなく、あらかじめ定められたマップを用いて、計測された頭部運動計測装置の情報を変換してウェアラブル頭部運動継続データを取得する場合も含む。
[ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得]
本明細書において、ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得とは、既に取得されたウェアラブル眼電位継続データとウェアラブル頭部運動継続データとから、演算によってウェアラブル頭部眼球協調運動継続データを取得する場合だけでなく、あらかじめ定められたマップを用いて、既に取得されたウェアラブル眼電位継続データ及びウェアラブル頭部運動継続データを変換してウェアラブル頭部眼球協調運動継続データを取得する場合も含む。
[眼球運動及び頭部運動の協調運動]
本明細書において、眼球運動及び頭部運動の協調運動とは、ユーザが視対象を視認する際の視認行動において、眼球運動及び頭部運動の少なくとも一方を含む運動である。
[視線移動量]
本明細書において、視線移動量とは、眼球の移動量である眼球移動量と、頭部の移動量である頭部移動量との和によって求められる値である。
[ウェアラブルデバイス]
本明細書において、ウェアラブルデバイスとは、眼鏡、サングラス、ゴーグル及びヘッドマウントディスプレイなどのユーザが装着する装着具に設けられた装置を意味する。よって、実施形態では、ウェアラブルデバイスの一例として、眼鏡型ウェアラブルデバイスを挙げているが、この限りではなく、ウェアラブルデバイスは、ユーザが装着可能で且つ眼電位を計測する眼電位計測器が配置可能な装置であれば、どのような構成を有していてもよい。
これにより、ウェアラブルデバイスの装着中に眼電位を計測する電極の位置によって、前記眼電位の測定値が異なるというウェアラブルデバイスの課題に対処できるウェアラブルデバイス対応眼電位データ処理装置を提供することができる。
図1は、本発明の実施形態1に係る眼鏡型ウェアラブルデバイスの概略構成を示す模式図である。 図2は、本発明の実施形態1に係る眼鏡型ウェアラブルデバイスにおけるウェアラブルデバイス対応眼電位データ処理装置の概略構成を示す説明図である。 図3は、本発明の実施形態1におけるウェアラブルデバイス対応眼電位データ処理装置の概略構成を示すブロック図である。 図4は、図3に示すウェアラブルデバイス対応眼電位データ処理装置において、処理動作に基づく機能を機能ブロックとして示した機能ブロック図である。 図5は、実施形態1におけるウェアラブルデバイス対応眼電位データ処理装置がウェアラブル眼球移動継続データを得るまでの処理手順の一例を示すフローチャートである。 図6は、眼鏡型ウェアラブルデバイス装着時にウェアラブル眼球移動量継続データを補正する処理手順の一例を示すフローチャートである。 図7は、ウェアラブル眼球移動量継続データを補正する様子の一例を示す説明図である。 図8は、取得したウェアラブル眼球移動量継続データの中央値により座標系を形成した状態を示す説明図である。 図9は、垂直軸と水平軸との交点が原点となるように補正した状態を示す説明図である。 図10は、水平軸が水平、垂直軸が水平になるように、アフィン変換した状態を示す模式図である。 図11は、各象限でウェアラブル眼球移動量継続データを補正した状態を示す説明図である。 図12は、実施形態2において、ウェアラブル眼電位継続データの補正処理の手順を示すフローチャートである。 図13は、ウェアラブル眼電位継続データと時間との関係を示す説明図である。 図14は、ウェアラブル眼電位継続データの補正処理の手順を示すフローチャートである。 図15は、ウェアラブル眼電位継続データと時間との関係を示す説明図である。 図16は、実施形態3において、ウェアラブル眼球移動量継続データの補正処理の一例を示すフローチャートである。 図17は、ウェアラブル眼球移動量継続データを補正する様子の一例を示す説明図である。 図18は、ウェアラブル眼球移動量継続データを補正した例を示す説明図である。 図19は、視認行動の一例を模式的に示す図である。 図20は、本発明の実施形態4におけるウェアラブルデバイス対応眼電位データ処理装置の機能ブロック図である。 図21は、実施形態4の動作を説明するフローチャートである。 図22は、眼電位計測器の計測値と垂直方向の眼電位との関係を示すテーブルである。
以下、本発明の実施形態について説明する。
本発明の実施形態において、左方向、右方向、上方向、下方向、前方及び後方は、それぞれ、眼鏡型ウェアラブルデバイス1を装着したユーザから見た場合の方向である。以下、図中の矢印Lは、眼鏡型ウェアラブルデバイス1の左方向、図中の矢印Rは、眼鏡型ウェアラブルデバイス1の右方向、図中の矢印Uは、眼鏡型ウェアラブルデバイス1の上方向、図中の矢印Dは、眼鏡型ウェアラブルデバイス1の下方向、図中の矢印Fは、眼鏡型ウェアラブルデバイス1の前方向、図中の矢印RRは、眼鏡型ウェアラブルデバイス1の後方向を、それぞれ示す。
[実施形態1]
(眼鏡型ウェアラブルデバイスの全体構成)
図1に、本実施形態の眼鏡型ウェアラブルデバイス1の概略構成を示す。図1に示すように、眼鏡型ウェアラブルデバイス1は、眼鏡の基本構成である、フレーム10と、左レンズ6Lと、右レンズ6Rとを備える。また、眼鏡型ウェアラブルデバイス1は、ユーザが装着した状態で該ユーザの眼電位を計測する眼電位計測器30と、眼電位計測器30で計測された眼電位データを処理するウェアラブルデバイス対応眼電位データ処理装置20とを備える。よって、眼鏡型ウェアラブルデバイス1は、ユーザが装着した状態で、該ユーザの眼電位を計測し、得られた眼電位データを処理することができる。
フレーム10は、左リム11Lと、右リム11Rと、ブリッジ13と、左テンプル12Lと、右テンプル12Rと、左ノーズパッド16Lと、右ノーズパッド16Rとを有する。
左リム11Lは、左レンズ6Lを保持する。右リム11Rは、右レンズ6Rを保持する。ブリッジ13は、左リム11Lと右リム11Rとを接続する。左リム11Lの左方には、左ヨロイ14Lが設けられている。右リム11Rの右方には、右ヨロイ14Rが設けられている。
左テンプル12Lは、左リム11Lから後方に向かって延びている。左テンプル12Lは、ユーザが眼鏡型ウェアラブルデバイス1を装着した状態で、前記ユーザの左のこめかみ及び左耳に位置する。右テンプル12Rは、右リム11Rから後方に向かって延びている。右テンプル12Rは、ユーザが眼鏡型ウェアラブルデバイス1を装着した状態で、前記ユーザの右のこめかみ及び右耳に位置する。
左テンプル12Lは、左ヨロイ14Lに設けられた左丁番15Lによって、左ヨロイ14Lに対して回転可能に保持されている。同様に、右テンプル12Rは、右ヨロイ14Rに設けられた右丁番15Rによって、右ヨロイ14Rに対して回転可能に保持されている。
左ノーズパッド16Lは、ブリッジ13に取り付けられていて、前後方向において後方から見て、左リム11Lの右方に位置する。左ノーズパッド16Lは、ユーザが眼鏡型ウェアラブルデバイス1を装着した状態で、前記ユーザの鼻の左部分に接触する。右ノーズパッド16Rは、ブリッジ13に取り付けられていて、前後方向において後方から見て、右リム11Rの左方に位置する。右ノーズパッド16Rは、ユーザが眼鏡型ウェアラブルデバイス1を装着した状態で、ユーザの鼻の右部分に接触する。
眼電位計測器30は、左右方向において、眼鏡型ウェアラブルデバイス1の中央部分に設けられている。すなわち、眼電位計測器30は、前後方向において後方から見て、左リム11Lと右リム11Rとの間に位置する。
眼電位計測器30は、基準電極2と、左ノーズ電極3と、右ノーズ電極4とを有する。基準電極2は、ブリッジ13の後部に設けられている。左ノーズ電極3は、左ノーズパッド16Lに設けられている。右ノーズ電極4は、右ノーズパッド16Rに設けられている。
すなわち、眼鏡型ウェアラブルデバイス1において、左ノーズ電極3及び右ノーズ電極4は、基準電極2の下方に設けられている。よって、ユーザが眼鏡型ウェアラブルデバイス1を装着すると、前記ユーザの眉間部分に基準電極2が接触するとともに、前記ユーザの鼻の左部分に左ノーズ電極3が接触し且つ前記ユーザの鼻の右部分に右ノーズ電極4が接触する。
ウェアラブルデバイス対応眼電位データ処理装置20は、右テンプル12内に設けられている。ウェアラブルデバイス対応眼電位データ処理装置20は、眼電位計測器30から出力された眼電位のデータを処理する。ウェアラブルデバイス対応眼電位データ処理装置20の詳しい構成は後述する。
本実施形態の眼鏡型ウェアラブルデバイス1は、眼電位計測器30及びウェアラブルデバイス対応眼電位データ処理装置20に対して電力を供給する電源8をさらに備える。電源8は、右テンプル12R内に設けられている。すなわち、ウェアラブルデバイス対応眼電位データ処理装置20及び電源8は、右テンプル12R内に前後方向に並んで配置されている。電源8は、例えば、リチウムイオン電池などの二次電池である。なお、電源8は、眼電位計測器30及びウェアラブルデバイス対応眼電位データ処理装置20に対して電力を供給可能な構成であれば、どのような構成を有していてもよい。
眼電位計測器30は、基準電極2、左ノーズ電極3及び右ノーズ電極4に電源8によって電力が供給されることにより、眼鏡型ウェアラブルデバイス1を装着したユーザの眼電位を計測することができる。眼電位計測器30は、基準電極2と左ノーズ電極3とによってユーザの左眼の眼電位(以下、左眼電位という。)を計測し、基準電極2と右ノーズ電極4とによってユーザの右眼の眼電位(以下、右眼電位という。)を計測する。
(ウェアラブル対応眼電位データ処理装置の全体構成)
図2は、眼鏡型ウェアラブルデバイス1におけるウェアラブルデバイス対応眼電位データ処理装置20の概略構成を示す説明図である。図3は、ウェアラブルデバイス対応眼電位データ処理装置20の概略構成を示すブロック図である。
ウェアラブルデバイス対応眼電位データ処理装置20は、眼電位計測器30から継続的に出力された眼電位のデータを、ウェアラブル眼電位継続データとして継続的に取得する。ウェアラブルデバイス対応眼電位データ処理装置20は、眼鏡型ウェアラブルデバイス1の使用中に取得された前記ウェアラブル眼電位継続データに基づいて、眼鏡型ウェアラブルデバイス1の使用中の眼球の移動量に関連するウェアラブル眼球移動量継続データを取得する。
具体的には、ウェアラブルデバイス対応眼電位データ処理装置20は、ウェアラブル眼電位継続データ取得部23と、ウェアラブル眼球移動量継続データ取得部24とを備える。
ウェアラブル眼電位継続データ取得部23は、眼電位計測器30から継続的に出力される眼電位を、所定のサンプリング周波数によって、ウェアラブル眼電位継続データとして継続的に取得する。
ウェアラブル眼球移動量継続データ取得部24は、前記ウェアラブル眼電位継続データに基づいて、眼鏡型ウェアラブルデバイス1の使用中の眼球の移動量に関連するウェアラブル眼球移動量継続データを継続的に取得する。
詳しくは後述するが、ウェアラブルデバイス対応眼電位データ処理装置20は、以下のように動作する。
眼電位は、眼電位を継続的に計測する眼電位計測器30から継続的に出力される。眼電位計測器30から継続的に出力された眼電位は、ウェアラブルデバイス対応眼電位データ処理装置20に継続的に入力される。眼電位計測器30から継続的に入力された眼電位は、ウェアラブル眼電位継続データ取得部23において、所定のサンプリング周波数によって、ウェアラブル眼電位継続データとして継続的に取得される。取得されたウェアラブルデバイス眼電位継続データは、後述の記憶部21に保持される。
そして、記憶部21に保持されたウェアラブル眼電位継続データに基づいて、ウェアラブル眼球移動量継続データ取得部24が、眼鏡型ウェアラブルデバイス1の使用中における眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する。取得されたウェアラブル眼球移動量継続データは、記憶部21に保持される。
このように、ウェアラブルデバイス対応眼電位データ処理装置20によれば、ユーザが眼鏡型ウェアラブルデバイス1を使用している際に、眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを継続的に取得することができる。
次に、ウェアラブルデバイス対応眼電位データ処理装置20の構成の一例を、図3を用いて説明する。図3は、ウェアラブルデバイス対応眼電位データ処理装置20の概略構成を示すブロック図である。
図3に示すように、ウェアラブルデバイス対応眼電位データ処理装置20は、不揮発性メモリなどからなる記憶部21と、図示しない内部メモリ(RAM)及びプロセッサを備える演算部22と、通信部40とを有する。既述のように、眼電位計測器30及びウェアラブルデバイス対応眼電位データ処理装置20には、電源8から電力が供給される。
記憶部21は、各種データを格納するデータ記憶部21aと、処理アルゴリズムなどに基づくプログラムを格納するプログラム記憶部21bと、を有する。演算部22は、プログラム記憶部21bに格納されたプログラムに基づいて各種処理を行う。
演算部22は、プログラム記憶部21bに格納されたプログラムに基づき動作し、ウェアラブル眼電位継続データ取得部23として機能する。演算部22は、眼電位計測器30で継続的に計測された左眼電位及び右眼電位を、継続的に所定のサンプリング周波数で内部メモリに取り込む。演算部22は、取り込んだ左右の眼電位から垂直方向電位及び水平方向電位を算出し、算出した垂直方向電位及び水平方向電位をウェアラブル眼電位継続データとして継続的に記憶部21のデータ記憶部21aに格納する。
演算部22は、プログラム記憶部21bに格納されたプログラムに基づき動作し、ウェアラブル眼球移動量継続データ取得部24としても機能する。演算部22は、記憶部21のデータ記憶部21aに格納されたウェアラブル眼電位継続データを読み込んで、読み込んだウェアラブル眼電位継続データに基づいて、眼鏡型ウェアラブルデバイス1の使用中の眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを算出する。演算部22は、算出した継続的なウェアラブル眼球移動量継続データをデータ記憶部21aに格納する。
演算部22は、後述するように、眼電位計測器30の各種電極(基準電極2、左ノーズ電極3及び右ノーズ電極4)の位置の変化に応じて、算出したウェアラブル眼電位継続データ及び継続的なウェアラブル眼球移動量継続データの少なくとも一方を補正する、補正部60としても機能する。補正されたウェアラブル眼電位継続データまたは継続的なウェアラブル眼球移動量継続データは、データ記憶部21aに格納される。
通信部40は、演算部22を介して、記憶部21のデータ記憶部21aに格納された継続的なウェアラブル眼球移動量継続データを、外部の情報処理装置等に送信する。この情報処理装置として、例えば、スマートフォンなどの携帯端末、タッチパネルを搭載した電子機器などのタブレット端末、PC端末等を用いることができる。また、前記情報処理装置は、クラウドサーバであってもよい。この場合には、前記情報処理装置としてのクラウドサーバを介して、眼鏡型ウェアラブルデバイスがスマートフォン等の携帯端末と通信してもよい。
(ウェアラブルデバイス対応眼電位データ処理装置の詳細な構成)
図4は、図3に示すウェアラブルデバイス対応眼電位データ処理装置20において、処理動作に基づく機能を機能ブロックとして示した機能ブロック図である。図4に従い、ウェアラブルデバイス対応眼電位データ処理装置20について詳しく説明する。
ウェアラブルデバイス対応眼電位データ処理装置20は、ウェアラブル眼電位継続データ取得部23と、ウェアラブル眼球移動量継続データ取得部24と、記憶部21と、補正部60と、通信部40とを備える。眼電位計測器30及びウェアラブルデバイス対応眼電位データ処理装置20には、電源8から電力が供給される。
眼電位計測器30は、基準電極2と左ノーズ電極3とによってユーザの左眼電位VLを継続的に計測するとともに、基準電極2と右ノーズ電極4とによってユーザの右眼電位VRを継続的に計測する。眼電位計測器30は、継続的に計測したユーザの左眼電位VL及びユーザの右眼電位VRを、継続的に出力する。
ウェアラブル眼電位継続データ取得部23は、眼電位計測器30から継続的に出力された左眼電位VL及び右眼電位VRを、所定のサンプリング周波数によって継続的に取り込む。ウェアラブル眼電位継続データ取得部23は、取得した左眼電位VL及び右眼電位VRから垂直方向電位Vv及び水平方向電位Vhを継続的に算出し、継続的に算出された垂直方向電位Vv及び水平方向電位Vhを、ウェアラブル眼電位継続データとして記憶部21に格納する。
ウェアラブル眼球移動量継続データ取得部24は、記憶部21に格納されたウェアラブル眼電位継続データを読み取る。
ウェアラブル眼球移動量継続データ取得部24は、垂直方向電位Vv及び水平方向電位Vhを含むウェアラブル眼電位継続データに基づいて、眼鏡型ウェアラブルデバイス1の使用中の眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを算出し、算出されたウェアラブル眼球移動量継続データを記憶部21に格納する。
補正部60は、キャリブレーションとして、算出した継続的なウェアラブル眼電位継続データまたは継続的なウェアラブル眼球移動量継続データを必要に応じて補正する。補正部60は、継続的なウェアラブル眼電位継続データまたは継続的なウェアラブル眼球移動量継続データを記憶部21から読み出し、必要な補正処理を行い、補正後のデータを記憶部21に格納する。
そして、記憶部21に格納されたウェアラブル眼球移動量継続データが通信部40を介して外部の情報処理装置50へ送信される。
(ウェアラブルデバイス対応眼電位データ処理装置20の処理手順)
図5は、実施形態1におけるウェアラブルデバイス対応眼電位データ処理装置20のウェアラブル眼球移動量継続データを得るまでの処理手順の一例を示すフローチャートである。図5に従い、ウェアラブルデバイス対応眼電位データ処理装置20の処理動作について説明する。
ステップS1では、眼電位計測器30によって眼電位を計測する。具体的には、左ノーズ電極3及び基準電極2から左眼電位VLを計測する。右ノーズ電極4及び基準電極2から右眼電位VRを計測する。
ステップS2では、ウェアラブル眼電位継続データ取得部23は、ウェアラブル眼電位継続データを取得する。
具体的には、ウェアラブル眼電位継続データ取得部23は、ステップS1で計測された左眼電位VL及び右眼電位VRを継続して取り込み、記憶部21に格納する。ウェアラブル眼電位継続データ取得部23は、記憶部21に格納された左眼電位VL及び右眼電位VR用いて、次の数式(1)に基づいて垂直方向電位Vvを算出する。なお、眼球が正面視の状態から上方に移動(回転)した時にはVv<0で、眼球が正面視の状態から下方に移動(回転)した時にはVv>0となる。
Vv=VR+VL ・・・(1)
同様に、ウェアラブル眼電位継続データ取得部23は、次の数式(2)に基づいて水平方向電位Vhを算出して取得する。なお、眼球が正面視の状態から右方に移動(回転)した時にはVh<0で、眼球が正面視の状態から左方に回転した時にはVh>0となる。
Vh=VR−VL ・・・(2)
このように、ウェアラブル眼電位継続データ取得部23は、継続して取得した左眼電位VL及び右眼電位VRに基づき、垂直方向電位Vv及び水平方向電位Vhを継続的に算出して取得する。ウェアラブル眼電位継続データ取得部23によって取得された垂直方向電位Vv及び水平方向電位Vhは、記憶部21に格納される。従って、記憶部21には、継続的に取得した左眼電位VL及び右眼電位VRと、垂直方向電位Vvと、水平方向電位Vhとが格納される。
ステップS3では、ウェアラブル眼球移動量継続データ取得部24は、ウェアラブル眼球移動量継続データを取得する。
具体的には、ウェアラブル眼球移動量継続データ取得部24は、ステップS2で算出した垂直方向電位Vvと水平方向電位Vhを用いて、下記数式(3)に基づいて、眼球移動量Vnを算出する。この眼球移動量Vnは、眼電位の大きさに関連するデータである。
Vn=(Vv2+Vh21/2・・・(3)
所定の閾値を眼球移動量Vnが越えた時点を眼球運動の開始とする。そして、眼球運動の開始後、眼球移動量Vnが所定の閾値を下回る時点までを眼球運動区間とする。なお、前記所定の閾値は、例えば、ユーザが正面を注視している時に計測された眼電位から上記数式(3)で求められる最大値である。ここで、眼球運動とは、頭部に対する眼球の運動を意味する。すなわち、前記眼球運動は、頭部に対する眼球の移動を意味する。前記眼球運動は、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上のサッカード眼球運動(Saccade、Saccadic eye movement)を含む。
各眼球運動区間での眼球移動量Vnの最大値を、その眼球運動区間での眼球移動量として取得する。これにより、眼球移動量が継続的に取得される。ウェアラブル眼球移動量継続データ取得部24によって眼球移動量を継続的に取得することにより得られるウェアラブル眼球移動量継続データを、記憶部21に格納する。その後、図5に示すフローを終了する(エンド)。
上述のように得られたウェアラブル眼電位継続データ及びウェアラブル眼球移動継続データは、前述したように、補正部60によって、キャリブレーションが行われる。
以下で、補正部60によるウェアラブル眼球移動継続データのキャリブレーションについて説明する。
(眼鏡型ウェアラブルデバイスの装着時のキャリブレーション)
ユーザ毎に顔形状が異なるため、眼鏡型ウェアラブルデバイス1の左ノーズパッド16Lに設けられた左ノーズ電極3と、右ノーズパッド16Rに設けられた右ノーズ電極4と、眼球との位置関係は、ユーザ毎に異なる場合がある。そのため、ユーザが眼鏡型ウェアラブルデバイス1を装着した際に、実際の眼球運動と眼鏡型ウェアラブルデバイス1で計測された眼球運動との間にずれが生じることがある。
眼鏡型ウェアラブルデバイス1の装着時の計測値と真値との誤差を補正するために、以下の手順に従って、ウェアラブル眼球移動継続データのキャリブレーションを行う。
図6は、眼鏡型ウェアラブルデバイス1の装着時のウェアラブル眼球移動量継続データを補正する処理手順の一例を示すフローチャートである。また、図7〜図11はウェアラブル眼球移動量継続データを補正する様子の一例を模式的に表した説明図である。
眼鏡型ウェアラブルデバイス1を装着した際に、ユーザによる顔形状及び装着態様などによる前記誤差を無くすために、キャリブレーションを行う。具体的には、補正部60で継続的なウェアラブル眼球移動量継続データを補正する。
前記キャリブレーションを行うためには、ユーザが眼鏡型ウェアラブルデバイス1を装着した状態で上、下、左、右にそれぞれ視線を移動した時の眼電位を、眼電位計測器30で継続的に計測することにより、ウェアラブル眼電位継続データを取得する必要がある。そのため、ユーザが、眼鏡型ウェアラブルデバイス1を装着した状態で、0度、90度、180度、270度の方向に視線を順に移動させた場合の各角度における眼電位を、眼電位計測器30で継続的に計測する。ここで、上記角度は、ユーザから見て時計の3時方向を0度とした場合に、該0度に対する反時計回りの角度である。
すなわち、ユーザは、右横から、上、左横及び下の順に視線を移動させる。この視線の移動に応じて、眼電位計測器30で左眼電位VL及び右眼電位VRを継続的に計測する。この計測データは、ウェアラブルデバイス対応眼電位データ処理装置20に入力される。ウェアラブルデバイス対応眼電位データ処理装置20は、前記計測データを用いてキャリブレーション動作を行う。
まず、図6に示すフローチャートのステップSA1において、ウェアラブル眼電位継続データ取得部23が各視線方向(0度方向、90度方向、180度方向、270度方向)のウェアラブル眼電位継続データを取得する。
続いて、ステップSA2において、ウェアラブル眼球移動量継続データ取得部24が、各視線方向(0度方向、90度方向、180度方向、270度方向)のウェアラブル眼電位継続データに基づいて、各視線方向(0度方向、90度方向、180度方向、270度方向)のウェアラブル眼球移動量継続データを取得する。ウェアラブル眼球移動量継続データ取得部24によって取得されたそれぞれのウェアラブル眼球移動量継続データは、記憶部21に格納される。
図7は、ウェアラブル眼球移動量継続データ取得部24によって取得したウェアラブル眼球移動量継続データの一例を、各視線方向における移動量のグラフで示した図である。図7に示すように、ウェアラブル眼球移動量継続データは、0度方向、90度方向、180度方向、270度方向にそれぞれ集中してプロットされる。なお、図7〜図11において、原点及び各視線方向は、ウェアラブルデバイス対応眼電位データ処理装置20で設定されている座標系(以下、基準座標系)の原点及び各視線方向である。また、図7〜図11において、黒四角は、上下(縦)方向に視線が移動した時のウェアラブル眼球移動量継続データを示し、黒菱形は、左右(横)方向に視線が移動した時のウェアラブル眼球移動量継続データを示している。
そして、ステップSA3において、補正部60は、各視線方向(0度方向、90度方向、180度方向、270度方向)で取得したウェアラブル眼球移動量継続データから、各視線方向の中央値を算出する。
続いて、ステップSA4では、補正部60は、ステップSA3で算出した中央値を用いて、ウェアラブル眼球移動量継続データにおける座標系を作成する。図8に、補正部60によって作成された、ウェアラブル眼球移動量継続データにおける座標系の一例を示す。
具体的には、補正部60は、上下方向に視線が移動した場合の2点(90度方向における中央値及び270度方向における中央値)を結ぶ垂直軸、及び、左右方向に緯線が移動した場合の2点(0度方向における中央値及び180度方向における中央値)を結ぶ水平軸を作成することにより、ウェアラブル眼球移動量継続データにおける座標系を作成する。
続くステップSA5において、図9に示すように、補正部60は、ステップSA4で作成した座標系における垂直軸と水平軸との交点が、前記基準座標系の原点となるように、ウェアラブル眼球移動量継続データにおける座標系を補正する。具体的には、補正部60は、ウェアラブル眼球移動量継続データに対して、ウェアラブル眼球移動量継続データにおける座標系における前記交点と前記基準座標系との差を補正する。この補正は、前記交点と前記基準座標系の原点が一致するように、水平方向の差及び垂直方向の差を補正する。
ステップSA6において、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の垂直軸が前記基準座標系の垂直軸と一致し且つウェアラブル眼球移動量継続データにおける座標系の水平軸が前記基準座標系の水平軸と一致するように、ウェアラブル眼球移動量継続データにおける座標系に対し、アフィン変換を行う。このアフィン変換は、ウェアラブル眼球移動量継続データにおける座標系を回転させることによって、前記座標系の垂直軸を前記基準座標系の垂直軸と一致させるとともに、前記座標系の水平軸を前記基準座標系の水平軸と一致させる。
しかしながら、上述のアフィン変換を行っただけでは、図10に示すように、アフィン変換後のウェアラブル眼球移動量継続データにおける座標系の各象限の大きさが異なる。すなわち、前記座標系の各象限に歪みが生じる。
そこで、ステップSA7において、補正部60は、アフィン変換後のウェアラブル眼球移動量継続データにおける座標系の各象限の歪みを補正する。すなわち、補正部60は、アフィン変換後のウェアラブル眼球移動量継続データにおける座標系の各象限において、各視線方向のウェアラブル眼球移動量継続データの中央値を結ぶ弧が同一半径の円弧になるように、視線方向0度方向でのウェアラブル眼球移動量継続データの中央値を基準にして、各視線方向のウェアラブル眼球移動量継続データの中央値を補正する。
詳しくは、補正部60は、視線方向0度方向でのウェアラブル眼球移動量継続データの中央値と、他の視線方向(90度方向、180度方向、270度方向)のウェアラブル眼球移動量継続データ中央値との比率をそれぞれ求める。補正部60は、このようにして得られた、視線方向0度方向のウェアラブル眼球移動量継続データの中央値に対する各視線方向のウェアラブル眼球移動量継続データの中央値の比率を、各視線方向のウェアラブル眼球移動量継続データの補正のパラメータとして用いる。
具体的には、例えば図10に示すように各視線方向のウェアラブル眼球移動量継続データの中央値が異なる場合、補正部60は、上述のキャリブレーション後に、座標系の各象限において、ウェアラブル眼球移動量継続データの視線に対して以下のような補正を行う。以下の補正を行うことで、図11に示すように、各象限の歪みが補正される。
<第1象限>
水平方向のデータは補正せずに、垂直方向のデータに対して、視線方向0度方向の中央値と視線方向90度方向度の中央値との比率を乗じる。
<第2象限>
水平方向のデータに対して、視線方向0度方向の中央値と視線方向180度方向の中央値との比率を乗じる。垂直方向のデータに対して、視線方向0度方向の中央値と視線方向90度方向の中央値との比率を乗じる。
<第3象限>
水平方向のデータに対して、視線方向0度方向の中央値と視線方向180度方向の中央値との比率を乗じる。垂直方向のデータに対して、視線方向0度方向の中央値と視線方向270度の中央値との比率を乗じる。
<第4象限>
水平方向のデータは補正せずに、垂直方向のデータに対して、視線方向0度方向の中央値と視線方向270度方向の中央値との比率を乗じる。
以上のように、補正部60は、前記得られた変換パラメータを、ウェアラブル眼球移動量継続データの補正のためのパラメータとして用いる。
これにより、補正部60は、眼鏡型ウェアラブルデバイス1の装着時にウェアラブル眼球移動量継続データに歪みが生じた場合でも、ウェアラブル眼球移動量継続データが実際の眼球移動量と一致するように、補正のためのパラメータを用いて、前記ウェアラブル眼球移動量継続データを補正する。なお、補正されたウェアラブル眼球移動量継続データは、記憶部21に格納される。
以上の構成により、ウェアラブル眼球移動量継続データ取得部24が取得したウェアラブル眼球移動量継続データのキャリブレーションを行うことができる。これにより、眼鏡型ウェアラブルデバイス1を用いてユーザの眼電位を計測した場合に、精度の良いウェアラブル眼球移動量継続データが得られる。
なお、本実施形態では、補正部60によるウェアラブル眼球移動量継続データのキャリブレーションについて説明したが、補正部60は、ウェアラブル眼電位継続データについても同様にキャリブレーションを行ってもよい。
実施形態1のウェアラブルデバイス対応眼電位データ処理装置20は、ユーザが装着するウェアラブルデバイスに設けられ、ユーザの眼球移動量継続データを取得することができる。これにより、ユーザがウェアラブルデバイスを装着して、運動、機械の操作を行う際に、眼球移動量継続データを取得することができる。取得した眼球移動量継続データは、運動または機械の操作を行う際の内的状態に関し、ユーザ同士の相対評価等にも利用することができる。さらに、前記取得した視線移動量は、仮想空間での動作または作業におけるユーザの内的状態の評価及び管理にも利用することができる。
ここで、前記内的状態とは、注意(attention)レベル(状態)、覚醒レベル(状態)、集中レベル(集中度)、余裕度または情報処理パフォーマンス等を意味する。さらに、前記内的状態は、精神的な状態に限らず、肉体的な状態(疲労度)も意味する。
例えば、「注意レベルが比較的に高い」状態とは、特定の事象に対して過大な注意を向けている状態ではなく、様々な事象に対して注意を向けることができる状態である。また、「注意レベルが比較的に低い」状態とは、特定の事象(複数の事象も含む。)に対して、過大な注意が向けられ、その他の事象に対しての注意がおろそかになる状態である。
なお、本発明の実施形態において、ウェアラブルデバイス対応眼電位データ処理装置20の演算部22は、図5に示すステップS1からS3及び図6に示すステップSA1からSA7を実行する。演算部22によってステップS1からS3の処理を実行するとともに、ステップSA1からSA7の処理を実行することにより、本実施形態におけるウェアラブルデバイス対応眼電位データ処理装置20とウェアラブルデバイス対応眼電位データ処理方法とを実現することができる。
[実施形態2]
図12及び図14に、本発明の実施形態2に係る眼鏡型ウェアラブルデバイスのウェアラブル眼電位継続データを補正する処理手順の一例を示す。図13及び図15は、ウェアラブル眼電位継続データを補正する様子の一例を模式的に表した説明図である。なお、本実施形態の眼鏡型ウェアラブルデバイスの構成は、実施形態1における眼鏡型ウェアラブルデバイス1の構成と同様であるため、構成の詳しい説明は省略する。以下で、実施形態1と同様の構成には同一の符号を付して、説明を省略する。
この実施形態では、補正部60は、眼電位計測器30によって計測された眼電位を用いて、ウェアラブル眼電位継続データを補正する。詳しくは、補正部60は、実施形態1と同様、眼鏡型ウェアラブルデバイス1の装着時に、ウェアラブル眼電位継続データのキャリブレーションを行う。
また、補正部60は、眼電位計測器30の各種電極(基準電極2、左ノーズ電極3及び右ノーズ電極4)の位置が変化した場合にも、ウェアラブル眼電位継続データを補正する。すなわち、補正部60は、眼電位計測器30の各種電極(基準電極2、左ノーズ電極3及び右ノーズ電極4)の位置が変化した場合に、継続的なウェアラブル眼電位継続データまたは継続的なウェアラブル眼球移動量継続データを必要に応じて補正する。補正部60は、継続的なウェアラブル眼電位継続データまたは継続的なウェアラブル眼球移動量継続データを記憶部21から読み出し、必要な補正処理を行い、補正後のデータを記憶部21に格納する。
(眼鏡型ウェアラブルデバイスの装着時のキャリブレーション)
図12は、眼鏡型ウェアラブルデバイス1の装着時にウェアアラブル眼電位継続データをキャリブレーションする際の処理手順の一例を示すフローチャートである。また、図13は、ウェアラブル眼電位継続データを補正する様子の一例を、模式的に表した説明図である。
補正部60は、眼鏡型ウェアラブルデバイス1の装着時に、眼電位計測器30のデフォルトの位置で取得されるウェアラブル眼電位継続データと、実際に眼電位計測器30から取得されたウェアラブル眼電位継続データとが相違する場合に、ウェアラブル眼電位継続データを補正する。
補正部60は、眼電位計測器30によって眼電位が継続的に所定時間、計測された後に、補正処理を行う。このため、ステップSB1において、ユーザが眼鏡型ウェアラブルデバイス1を装着した後に、眼電位計測器30は、左眼電位VL及び右眼電位VRを継続的に計測し、ウェアラブル眼電位継続データ取得部23は、前記計測された左眼電位VL及び右眼電位VRを取得して、記憶部21に格納する。
ステップSB2において、補正部60は、記憶部21に格納されたウェアラブル眼電位継続データの中から、眼鏡型ウェアラブルデバイス1の装着後(時間は0)から所定時間t0までの所定期間のウェアラブル眼電位継続データを抽出する。図13は、眼鏡型ウェアラブルデバイス1の装着後から所定期間のウェアラブル眼電位継続データの一例を示している。なお、図13に示すウェアラブル眼電位継続データは、左眼電位VLの一例を表している。特に図示しないが、右眼電位VRも、左眼電位VLと同様にして得られる。
ステップSB3において、補正部60は、ウェアラブルデバイスを装着してから所定時間t0までの所定期間で、取得されたウェアラブル眼電位継続データの時間平均値μを求める。
ステップSB4において、補正部60は、時間平均値μと基準値との差が所定値h0よりも大きいか否か判定する。この基準値は、眼鏡型ウェアラブルデバイス1に予め設定されているデフォルト値である。例えば、前記基準値をゼロとした場合、時間平均値μと基準値との差はμである。この場合には、ステップSB4で、補正部60は、時間平均値μと所定値h0とを比較する。所定値h0は、ウェアラブル眼電位継続データに測定誤差等が生じた場合でも、ユーザの眼電位の計測結果として許容可能な範囲に設定される。
ステップSB4において、時間平均値μが所定値h0よりも大きいと判定された場合(YESの場合)には、ステップSB5に進む。このステップSB5において、補正部60は、ウェアラブル眼電位継続データの時間平均値μが基準値であるゼロになるように、ウェアラブル眼電位継続データをオフセットする。その後、図12に示す補正動作を終了する(エンド)。
一方、ステップSB4において、時間平均値μが所定値h0以下であると判定された場合(NOの場合)には、補正部60は、ウェアラブル眼電位継続データを補正せずに、補正動作を終了する(エンド)。
以上のように、眼鏡型ウェアラブルデバイス1を装着してから所定時間までの所定期間におけるウェアラブル眼電位継続データの時間平均値を用いることにより、眼鏡型ウェアラブルデバイス1のデフォルトの基準値に対して、ウェアラブル眼電位継続データが変化しているかどうかを判別できる。すなわち、ウェアラブル眼電位継続データの時間平均値が前記基準値から変化している場合には、前記時間平均値を用いて、前記所定時間以降に得られるウェアラブル眼電位継続データをオフセットすることで、ウェアラブル眼電位継続データを補正することができる。従って、ウェアラブル眼球移動量をより正確に取得することができる。
なお、ウェアラブル眼電位継続データのキャリブレーションは、実施形態1の方法を用いて行ってもよい。
(眼電位計測器の各種電極の位置が変化した場合の補正)
眼鏡型ウェアラブルデバイス1を装着した状態で振動等が加わると、眼鏡型ウェアラブルデバイス1の装着位置が変化する場合がある。このように装着位置が変化した場合、ウェアラブル眼電位継続データ取得部23が取得するウェアラブル眼電位継続データの値が変化する。そこで、眼鏡型ウェアラブルデバイス1の装着位置が変化した場合も、補正部60は補正処理を行う。眼鏡型ウェアラブルデバイス1の装着中における補正部60の補正処理について説明する。
図14は、眼鏡型ウェアラブルデバイス1の装着時に眼電位計測器30の各種電極(基準電極2、左ノーズ電極3及び右ノーズ電極4)の位置が変化した場合において、ウェアラブル眼電位継続データを補正する処理手順の一例を示すフローチャートである。また、図15は、補正部60がウェアラブル眼電位継続データを補正する様子の一例を模式的に表した説明図である。
補正部60は、ユーザによる眼鏡型ウェアラブルデバイス1の装着中に、眼鏡型ウェアラブルデバイス1の装着位置の変化によってウェアラブル眼電位継続データが変化した場合に、該ウェアラブル眼電位継続データを補正する。
ステップSC1において、ユーザによる眼鏡型ウェアラブルデバイス1の装着中に、眼電位計測器30が左眼電位VL及び右眼電位VRを継続的に計測する。ウェアラブル眼電位継続データ取得部23は、眼電位計測器30が計測した左眼電位VL及び右眼電位VRをウェアラブル眼電位継続データとして取得し、記憶部21に格納する。
ステップSC2において、補正部60は、記憶部21に格納されたウェアラブル眼電位継続データから所定期間毎のウェアラブル眼電位継続データを読み出し、各所定期間における時間平均値μを算出する。図15に、ユーザが眼鏡型ウェアラブルデバイス1を装着している間のウェアラブル眼電位継続データの変化の一例を示す。なお、図15に示すウェアラブル眼電位継続データの変化の一例は、左眼電位VLの変化の一例である。特に図示しないが、右眼電位VRも眼電位計測器30によって同様に計測することにより、図15と同様のデータが得られる。
ステップSC3において、補正部60は、時間平均値μと基準値との差が所定値h0よりも大きいか否かを判定する。この基準値は、眼鏡型ウェアラブルデバイス1に予め設定されているデフォルト値である。所定値h0は、ウェアラブル眼電位継続データに測定誤差等が生じた場合でも、ユーザの眼電位の計測結果として許容可能な範囲に設定される。例えば、図15に示す例では、時間0から時間t0までのウェアラブル眼電位継続データの時間平均値μ0は、基準値(図15の例では0)にほぼ等しい。この場合は、補正部60は、眼鏡型ウェアラブルデバイス1の装着位置が変化していないと判断し、補正処理は行わない。
図15に示す例では、時間t0から時間t1までのウェアラブル眼電位継続データの時間平均値μ1と前記基準値との差は、所定値h0よりも大きい。
この場合、時間平均値μ1と前記基準値との差(基準値が0であれば、μ1)は、所定値h0よりも大きい。ステップSC3において、時間平均値μ1と基準値との差が所定値h0よりも大きいと判定された場合(YESの場合)には、ステップSC4に進む。このステップSC4では、補正部60は、ウェアラブル眼電位継続データの時間平均値μ1が基準値であるゼロになるように、ウェアラブル眼電位継続データをオフセットする。その後、補正部60は、補正動作を終了する。
以上のように、眼鏡型ウェアラブルデバイス1を装着している間のウェアラブル眼電位継続データの平均値を継続して取得することで、眼鏡型ウェアラブルデバイス1の装着位置が変化しているかどうかを検出することができる。そして、補正部60は、前記平均値と前記基準値との差が所定値h0よりも大きくなった場合に、ウェアラブル眼電位継続データをオフセットすることで、眼鏡型ウェアラブルデバイス1の装着中のウェアラブル眼電位継続データを補正することができる。従って、ウェアラブル眼球移動量継続データをより正確に取得することができる。
なお、本実施形態では、補正部60が、眼鏡型ウェアラブルデバイス1の装着位置の変化に応じて、ウェアラブル眼電位継続データを補正する場合について説明したが、補正部60は、眼鏡型ウェアラブルデバイス1の装着位置の変化に応じて、ウェアラブル眼球移動量継続データについても同様に補正を行ってもよい。
[実施形態3]
図16に、本発明の実施形態3に係る眼鏡型ウェアラブルデバイスのウェアラブル眼球移動量継続データを補正する処理手順の一例を示す。図17及び図18は、ウェアラブル眼球移動量継続データを補正する様子の一例を模式的に表した説明図である。なお、この実施形態の眼鏡型ウェアラブルデバイスの構成は、実施形態1における眼鏡型ウェアラブルデバイス1の構成と同様であるため、構成の詳しい説明は省略する。以下で、実施形態1と同様の構成には同一の符号を付して、説明を省略する。
本実施形態では、補正部60は、ユーザによる眼鏡型ウェアラブルデバイス1の装着中に、眼鏡型ウェアラブルデバイス1の装着位置の変化によってウェアラブル眼球移動量継続データが変化した場合に、ウェアラブル眼球移動量継続データを補正する。
眼電位計測器30は、ユーザによる眼鏡型ウェアラブルデバイス1の装着中に、左眼電位VL及び右眼電位VRを継続的に計測する。ウェアラブル眼電位継続データ取得部23は、前記計測データをウェアラブル眼電位継続データとして取得し、該ウェアラブル眼電位継続データを記憶部21に格納する。ウェアラブル眼球移動量継続データ取得部24は、前記ウェアラブル眼電位継続データに基づいて、ウェアラブル眼球移動量継続データを取得し、取得したウェアラブル眼球移動量継続データを記憶部21に格納する。
ここで、前記ウェアラブル眼球移動量継続データは、ウェアラブル眼球移動量継続データ取得部24によって、左右方向及び上下方向の眼球移動量のデータとして算出されている。よって、前記ウェアラブル眼球移動量継続データは、左右方向及び上下方向の眼球移動量のデータによって、座標系のどの象限に位置するデータかという情報が関連づけられて、記憶部21に格納されている。
補正部60は、眼鏡型ウェアラブルデバイス1の装着中のウェアラブル眼球移動量継続データの補正を行う場合には、図16に示すフローチャートのように補正処理を行う。
まず、ステップSD1において、補正部60は、記憶部21に格納されたウェアラブル眼球移動量継続データを読み出して、眼鏡型ウェアラブルデバイス1の装着中に取得された前記ウェアラブル眼球移動量継続データの分布を求める。補正部60は、図17に示すように、前記ウェアラブル眼球移動量継続データの分布だけでなく、この分布から、前記ウェアラブル眼球移動量継続データにおける座標系の水平軸及び垂直軸も算出することができる。また、補正部60は、前記算出した水平軸と垂直軸との交点POも算出する。
続いて、ステップSD2において、算出したウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点POと、基準値との差を求める。例えば、前記基準値は、ウェアラブルデバイス対応眼電位データ処理装置20で設定されている基準座標系の原点とする。
そして、ステップSD3において、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点P0と、前記基準値との差が、所定値T0よりも大きいかを判定する。
ステップSD3において、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点POが、所定値TO以下であると判定した場合(NOの場合)には、変化が少ないため、ウェアラブル眼球移動量継続データの補正は行わずに動作を終了する(エンド)。
一方、ステップSD3において、補正部60が、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点POが所定の値TOよりも大きいと判定した場合(YESの場合)には、ステップSD4に進む。
ステップSD4において、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点P0を基準値と一致させる補正と、前記座標系の水平軸を基準座標系の水平軸と一致させる補正と、前記座標系の垂直軸を基準座標系の垂直軸と一致させる補正とを行う。
具体的には、補正部60は、ウェアラブル眼球移動量継続データをアフィン変換する。これにより、図18に示すように、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点P0は、前記アフィン変換によって、P0’に変換されて基準値に一致し、前記座標系の水平軸は基準座標系の水平軸と一致し、前記座標系の垂直軸は基準座標系の垂直軸と一致する。
以上のように、ユーザが眼鏡型ウェアラブルデバイス1を装着している間に、ウェアラブル眼球移動量継続データ取得部24が、ウェアラブル眼球移動量継続データを継続して取得することで、ウェアラブル眼球移動量継続データの分布が得られる。
これにより、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点P0と基準値との差が大きくなったかどうかを判定することができる。そして、補正部60は、ウェアラブル眼球移動量継続データにおける座標系の水平軸と垂直軸との交点P0と基準値との差が所定値T0よりも大きくなった場合に、前記ウェアラブル眼球移動量データをアフィン変換することで、ユーザが眼鏡型ウェアラブルデバイス1を装着している際に取得されるウェアラブル眼球移動量継続データを補正することができる。
従って、眼鏡型ウェアラブルデバイス1の装着位置の変化によってウェアラブル眼球移動量継続データが変化した場合でも、ウェアラブル眼球移動量継続データを補正することにより、精度の良いウェアラブル眼球移動量継続データが得られる。
なお、本実施形態では、補正部60によるウェアラブル眼球移動量継続データの補正について説明したが、補正部60は、ウェアラブル眼電位継続データについても同様に補正してもよい。
上記実施形態1と同様に、実施形態2または3のウェアラブルデバイス対応眼電位データ処理装置は、ユーザが装着するウェアラブルデバイスに設けられ、ユーザの眼球移動量継続データを取得することができる。これにより、ユーザがウェアラブルデバイスを装着して、運動、機械の操作を行う際に、眼球移動量継続データを取得することができる。取得した眼球移動量継続データは、運動または機械の操作を行う際の内的状態に関し、ユーザ同士の相対評価等にも利用することができる。さらに、前記取得した視線移動量は、仮想空間での動作または作業におけるユーザの内的状態の評価及び管理にも利用することができる。
[実施形態4]
人は、有効視野内から得られる情報を手がかりに次に注視すべき視対象を検出し、検出した視対象に対して眼球運動及び頭部運動による視線移動を行う。有効視野内に視対象が位置している場合には、頭部運動に対して眼球運動が先行する。一方、視対象が有効視野外に位置している場合には、眼球運動に対して頭部運動が先行する。このように、有効視野内に視対象が位置しているか否かによって、人が視対象を視認する行動(以下、視認行動という)が異なる。なお、視認行動は、眼球の運動(眼球運動)及び頭部の運動(頭部運動)の少なくとも一方を含む。眼球運動とは、頭部に対する眼球の運動を意味する。すなわち、前記眼球運動は、頭部に対する眼球の移動を意味する。前記眼球運動は、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上のサッカード眼球運動(Saccade、Saccadic eye movement)を含む。頭部運動は、上下左右の絶対座標において頭部が移動または回転した際の頭部の運動を意味する。すなわち、前記頭部運動は、胴体に対して頭部が移動または回転した際の頭部の運動と、頭部が胴体と一緒に移動または回転した際の頭部の運動と、頭部及び胴体がそれぞれ移動または回転した際の頭部の運動と、を含む。
ところで、人の有効視野の広さは、その人の内的状態に応じて変化する。ここで、内的状態とは、注意レベル(状態)、覚醒レベル(状態)、集中レベル(集中度)、余裕度または情報処理パフォーマンス等を意味する。さらに、前記内的状態は、精神的な状態に限らず、肉体的な状態(疲労度)も意味する。
具体的には、人の有効視野は、その人の内的状態が低下するほど、狭くなる傾向にある。よって、人の有効視野を検出することにより、その人の内的状態を把握できる。
図19は、視認行動の一例を模式的に示す図である。人は、左右方向において、左右の眼球の間の中心線上で視対象Pを視認するように視認行動を行う。そのため、図19(a)のように、左右方向において、視対象Pが左の眼球及び右の眼球から等しい距離に位置する中心線Q(以下、単に、左右の眼球の間の中心線という)上から外れている場合には、図19(b)または図19(c)に示す視認行動を行うことによって、図19(d)に示すように、左右方向において、視対象Pを左右の眼球の間の中心線Q上で視認する。
なお、図19の例では、時間の経過に伴って、人の眼球及び頭部の少なくとも一方が(a)、(b)、(d)の順、または、(a)、(c)、(d)の順に移動する。また、図20では、断面ではないが、説明のために、視対象Pを斜線で示す。
図19(a)に示すように、左右方向において、視対象Pが左右の眼球の間の中心線Q上から外れている場合、人は、視対象Pを左右の眼球の間の中心線Q上で視認するように、眼球及び頭部を移動させる。
図19(b)に、頭部運動が先に生じる状態を模式的に示す。この場合には、左右方向において、視対象Pが左右の眼球の間の中心線Q上に位置するように、頭部の移動を開始させる。その後、左右の眼球の移動を開始させて、視対象Pを視認する(図19(d))。この図19(b)に示すように、視対象Pを左右の眼球で視認する際には、頭部運動を先に行う場合がある。このように、眼球運動の開始よりも頭部運動の開始が時間的に先である視認行動を、「頭部先行型視認行動」、または、単に「頭部先行型」と言う。
図19(c)に、眼球運動が先に生じる状態を模式的に示す。この場合には、左右方向において、視対象Pが左右の眼球の間の中心線Q上に位置するように、眼球の移動を開始させる。その後、頭部の移動を開始させる(図19(d))。この図19(c)に示すように、視対象Pを左右の眼球で視認する際には、眼球運動を先に行う場合がある。このように、頭部運動の開始よりも眼球運動の開始が時間的に先である視認行動を、「眼球先行型視認行動」、または、単に「眼球先行型」と言う。
以上のように、左右方向において、視対象Pが左右の眼球の間の中心線上から外れている場合に、視対象Pを視認する際には、視認行動として、頭部先行型視認行動と眼球先行型視認行動とがある。
なお、人は、視対象が有効視野内に位置しているときに眼球先行型視認行動を行いやすく、視対象が有効視野内に位置していないときに頭部先行型視認行動を行いやすい。そのため、有効視野が狭いほど、該有効視野内に視対象が位置する可能性が低くなるため、頭部先行型視認行動が多くなる。
このように、視対象を左右の眼球の間の中心線上で視認するように視認行動を行う際に、前記視認行動が頭部先行型視認行動であるか眼球先行型視認行動であるかは、人の有効視野によって影響を受ける。そして、既述のように、人の有効視野は、人の内的状態に影響を受ける。そのため、視認行動における頭部先行型視認行動及び眼球先行型視認行動を分析することにより、人の内的状態と関係する有効視野を相対的に評価できる。
図20に、実施形態4に係る眼鏡型ウェアラブルデバイス100の概略構成を示す。この実施形態の眼鏡型ウェアラブルデバイス100は、眼球運動(眼球移動)及び頭部運動による視線移動を検出することにより、視認行動を検出可能にするものである。眼鏡型ウェアラブルデバイス100は、実施形態1の眼鏡型ウェアラブルデバイス1の構成に加えて、頭部運動を検出する頭部運動計測装置7を有する。また、眼鏡型ウェアラブルデバイス100は、実施形態1の眼鏡型ウェアラブルデバイス1におけるウェアラブルデバイス対応眼電位データ処理装置20の代わりに、ウェアラブルデバイス対応眼電位データ処理装置200を有する。
本実施形態の眼鏡型ウェアラブルデバイス100の構成は、上述の構成以外、実施形態1における眼鏡型ウェアラブルデバイス1の構成と同様であるため、構成の詳しい説明は省略する。以下で、実施形態1と同様の構成には同一の符号を付して、説明を省略する。
頭部運動計測装置7は、例えば、左テンプル12Lに組み込まれている。頭部運動計測装置7は、例えば慣性センサである。具体的には、頭部運動計測装置7は、6軸のジャイロセンサであってもよいし、加速度センサのみまたは角速度センサのみで構成されてもよい。また、頭部運動計測装置7は、イメージセンサによる撮像データから頭部の運動を推定するように構成されていてもよい。
頭部運動計測装置7は、ユーザの頭部の運動による頭部運動データを出力する。この頭部運動データは、頭部の角速度及び角度に関する時系列データ(各時刻における頭部の角速度及び角度に関する情報)である。
出力された頭部運動データは、ウェアラブルデバイス対応眼電位データ処理装置200に与えられる。ウェアラブルデバイス対応眼電位データ処理装置200は、ウェアラブル眼電位継続データ取得部210と、ウェアラブル頭部運動継続データ取得部211と、継続データ演算部220とを有する。
眼電位計測器30は、眼電位を継続的に出力する。ウェアラブル眼電位継続データ取得部210は、眼電位計測器30から継続的に出力された眼電位を、ウェアラブル眼電位継続データとして継続的に取得する。取得されたウェアラブル眼電位継続データは、継続データ演算部220に出力される。
ウェアラブル頭部運動継続データ取得部211は、頭部運動計測装置7から継続的に出力されたセンサ出力を継続的に取得する。ウェアラブル頭部運動継続データ取得部211は、入力されたセンサ出力に基づき、ウェアラブル頭部運動継続データを算出し、算出したウェアラブル頭部運動継続データを継続データ演算部220に出力する。
継続データ演算部220は、ウェアラブル頭部眼球協調運動継続データ取得部221と、ウェアラブル視線移動量継続データ取得部222とを有する。
ウェアラブル頭部眼球協調運動継続データ取得部221は、ウェアラブル眼電位継続データとウェアラブル頭部運動継続データとから、眼鏡型ウェアラブルデバイス1の使用中に眼球移動(眼球運動)と頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを算出する。さらに、ウェアラブル頭部眼球協調運動継続データ取得部221は、ウェアラブル眼電位継続データからウェアラブル眼球移動継続データを算出する。
ウェアラブル視線移動量継続データ取得部222は、ウェアラブル眼球移動継続データとウェアラブル頭部眼球協調運動継続データに基づき、眼鏡型ウェアラブルデバイス1の使用中に、所定のウェアラブル頭部眼球協調運動継続データに対応するウェアラブル視線移動量継続データを算出する。
そして、ウェアラブルデバイス対応眼電位データ処理装置200は、所定のウェアラブル頭部眼球協調運動継続データに対応するウェアラブル視線移動量継続データを通信部(図示せず)から外部処理装置(図示せず)へ送信する。外部処理装置(図示せず)は、例えば、送られてきた所定のウェアラブル頭部眼球協調運動継続データに対応するウェアラブル視線移動量継続データに基づき、ユーザの内的状態を判断して、ユーザに対して種々の通知を行うように構成されている。
ウェアラブルデバイス対応眼電位データ処理装置200は、眼電位計測器30及び頭部運動計測装置7の各測定結果に基づいて、前記ユーザの視線移動に関連する視線移動関連値を取得して出力する。
ウェアラブル眼電位継続データ取得部210は、上記したように、眼電位計測器30によって継続的に測定されたユーザの眼電位を、ウェアラブル眼電位継続データとして取得する。ウェアラブル頭部運動継続データ取得部211は、頭部運動計測装置7から得られる継続測定データから、ユーザのウェアラブル頭部運動継続データを取得する。
継続データ演算部220は、ウェアラブル眼電位継続データ取得部210及びウェアラブル頭部運動継続データ取得部211が取得したユーザのウェアラブル眼電位継続データ及びウェアラブル頭部運動継続データに基づいて、ユーザの視線移動に関連する値である視線移動関連値を算出する。
具体的には、継続データ演算部220は、ウェアラブル眼電位継続データから眼球移動量を継続的に算出するとともに、前記眼球移動データに対応する前記頭部運動データの頭部移動量を継続的に算出し、前記眼球移動量及び前記頭部移動量の和を継続的に求める。また、継続データ演算部220は、ユーザの頭部運動の開始のタイミングと眼球移動の開始のタイミングとを特定し、特定されたタイミングに基づいて、頭部運動及び眼球移動のいずれが先行しているかを判定する。
ここで、ユーザの視線移動量は、該ユーザの眼球移動量と頭部移動量との合計によって表される。すなわち、本実施形態4では、前記眼球移動量と前記頭部移動量との和が、ユーザの視線移動量である。よって、継続データ演算部220は、ユーザの視線移動量を継続的に求める。
より詳しくは、継続データ演算部220は、ウェアラブル頭部眼球協調運動継続データ取得部221と、ウェアラブル視線移動量継続データ取得部222とを有する。
ウェアラブル頭部眼球協調運動継続データ取得部221は、眼球移動量を算出する機能と、眼球移動を特定する機能と、頭部運動を特定する機能と、運動を関連付ける機能とを有する。ウェアラブル視線移動量継続データ取得部222は、視線移動量を算出する機能と、運動の先行を判定する機能とを有する。
ウェアラブル頭部眼球協調運動継続データ取得部221の眼球移動を特定する機能は、ウェアラブル眼電位継続データ取得部210により得られたウェアラブル眼電位継続データから眼球移動量を算出する。
ウェアラブル頭部眼球協調運動継続データ取得部221の眼球移動を特定する機能は、ユーザの眼球移動量から、眼球運動の区間を特定するとともに、該眼球移動の開始のタイミングを特定する。
ウェアラブル頭部眼球協調運動継続データ取得部221の頭部運動を特定する機能は、ウェアラブル頭部運動継続データ取得部211で取得した前記ユーザの頭部運動データから、頭部運動の区間を特定するとともに、該頭部運動の開始のタイミングを特定する。
ウェアラブル頭部眼球協調運動継続データ取得部221の運動を関連付ける機能は、算出された眼球移動と算出された頭部運動とを、それらの運動が特定されたタイミングで関連付ける。
ウェアラブル視線移動量継続データ取得部222の視線移動量を算出する機能は、関連付けられた眼球移動及び頭部運動において、各運動が特定された区間の運動量(回転角速度の積分値)の合計を、視線移動量として算出する。
ウェアラブル視線移動量継続データ取得部222の運動の先行を判定する機能は、関連付けられた眼球移動及び頭部運動のうち、先行する運動を判定する。
(ウェアラブルデバイス対応眼電位データ処理装置200の動作)
次に、ウェアラブルデバイス対応眼電位データ処理装置200の動作について説明する。図21に、ウェアラブルデバイス対応眼電位データ処理装置200の動作のフローチャートを示す。
図21に示すフローがスタートすると、ステップSE1で、ウェアラブル眼電位継続データ取得部210とウェアラブル頭部運動継続データ取得部211が、眼電位計測器30と頭部運動計測装置7から、それぞれ、継続的に計測された計測データを取得する。
次に、ステップSE2で、ウェアラブル頭部眼球協調運動継続データ取得部221がウェアラブル眼電位継続データ取得部210により得られたウェアラブル眼電位継続データから眼球移動量を算出する。そして眼球移動を特定する機能が、算出した眼球移動データに基づいて、眼球移動動の特定を行うとともに、眼球移動の開始のタイミングを特定する。
また、ステップSE2では、ウェアラブル頭部眼球協調運動継続データ取得部221の頭部運動を特定する機能が、ウェアラブル頭部運動継続データ取得部211が取得した頭部運動データに基づいて、頭部運動の特定を行うとともに、頭部運動の開始のタイミングを特定する。
続くステップSE3では、ウェアラブル頭部眼球協調運動継続データ取得部221の運動関連付け機能が、算出した眼球移動と頭部運動とを、それらの運動が特定されたタイミングで関連付ける。
ステップSE4では、ウェアラブル視線移動量継続データ取得部222の視線移動量算出機能が、関連付けられた眼球移動及び頭部運動において、各運動が特定された区間の運動量(回転角速度の積分値)の合計を、視線移動量として算出する。
ステップSE5では、ウェアラブル視線移動量継続データ取得部222の運動の先行を判定する機能が、関連付けられた眼球移動及び頭部運動のうち、先行する運動を判定する。
具体的には、眼球移動と特定された区間内において、頭部運動と特定された運動が存在しない場合に、眼球移動が先行していると判定する。また、運動先行を判定する機能は、眼球移動と特定された区間内において、頭部運動と特定された運動が存在している場合でも、眼球移動の開始が頭部運動の開始よりも早い場合には、眼球移動が先行していると判定する。
一方、運動先行を判定する機能は、頭部運動と特定された区間内において、眼球移動と特定された運動が存在している場合に、頭部運動の開始が眼球運動の開始よりも早い場合には、頭部運動が先行していると判定する。
運動先行を判定した判定結果(先行運動情報)は、ウェアラブル視線移動量継続データ取得部222で算出された視線移動量と紐づけされる。
ステップSE6では、先行運動情報と視線移動量とが紐づけられたデータのうち、所定期間に取得された取得データを抽出する。
ステップSE7では、抽出された所定数のデータにおいて、頭部運動が先行しているデータの割合、すなわち頭部運動先行率を算出する。
ステップSE8では、前記頭部運動先行率に対応する視線移動量を算出した後、動作を終了する。
以上より、この実施形態では、頭部運動先行率に対応する視線移動量を求めることができる。すなわち、例えば、前記頭部運動先行率が所定の場合の視線移動量を求めることができる。既述のように、前記頭部運動先行率は、人の有効視野によって影響を受ける。そのため、前記頭部運動先行率が所定の場合の視線移動量は、人の有効視野に関連するパラメータである。よって、前記視線移動量を用いて、人の内的状態を推定することができる。
ユーザが実施形態4のウェアラブルデバイスを装着して、頭部運動先行率に対応する視線移動量を求めることできる。取得した頭部運動先行率に対応する視線移動量は、ユーザの内的状態を推定する際の有効視野に関連するデータとして提供できる。例えば、ユーザが運動または機械の操作を行う際に、実施形態4のウェアラブルデバイスによって有効視野に関連するパラメータを取得することにより、取得した有効視野に関連するパラメータを、運動または機械の操作を行う際のユーザの内的状態の判断などに利用することができる。また、前記取得した有効視野に関連するパラメータは、運動または機械の操作を行う際の内的状態に関し、ユーザ同士の相対評価等にも利用することができる。さらに、前記取得した視線移動量は、仮想空間での動作または作業におけるユーザの内的状態の評価及び管理にも利用することができる。
(その他の実施形態)
以上、本発明の実施形態を説明したが、上述した実施形態は本発明を実施するための例示に過ぎない。よって、上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施形態を適宜変形して実施することが可能である。
前記各実施形態では、ウェアラブル眼電位継続データ取得部23は、眼電位計測器30の計測値に基づいて、演算により、ウェアラブル眼電位継続データを取得している。しかしながら、ウェアラブル眼電位継続データ取得部23は、テーブルを用いて、ウェアラブル眼電位継続データを取得してもよい。
図22に、ウェアラブル眼電位継続データを取得するためのテーブルの一例を示す。このテーブルは、左眼電位VL及び右眼電位VRが、垂直方向のウェアラブル眼電位継続データと関連づけられたデータであり、記憶部21に格納される。これにより、ウェアラブル眼電位継続データ取得部23は、眼電位計測器30で計測された左眼電位VL及び右眼電位VRから、垂直方向のウェアラブル眼電位継続データを取得することができる。
なお、水平方向の眼電位継続データについても同様に、左眼電位VL及び右眼電位VRを水平方向のウェアラブル眼電位継続データと関連づけて、テーブルデータとして記憶部21に格納されていてもよい。これにより、ウェアラブル眼電位継続データ取得部は、眼電位計測器30で計測された右眼電位VR及び左眼電位VLから、水平方向のウェアラブル眼電位継続データを取得することができる。
前記各実施形態では、ウェアラブルデバイス対応眼電位データ処理装置20、200は、眼鏡型ウェアラブルデバイス1の右テンプル12内に設けられている。しかしながら、ウェアラブルデバイス対応眼電位データ処理装置は、眼鏡型ウェアラブルデバイス1の右テンプル12以外の位置に設けられていてもよい。眼鏡型ウェアラブルデバイス1においてウェアラブルデバイス対応眼電位データ処理装置を設ける位置は、眼鏡型ウェアラブルデバイス1とウェアラブルデバイス対応眼電位データ処理装置とのサイズ及び重量の関係によって決定される。
前記各実施形態では、左ノーズ電極3及び右ノーズ電極4は、左ノーズパッド16L及び右ノーズパッド16Rに設けられている。また、基準電極2はブリッジ13に設けられている。しかしながら、左ノーズ電極3、右ノーズ電極4及び基準電極2は、眼鏡型ウェアラブルデバイス1を装着したユーザの左眼及び右眼の眼電位を計測可能な位置であれば、眼鏡型ウェアラブルデバイス1のどの位置に設けてもよい。
前記各実施形態では、眼鏡型ウェアラブルデバイス1は、ユーザの左眼及び右眼の眼電位を計測する。しかしながら、眼鏡型ウェアラブルデバイスは、1箇所の眼電位のみを計測してもよいし、3箇所以上の眼電位を計測してもよい。なお、計測する眼電位の数が2つ以外の場合でも、ユーザの眼電位を計測可能な位置であれば、電極をどの位置に設けてもよい。例えば、右眼と左眼のどちらかの眼の上下に一対の電極を設け、右眼のまぶたの右端に左眼のまぶたの左端に電極を設けるようにしてもよい。
前記各実施形態では、補正部60は、ウェアラブル眼電位継続データのみを用いてウェアラブル眼電位継続データを補正する。また、補正部60は、ウェアラブル眼球移動量継続データのみを用いてウェアラブル眼電位継続データを補正する。しかしながら、補正部60は、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの両方を用いて、ウェアラブル眼電位継続データを補正してもよいし、ウェアラブル眼球移動量継続データを補正してもよい。また、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの両方を用いて、ウェアラブル眼電位継続データ及びウェアラブル眼球移動量継続データの両方を補正してもよい。
さらに、補正部60は、ウェアラブル眼電位継続データを用いて、ウェアラブル眼球移動量継続データを補正してもよいし、ウェアラブル眼球移動量継続データを用いて、ウェアラブル眼電位継続データを補正してもよい。
前記各実施形態では、ウェアラブル眼電位継続データ取得部23は、左右の眼電位から演算した垂直方向電位及び水平方向電位をウェアラブル眼電位継続データとして取得している。しかしながら、ウェアラブル眼電位継続データ取得部23が左右の眼電位を取得した後、ウェアラブル眼球移動量継続データ取得部24が垂直方向電位及び水平方向電位を演算してもよい。
前記各実施形態では、記憶部21は、データ記憶部21aと、プログラム記憶部21bとを有する。しかしながら、データ記憶部21a及びプログラム記憶部21bは、それぞれ別の記憶装置によって構成されていてもよい。なお、プログラム記憶部21bは、外部の情報処理装置に設けられていてもよい。
前記各実施形態では、ウェアラブルデバイス対応眼電位データ処理装置20、200は、眼鏡型ウェアラブルデバイス1に設けられている。しかしながら、ウェアラブルデバイス対応眼電位データ処理装置20、200は、ユーザが装着可能で且つ眼電位を計測可能なウェアラブルデバイスに設けられていればよい。例えば、ウェアラブルデバイス対応眼電位データ処理装置20、200は、サングラス型ウェアラブルデバイス、ゴーグル型ウェアラブルデバイス、ヘッドマウントディスプレイ型のウェアラブルデバイスなどに設けられていてもよい。
前記各実施形態では、ウェアラブルデバイス対応眼電位データ処理装置20は、一例として、プログラム記憶部21bに格納されたプログラムに基づいて各種処理を行う記憶部21を備えている。しかしながら、ウェアラブルデバイス対応眼電位データ処理装置は、回路等のハードウェアの構成によって、各種処理を行うように構成されていてもよい。
前記各実施形態で実行されるウェアラブルデバイス対応眼電位データ処理方法を、コンピュータとしての演算部を用いて、プログラムによって実行してもよい。詳しくは、前記プログラムは、前記コンピュータに、ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、前記継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得させ、前記ウェアラブルデバイスの使用中に継続的に取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得させる(第1の構成)。
また、前記プログラムは、上述の第1の構成において、前記コンピュータに、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方に基づいて、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方を補正させる(第2の構成)。
また、上述の第1の構成または第2の構成において、前記眼電位計測器は、複数の位置の眼電位を継続的に計測し、前記プログラムは、前記コンピュータに、前記眼電位計測器によって前記継続的に計測された複数の位置の眼電位に基づいて、継続的に複数のウェアラブル眼電位継続データを取得させる(第3の構成)。
また、上述の第1から第3の構成のうちいずれか一つの構成において、前記ウェアラブル眼球移動量継続データは、前記眼電位の大きさに関連するデータである(第4の構成)。
また、前記プログラムは、上述の第1から第4の構成のうちいずれか一つの構成において、前記コンピュータに、前記ウェアラブルデバイスに設けられた頭部運動計測装置から継続的に前記ユーザのウェアラブル頭部運動継続データを取得させ、前記継続的に取得された前記ウェアラブル頭部運動継続データからウェアラブル頭部移動量継続データを取得させ、前記ウェアラブル眼球移動量継続データと前記ウェアラブル頭部移動量継続データとからウェアラブル視線移動量継続データを取得させる(第5の構成)。
また、前記プログラムは、上述の第1から第5の構成のうち一つの構成において、前記プログラムは、前記コンピュータに、前記ウェアラブル眼電位継続データと前記ウェアラブル頭部運動継続データとから、前記ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得させ、所定の前記ウェアラブル頭部眼球協調運動継続データに対応する前記ウェアラブル視線移動量継続データを出力させる(第6の構成)。
本発明は、ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器を用いて、ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する、ウェアラブルデバイス対応眼電位データ処理装置に利用可能である。
1、100 眼鏡型ウェアラブルデバイス
2 基準電極
3 左ノーズ電極
4 右ノーズ電極
6L 左レンズ
6R 右レンズ
7 頭部運動計測装置
8 電源
10 フレーム
20、200 ウェアラブルデバイス対応眼電位データ処理装置
23 ウェアラブル眼電位継続データ取得部
24 ウェアラブル眼球移動量継続データ取得部
30 眼電位計測器
40 通信部
60 補正部
221 ウェアラブル頭部眼球協調運動継続データ取得部
222 ウェアラブル視線移動量継続データ取得部

Claims (14)

  1. ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得し、
    前記ウェアラブルデバイスの使用中に継続的に取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理装置。
  2. 請求項1に記載のウェアラブルデバイス対応眼電位データ処理装置において、
    前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方に基づいて、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方を補正する、
    ウェアラブルデバイス対応眼電位データ処理装置。
  3. 請求項1または2に記載のウェアラブルデバイス対応眼電位データ処理装置において、
    前記眼電位計測器は、前記ユーザの複数の位置の眼電位を継続的に計測し、
    前記眼電位計測器によって前記継続的に計測された複数の位置の眼電位に基づいて、継続的に複数の前記ウェアラブル眼電位継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理装置。
  4. 請求項1から3のいずれか1項に記載のウェアラブルデバイス対応眼電位データ処理装置において、
    前記ウェアラブル眼球移動量継続データは、前記眼電位の大きさに関連するデータである、
    ウェアラブルデバイス対応眼電位データ処理装置。
  5. 請求項1から4のいずれかに1項に記載のウェアラブルデバイス対応眼電位データ処理装置において、
    前記ウェアラブルデバイスに設けられた頭部運動計測装置から継続的に前記ユーザのウェアラブル頭部運動継続データを取得し、
    前記継続的に取得された前記ウェアラブル頭部運動継続データからウェアラブル頭部移動量継続データを取得し、
    前記ウェアラブル眼球移動量継続データと前記ウェアラブル頭部移動量継続データとからウェアラブル視線移動量継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理装置。
  6. 請求項5に記載のウェアラブルデバイス対応眼電位データ処理装置において、
    前記ウェアラブル眼電位継続データと前記ウェアラブル頭部運動継続データとから、前記ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得し、
    所定の前記ウェアラブル頭部眼球協調運動継続データに対応する前記ウェアラブル視線移動量継続データを出力する、
    ウェアラブルデバイス対応眼電位データ処理装置。
  7. 請求項1から6のいずれか1項に記載のウェアラブルデバイス対応眼電位データ処理装置を備える眼鏡型ウェアラブルデバイス。
  8. ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得するウェアラブル眼電位継続データ取得部と、
    前記ウェアラブルデバイスの使用中に前記ウェアラブル眼電位継続データ取得部で取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得するウェアラブル眼球移動量継続データ取得部と、を備える、
    ウェアラブルデバイス対応眼電位データ処理装置。
  9. ユーザが装着自在なウェアラブルデバイスに設けられ且つ前記ユーザの眼電位を継続的に計測する眼電位計測器から、継続的に計測された眼電位に基づいて継続的にウェアラブル眼電位継続データを取得し、
    前記ウェアラブルデバイスの使用中に継続的に取得された前記ウェアラブル眼電位継続データに基づいて、前記ウェアラブルデバイスの使用中における前記ユーザの眼球の移動量に関連する継続的なウェアラブル眼球移動量継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理方法。
  10. 請求項9に記載のウェアラブルデバイス対応眼電位データ処理方法において、
    前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方に基づいて、前記ウェアラブル眼電位継続データ及び前記ウェアラブル眼球移動量継続データの少なくとも一方を補正する、
    ウェアラブルデバイス対応眼電位データ処理方法。
  11. 請求項9または10に記載のウェアラブルデバイス対応眼電位データ処理方法において、
    前記眼電位計測器は、前記ユーザの複数の位置の眼電位を継続的に計測し、
    前記眼電位計測器によって前記継続的に計測された複数の位置の眼電位に基づいて、継続的に複数のウェアラブル眼電位継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理方法。
  12. 請求項9から11のいずれか1項に記載のウェアラブルデバイス対応眼電位データ処理方法において、
    前記ウェアラブル眼球移動量継続データは、前記眼電位の大きさに関連するデータである、
    ウェアラブルデバイス対応眼電位データ処理方法。
  13. 請求項9から12のいずれか1項に記載のウェアラブルデバイス対応眼電位データ処理方法において、
    前記ウェアラブルデバイスに設けられた頭部運動計測装置から継続的に前記ユーザのウェアラブル頭部運動継続データを取得し、
    前記継続的に取得された前記ウェアラブル頭部運動継続データからウェアラブル頭部移動量継続データを取得し、
    前記ウェアラブル眼球移動量継続データと前記ウェアラブル頭部移動量継続データとからウェアラブル視線移動量継続データを取得する、
    ウェアラブルデバイス対応眼電位データ処理方法。
  14. 請求項13に記載のウェアラブルデバイス対応眼電位データ処理方法において、
    前記ウェアラブル眼電位継続データと前記ウェアラブル頭部運動継続データとから、前記ウェアラブルデバイスの使用中に眼球運動及び頭部運動の協調運動に関連する継続的なウェアラブル頭部眼球協調運動継続データを取得し、
    所定の前記ウェアラブル頭部眼球協調運動継続データに対応する前記ウェアラブル視線移動量継続データを出力する、
    ウェアラブルデバイス対応眼電位データ処理方法。
JP2018151327A 2017-08-10 2018-08-10 ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法 Active JP7170258B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017155948 2017-08-10
JP2017155948 2017-08-10

Publications (3)

Publication Number Publication Date
JP2019034144A true JP2019034144A (ja) 2019-03-07
JP2019034144A5 JP2019034144A5 (ja) 2021-09-24
JP7170258B2 JP7170258B2 (ja) 2022-11-14

Family

ID=65271995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018151327A Active JP7170258B2 (ja) 2017-08-10 2018-08-10 ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法

Country Status (5)

Country Link
EP (1) EP3662813B1 (ja)
JP (1) JP7170258B2 (ja)
AU (1) AU2018314050B2 (ja)
ES (1) ES2904376T3 (ja)
WO (1) WO2019031600A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー
JP2015202197A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1405157B1 (de) * 2001-02-19 2006-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur blickrichtungsbestimmung bezüglich eines festen referenzkoordinatensystems
JP6621133B2 (ja) 2015-10-08 2019-12-18 株式会社ジンズホールディングス 情報処理方法、情報処理装置及びプログラム
JP6426589B2 (ja) * 2015-11-27 2018-11-21 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー
JP2015202197A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器

Also Published As

Publication number Publication date
AU2018314050A1 (en) 2020-03-26
EP3662813B1 (en) 2021-11-24
WO2019031600A1 (ja) 2019-02-14
ES2904376T3 (es) 2022-04-04
JP7170258B2 (ja) 2022-11-14
EP3662813A1 (en) 2020-06-10
EP3662813A4 (en) 2020-08-12
AU2018314050B2 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US10602953B2 (en) Electro-oculographic detector and electro-oculographic detection method
JP6077720B2 (ja) 視覚補償デバイスをカスタマイズするためのパラメータの少なくとも1つの値を判定する方法
US8449116B2 (en) Electro-oculography estimating device, electro-oculography calculating method, eye-gaze tracking device, wearable camera, head-mounted display, and electronic eyeglasses
JP2014124308A (ja) 眼電位生成装置、眼電位生成方法およびビューワー
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
US20220207919A1 (en) Methods, devices and systems for determining eye parameters
US11029754B2 (en) Calibration method, portable device, and computer-readable storage medium
WO2018155098A1 (ja) 情報処理方法、情報処理装置及びプログラム
Dunn Required accuracy of gaze tracking for varifocal displays
WO2015159851A1 (ja) 検出ユニット、アイウエア、及び眼電位検出システム
WO2015159861A1 (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
JP6500570B2 (ja) 画像表示装置および画像表示方法
WO2015159853A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JP7170258B2 (ja) ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法
WO2015159850A1 (ja) 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
KR100520050B1 (ko) 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법
CN111587397B (zh) 图像生成装置、眼镜片选择系统、图像生成方法以及程序
JP6538203B2 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
CN117561020A (zh) 用于检测身体对眼睛配戴物上的视觉刺激的反应的系统以及用于该系统的方法和眼睛配戴物
WO2022234077A1 (en) Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer
JP2021072601A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7170258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150