CN107072524A - 眼球运动检测装置 - Google Patents
眼球运动检测装置 Download PDFInfo
- Publication number
- CN107072524A CN107072524A CN201580062998.0A CN201580062998A CN107072524A CN 107072524 A CN107072524 A CN 107072524A CN 201580062998 A CN201580062998 A CN 201580062998A CN 107072524 A CN107072524 A CN 107072524A
- Authority
- CN
- China
- Prior art keywords
- far infrared
- output
- infrared sensor
- eye movement
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
眼球运动检测装置(1)基于对眼球的露出表面的内眼角侧的端部具有指向性的远红外线传感器(11)的输出与对眼球的露出表面的外眼角侧的端部具有指向性的远红外线传感器(12)的输出之差的时间推移,检测眼睛的左右方向的眼球运动。由此,非接触、轻量且低耗电地检测眼球运动。
Description
技术领域
本发明涉及检测眼球运动的技术。
背景技术
近年来,头戴式显示装置和眼镜型显示装置等能够在使用者的眼睛的前方直接提示图像的装置的普及迅速地发展。与此相伴,作为计算机的操作装置,除了鼠标或操纵杆等手使用的装置以外,使用眼睛的运动的检测结果的各种装置已被提出并且出售。
以往,提出了用于检测眼睛的运动的各种方法,其中代表性的是EOG法、巩膜反射法、角膜反射法和探察线圈法。在EOG法中,利用在眼睛的周围贴着的电极,检测角膜部具有比视网膜部高10~30μV的正极性的电位。在巩膜反射法中,基于黑眼珠和白眼珠的反射率的差异,利用可见光摄像机检测瞳孔的运动。在角膜反射法中,对眼睛照射弱的红外线光,利用红外摄像机检测角膜对红外线光的反射。在探察线圈法中,检测卷绕有线圈的隐形眼镜的位置。
但是,这些方法存在如下的缺点。EOG法会给使用者带来由电极贴在皮肤上引起的麻烦,并且不耐电磁噪声、汗和皮脂。巩膜反射法需要进行图像处理,因此,采用该方法的装置的耗电和重量增加。角膜反射法需要进行对眼睛的光照射和图像处理,因此,采用该方法的装置的耗电和重量增加。探察线圈法会给使用者带来由戴隐形眼镜引起的麻烦。
以往,也提出了用于缓和EOG法的缺点的各种技术。作为这些技术之一,专利文献1中公开了一种护目镜(eyewear),其具备:框架;一对鼻托;和设置在一对鼻托各自的表面且检测眼睛电位的第一电极和第二电极。
现有技术文献
专利文献
专利文献1:日本公开特许公报“特开2013-244370号(2013年12月9日公开)”
发明内容
发明要解决的技术问题
为了使用专利文献1的护目镜检测眼球运动,需要必须使第一电极及第二电极与使用者的皮肤接触。因此,该护目镜依然存在会给使用者带来由第一电极和第二电极贴在皮肤上引起的麻烦且不耐电磁噪声、汗和皮脂的缺点。
本发明是为了解决上述的技术问题而做出的。其目的在于提出一种能够非接触、轻量且低耗电地检测眼球运动的眼球运动检测装置。
解决技术问题的技术方案
为了解决上述的技术问题,本发明的眼球运动检测装置的特征在于,具备:
对使用者的眼睛的眼球的露出表面的第一端部具有指向性的第一远红外线传感器;
对上述眼球的露出表面的与上述第一端部相对的第二端部具有指向性的第二远红外线传感器;
计算上述第一远红外线传感器的输出与上述第二远红外线传感器的输出之差的第一输出差计算部;和
基于计算出的上述差的时间推移,检测上述眼球的眼球运动的检测部。
发明效果
根据本发明的一个方式,能得到能够非接触、轻量且低耗电地检测眼球运动的效果。
附图说明
图1是表示本发明的实施方式1的眼球运动检测装置的主要部分结构的框图。
图2是表示本发明的实施方式1的眼镜的主要部分结构的图。
图3是对戴着本发明的实施方式1的眼镜的使用者的右眼进行说明的图。
图4是表示被试验者将视线从正面向右方移动时右眼的远红外线热像图的一个例子的图。
图5是表示在本发明的实施方式1中,右眼的上眼睑打开时的、各远红外线传感器的各输出的时间推移的一个例子的图。
图6是表示在本发明的实施方式1中,使用者使视线向右方移动时的右眼的图。
图7是分别表示在本发明的实施方式1中,右眼的上眼睑打开,然后,产生了使用者的视线向右方移动的眼球运动时的、对内眼角侧的端部具有指向性的远红外线传感器的输出的时间推移和对外眼角侧的端部具有指向性的远红外线传感器的输出的时间推移的一个例子的图。
图8是表示在本发明的实施方式1中,右眼的上眼睑打开,然后,产生了使用者的视线向右方移动的眼球运动时的、对内眼角侧的端部具有指向性的远红外线传感器的输出与对外眼角侧的端部具有指向性的远红外线传感器的输出之差的时间推移的一个例子的图。
图9是表示在本发明的实施方式2中,使用者使视线向上方移动时的右眼的图。
图10是表示在本发明的实施方式2中,右眼的上眼睑打开,然后,产生了使用者的视线向上方移动的眼球运动时的、对上眼睑侧的端部具有指向性的远红外线传感器的输出的时间推移和对下眼睑侧的端部具有指向性的远红外线传感器的输出的时间推移的一个例子的图。
图11是表示在本发明的实施方式2中,右眼的上眼睑打开,然后,产生了使用者的视线向上方移动的眼球运动时的、对上眼睑侧的端部具有指向性的远红外线传感器的输出与对下眼睑侧的端部具有指向性的远红外线传感器的输出之差的时间推移的一个例子的图。
图12是表示在本发明的实施方式2中,对右眼的上眼睑侧的端部具有指向性的远红外线传感器的输出的上升(倾斜)与对右眼的下眼睑侧的端部具有指向性的远红外线传感器的输出的上升(倾斜)的时间差被检测出之后的、对上眼睑侧的端部具有指向性的远红外线传感器的输出与对下眼睑侧的端部具有指向性的远红外线传感器的输出之差的时间推移的一个例子的图。
具体实施方式
〔实施方式1〕
以下,基于图1~图8对本发明的第一实施方式进行说明。
(眼球运动检测装置1)
图1是表示本实施方式的眼球运动检测装置1的主要部分结构的框图。如该图所示,眼球运动检测装置1具备远红外线传感器11(第一远红外线传感器)、远红外线传感器12(第二远红外线传感器)、远红外线传感器13(第一远红外线传感器、第三远红外线传感器)、和远红外线传感器14(第二远红外线传感器、第四远红外线传感器)和控制部20。
远红外线传感器11~14是接收远红外线而输出与其强度相应的信号的传感器。在本实施方式中,远红外线传感器11~14用于测定眼球的露出表面的温度。眼球在具有接近体温的温度时发出峰值波长约9μm的远红外线。为了检测该远红外线,作为远红外线传感器11~14,例如,使用由InSb等化合物构成的光电二极管、热电堆或测辐射热计等。
控制部20是统括地控制眼球运动检测装置1的动作的部件。如图1所示,控制部20具备传感器控制部21、输出差计算部22、视线移动方向检测部23(检测部、第一检测部、第二检测部)、视线移动量检测部24(检测部、第一检测部、第二检测部)和通信部25。控制部20计算远红外线传感器11~14的输出之差,基于该差的时间推移,检测眼球运动,详细情况将在后面说明。
(眼镜30)
本实施方式的眼球运动检测装置1被组装于眼镜30,在使用者戴着该眼镜30时,眼球运动检测装置1检测使用者的眼球运动。图2是表示本实施方式的眼镜30的主要部分结构的图。如该图所示,眼镜30具备:框架31;和被组装于该框架31的眼球运动检测装置1。远红外线传感器11~14被组装在框架31的右眼侧的镜框(将透镜的周围包围的边缘)上。另一方面,控制部20被组装在框架31的右侧的眼镜腿(挂在耳朵上的部分)上。
远红外线传感器11~14被作为非常小型的传感器实现,因此,能够没有问题地组装在框架31上。例如,当作为远红外线传感器11~14使用德州仪器公司的红外线热电堆TMP006时,能够使远红外线传感器11~14的尺寸为1.6mm×1.6mm。此外,TMP006的视野角广,因此,在作为远红外线传感器11~14使用TMP006的情况下,为了使视野角缩小,只要将作为平板透镜的硅衍射型透镜与TMP006组合即可。此外,也可以代替透镜而组合孔径光阑。由此,能够限制远红外线传感器11~14的视野,使得远红外线传感器11~14对眼球的露出表面50的特定的端部具有指向性。
在本实施方式中,在眼镜30中,远红外线传感器11~14通过未图示的配线与控制部20连接,来自远红外线传感器11~14的输出(信号)全部被输送至控制部20。另外,控制部20以能够与未图示的外部计算机通信的状态连接,由控制部20得到的眼球运动的检测结果均被输送至外部计算机。外部计算机执行与从控制部20接收到的眼球运动的检测结果相应的处理。由此,戴着眼镜30的使用者能够不使用手而利用眼睛的运动来操作外部计算机。
控制部20与外部计算机之间的连接,可以是有线也可以是无线。在有线的情况下,控制部20通过规定的柔性基板或配线与外部计算机连接。
(远红外线传感器11~14的指向性)
图3是对戴眼镜30的使用者的右眼40进行说明的图。在该图中,使用者的视线(目线)朝向与纸面垂直的正对面。远红外线传感器11~14,对与眼镜30的自传感器的设置位置相应的、眼球的露出表面50的任一个特定的端部具有指向性。换言之,远红外线传感器11~14不是对眼球的露出表面50的整体具有视野,而是仅对对应的任一个端部具有视野。
具体而言,远红外线传感器11对眼球的露出表面50的内眼角41侧的端部51(第一端部)具有指向性。另外,远红外线传感器12对眼球的露出表面50的外眼角42侧的端部52(第二端部)具有指向性。另外,远红外线传感器13对眼球的露出表面50的上眼睑43侧的端部53(第一端部、第三端部)具有指向性。另外,远红外线传感器14对眼球的露出表面50的下眼睑44侧的端部54(第二端部、第四端部)具有指向性。
远红外线传感器11检测从端部51发出的远红外线,将与其检测量相应的信号输出至传感器控制部21。另外,远红外线传感器12检测从端部52发出的远红外线,将与其检测量相应的信号输出至传感器控制部21。另外,远红外线传感器13检测从端部53发出的远红外线,将与其检测量相应的信号输出至传感器控制部21。另外,远红外线传感器14检测从端部54发出的远红外线,将与其检测量相应的信号输出至传感器控制部21。
如图3所示,端部51和端部52在与眼球的水平(左右)方向平行的横轴61上,相互相对地配置。另一方面,端部53和端部54在与眼球的铅垂(上下)方向平行的纵轴62上,相互相对地配置。眼球运动检测装置1,基于远红外线传感器11的输出与远红外线传感器12的输出之差的时间推移,检测与横轴61平行的方向(左右方向)的眼球运动,详细情况将在后面说明。另外,眼球运动检测装置1,基于远红外线传感器13的输出与远红外线传感器14的输出之差的时间推移,检测与纵轴62平行的方向(上下方向)的眼球运动。
(眼球的露出表面的温度分布)
以下参照图4对眼球运动检测装置1检测眼球运动时的原理进行说明。图4是表示被试验者将视线从正面向右方移动时的右眼的远红外线热像图的一个例子的图。该图中的右侧对应于右眼的内眼角侧,左侧对应于右眼的外眼角侧。在图4中,眼球的露出表面的A点、B点和C点的温度分别为34.6°、35.5°和35.7°。B点位于外眼角侧,C点位于内眼角侧。这样,在被试验者将视线从正面向右方移动时,右眼的眼球的露出表面的温度根据表面内的位置而不同。
本发明的发明人,对产生如图4所示的眼球的温度分布的原理进行了潜心研究,结果弄明白了这是由眼球运动产生的。具体而言,发明人发现了,该温度分布的原理是,眼球的在眼窝内被弄暖和的部分通过眼球运动重新露出于空气中而失去热的过渡现象。本实施方式的眼球运动检测装置1,基于该与以往方法不同的原理检测眼球运动。
(远红外线传感器11~14的输出)
图5是表示右眼的上眼睑43从闭合的状态变化为打开的状态时的、远红外线传感器11~14的各输出的时间推移的一个例子的图。在该图中,纵轴表示远红外线传感器11~14的输出,横轴表示时间。时刻71是上眼睑43打开的瞬间。曲线81表示远红外线传感器11或远红外线传感器12的输出的时间推移。曲线83表示远红外线传感器13的输出的时间推移。曲线84表示远红外线传感器14的输出的时间推移。
曲线81、83和84是表示眼球的露出表面50的端部51(端部52)、端部53和端部54的温度的时间推移的曲线,因此,本来为曲线。但是,在本实施方式中,为了说明方便起见,将这些曲线81、83和84全部用直线表示。
在上眼睑43闭合的期间,保护右眼40的眼球免受外部气体的影响。在该期间,右眼40的眼球被体温弄暖和,另外,从右眼40的泪腺分布眼泪将眼球的表面覆盖。当上眼睑43打开时,眼球的表面的一部分露出。此时,当外部气体的温度比体温低时,通过眼球的露出表面50与外部气体接触,从眼球的露出表面50夺取热。另一方面,当外部气体的温度比体温高时,通过覆盖眼球的露出表面50的眼泪干燥,从眼球的露出表面50夺取气化热。在任意情况下,当上眼睑43打开时,右眼40的眼球的露出表面50整体的温度均随着时间经过而缓慢下降。
上眼睑43从右眼40的下侧向上侧打开。在该情况下,右眼40的眼球从下面的部分先露出于外部气体。因此,端部51~54的温度下降的定时(timing)分别不同。具体而言,当上眼睑43打开时,端部51~54中,下眼睑44侧的端部54最早接触外部气体,接着,内眼角41侧的端部51和外眼角42侧的端部52接触外部气体,最后,上眼睑43完全打开后,上眼睑43侧的端部53接触外部气体。因此,上眼睑43打开后,温度最早开始下降的是端部54,接着开始下降的是端部51和端部52,最后开始下降的是端部53。
上眼睑43打开后的远红外线传感器11~14的输出的时间推移也相互不同。具体而言,如图5所示,上眼睑43打开后,对下眼睑44侧的端部54具有指向性的远红外线传感器14的输出的曲线84,最早上升(输出开始下降)。此后间隔一定时间,对内眼角41侧的端部51具有指向性的远红外线传感器11的输出(或对外眼角42侧的端部52具有指向性的远红外线传感器12的输出)的曲线81上升(倾斜)。再从此间隔一定时间,对上眼睑43侧的端部53具有指向性的远红外线传感器13的输出的曲线83上升(倾斜)。
通常,右眼40的一次眨眼需要的时间为100~150ms。另外,眨眼的间隔存在人的年龄差异和个体差异,但是据说为约5~20次/分钟(3s/次)。与这些时间相比,远红外线传感器11~14的响应速度充分快。具体而言,远红外线传感器11~14具有最慢约10ms的响应速度。因此,眼球运动检测装置1能够准确地检测上眼睑43打开后的、远红外线传感器11~14的输出的上升开始的时间差。眼球运动检测装置1通过检测该时间差,能够准确地检测右眼40的眨眼的发生,详细情况将在实施方式2中进行说明。
在本实施方式中,对眼球运动检测装置1检测右眼40的左右方向的眼球运动的例子进行说明。
(远红外线传感器11和12的输出的时间推移)
图6是表示使用者使视线向右方移动后的右眼40的图。如该图所示,当通过眼球运动,使用者的视线向右方(外眼角42侧的端部52)移动时,端部52切换为从视线的移动前已露出的露出表面50的其他部分。另一方面,位于端部52的相反侧的端部51,切换为眼球的表面的在视线移动前被收在眼窝内并且通过眼球运动而重新从眼窝露出的露出部55。
眼球在眼窝内被体温弄暖和,因此,通过眼球运动而重新从眼窝露出的露出部55的温度,比在眼球运动前已露出的露出表面50的温度高。因此,在如上述那样发生眼球运动时,眼球的露出表面50的端部51的温度,通过在端部51重新配置露出部55而暂时变高。另一方面,在端部52不会这样。
图7是分别表示右眼40的上眼睑43打开,然后产生了使用者的视线向右方移动的眼球运动时的、远红外线传感器11的输出的时间推移和远红外线传感器12的输出的时间推移的一个例子的图。在该图中,纵轴表示远红外线传感器11和12的输出,横轴表示时间。时刻71是上眼睑43打开的瞬间。时刻72是眼球运动开始的瞬间。曲线91表示远红外线传感器11的输出的时间推移。曲线92表示远红外线传感器12的输出的时间推移。
如图7所示,远红外线传感器11的输出和远红外线传感器12的输出,均在上眼睑43打开的时刻71之后,间隔一定时间,开始下降。这是因为,如上所述,从上眼睑43打开起至端部51和端部52开始与外部气体接触为止,需要一定时间。端部51和端部52同时开始与外部气体接触,因此,远红外线传感器11的输出和远红外线传感器12的输出均在相同的定时开始下降。
紧接着使用者的视线向右方移动的眼球运动开始的时刻72之后,远红外线传感器11的输出暂时升高,然后再次下降。另一方面,远红外线传感器12的输出不像远红外线传感器11的输出那样升高而持续下降。这是因为,如上所述,眼球运动刚开始之后,端部51切换为来自眼窝的温暖的露出部55,由此,远红外线传感器11接收的远红外线的量暂时增加。露出部55的温度也通过露出部55与外部气体接触而缓慢下降,因此,远红外线传感器11的输出的升高是暂时的,与远红外线传感器12的输出同样再次开始下降。
在上眼睑43持续打开充分长的时间的情况下,端部51和端部52的温度均在某个时刻下降至相同的一定温度,从此以后维持该一定温度。在该情况下,远红外线传感器11的输出和远红外线传感器12的输出均在某个时刻下降至相同的一定值,从此以后维持该一定值。如上所述,远红外线传感器11的输出通过眼球运动而暂时升高,因此,远红外线传感器12的输出下降,比远红外线传感器11的输出下降先结束。
在眼球运动检测装置1中,传感器控制部21接收远红外线传感器11的输出和远红外线传感器12的输出,向输出差计算部22输出。输出差计算部22,通过从同时刻的远红外线传感器11的输出减去远红外线传感器12的输出,计算出远红外线传感器11的输出与远红外线传感器12的输出之差。输出差计算部22将计算出的各时刻的输出差随时向视线移动方向检测部23和视线移动量检测部24输出。视线移动方向检测部23,基于被输入的差的时间推移,检测使用者的视线的移动方向(右方或左方)。另一方面,视线移动量检测部24,基于被输入的差的时间推移,检测使用者的视线的移动量。
以下参照图8对这些检测方法进行说明。图8是表示右眼40的上眼睑43打开,然后产生了使用者的视线向右方移动的眼球运动时的、远红外线传感器11的输出与远红外线传感器12的输出之差的时间推移的一个例子的图。在该图中,纵轴表示从远红外线传感器11的输出减去远红外线传感器12的输出而得到的输出差,横轴表示时间。曲线101表示输出差的时间推移。
(视线移动方向的检测)
如图8的曲线101所示,在从上眼睑43打开的时刻71起至眼球运动开始的时刻72为止的期间,输出差为零。这是因为,远红外线传感器11的输出与远红外线传感器12的输出在该期间同样地进行推移。另一方面,在眼球运动开始的时刻72之后,输出差的上升开始。该上升的方向是向正极性去的方向。输出差产生这样的上升是因为,如上所述,在眼球运动开始的时刻72之后,远红外线传感器11的输出暂时升高。
如图8所示,当发生视线向右方移动的眼球运动时,从远红外线传感器11的输出减去远红外线传感器12的输出而得到的输出差的时间推移,产生向正极性去的上升。因此,视线移动方向检测部23基于从输出差计算部22输入的输出差的时间推移中的上升的方向,检测眼球运动的移动方向。具体而言,在输出差的时间推移产生了向正极性去的上升的情况下,作为眼球运动的移动方向,检测出向右方。
另一方面,虽然未图示,但是,当发生视线向左移动的眼球运动时,从远红外线传感器11的输出减去远红外线传感器12的输出而得到的输出差的时间推移,产生向负极性去的上升。因此,视线移动方向检测部23,在输出差的时间推移产生了向负极性去的上升的情况下,作为眼球运动的移动方向,检测出向左方。
(视线移动量的检测)
使用者的视线向右方移动得越多,端部51的越多范围被替换为露出部55,因此,远红外线传感器11接收的远红外线的量越增加。因此,使用者的视线向右方移动得越多,远红外线传感器11的输出的暂时增加量越多。由此,输出差的时间推移产生的上升的角度越大。即,输出差的时间推移产生的上升的角度,与视线的移动量成比例。因此,视线移动量检测部24,基于从输出差计算部22接收到的输出差的时间推移中的上升的角度,检测视线的移动量。具体而言,角度越大,检测出越大的移动量。即,将与上升的角度相对地成比例的量,作为视线的移动量检测出。
视线移动方向检测部23将检测出的视线的移动方向输出至通信部25。视线移动量检测部24将检测出的视线的移动量输出至通信部25。通信部25将被输入的视线的移动方向和移动量,作为眼球运动的检测结果通知给外部计算机。外部计算机执行基于被通知的视线的移动方向和移动量的处理。由此,使用者能够通过使眼睛运动来操作外部计算机。
(本实施方式的优点)
如上所述,眼球运动检测装置1,基于远红外线传感器11的输出与远红外线传感器12的输出之差的时间推移,检测右眼40的眼球运动。因此,能够准确地检测视线向右方(端部52侧)或左方(端部51侧)移动的眼球运动。
眼球运动检测装置1具备的远红外线传感器11和12均为非接触型的传感器。另外,眼球运动检测装置1不需要用于检测眼球运动的图像处理,因此,能够轻量且低耗电地进行动作。汇总地说,眼球运动检测装置1能够非接触、轻量且低耗电地检测眼球运动。
另外,眼球运动检测装置1,基于从远红外线传感器11的输出减去远红外线传感器12的输出而得到的输出差的时间推移中的上升的方向,检测视线的移动方向。因此,能够准确地检测视线的移动方向。
另外,眼球运动检测装置1,基于从远红外线传感器11的输出减去远红外线传感器12的输出而得到的输出差的时间推移中的上升的角度,检测视线的移动量。因此,能够准确地检测视线的移动量。
在使用者为不需要视力矫正的人的情况下,优选眼镜30为在透镜安装部位安装有不具有透镜作用的玻璃的平光眼镜。由此,透镜遮挡吹向眼球的风,因此,能够防止眼球的露出表面50的温度由于风而变化,作为其结果,能够防止眼球运动检测装置1误动作。
在上述的专利文献1的护目镜中,在鼻托的表面设置有第一电极和第二电极。因此,该现有技术存在无法应用于没有鼻托的护目镜(eyewear)的缺点。另一方面,本实施方式的眼球运动检测装置1中,需要设置在眼镜30的鼻托上的部件一个都没有。因此,能够实现组装有眼球运动检测装置1并且没有鼻托的眼镜30。
通常,据说人的单眼的视野,在内眼角侧和上眼睑侧为约60度,在下眼睑侧为约70度,并且在外眼角侧为约90~100度。即人能够使眼睛在左右方向比在上下方向更广地运动。因此,在基于单轴上的眼球运动的检测结果来操作计算机的情况下,在像本实施方式那样,眼球运动检测装置1检测眼睛的左右方向的视线的移动方向的情况下,使用者能够舒适地操作计算机。
〔实施方式2〕
以下,基于图9~图12对本发明的第二实施方式进行说明。
本实施方式的眼镜30和眼球运动检测装置1的结构,与实施方式1相同。但是,本实施方式的眼球运动检测装置1,在检测右眼40的上下方向的眼球运动这一点上,与实施方式1不同。
(远红外线传感器13和14的输出的时间推移)
图9是表示使用者使视线向上方移动后的右眼40的图。如该图所示,当通过眼球运动,使用者的视线向上方(眼球的露出表面的端部53侧)移动时,上眼睑43侧的端部53切换为从视线的移动前已露出的露出表面50的其他部分。另一方面,位于端部53的相反侧的下眼睑44侧的端部54,切换为眼球的表面的在视线移动前被收在眼窝内并且通过眼球运动而重新从眼窝露出的露出部56。
眼球在眼窝内被体温弄暖和。因此,通过眼球运动而重新从眼窝露出的露出部56的温度,比在眼球运动前已露出的露出表面50的温度高。因此,当像上述那样发生眼球运动时,眼球的露出表面50的端部54的温度,通过在端部54重新配置露出部56而暂时变高。另一方面,在端部53不会这样。
图10是表示右眼40的上眼睑43打开,然后产生了使用者的视线向上方移动的眼球运动时的、远红外线传感器13的输出的时间推移和远红外线传感器14的输出的时间推移的一个例子的图。在该图中,纵轴表示远红外线传感器13和14的输出,横轴表示时间。曲线113表示远红外线传感器13的输出的时间推移。曲线114表示远红外线传感器14的输出的时间推移。
如上所述,当眼球的表面露出时,其温度随着时间的经过而下降。因此,当上眼睑43打开时,先露出的端部54的温度立刻开始下降,后露出的端部53晚开始下降。由此,上眼睑43打开后,如曲线114所示,远红外线传感器14的输出的上升(输出下降)立刻开始。另一方面,如曲线113所示,远红外线传感器13的输出的上升(输出下降),与远红外线传感器14的输出相比,晚开始。这样,端部53和端部54开始与外部气体接触的定时不同,因此,远红外线传感器13的输出和远红外线传感器14的输出,在相互不同的定时开始下降。
紧接着使用者的视线向上方移动的眼球运动开始的时刻72之后,远红外线传感器14的输出暂时升高,然后再次下降。另一方面,远红外线传感器13的输出不像远红外线传感器14的输出那样升高而持续下降。这是因为,如上所述,在眼球运动刚开始之后,端部54切换为来自眼窝的温暖的露出部56,由此,远红外线传感器14接收的远红外线的量暂时增加。露出部56的温度也通过露出部56与外部气体接触而下降,因此,远红外线传感器14的输出的升高是暂时的,与远红外线传感器13的输出同样地再次开始下降。
在上眼睑43持续打开充分长的时间的情况下,端部53和端部54的温度均在某个时刻下降至相同的一定温度,从此以后维持该一定值。在该情况下,远红外线传感器13的输出和远红外线传感器14的输出均在某个时刻下降至相同的一定值,从此以后维持该一定值。如上所述,远红外线传感器14的输出通过眼球运动而暂时升高,因此,远红外线传感器13的输出下降,比远红外线传感器14的输出下降先结束。
在眼球运动检测装置1中,传感器控制部21接收远红外线传感器13的输出和远红外线传感器14的输出,向输出差计算部22输出。输出差计算部22通过从同时刻的远红外线传感器14的输出减去远红外线传感器13的输出,计算出远红外线传感器14的输出与远红外线传感器14的输出之差。输出差计算部22将计算出的各时刻的输出差随时向视线移动方向检测部23和视线移动量检测部24输出。
视线移动方向检测部23基于被输入的差的时间推移,检测使用者的视线的移动方向(向上方或向下方)。另一方面,视线移动量检测部24基于被输入的差的时间推移,检测使用者的视线的移动量。
以下参照图11和图12,对这些检测方法进行说明。图11是表示上眼睑43打开,然后产生了视线向上方移动的眼球运动时的、远红外线传感器14的输出与远红外线传感器13的输出之差的时间推移的一个例子的图。在该图中,纵轴表示从远红外线传感器14的输出减去远红外线传感器13的输出而得到的输出差,横轴表示时间。曲线121表示输出差的时间推移。
(视线移动方向的检测)
如图11的曲线121所示,输出差在上眼睑43打开的时刻71之后,暂且向负极性的方向上升(倾斜)。该上升持续至远红外线传感器13的输出上升(倾斜)的时刻73。这是因为,如上所述,上眼睑43打开后,首先,端部54露出于外部气体,此后间隔一定时间,端部53露出于外部气体。在从上眼睑43打开的时刻71起至远红外线传感器13的输出上升的时刻73为止的期间,远红外线传感器14的输出持续下降,而远红外线传感器13的输出没有变化。因此,该期间的输出差,与远红外线传感器14的输出随着时间的经过更加下降对应地,随着时间的经过向负极性侧推移。
这样,在从上眼睑43打开的时刻72起至远红外线传感器13的输出的上升开始的时刻73为止的期间,即使没有发生眼球运动,输出差的时间推移也会产生向负极性去的上升。
在从远红外线传感器13的输出的上升开始的时刻73起至眼球运动开始的时刻72为止的期间,远红外线传感器13的输出和远红外线传感器14的输出均同样地持续下降。因此,该期间的输出差维持一定的值。但是,如上所述,远红外线传感器14的输出先开始下降,因此,该期间的输出差不为零,而维持一定的负极性的值。
眼球运动开始的时刻72之后,输出差的上升开始。该上升的方向是从负极性向正极性去的方向。输出差产生这样的上升是因为,如上所述,在眼球运动开始的时刻72之后,远红外线传感器14的输出暂时升高。
如图11所示,曲线121包括通过眨眼而产生的向负极性去的上升、和通过眼球运动而产生的从负极性向正极性去的上升这2个上升。视线移动方向检测部23在错误地基于前者的上升检测出了视线的移动方向的情况下,错误地将视线的移动方向检测为向下方。即,眼球运动检测装置1发生误动作。
因此,在本实施方式中,眼球运动检测装置1为了防止这样的误动作,如以下那样进行动作。首先,输出差计算部22,总是监视远红外线传感器13的输出的上升和远红外线传感器13的输出的上升是否产生了时间差。在本实施方式中,远红外线传感器14的输出先上升,此后间隔时间差,远红外线传感器13的输出上升。因此,输出差计算部22在远红外线传感器13的输出不与远红外线传感器14的输出同时上升的情况下,将远红外线传感器13的输出上升(倾斜)的时刻73,作为产生了时间差的时刻检测出。
输出差计算部22,将在时刻73以前从远红外线传感器13接收到的输出和从远红外线传感器14接收到的输出全部废弃。即,在时刻73以前不计算输出差。另一方面,在时刻73以后,不将从远红外线传感器13接收到的输出和从远红外线传感器14接收到的输出废弃,计算出从后者减去前者而得到的输出差,向视线移动方向检测部23和视线移动量检测部24输出。
图12是表示远红外线传感器13的输出的上升与远红外线传感器14的输出的上升的时间差被检测出之后的、远红外线传感器13的输出与远红外线传感器14的输出之差的时间推移的一个例子的图。在该图中,纵轴表示从远红外线传感器14的输出减去远红外线传感器13的输出而得到的输出差,横轴表示时间。曲线131表示输出差的时间推移。
如图12所示,当发生视线向上方移动的眼球运动时,比时刻73靠后的、从远红外线传感器14的输出减去远红外线传感器13的输出而得到的输出差的时间推移,产生从负极性向正极性去的上升。因此,视线移动方向检测部23,基于从输出差计算部22输入的、比时刻73靠后的输出差的时间推移中的上升的方向,检测眼球运动的移动方向。具体而言,在输出差的时间推移产生了向正极性去的上升的情况下,作为眼球运动的移动方向,检测出向上方。
另一方面,虽然未图示,但是,当发生视线向下方移动的眼球运动时,比时刻73靠后的输出差的时间推移中,产生向负极性去的上升。因此,视线移动方向检测部23,在比时刻73靠后的输出差的时间推移产生了向负极性去的上升的情况下,作为眼球运动的移动方向,检测出向下方。
(视线移动量的检测)
视线移动量检测部24基于在时刻73以后接收到的输出差的时间推移中的上升的角度,检测视线的移动量。即,基于图12所示的曲线131中的上升的角度,检测视线的移动量。
使用者的视线向上方移动得越多,端部54的越多范围被替换为露出部56,因此,远红外线传感器14接收的远红外线的量越增加。因此,使用者的视线向上方移动得越多,远红外线传感器14的输出的暂时增加量越多。由此,输出差的时间推移中产生的上升的角度更大。即,时刻73以后的输出差的时间推移中产生的上升的角度,与视线的移动量成比例。因此,视线移动量检测部24基于从输出差计算部22接收到的输出差的时间推移中的上升的角度,检测视线的移动量。具体而言,角度越大,检测出越大的移动量。即,将与上升的角度相对地成比例的量,作为视线的移动量检测出。
(本实施方式的优点)
如上所述,眼球运动检测装置1基于远红外线传感器14的输出与远红外线传感器13的输出之差的时间推移,检测右眼40的眼球运动。因此,能够准确地检测视线向上方(端部53侧)或下方(端部54侧)移动的眼球运动。
眼球运动检测装置1具备的远红外线传感器13和14均为非接触型的传感器。另外,眼球运动检测装置1不需要用于检测眼球运动的图像处理,因此,能够轻量且低耗电地进行动作。汇总地说,眼球运动检测装置1能够非接触、轻量且低耗电地检测眼球运动。
另外,眼球运动检测装置1,在远红外线传感器13的输出的上升比远红外线传感器14的输出的上升晚开始的情况下,基于比远红外线传感器13的输出的上升开始的时刻73靠后的输出差的时间推移,检测视线的移动方向。由此,能够防止误动作。
另外,眼球运动检测装置1在远红外线传感器13的输出的上升比远红外线传感器14的输出的上升晚开始的情况下,基于比远红外线传感器13的输出的上升开始的时刻73靠后的输出差的时间推移,检测视线的移动量。由此,能够防止误动作。
〔实施方式3〕
以下对本发明的第三实施方式进行说明。
在上述的第一实施方式和第二实施方式1中,眼球运动检测装置1为了对眼球的左右方向和上下方向均进行检测,具备4个远红外线传感器11~14。另一方面,在本实施方式中,眼球运动检测装置1仅具备4个远红外线传感器11~14中的远红外线传感器11和12,由此,仅能够检测左右方向的眼球运动。或者,眼球运动检测装置1仅具备远红外线传感器11~14中的远红外线传感器13和14,由此,仅能够检测眨眼的发生和上下方向的眼球运动。
〔软件的实现例〕
图1所示的眼球运动检测装置1的各功能块,可以由在集成电路(IC芯片)等中形成的逻辑电路(硬件)实现,也可以使用CPU(Central Processing Unit:中央处理器)通过软件实现。
在后者的情况下,眼球运动检测装置1具备:执行作为实现各功能的软件的程序的命令的CPU、以计算机(或CPU)能够读取的方式记录有上述程序和各种数据的ROM(ReadOnly Memory:只读存储器)或存储装置(将它们称为“记录介质”)、将上述程序展开的RAM(Random Access Memory:随机存取存储器)等。通过计算机(或CPU)从上述记录介质读取并执行上述程序,实现本发明的目的。作为上述记录介质,能够使用“非暂时的有形的介质”,例如带、盘、卡、半导体存储器、可编程的逻辑电路等。另外,上述程序可以通过能够传送该程序的任意的传送介质(通信网络或广播波等)供给至上述计算机。此外,本发明也能够以上述程序通过电子的传送而被具体化的、嵌入在载波中的数据信号的方式实现。
〔变形例〕
上述的第一~第三实施方式,例如能够如以下那样变形。
4个远红外线传感器11~14不一定需要是独立的单独的传感器。例如远红外线传感器11~14也可以是具有多个独立的单独的受光部分的1个芯片,即阵列传感器。在该结构中,各受光部分仅对端部51~54中的某一个端部具有指向性。
眼球运动检测装置1不仅能够组装到眼镜30中,而且能够组装到头戴式显示装置或眼镜型显示装置中。这样,组装有眼球运动检测装置1的头戴式显示装置或眼镜型显示装置也包含在本发明的一个实施方式中。在这些头戴式显示装置或眼镜型显示装置中,显示器实现防风的作用。
并不是眼球运动检测装置1具备的所有构成要素都需要设置在眼镜30上。例如,可以仅远红外线传感器11~14设置在眼镜30上,控制部20设置在作为操作对象的外部计算机上。这样,由具备远红外线传感器11~14的眼镜30和具备控制部20的外部计算机构成的操作系统,也包含在本发明的一个实施方式中。
在该操作系统中,远红外线传感器11~14和外部计算机内的控制部20通过无线或有线连接。在有线的情况下,远红外线传感器11~14例如通过柔性基板或配线与控制部20连接。远红外线传感器11~14的输出被随时输送至外部计算机内的控制部20。传感器控制部21基于远红外线传感器11~14的输出来检测使用者的眼球运动,外部计算机执行基于检测出的眼球运动的处理这一点,与上述的各实施方式相同。
眼球的露出表面50的温度有可能受到气温或湿度的影响而大幅变化。因此,眼球运动检测装置1可以通过具备气温传感器或湿度传感器,基于这些传感器的输出,对检测出的视线的移动方向和移动量进行校正。由此,能够使指向性的移动方向和移动量的精度提高。
或者,眼球运动检测装置1可以基于气温传感器或湿度传感器的输出,采取防止误动作的措施。例如优选眼球运动检测装置1,在基于气温传感器的输出检测出环境温度发生了急剧变化的情况下,不将眼球运动的检测结果(视线的移动方向和移动量的检测结果)通知给外部计算机。由此,即使由于环境温度的急剧变化而导致眼球的露出表面50的温度急剧变化,眼球运动检测装置1错误地将其作为眼球运动检测出,也能够防止外部计算机错误地被操作。
另外,优选眼球运动检测装置1基于气温传感器的输出和湿度传感器的输出来检测不舒适指数,在该不舒适指数超过80的情况下,不将眼球运动的检测结果(视线的移动方向和移动量的检测结果)通知给外部计算机。由此,在不舒适指数达到80~85时使用者出汗,即使由于该汗进入右眼40而导致露出表面50的温度急剧变化,眼球运动检测装置1错误地将其作为眼球运动检测出,也能够防止外部计算机错误地被操作。
〔总结〕
本发明的方式1的眼球运动检测装置的特征在于,具备:
对使用者的眼睛的眼球的露出表面的第一端部(端部51、端部53)具有指向性的第一远红外线传感器(远红外线传感器11、远红外线传感器13);
对上述眼球的露出表面的与上述第一端部相对的第二端部(端部52、端部54)具有指向性的第二远红外线传感器(远红外线传感器12、远红外线传感器14);
计算上述第一远红外线传感器的输出与上述第二远红外线传感器的输出之差的第一输出差计算部(输出差计算部22);和
基于计算出的上述差的时间推移,检测上述眼球的眼球运动的第一检测部(视线移动方向检测部23、视线移动量检测部24)。
当通过眼球运动,使用者的视线向眼球的露出表面的第一端部侧移动时,第一端部切换为从视线的移动前已露出的露出表面的其他部分。另一方面,位于第一端部的相反侧的第二端部,切换为眼球的表面的在视线移动前被收在眼窝内并且通过眼球运动而重新从眼窝露出的部分。
眼球在眼窝内被体温弄暖和,因此,眼球的眼窝内的埋没表面的温度比眼球的露出表面的温度高。因此,当如上述那样发生眼球运动时,眼球的露出表面的第二端部的温度当发生眼球运动时暂时变高。另一方面,在第一端部不会这样。
其结果,当发生视线向第一端部侧移动的眼球运动时,对第二端部具有指向性的第二远红外线传感器的输出暂时增加,对第一端部具有指向性的第一远红外线传感器的输出不会这样。因此,第一远红外线传感器的输出与第二远红外线传感器之差,根据眼球运动的程度在时间上不同地推移。
相反,当发生视线向第二端部侧移动的眼球运动时,第一远红外线传感器的输出暂时增加,第二远红外线传感器的输出不会这样。因此,在该情况下,第一远红外线传感器的输出与第二远红外线传感器之差也根据眼球运动的程度在时间上不同地推移。
在此,根据上述的方案,眼球运动检测装置基于第一远红外线传感器的输出与第二远红外线传感器的输出之差的时间推移,检测眼球的眼球运动。因此,能够准确地检测视线向第一端部侧或第二端部侧移动的眼球运动。
另外,本方式的眼球运动检测装置具备的第一远红外线传感器和第二远红外线传感器均为非接触型的传感器。另外,本方式的眼球运动检测装置不需要用于检测眼球运动的图像处理,因此,能够轻量且低耗电地进行动作。
如以上所述,本方式的眼球运动检测装置能够非接触、轻量且低耗电地检测眼球运动。
本发明的方式2的眼球运动检测装置的特征在于,在上述方式1中,
上述第一检测部基于上述差的时间推移中的上升(倾斜)的方向,检测上述使用者的视线的移动方向。
根据上述的方案,能够准确地检测发生了眼球运动时的视线的移动方向。
本发明的方式3的眼球运动检测装置的特征在于,在上述方式1或2中,
上述第一检测部基于上述差的时间推移中的上升(倾斜)的角度,检测上述使用者的视线的移动量。
根据上述的方案,能够准确地检测发生了眼球运动时的视线的移动量。
本发明的方式4的眼球运动检测装置的特征在于,在上述方式1~3中的任一方式中,
上述第一远红外线传感器对上述眼球的露出表面的内眼角侧的上述第一端部具有指向性,
上述第二远红外线传感器对上述眼球的露出表面的外眼角侧的上述第二端部具有指向性。
根据上述的方案,能够准确地检测眼睛的横向的眼球运动。
本发明的方式5的眼球运动检测装置的特征在于,在上述方式1~3中的任一方式中,
上述第一远红外线传感器对上述眼球的露出表面的上眼睑侧的上述第一端部具有指向性,
上述第二远红外线传感器对上述眼球的露出表面的下眼睑侧的上述第二端部具有指向性。
根据上述的方案,能够准确地检测眼睛的纵向的眼球运动。
本发明的方式6的眼球运动检测装置的特征在于,在上述方式5中,
在上述第一远红外线传感器的输出的上升比上述第二远红外线传感器的输出的上升晚开始的情况下,上述第一检测部基于比上述第一远红外线传感器的输出的上升开始的时刻靠后的上述差的时间推移,检测上述眼球运动。
其特征在于,在上述第一远红外线传感器的输出的上升比上述第二远红外线传感器的输出的上升晚开始的情况下,上述第一检测部基于比上述第一远红外线传感器的输出的上升开始的时刻靠后的上述差的时间推移,检测上述眼球运动。
当眼球的表面露出时,其温度随着时间的经过而下降。因此,当眼睛睁开时,先露出的第二端部的温度立刻开始下降,后露出的第一端部晚些开始下降。由此,在眼睛睁开之后,第二远红外线传感器的输出的上升立刻开始,第一远红外线传感器的输出的上升比第二远红外线传感器晚开始。
这样,在从眼睛睁开起至第二远红外线传感器的输出的上升开始为止的期间,即使没有发生眼球运动,第一远红外线传感器的输出的时间推移,也与第二远红外线传感器的输出的时间推移不同。因此,在该期间中,第一远红外线传感器的输出与第二远红外线传感器的输出之差,就像发生了眼球运动那样在时间上推移。因而,当基于该期间的输出差的时间推移时,会错误地检测眼球运动。
因此,本方式的眼球运动检测装置,在第一远红外线传感器的输出的上升比上述第二远红外线传感器的输出的上升晚开始的情况下,基于比第一远红外线传感器的输出的上升开始的时刻靠后的差的时间推移,检测眼球运动。换言之,忽略比第一远红外线传感器的输出的上升开始的时刻靠前的、两传感器的输出差。由此,能够防止将眨眼的发生错误地作为眼球运动检测出。
本发明的方式7的眼球运动检测装置的特征在于,在上述方式1~3中的任一方式中,具备:
对上述眼球的露出表面的上眼睑侧的第三端部(端部53)具有指向性的第三远红外线传感器(远红外线传感器13);
对上述眼球的露出表面的下眼睑侧的第四端部(端部54)具有指向性的第四远红外线传感器(远红外线传感器14);
计算上述第三远红外线传感器的输出与上述第四远红外线传感器的输出之差的第二输出差计算部(视线移动方向检测部23和视线移动量检测部24);和
基于由上述第二输出差计算部计算出的上述差的时间推移,检测上述眼球的眼球运动的第二检测部。
根据上述的方案,眼睛的左右方向的眼球运动和上下方向的眼球运动两者均能够准确地检测。
本发明的方式8的眼球运动检测方法的特征在于,具有:
计算对使用者的眼睛的眼球的露出表面的第一端部具有指向性的第一远红外线传感器的输出与对上述眼球的露出表面的与上述第一端部相对的第二端部具有指向性的第二远红外线传感器的输出之差的输出差检测步骤;和
基于计算出的上述差的时间推移,检测上述眼球的眼球运动的检测步骤。
根据上述的方案,能够非接触、轻量且低耗电地检测眼球运动。
本发明的方式9的眼镜的特征在于,具备上述方式1~7中的任一方式的眼球运动检测装置。
根据上述的方案,能够提供非接触、轻量且低耗电地检测眼球运动的眼镜。
本发明的方式10的头戴式显示装置的特征在于,具备上述方式1~7中的任一方式的眼球运动检测装置。
根据上述的方案,能够提供非接触、轻量且低耗电地检测眼球运动的头戴式显示装置。
本发明的方式11的眼镜型显示装置的特征在于,具备上述方式1~7中的任一方式的眼球运动检测装置。
根据上述的方案,能够提供非接触、轻量且低耗电地检测眼球运动的眼镜型显示装置。
上述的眼球运动检测装置可以利用计算机实现,在该情况下,通过使计算机作为上述眼球运动检测装置具备的各部进行动作从而利用计算机实现上述眼球运动检测装置的程序和记录有该程序的计算机可读取的记录介质也在本发明的范畴内。
本发明并不限定于上述的各实施方式,能够在权利要求所示的范围内进行各种改变,将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含在本发明的技术范围内。另外,通过将在各实施方式中分别公开的技术手段组合,能够形成新的技术特征。
产业上的可利用性
本发明能够作为用于检测眼球运动的装置广泛地利用。
附图标记说明
1 眼球运动检测装置
11 远红外线传感器(第一远红外线传感器)
12 远红外线传感器(第二远红外线传感器)
13 远红外线传感器(第一远红外线传感器、第三远红外线传感器)
14 远红外线传感器(第二远红外线传感器、第四远红外线传感器)
20 控制部
21 传感器控制部
22 输出差计算部(第一输出差计算部、第二输出差计算部)
23 视线移动方向检测部(第一检测部、第二检测部)
24 视线移动量检测部(第一检测部、第二检测部)
25 通信部
30 眼镜
31 框架
Claims (5)
1.一种眼球运动检测装置,其特征在于,具备:
对使用者的眼睛的眼球的露出表面的第一端部具有指向性的第一远红外线传感器;
对所述眼球的露出表面的与所述第一端部相对的第二端部具有指向性的第二远红外线传感器;
计算所述第一远红外线传感器的输出与所述第二远红外线传感器的输出之差的第一输出差计算部;和
基于计算出的所述差的时间推移,检测所述眼球的眼球运动的检测部。
2.如权利要求1所述的眼球运动检测装置,其特征在于:
所述检测部基于所述差的时间推移中的上升的方向,检测所述使用者的视线的移动方向。
3.如权利要求1或2所述的眼球运动检测装置,其特征在于:
所述检测部基于所述差的时间推移中的上升的角度,检测所述使用者的视线的移动量。
4.如权利要求1~3中任一项所述的眼球运动检测装置,其特征在于:
所述第一远红外线传感器对所述眼球的露出表面的内眼角侧的所述第一端部具有指向性,
所述第二远红外线传感器对所述眼球的露出表面的外眼角侧的所述第二端部具有指向性。
5.如权利要求1~3中任一项所述的眼球运动检测装置,其特征在于:
所述第一远红外线传感器对所述眼球的露出表面的上眼睑侧的所述第一端部具有指向性,
所述第二远红外线传感器对所述眼球的露出表面的下眼睑侧的所述第二端部具有指向性。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-234970 | 2014-11-19 | ||
JP2014234970 | 2014-11-19 | ||
PCT/JP2015/074115 WO2016080042A1 (ja) | 2014-11-19 | 2015-08-26 | 眼球運動検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107072524A true CN107072524A (zh) | 2017-08-18 |
CN107072524B CN107072524B (zh) | 2018-11-30 |
Family
ID=56013604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580062998.0A Expired - Fee Related CN107072524B (zh) | 2014-11-19 | 2015-08-26 | 眼球运动检测装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10086268B2 (zh) |
JP (1) | JP6262371B2 (zh) |
CN (1) | CN107072524B (zh) |
WO (1) | WO2016080042A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107929007A (zh) * | 2017-11-23 | 2018-04-20 | 北京萤视科技有限公司 | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 |
CN109866683A (zh) * | 2017-11-20 | 2019-06-11 | 夏普株式会社 | 车辆用驾驶支援装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3627194A1 (en) * | 2018-09-20 | 2020-03-25 | Essilor International | An optical device with reduced reflection in deep red, near infrared and visible ranges |
KR102208564B1 (ko) * | 2018-10-31 | 2021-01-27 | 주식회사 휴먼라인 | 안구운동 감지장치 |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6152564A (en) * | 1999-12-06 | 2000-11-28 | Bertec Corporation | Infrared eye movement measurement device |
CN1367662A (zh) * | 1999-08-02 | 2002-09-04 | 维思克斯公司 | 线性阵列眼睛跟踪器 |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
US20130066213A1 (en) * | 2010-05-20 | 2013-03-14 | Iain Tristan Wellington | Eye monitor |
CN104094591A (zh) * | 2012-02-07 | 2014-10-08 | 夏普株式会社 | 图像显示装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
US5367315A (en) * | 1990-11-15 | 1994-11-22 | Eyetech Corporation | Method and apparatus for controlling cursor movement |
US5508759A (en) * | 1991-01-08 | 1996-04-16 | Canon Kabushiki Kaisha | Visual axis detection apparatus |
JPH0694978A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
US5402109A (en) * | 1993-04-29 | 1995-03-28 | Mannik; Kallis H. | Sleep prevention device for automobile drivers |
DE4417762C1 (de) * | 1994-05-20 | 1995-10-12 | Juergen Prof Dr Med Lamprecht | Vorrichtung und Verfahren zum Projizieren und Empfangen von Bildinformation mittels eines Bildschirms |
US5592401A (en) * | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5583795A (en) * | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US20070135982A1 (en) * | 1995-06-07 | 2007-06-14 | Automotive Technologies International, Inc. | Methods for Sensing Weight of an Occupying Item in a Vehicular Seat |
US6163281A (en) * | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
US5966197A (en) * | 1998-04-21 | 1999-10-12 | Visx, Incorporated | Linear array eye tracker |
US6322216B1 (en) * | 1999-10-07 | 2001-11-27 | Visx, Inc | Two camera off-axis eye tracker for laser eye surgery |
US6604825B2 (en) * | 2000-04-03 | 2003-08-12 | Ming Lai | Hybrid tracking system |
CN101272727B (zh) * | 2005-09-27 | 2011-09-07 | 潘尼公司 | 用于控制外部单元的装置 |
JP5529660B2 (ja) | 2010-07-20 | 2014-06-25 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
US8531355B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
JP5661067B2 (ja) | 2012-05-29 | 2015-01-28 | 株式会社ジェイアイエヌ | アイウエア |
US9101297B2 (en) * | 2012-12-11 | 2015-08-11 | Elwha Llc | Time-based unobtrusive active eye interrogation |
US9039179B2 (en) * | 2012-12-11 | 2015-05-26 | Elwha Llc | Unobtrusive active eye interrogation |
KR20150072778A (ko) * | 2013-12-20 | 2015-06-30 | 삼성전기주식회사 | 저전력 전자 기기 |
-
2015
- 2015-08-26 WO PCT/JP2015/074115 patent/WO2016080042A1/ja active Application Filing
- 2015-08-26 US US15/520,624 patent/US10086268B2/en not_active Expired - Fee Related
- 2015-08-26 CN CN201580062998.0A patent/CN107072524B/zh not_active Expired - Fee Related
- 2015-08-26 JP JP2016560085A patent/JP6262371B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1367662A (zh) * | 1999-08-02 | 2002-09-04 | 维思克斯公司 | 线性阵列眼睛跟踪器 |
US6152564A (en) * | 1999-12-06 | 2000-11-28 | Bertec Corporation | Infrared eye movement measurement device |
US20130066213A1 (en) * | 2010-05-20 | 2013-03-14 | Iain Tristan Wellington | Eye monitor |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
CN104094591A (zh) * | 2012-02-07 | 2014-10-08 | 夏普株式会社 | 图像显示装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109866683A (zh) * | 2017-11-20 | 2019-06-11 | 夏普株式会社 | 车辆用驾驶支援装置 |
CN107929007A (zh) * | 2017-11-23 | 2018-04-20 | 北京萤视科技有限公司 | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US10086268B2 (en) | 2018-10-02 |
US20170312622A1 (en) | 2017-11-02 |
JP6262371B2 (ja) | 2018-01-17 |
CN107072524B (zh) | 2018-11-30 |
JPWO2016080042A1 (ja) | 2017-06-01 |
WO2016080042A1 (ja) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6159263B2 (ja) | 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法 | |
CN108701227B (zh) | 用于生物安全的蓝光调节 | |
KR102561991B1 (ko) | 아이웨어 장착 가능 안구 추적 디바이스 | |
US20240012478A1 (en) | Efficient image capturing based on eyelid position | |
CN107072524B (zh) | 眼球运动检测装置 | |
US9033502B2 (en) | Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable | |
JP7106569B2 (ja) | ユーザーの健康状態を評価するシステム | |
EP3371781A1 (en) | Systems and methods for generating and using three-dimensional images | |
US10948988B1 (en) | Contextual awareness based on eye motion tracking by an eye-mounted system | |
US20180092574A1 (en) | Detecting physiological responses while accounting for touching the face | |
KR20190038296A (ko) | 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램 | |
US10151636B2 (en) | Eyeglasses having inward-facing and outward-facing thermal cameras | |
WO2023038896A1 (en) | Eye data and operation of head mounted device | |
CN116615704A (zh) | 用于姿势检测的头戴式设备 | |
CN110520792B (zh) | 成像装置和隐形眼镜 | |
JP6340071B2 (ja) | 眼球検出装置及び眼鏡型電子機器 | |
US11690539B1 (en) | Eyewear with blood sugar detection | |
TWI856932B (zh) | 電子裝置以及應用於電子裝置的生理狀態偵測裝置與方法 | |
WO2023150211A1 (en) | Health notifications from eye measurements | |
TW202318180A (zh) | 用於對於使用者的通信模型不確定性之系統和方法 | |
Ko et al. | Development of an eye tracking medical headlamp |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181130 |