CN105378598A - 检测装置和方法 - Google Patents

检测装置和方法 Download PDF

Info

Publication number
CN105378598A
CN105378598A CN201480039759.9A CN201480039759A CN105378598A CN 105378598 A CN105378598 A CN 105378598A CN 201480039759 A CN201480039759 A CN 201480039759A CN 105378598 A CN105378598 A CN 105378598A
Authority
CN
China
Prior art keywords
light
eyeball
light receiving
receiving element
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480039759.9A
Other languages
English (en)
Other versions
CN105378598B (zh
Inventor
岩崎正则
佐古曜一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105378598A publication Critical patent/CN105378598A/zh
Application granted granted Critical
Publication of CN105378598B publication Critical patent/CN105378598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及使得能够以简单配置改进可操作性的检测装置和方法。隐形眼镜类型视线检测装置具有可以装到用户的眼球的形状。此外,设置输出光到视线检测装置的多个发光部分和接收从眼球表面反射的光的多个光接收元件。光接收元件接收已经从发光部分输出且从眼球表面反射的光并输出与接收的光量对应的接收的光信号。信号处理单元基于每个光接收元件的接收的光信号检测用户的视线。本技术可以应用于隐形眼镜类型视线检测装置或者显示装置。

Description

检测装置和方法
技术领域
本发明涉及检测设备和方法,且更具体地,涉及可以以简单配置增强可操作性的检测设备和方法。
背景技术
例如,用于移动屏幕上的光标或者指针的用户界面需要操作手段。作为检测用于移位光标等的用户操作的方法,存在基于图像中操作地点的位置来检测由相机捕获的用户的手臂、腿或者手指的操作位置的移动的方法,和基于附于用户的手臂、腿或者手指的陀螺仪传感器的信号检测移动的方法。
在如上所述使用用户的肢体、手指等执行光标或者指针的用户界面操作的情况下,需要比如相机和陀螺仪传感器之类的外部检测器。
此外,在使用用户的视线执行用于移动光标或者指针的操作的情况下,需要检测用户的眼球移动。
测量眼球的位置或者移动的方法的实例包括使用在位于磁场中的线圈中生成电势的事实的搜索线圈方法,该电势与由磁场和线圈形成的夹角成正比。在搜索线圈方法中,将检测线圈并入隐形眼镜中。该隐形眼镜穿戴在眼球上。外部地放置施加水平和垂直磁场的磁场线圈。由于从外部施加的场而在并入隐形眼镜中的检测线圈中生成感应电动势。检测到该感应电动势。以该方式,检测到眼球移动。
作为测量眼球的位置或者移动的另一方法,还已知EOG(眼动电图描记)方法。EOG方法使用角膜与视网膜相比具有从10到30μV的正电势的事实。电极附于眼睛周围。检测到电势差。
作为测量眼球的位置或者移动的其它方法,已知异色边缘跟踪方法、角膜反射方法和瞳孔角膜反射方法。
异色边缘跟踪方法使用发射到眼睛的红外光的反射率在巩膜和虹膜与瞳孔之间不同的事实。由眼球反射的光由外部放置的相机捕获。由此检测到眼球移动。
此外,角膜反射方法使用由红外光LED(发光二极管)发射到眼睛的红外LED光形成的角膜部分上的虚拟图像由于角膜部分和眼球之间的旋转中心差异而与眼球移动一起平行地移动的事实。由眼球反射的红外LED光的虚拟图像由外部放置的相机捕获。由此检测到眼球移动。
瞳孔角膜反射方法具有与角膜反射方法相同的基本原理。但是,瞳孔角膜反射方法不同于角膜反射方法在于瞳孔的中心用作基准。也就是,瞳孔角膜反射方法是其中由外部放置的相机检测瞳孔的中心且基于与红外LED光的虚拟图像的位置的差异检测眼球移动的方法。
顺便说,作为紧凑图像显示设备,已经提出了隐形眼镜类型的显示设备(例如,参见专利文件1)。该显示设备通过穿戴在用户的眼球上而使用。因此,无论用户位于哪里,可以将图像呈现给用户。
专利文件1:日本专利No.4752309
发明内容
技术问题
但是,当由上述隐形眼镜类型显示设备显示光标或者指针且执行用户操作时,用于根据上述方法移动光标或者指针的用户界面需要用于检测操作手段的外部检测设备。
无线地使用穿戴在用户的眼球上的隐形眼镜类型显示设备。因为使用其的用户不得不携带额外的装置,用于操作光标或者指针的外部检测设备的使用成为负担。
例如,根据检测由相机捕获的移动的方法,用户不得不位于相机的视角中。由此,用户的活动范围受限。因此,难以将显示设备拿到外部。此外,随着操作距离变得更长,相机屏幕中的操作区域变得更小。因此,用于检测用户的移动的像素的数目相对地减小。由此,检测精度降低。
另外,陀螺仪传感器检测相对位置。因此,在由陀螺仪传感器检测用户的移动的方法中,需要对于每个操作指定基准位置。
在搜索线圈方法中,应该外部地放置施加水平和垂直磁场的磁场线圈。此外,搜索线圈方法使用由正在相对于由磁场线圈产生的磁场移动的检测线圈产生的电动势。因此,用户的头部的位置不得不相对于磁场线圈固定。
EOG方法具有宽的检测范围且即使用户闭上眼镜也能够检测眼球移动。但是,其相对外部电磁噪声很弱,且检测精度很低。具有小于1度的精度的检测是不可能的。
关于异色边缘跟踪方法、角膜反射方法和瞳孔角膜反射方法,它们全部具有关于人体的更小负担。但是,这些方法要求外部放置的相机。此外,其对环境光很敏感。因此,为了增加检测精度,需要准备具有更少环境光的环境。
另外,在由从外部捕获用户的相机检测眼球移动的方法中,当用户闭上眼睛时不能检测到眼球。因此,当用户正闭上眼睛时,不能操作用户界面。
如上所述,在上述技术中,不可以以不使用外部检测设备的简单配置增强隐形眼镜类型显示设备的可操作性。
已经考虑上述情况做出本发明,且其目的在于以简单配置增强可操作性。
技术方案
根据本发明的一方面的检测设备是可穿戴在眼球上且包括接收从眼球入射的光的光接收元件的检测设备。
检测设备可以进一步设置有输出光的发光元件。光接收元件可以设置在发光元件附近。
发光元件可以由多个发光部分形成,且光接收元件可以设置在发光部分附近。
光接收元件可以接收从发光部分输出且由眼球反射的光。可以进一步设置检测在检测设备的各区域中所布置的多个光接收元件的的信号处理单元。
发光部分可以是显示信息的显示像素。
检测设备可以配置为当检测设备穿戴在眼球上时覆盖整个角膜部分。
在检测设备穿戴在眼球上的状态下,发光部分和光接收元件中的至少一个可以设置在与眼球的瞳孔可移动的范围中的区域相对的检测设备的区域中。
检测设备配置为由其覆盖眼球的横向宽度大于垂直宽度。
不同于发光元件和光接收元件的元件可以设置在检测设备的横向端附近。
检测设备可以具有用于相对于具有眼球的头部固定检测设备的结构。
信号处理单元可以基于多个光接收元件的光接收量确定眼球的方向。
信号处理单元可以基于眼球的方向和与该眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于会聚量计算至注视目标对象的距离。
信号处理单元可以基于多个光接收元件的光接收量确定眼球的瞳孔的直径。
信号处理单元可以基于多个光接收元件的光接收量检测活体状态。
发光部分可以将具有预定波长的光发射到眼球或者依次将具有不同波长的光发射到眼球,且信号处理单元可以基于在光接收元件中发射到眼球的具有预定波长的光或者具有不同波长的光的光接收量来检测活体状态。
发光部分可以是显示信息的显示像素。发光部分可以在显示信息的时段之后将具有预定波长的光或者具有不同波长的光发射到眼球。
根据本发明的一方面的检测方法是用于检测设备的检测方法,该检测设备包括接收从眼球进入的光的光接收元件和检测光接收元件的光接收量的信号处理单元,且可穿戴在眼球上,该方法包括:由光接收元件接收由眼球反射的光的光接收步骤;和由信号处理单元检测在检测设备的各区域中所布置的多个光接收元件的光接收量的检测步骤。
该检测方法可以进一步包括由检测设备中设置的发光元件输出光的发光步骤。光接收元件可以在光接收步骤中接收从发光元件输出且由眼球反射的光。
检测方法可以进一步包括由信号处理单元基于多个光接收元件的光接收量确定眼球的方向的计算步骤。
在检测方法中,信号处理单元可以在计算步骤中基于眼球的方向和与该眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于会聚量计算至注视目标对象的距离。
在本发明的一方面中,在包括接收从眼球入射的光的光接收元件且可穿戴在眼球上的检测设备中,由光接收元件接收由眼球反射的光。
技术效果
根据本发明的一方面,可以以简单配置增强可操作性。
附图说明
图1是示出了显示设备的外观的配置实例的图。
图2是示出了显示设备的配置实例的图。
图3是示出了显示区域的配置实例的图。
图4是用于描述视线的检测的图。
图5是用于描述视线的检测的图。
图6是用于描述注视位置的检测的图。
图7是用于描述控制设备的处理的图。
图8是示出了心脏的脉动的图。
图9是示出了眼球的图。
图10是用于描述瞳孔的移动范围的图。
图11是用于描述校准处理的流程图。
图12是用于描述视线检测处理的流程图。
图13是用于描述活体状态检测处理的流程图。
图14是示出了显示设备的另一配置实例的图。
图15是示出了显示设备的穿戴状态的图。
图16是用于描述显示设备的凸起部分的图。
图17是用于描述显示设备的高摩擦部分的图。
图18是用于描述显示设备的凸起部分或者高摩擦部分的区域的图。
图19是示出了显示区域的另一配置实例的图。
图20是示出了显示区域的另一配置实例的图。
图21是示出了显示区域的另一配置实例的图。
图22是示出了显示设备的另一配置实例的图。
图23是示出了视线检测设备的配置实例的图。
图24是示出了检测区域的配置实例的图。
图25是用于描述校准处理的流程图。
图26是用于描述视线检测处理的流程图。
具体实施方式
在下文中,将参考附图描述应用了本发明的实施例。
<第一实施例>
<隐形眼镜类型显示设备的配置实例>
本发明涉及隐形眼镜类型显示设备。隐形眼镜类型显示设备通过穿戴在用户的眼球上而无线地使用。因此,当其用于作为显示设备的功能时,用户例如可以在穿戴着该显示设备的同时自由地漫步。但是,由比如相机和检测设备之类的外部设备执行相对于显示屏幕中的信息选择/移动光标、指针等的操作在用户上施加了负担或者限制。
考虑到此,在本发明中,在显示图像的显示元件附近设置光接收元件。由此,可以实现用于操作光标、指针等的用户界面而不需要除了显示设备之外的外部设备。
在隐形眼镜类型显示设备中,由显示元件发射的光的眼球表面上的反射光由光接收元件检测。在该情况下,在眼球表面的巩膜或者虹膜中检测反射光。相反地,在瞳孔部分中,光通过眼球且其反射光更小。因此,具有更小反射光的部分检测为瞳孔。基于检测到的瞳孔移动,检测视线。
通过此,可以确定眼球朝向的方向。因此,可以不使用外部设备提供用于操作光标、指针等的用户界面。因此,可以以简单配置增强显示设备的可操作性。
接下来,将描述应用了本发明的隐形眼镜类型显示设备的特定实施例。
隐形眼镜类型显示设备穿戴在如图1所示的用户的眼球上。
在图1中,隐形眼镜类型显示设备11穿戴在用户的眼球EY11的表面上。显示设备11具有使得其可以像所谓的隐形眼镜那样穿戴在用户的眼球EY11上/从用户的眼球EY11摘下的形状。
这种显示设备11例如配置为如图2所示的。
特别地,显示设备11由显示区域21、馈送天线22、信号天线23、功率生成单元24、传感器25、信号处理单元26和显示元件驱动单元27构成。
注意到,图2是当在图1中的从左到右的方向观看时显示设备11的图。也就是,其是当从前面观看穿戴着显示设备11的用户的图。在图2中,显示设备11具有圆形。
显示区域21包括显示元件和光接收元件。显示元件由显示呈现给用户的比如图像和字符的信息的多个显示像素形成。光接收元件与显示像素相邻地布置并接收由用户的眼球表面反射的光。
馈送天线22设置在显示区域21的周围,且接收由于从外部提供的磁场或者电场引起的感应电动势。信号天线23将从信号处理单元26提供的信息,比如基于用户的视线的用户界面的操作结果发送到外部。信号天线23接收从外部发送的信息,比如由显示像素显示的信息,并将其提供到信号处理单元26。
功率生成单元24整流由于来自外部的磁场等的电磁感应而在馈送天线22中生成的感应电流,以由此获得和存储电功率,并将电功率提供到显示设备11的各个部分。注意到,在功率生成单元24根据预定方法自身生成功率或者包括可再充电电池的情况下,显示设备11不需要设置有馈送天线22。
传感器25由陀螺仪传感器、重力传感器等形成。传感器25检测穿戴着显示设备11的用户的姿势或者移动,并将其检测结果提供到信号处理单元26。例如,用户的头部的移动由传感器25检测。
信号处理单元26控制整个显示设备11。例如,基于从显示区域21的光接收元件提供的信号,信号处理单元26检测显示设备11的区域中布置的光接收元件中光的光接收量之间的差异,以由此检测用户的视线。此外,基于从传感器25提供的检测结果、视线的检测结果、由信号天线23接收的信息等,信号处理单元26控制显示元件驱动单元27以在显示区域21中显示图像等。
特别地,例如,当显示设备11相对于用户的眼球旋转时,传感器25能够检测其旋转方向和旋转量。考虑到此,信号处理单元26控制显示元件驱动单元27以将当前在显示区域21中显示的图像旋转到与从传感器25提供的显示设备11相对于眼球的旋转方向相对的方向,且将图像旋转与显示设备11的旋转量对应的量。通过此,即使显示设备11关于用户的眼球旋转,可以校正图像的产生的旋转且将易于观看的图像呈现给用户。
显示元件驱动单元27在信号处理单元26的控制下驱动显示区域21的显示元件,以显示图像或者将从显示区域21的光接收元件提供的信号提供到信号处理单元26。在下文中,从显示区域21的光接收元件输出的根据光接收元件的光接收量的信号将被称为光接收信号。
显示设备11的显示区域21例如配置为图3所示的。注意到,图3示出了当在图1中的深度方向上观看显示设备11时显示设备11的截面的一部分。
在图3中,显示设备11的显示区域21包括显示比如图像的信息的显示像素51-1到51-7和接收从用户的眼球表面进入的反射光的光接收元件52-1到52-7。由显示像素51-1到51-7形成的单个显示装置是显示元件53。
在下文中,在不需要特别地彼此区分显示像素51-1到51-7的情况下,它们也将被简单地称为显示像素51。此外,在不特别需要彼此区分光接收元件52-1到52-7的情况下,它们也将被简单地称为光接收元件52。
显示元件53例如由液晶显示元件或者有机电致发光(OLED(有机的体发光二极管))显示元件构成。在图3中的实例中,在显示设备11的右侧,即,在图中用户的眼球一侧上在垂直方向上交替地布置显示像素51和光接收元件52。因此,例如,在图2中,在显示区域21中在图2中的垂直和横向方向上交替地布置显示像素51和光接收元件52。
在图中显示设备11中显示像素51和光接收元件52的左侧,即,显示设备11的外部世界一侧上设置润滑层54。润滑层54例如由透明合成树脂形成。由于该润滑层54,当用户在眼睛上穿戴显示设备11时用户的眼睑可以流畅地移动。
参考图3,已经描述了显示像素51和光接收元件52紧密接触的实例。但是,显示像素51和光接收元件52不需要紧密接触,且可以在显示像素51和光接收元件52之间设置余隙(clearance)。此外,在图3中,对于一个显示像素51设置一个光接收元件52。但是,可以对于多个显示像素51设置一个光接收元件52。
<关于视线检测>
接下来,将描述显示设备11的用户的视线检测。
例如,如图4所示,假定穿戴在用户的眼球EY11上的显示设备11设置有显示像素51-1到51-11和光接收元件52-1到52-12。此外,,与用户的眼球EY11的位置的一部分(该部分不同于瞳孔BE11,例如是巩膜或者虹膜)相对的显示设备11的显示区域21的一区域将被称为区域A。与瞳孔BE11相对的显示区域21的一区域将被称为区域B。
当位于区域A和B中的显示像素51发光时,如由图4中的实线箭头标记指示的,从显示像素51发射的光行进到眼球EY11且到达眼球EY11。
例如,已经进入眼球EY11中的、比如巩膜和虹膜的、不透明位置处的从显示像素51输出的部分光由眼球EY11的表面吸收和反射。因此,在区域A中,如由虚线箭头标记指示的从显示像素51输出的部分光由眼球EY11的表面反射和由光接收元件52接收(检测)。
相反地,瞳孔BE11是透明的,且因此已经进入瞳孔BE11的、从显示像素51输出的部分光几乎不由瞳孔BE11反射而是到达眼球EY11中的视网膜并由视网膜吸收。也就是,如由图中的实线箭头标记指示的,在区域B中,从显示像素51输出的光几乎不被眼球EY11的表面反射而是被视网膜吸收。因此,在区域B中,从显示像素51输出的光几乎不被光接收元件52检测。
以该方式,通过检测由光接收元件52接收的、来自显示像素51的光量之间的差异,可以确定指示眼球EY11(瞳孔BE11)朝向的方向,即,用户的视线方向的眼球EY11的方向。具体来说,只要可以确定在每一时间点用户的视线方向,就可以检测眼球移动,即,视线的移动,且还可以基于视线的移动估计用户的精神状态或者感觉。
严格来说,在眼球EY11的所有表面上发生很少的反射。但是,与区域A中反射光的量相比,区域B中反射光的量非常小。因此,可以充分地区分区域A与区域B。
此外,在用户闭上眼睛的状态下,仅已经从显示像素51输出且由眼球EY11反射的光进入光接收元件52。另一方面,如果用户睁开眼睛,当显示区域21使得部分光从其通过时,已经通过显示区域21从外部进入眼球EY11并由眼球EY11反射的环境光与从显示像素51输出的光一起进入光接收元件52。
也在这种情况下,进入眼球EY11的不透明位置,比如巩膜和虹膜的环境光由眼球EY11反射并进入光接收元件52,同时进入眼球EY11的瞳孔BE11的大部分环境光通过瞳孔BE11并到达视网膜。也就是,进入瞳孔BE11的环境光几乎不反射,且光接收元件52中环境光的光接收量很小。因此,与用户是否睁开眼睛无关地,可以充分地区分区域A与区域B。
特别地,例如,在如由图5的箭头标记Q11指示的用户面向前的情况下,由信号处理单元26获得由箭头标记Q12指示的光接收信号图。
例如,由箭头标记Q12指示的光接收信号图是指示由每一光接收元件52接收的光量的图像数据。此外,光接收信号图中的圆形的亮与暗指示在具有与光接收信号图中的圆形相同的位置关系的显示区域21中从光接收元件52输出的光接收信号的值。
例如,光接收信号图中的较亮的圆形表示与圆形对应的光接收元件52的光接收量较大,即,光接收信号的值较高。此外,在该实例中,在显示区域21中以阵列布置光接收元件52,由此,在光接收信号图中,也在垂直和横向方向上布置与光接收元件52对应的圆形。
在由箭头标记Q11指示的状态下,瞳孔BE11面向图中的左边,且由此用户的视线方向是近似前向。因此,在由箭头标记Q12指示的光接收信号图中,在对应于瞳孔BE11的近似光接收信号图的中心的区域比其周围区域更暗。较暗区域具有与瞳孔BE11相同的圆形形状。这是由于如上所述在瞳孔BE11处几乎不发生反射。
此外,在光接收信号图中,与瞳孔BE11对应的中心区域周围的区域指示具有很多反射光的部分,比如眼球EY11中的巩膜和虹膜的位置。
在显示设备11中,在设计阶段固定以阵列布置的光接收元件52之间的间隔。因此,基于光接收信号图,可以容易地计算瞳孔BE11的中心位置,即,视线方向。
例如,用户的视线方向的检测结果是瞳孔BE11的中心朝向的与眼球EY11接触的显示设备11的区域中的位置,即,与瞳孔BE11的中心接触的位置(在下文中,称为视线位置)。因此,例如,在由箭头标记Q11指示的实例中,近似在显示设备11的中心的位置是视线位置。
在显示设备11中,也可以基于光接收信号图计算瞳孔BE11的直径。例如,光接收信号的值等于或者小于预定值的区域是瞳孔BE11的区域,且该区域的直径是瞳孔BE11的直径。
此外,如由箭头标记Q13指示的,在用户略微地向上看的情况下,由信号处理单元26获得由箭头标记Q14指示的光接收信号图。
在由箭头标记Q13指示的状态下,在图中瞳孔BE11朝向略微地向上的方向,且由此用户的视线方向是略微地向上的方向。因此,在由箭头标记Q14指示的光接收信号图中,对应于瞳孔BE11的光接收信号图的区域略微地在由箭头标记Q12指示的光接收信号图的区域之上。
如上所述,在信号处理单元26中,可以通过基于光接收信号图检测瞳孔BE11的位置来确定视线位置,即,眼球EY11的方向,其中基于从光接收元件52输出的光接收信号获得光接收信号图。另外,在信号处理单元26中,可以基于眼球EY11的方向计算在由用户注视的当前在显示区域21或者实际空间中显示的图像中目标对象的上、下、左和右方向上的位置。
<关于至注视位置的距离>
在显示设备11中,也可以基于光接收信号图确定到由用户注视的目标对象的距离。
现在,参考图6,将描述基于用户的左眼球和右眼球的方向检测至注视位置的距离的原理。
例如,如图6所示,假定用户在左眼球EY21L(左眼)上穿戴显示设备DP11L且在右眼球EY21R(右眼)上穿戴显示设备DP11R,并注视预定目标对象OB11或者OB12。
这里,显示设备DP11L和DP11R每个都是等效于显示设备11的设备。
在图6中,目标对象OB11位于注视位置AT11且目标对象OB12位于注视位置AT12。从用户到注视位置AT11的距离比从用户到注视位置AT12的距离长。也就是,注视位置AT11比注视位置AT12距用户更远。
总的来说,当一个人观看某个对象时,左眼和右眼具有取决于到对象的距离的会聚。也就是,左眼球和右眼球向内旋转,且其旋转角取决于至注视对象的距离而变化。
例如,在图中的左侧示出的实例中,用户注视近似在用户前面的注视位置AT11的目标对象OB11。在该实例中,由连接用户的左眼球EY21L的瞳孔BE21L的中心与目标对象OB11的直线和连接右眼球EY21R的瞳孔BE21R的中心与目标对象OB11的直线之间形成的夹角是观看目标对象OB11的用户的会聚角。会聚角指示用户的左眼和右眼的会聚量。
当用户正在以上述方式观看目标对象OB11时,由穿戴在左眼球EY21L上的显示设备DP11L获得左眼的光接收信号图RM11L,且由穿戴在右眼球EY21R上的显示设备DP11R获得右眼的光接收信号图RM11R。
如可以从光接收信号图RM11L和光接收信号图RM11R看到,用户的左瞳孔BE21L和右瞳孔BE21R从用户来看略微地朝内。
此外,例如,在图中的右侧示出的实例中,用户注视实质上在用户的前面的注视位置AT12的目标对象OB12。在该实例中,由连接用户的左眼球EY21L的瞳孔BE21L的中心与目标对象OB12的直线和连接右眼球EY21R的瞳孔BE21R的中心与目标对象OB12的直线之间形成的夹角是观看目标对象OB12的用户的会聚角。
当用户正在以上述方式观看目标对象OB12时,由穿戴在左眼球EY21L上的显示设备DP11L获得左眼的光接收信号图RM12L且由穿戴在右眼球EY21R上的显示设备DP11R获得右眼的光接收信号图RM12R。
如可以从图6所示的实例看到,随着从用户到注视目标对象的距离变短,观看目标对象的用户的会聚角变大。例如,在图6中的实例中,在观看目标对象OB12时的会聚角大于在观看目标对象OB11时的会聚角。
此外,与该会聚角的变化相对应,在光接收信号图中用户的瞳孔位置(视线位置)也变化。在图6中的实例中,可以看出,在光接收信号图中,瞳孔位置在观看目标对象OB12时与在观看目标对象OB11时的瞳孔位置相比位于用户的内侧(用户的中心侧)上。
在显示设备11中,可以基于成对的左眼球和右眼球的方向计算用户的左眼和右眼的会聚角,该成对的左眼球和右眼球的方向是基于在光接收元件52的光的检测结果,即,光接收信号图中的瞳孔位置获得的。基于所获得的会聚角,可以确定至注视对象的距离和注视对象的上、下、左和右位置。
如果可以以该方式确定至注视对象的距离,可以不仅区分在左和右方向上的位置而且区分在深度方向上的位置。因此,例如,当对左眼和右眼显示具有视差的图像、按钮等时,可以实现具有深度感觉的操作。
在显示设备DP11L和显示设备DP11R中,可以仅使用基于它们自己的光接收元件52的光接收信号获得的光接收信号图计算会聚角。替代地,可以使用左眼和右眼的光接收信号图计算会聚角。
在基于左眼和右眼的光接收信号图计算会聚角的情况下,例如,显示设备DP11L与显示设备DP11R通信并接收由显示设备DP11R获得的光接收信号图。然后,显示设备DP11L基于由显示设备DP11L获得的光接收信号图和从显示设备DP11R接收的光接收信号图计算会聚角,并将所获得的会聚角发送到显示设备DP11R。在会聚角的计算中,计算指示左眼的光接收信号图中的瞳孔位置的眼球方向和指示右眼的光接收信号图中的瞳孔位置的眼球方向。
通过此,在显示设备DP11L和显示设备DP11R中,可以获得公共的会聚角。在该情况下,由信号处理单元26计算会聚角,且由信号天线23发送/接收会聚角。此外,信号处理单元26根据需要使用会聚角确定至注视对象的距离和注视对象的上、下、左和右位置。至注视对象的距离等可以从显示设备DP11L发送到显示设备DP11R。
另外,在左显示设备DP11L和右显示设备DP11R中的每一个基于单个光接收信号图计算会聚角的情况下,基于左眼或者右眼的光接收信号图中的瞳孔位置计算会聚角。因此,在目标对象不在用户前面的情况下,由显示设备DP11L和DP11R获得不同的会聚角。也就是,获得左和右不对称会聚角。但是,基于左和右会聚角,可以确定到目标对象的距离或者目标对象的左、右、上和下方向上的位置。
注意到另一设备可以基于由显示设备DP11L获得的光接收信号图和由显示设备DP11R获得的光接收信号图来计算会聚角。
在这种情况下,例如,如图7所示,控制设备81与显示设备DP11L和DP11R通信并接收光接收信号图。
然后,控制设备81基于从显示设备DP11L接收到的光接收信号图和从显示设备DP11R接收到的光接收信号图计算会聚角,并将所获得的会聚角发送到显示设备DP11L和DP11R。
注意到,控制设备81可以配置为基于会聚角计算到目标对象的距离或者目标对象的位置等,并将其发送到显示设备DP11L和DP11R。
如上所述,根据显示设备11,可以在每个时间点从眼球直接接收反射光并检测眼球移动,即,眼球方向(视线位置)。具体来说,由于在显示区域21中多个光接收元件52的设置,变得可以精确地检测眼球的很小移动。
<关于微扫视的检测>
顺便说,已知眼球移动包括被称为扫视(saccades)的很小移动。具体来说,在视觉固定期间发生的不自觉的眼球移动的最大移动被称为微扫视(microsaccades)。
代替是随机的,这些很小的视觉移位可以指向人的思想秘密地聚焦的地方,即使他/她的注视导向其它地方,这揭露了隐藏的想法和期望。
因此,如果显示设备11检测微扫视,则其变得可以不仅确定由用户注视的目标对象而且确定用户潜在地感兴趣的目标对象。
特别地,例如,信号处理单元26基于每个时间点的光接收信号图检测每个时间点的眼球方向,即,视线位置。然后,如果在预定时段的大部分时间点检测到相同的视线位置,该视线位置是用户注视的位置,即,用户聚焦于的目标对象的位置。
此外,信号处理单元26检测在上述预定时段中眼球方向的移动最大的时间点获得的、不同于用户注视的位置的视线位置之一,作为用户潜在地感兴趣的目标对象的位置。也就是,最大眼球移动检测为微扫视。
<关于活体状态的检测>
显示设备11还能够检测活体状态。
例如,显示设备11能够检测用户的心脏的脉动作为活体状态。在下文中,将描述检测脉动的原理。
在显示设备11中,显示像素51输出具有预定波长的光,且由眼球表面反射的光由光接收元件52接收。然后,信号处理单元26基于经由显示元件驱动单元27从光接收元件52提供的光接收信号的值,检测穿戴着显示设备11的用户的心脏的脉动。
例如,如图8所示周期性地产生心脏的脉动。脉动时间相对于周期很短,且在脉动定时产生血流。注意到,在图8中,横轴指示时间且纵轴指示光接收信号的值,即,血流速度。
如可以从图8看到的,血流速度剧烈变化的部分是脉动部分且周期性地产生脉动。
在血流速度由于脉动而增加的同时,流过毛细血管的血液增加。因此,可以基于血流的存在/不存在而检测脉动。毛细血管延伸通过眼球且具有取决于心脏的脉动的血流。
作为血液的组成部分的氧基血红素和脱氧血红蛋白具有光吸收的不同光谱特性。脱氧血红蛋白具有以短于805nm的波长的高吸收系数。氧基血红素具有以长于805nm的波长的高吸收系数。
考虑到此,信号处理单元26控制显示元件驱动单元27以从显示像素51依次(交替地)输出具有比805nm的波长短的预定波长的光和具有比805nm的波长长的预定波长的光。此外,信号处理单元26使得光接收元件52接收从显示像素51输出并由眼球表面反射的光。这里,具有短于805nm的波长的光可以是可见光。
然后,信号处理单元26确定当输出短波长光时获得的光接收信号的值和当输出长波长光时获得的光接收信号的值之间的差值,以由此确定氧基血红素和脱氧血红蛋白中的哪个组成部分在血液中包含更多。另外,信号处理单元26基于确定结果检测血流(血流速度的变化),该确定结果是基于光接收信号之间的差异和在预定时段中各个时间点的光接收信号的值的变化,即,由光接收元件52接收的反射光强度随着时间的变化获得的。然后,信号处理单元26基于血流的检测结果确定脉动。
血液中的血红蛋白相对于某个波长段的光具有强的吸收频谱。当向其发射某个波长段的光时血液(血管)中的反射光取决于血红蛋白的量而变化,该血红蛋白的量取决于血管的容量的变化而变化。因此,可以基于向眼球的表面(毛细血管)发射的反射光强度检测血流速度。
注意到,血流速度本身可以由信号处理单元26检测为活体状态。
此外,显示设备11还能够检测眼球的充血程度。
眼球的充血是巩膜表面的血管由于某些影响而膨胀和突出且眼睛看起来红且充血的现象。在充血的情况下的血流速度高于正常。
例如,如果由于细菌或者病毒的感染而眼睛表面具有结膜炎,则眼睛充血。否则,如果由长时间使用个人计算机、玩电视游戏或者读书而滥用眼睛,如果存在隐形眼镜的影响,或者如果眼睛未充分地休息,则血管膨胀以用于馈送更多血液到血管以补充氧气和养分。其也导致眼睛充血。
显示设备11的信号处理单元26执行与在上面心脏的脉动的检测中描述的情况相同的处理,以检测用户的眼球中的血流速度并将正常的血流速度与所检测的血流速度比较。由此确定眼睛的充血程度。通过彼此比较血流速度,例如,确定血流速度之间的差异,可以检测到与正常血流速度相比血流速度的增加。注意到,正常血流速度可以是预先设定的值或者可以是基于过去的血流速度确定的值。
通过显示设备11检测用户的眼睛的充血程度,变得可以判断眼球是否由于疲劳或者疾病而具有异常。
如上所述,显示设备11检测比如心率和眼睛充血程度的活体状态(人体状态),且因此其检测结果可以用于各种应用程序等。
例如,可以由显示设备11检测到当用户惊讶或者激动时心率的增加。另外,显示设备11能够基于用户的视线(眼球移动)和微扫视的检测结果而确定导致惊讶或者兴奋的对象。
<关于显示区域>
顺便说,显示设备11具有使得其覆盖大于图9所示的眼球的角膜部分的区域的结构。在图9中,眼球EY31的斜线部分表示角膜部分CO11。
显示设备11具有使得当显示设备11穿戴在眼球EY31上时其覆盖整个角膜部分CO11的尺寸与形状。
例如,如在图10中的上侧所示,在用户面向前的状态下,眼球EY11的瞳孔BE11也朝前。注意到,在图10中,与图4中的部分对应的部分由相同的附图标记表示,且将适当地省略其描述。
在图10中的上侧示出的实例中,瞳孔BE11朝前,且从显示设备11的显示像素51输出的光行进到眼球EY11。
注意到,在图中的实线箭头标记指示通过瞳孔BE11且到达视网膜的从显示像素51输出的部分光。在图中的虚线箭头标记例如指示当未通过瞳孔BE11而是由眼球EY11吸收或者反射的从显示像素51输出的部分光到达视网膜而没有由眼球EY11的表面吸收和反射时的光束。
如可以从在图中的上侧的实例看到的,从与瞳孔BE11相对的显示设备11的区域中的显示像素51输出的光到达视网膜,且从与不同于瞳孔BE11的部分相对的区域中的显示像素51输出的光没有到达视网膜。
此外,在图中的下侧,示出了当用户向上看时眼球EY11的状态。在该实例中,与在图中的上侧的实例相比,瞳孔BE11移向显示设备11的一端(周边),且从显示设备11的上端附近的显示像素51输出的光通过瞳孔BE11并到达视网膜。此外,从显示设备11的中心附近的显示像素51输出的光未通过瞳孔BE11且在眼球EY11的表面上/表面中反射或者吸收。
在显示设备11中,在与如图10所示的瞳孔BE11与眼球EY11的移动一起可移动的范围,更具体地,瞳孔BE11在日常生活中移动的范围中的区域相对的显示设备11的整个区域中提供显示像素51和光接收元件52。换句话说,无论眼球EY11朝向哪个方向,显示像素51和光接收元件52布置在与瞳孔BE11相对的显示设备11的区域附近。
通过此,即使在用户界面操作中移动眼球EY11,也变得可以防止由于由显示像素51显示的信息的缺乏而导致的信息的减少。也就是,无论用户的视线朝向哪个方向,都可以由显示像素51向用户呈现信息和由光接收元件52检测用户的视线位置。在该情况下,从用户的全视场(fullfield)发射用于显示图像的光,且在用户的整个视场中显示图像。
注意到,在与显示设备11的中心相比的更宽范围(瞳孔的移动范围)的区域中,仅需要设置至少显示像素51或者光接收元件52。不是必须在眼球移动的整个范围中设置显示像素51和光接收元件52。
<校准处理的描述>
接下来,将描述显示设备11的操作。
例如,对于使用由于用户的视线移动导致的眼球移动的用户界面操作,显示设备11可以执行校准处理,以由此精确地校正用户的视线位置和显示区域21中显示的信息的位置之间的位置关系。
在下文中,参考图11中的流程图,将描述显示设备11的校准处理。例如,当用户在眼球上穿戴隐形眼镜类型显示设备11时开始校准处理。
在步骤S11,信号处理单元26控制显示元件驱动单元27以使得显示像素51发光。显示像素51在显示元件驱动单元27的控制下发光,并输出用于显示预定图像的光。
在步骤S12,光接收元件52开始从眼球入射的光的检测。也就是,光接收元件52接收已经从显示设备11或者显示像素51的外部进入眼球且由眼球表面反射的光。然后,光接收元件52执行光电转换,且将根据光接收量的光接收信号经由显示元件驱动单元27提供到信号处理单元26。
在步骤S13,信号处理单元26控制显示元件驱动单元27以使得显示像素51显示校准定位图像。显示像素51在显示元件驱动单元27的控制下发光,以由此显示校准定位图像。
例如,用于校准的标记的图像等用作校准定位图像。依次在显示区域21的中心和上、下、左和右位置这五个位置显示校准定位图像。
在步骤S13,信号处理单元26从中心和上、下、左和右位置当中选择还未显示校准定位图像的位置,并在所选的位置显示校准定位图像。
此外,与校准定位图像一起,用于提示用户观看校准定位图像和执行用于确定位置的操作的消息可以根据需要在显示区域21中显示。
当显示校准定位图像时,从显示像素51输出用于显示校准定位图像的光,且某些光由眼球表面反射并由光接收元件52接收。然后,光接收元件52将根据所接收的光量的光接收信号经由显示元件驱动单元27提供到信号处理单元26。
此外,用户看校准定位图像并执行位置确定操作,例如,对于预定时间或者更长的时间注视校准定位图像或者眨眼。
在步骤S14,信号处理单元26基于从光接收元件52提供的光接收信号确定用户的视线位置。
例如,如果对于预定时间或者更长时间注视相同位置的运动设置为由用户执行的位置确定操作,则信号处理单元26基于光接收信号产生光接收信号图,并基于所获得的光接收信号图确定在每个时间点的用户的视线位置。
然后,信号处理单元26将对于预定时间或者更长时间连续地检测的、在多个时间点的所确定的视线位置中的同一视线位置设置为相对于校准定位图像的视线位置。也就是,设置的视线位置被认为是当用户观看校准定位图像时的视线位置。
此外,例如,如果眨眼运动设置为由用户执行的位置确定操作,则信号处理单元26基于光接收信号产生光接收信号图,基于在每个时间点的光接收信号图检测用户的眨眼,并确定在每个时间点的用户的视线位置。
然后,信号处理单元26将在当检测到眨眼时的时间点的用户的视线位置设置为相对于校准定位图像的视线位置。
例如基于由光接收元件52检测的光强度,即,在光接收信号图的每个位置的值(光接收信号的值)执行眨眼检测。
当用户睁开眼睑时,由光接收元件52接收的光除来自显示像素51的光之外还包括环境光。因此,在用户睁开眼睑的状态和用户闭上眼睑的状态之间,由光接收元件52接收的光强度不同。因此,可以基于由光接收元件52检测的光量级别,即,光接收信号的值的变化检测用户的眨眼。注意到,通过考虑除光量级别的变化之外的时间变化,可以进一步增强眨眼的检测精度。
在步骤S15,信号处理单元26确定是否已经相对于所有位置执行了处理。例如,如果在显示设备11的中心和上、下、左和右位置显示校准定位图像且对于每一个位置确定视线位置,则确定已经相对于所有位置执行了处理。
在步骤S15,如果还没有相对于所有位置执行处理,则处理返回到步骤S13且重复上述处理。也就是,在下一位置显示校准定位图像并确定视线位置。
相反,如果在步骤S15确定已经相对于所有位置执行了处理,则在步骤S16中信号处理单元26执行校准且校准处理结束。
例如,信号处理单元26相对于每个位置确定校准定位图像的显示位置和当在该位置显示校准定位图像时的视线位置之间的偏移量并执行校准。也就是,确定用于使得显示区域21中图像的显示位置与当用户实际上注视该图像时的视线位置一致的校正值。
以上述方式,显示设备11显示校准定位图像并基于显示位置和用户的视线位置执行校准。通过以该方式执行校准,可以精确地校正显示位置和视线位置之间的偏移,并增强显示设备11的可操作性。
<视线检测处理的描述>
当执行校准处理时,用户可以激活任意应用程序并执行期望的处理。
例如,在应用程序的执行期间,用户可以移动视线并执行各种操作。在这种情况下,显示设备11执行视线检测处理以检测用户的视线位置并执行取决于其检测结果的处理。
在下文中,参考图12中的流程图,将描述显示设备11的视线检测处理。
在步骤S41,信号处理单元26控制显示元件驱动单元27并使得显示像素51发光。显示像素51根据显示元件驱动单元27的控制发光,并输出用于显示预定图像的光。通过此,例如,根据需要在显示区域21中显示用于信息选择的按钮或者指针。
在步骤S42,光接收元件52开始从眼球入射的光的检测。也就是,光接收元件52接收已经从显示设备11或者显示像素51的外部进入眼球且由眼球表面反射的光,执行光电转换,并经由显示元件驱动单元27将根据光接收量的光接收信号提供到信号处理单元26。
在步骤S43,信号处理单元26基于从光接收元件52提供的光接收信号确定用户的视线位置。也就是,信号处理单元26基于光接收信号产生光接收信号图,并基于所获得的光接收信号图检测用户的瞳孔中心(眼球方向)。
在步骤S44,信号处理单元26基于视线位置执行选择处理。
例如,如果在显示区域21中显示指针或者光标,则根据视线位置的移动,信号处理单元26控制显示元件驱动单元27以驱动显示像素51,从而移动在显示区域21(显示像素51)中显示的指针或者光标。例如,执行控制以使得在视线位置显示指针等。
此外,如果指针或者光标,即,用户的视线位置位于比如显示区域21中显示的按钮或者图标之类的选择目标的区域中,则信号处理单元26确定选择了其选择目标。注意到,如果用户的视线位置对于预定时间或者更长时间处于选择目标的位置,则可以确定选择了选择目标。
另外,例如,即使没有在显示区域21中显示比如指针之类的指示手段,当视线位置位于比如按钮的选择目标的区域上时,可以确定选择了选择目标。
除此之外,如果用户在用户的视线位置位于比如按钮的选择目标的状态下眨眼预定次数,例如,一次或者多次,或者如果用户在视线位置位于比如按钮的选择目标的状态下对于预定时间或者更长时间闭上眼睑,则可以选择该选择目标。在该情况下,信号处理单元26基于光接收信号图检测眨眼和视线位置或者用户闭上眼睛的时间,以使得在选择目标上执行选择处理。
此外,如果具有视差的图像呈现给用户的一对左眼和右眼,则使用从用户到注视位置的距离来执行选择处理。在该情况下,信号天线23从穿戴在与该一个眼球成对的另一眼球上的显示设备11接收眼球方向或者光接收信号图,并将其提供到信号处理单元26。然后,信号处理单元26基于在步骤S43获得的眼球方向(视线位置)和所接收的眼球方向或者光接收信号图来计算会聚角,并基于所获得的会聚角计算至注视位置的距离。
另外,信号处理单元26可以经由显示元件驱动单元27控制显示像素51,并以不同于未选择的其他选择目标的颜色和形状的颜色和形状,即,以不同显示方式来显示所选的选择目标,比如按钮。通过此,用户可以容易地知道选择了哪个选择目标。
注意到,选择目标不限于按钮等,且只要其可以是选择目标,可以使用任何目标,例如,图像和字符信息。
在步骤S45,信号处理单元26根据在步骤S44的选择处理的选择执行处理,且视线检测处理结束。
例如,信号处理单元26执行与所选的选择目标相关联的软件或者计算,或者控制显示像素51以放大方式显示设置为选择目标的图像和字符信息。此外,根据选择处理中的选择,例如,可以基于光接收信号图确定瞳孔的直径等为应用程序中使用的信息。
注意到,在步骤S45,可以执行根据上述活体状态的检测结果或者微扫视的检测结果和选择处理的选择的处理。
以上述方式,显示设备11通过光接收元件52接收来自显示像素51等的光,基于所获得的光接收信号检测视线位置,基于视线位置执行选择处理,并根据其选择结果执行处理。
以该方式,通过基于由光接收元件52获得的光接收信号检测视线位置,可以容易地确定用户的操作而不需要除了显示设备11之外的外部设备。换句话说,可以以简单配置增强显示设备11的可操作性。
此外,在显示设备11中,甚至在用户闭上眼睛的状态下,也可以以高精度检测眼球方向,即,视线位置。这里,随着使得显示区域21中彼此最接近的光接收元件52之间的距离(间距)更短,可以使得视线位置的检测精度更高。
<活体状态检测处理的描述>
另外,在显示设备11中,可以检测活体状态。
在下文中,参考图13中的流程图,将描述显示设备11的活体状态检测处理。
注意到,例如,与参考图12的视线检测处理交替地执行活体状态检测处理。也就是,对于在显示区域21中显示图像等的信息的时段执行视线检测处理。在此时段之后,执行活体状态检测处理并检测活体状态。仍然在此后,再次在显示区域21中显示图像等,并执行视线检测处理。此后,交替地执行视线检测处理和活体状态检测处理。
在步骤S71,信号处理单元26控制显示元件驱动单元27以使得显示像素51发光。显示像素51在显示元件驱动单元27的控制下发光,并输出具有预先设置的预定波长段的光。
在步骤S72,光接收元件52检测从眼球入射的光。也就是,光接收元件52接收已经从显示设备11或者显示像素51的外部进入眼球且由眼球表面反射的光,执行光电转换,并经由显示元件驱动单元27将根据光接收量的光接收信号提供到信号处理单元26。
注意到,对于从显示像素51输出的每个波长的光,在步骤S71和S72的处理交替地执行预定次数。
例如,如果心脏的脉动、血流速度、眼睛充血程度等检测为活体状态,则交替地执行如上所述的具有比805nm短的预定波长的光的接收和输出和具有比805nm长的预定波长的光的接收和输出。
在检测活体状态的情况下,在没有执行视线检测处理的状态下,在光接收元件52中检测来自显示像素51的光。因此,在活体状态的检测期间,光接收元件52未受当执行视线检测处理时从显示像素51输出的用于显示图像的光的影响,且由此可以更精确地检测活体状态。
已经描述了从显示像素51输出具有两个特定波长的光的实例。替代地,虽然从显示像素51输出的光的波长随时间变化,可以依次将具有特定的波长段中三个或更多波长的每一个波长的光束发射到眼球。
在步骤S73,信号处理单元26确定在多个时间点的光接收信号之间的差异。例如,基于当输出短波长光时获得的光接收信号和当输出长波长光时获得的光接收信号之间的差异,可以确定在血液中包含氧基血红素和脱氧血红蛋白的哪个组成部分。
在步骤S74,信号处理单元26基于在步骤S72获得的在每个时间点的光接收信号确定活体状态。
例如,如果心脏的脉动检测为活体状态,则信号处理单元26基于在步骤S73获得的差异和在步骤S72获得的预定时段中的多个时间点的光接收信号的变化来检测血流(血流速度的变化),并基于血流的检测结果确定脉动。
此外,例如,如果眼球的充血程度检测为活体状态,则信号处理单元26可以基于在预定时段中多个时间点的光接收信号的变化检测用户的眼球的血流速度,并将预先保持的正常血流速度与检测的血流速度比较,以由此确定眼睛充血程度。注意到,血流速度本身可以检测为活体状态。
当确定比如心脏的脉动和眼睛充血程度的活体状态时,信号处理单元26将指示所获得的活体状态的信息输出到使用活体状态的应用程序,并终止活体状态检测处理。
例如,指示活体状态的信息记录在信号处理单元26中,或者经由信号天线23从信号处理单元26发送到外部以在应用程序中使用。此外,指示活体状态的信息可以用于信号处理单元26中的选择目标的选择处理等。
以上述方式,显示设备11从显示像素51输出具有特定波长的光。由光接收元件52接收光。基于产生的光接收信号检测活体状态。
通过如上所述光接收元件52接收来自显示像素51的光,可以容易地检测活体状态且可以基于活体状态的检测结果获得更多信息。例如,如果用户的心脏的脉动检测为活体状态,则可以估计用户的感觉或者精神状态,例如,紧张。
关于上述校准处理、视线检测处理和活体状态检测处理,所有处理由显示设备11执行。但是,某些处理可以由图7所示的控制设备81执行。
<第二实施例>
<隐形眼镜类型显示设备的外观的配置实例>
此外,在上述中,已经描述了如图2所示从前面观看显示设备11时的形状是圆形的实例,例如,如图14所示,该形状可以是椭圆形。注意到,在图14中,与图2中的部分对应的部分由相同的附图标记表示,且将适当地省略其描述。
图14所示的显示设备101由显示区域21、馈送天线22、信号天线23、功率生成单元24、传感器25、信号处理单元26和显示元件驱动单元27构成。
显示设备101的显示区域21到显示元件驱动单元27具有与显示设备11的显示区域21到显示元件驱动单元27相同的配置和操作。仅整个设备的外观的形状和显示区域21的形状在显示设备101和显示设备11之间不同。
图14是当以与从前面观看穿戴隐形眼镜类型显示设备101的用户相同的方向观看显示设备101时的图。在图14中,显示设备101具有在横向长的椭圆形。因此,在用户在眼球上穿戴显示设备101的状态下,与圆形的显示设备11相比,对于显示设备101变得难以相对于眼球旋转。通过此,可以抑制显示设备101相对于眼球的旋转偏移。
此外,在图14中的实例中,显示设备101的显示区域21具有在横向长的椭圆形。
另外,显示设备101具有在横向而不是在图中的垂直方向上长的形状,且由此在显示区域21的左和右方向上最接近的部分的区域具有比在显示区域21的上和下方向上最接近的部分的区域更大的面积。不是显示区域21的显示设备101中的这些区域是用户的瞳孔的移动范围外的区域。
考虑到此,在显示设备101中,在图中显示区域21的左和右方向上最接近的显示设备101的左和右端(横向)附近的区域中布置功率生成单元24到显示元件驱动单元27。通过以该方式在显示区域21的左和右方向上最接近的左和右区域布置用于驱动显示设备101的元件,比如功率生成单元24到显示元件驱动单元27,可以防止这些元件打断图像显示。
图15示出了当从用户的前面观看用户穿戴隐形眼镜类型显示设备101的状态时的穿戴结构。
显示设备101在横向而不是在图中的垂直方向上具有更大的宽度。因此,在显示设备101穿戴在用户的眼球上的状态下,横向宽度大于显示设备101覆盖眼球的垂直宽度。此外,在上和下方向上显示设备101的端的位置设置为延伸到用户的眼睑和眼球之间的连接的前面。左和右方向上的宽度设置为眼球移动到左边和右边的范围中的宽度。左和右方向上的宽度更大。
此外,显示设备101具有其固定到头部以使得显示设备101不相对于用户的头部移动的结构。
例如,相对于由于用户的视线的变化导致的眼球的移动,当隐形眼镜类型显示设备101与眼球一起移动时,在显示区域21中当前显示的信息(图像)相对于用户的头部的绝对位置也移动。相对于用户的头部的信息(图像)的绝对位置的移动被识别为显示位置的移动。因此,期望恒定地固定隐形眼镜类型显示设备101相对于用户的头部的位置。
考虑到此,例如,如图16所示,在显示设备101的外圆周附近提供凸起部分。在图16所示的实例中,穿戴显示设备101以覆盖用户的眼球的整个角膜部分CO21。
此外,在该实例中,显示设备101的上和下端位于在上和下端,即,异色边缘附近眼睑和眼球彼此连接的连接的前面。在显示设备101的上和下端部的外部世界侧上的表面中,设置向着外部世界侧突出的凸起部分141和凸起部分142。凸起部分141和凸起部分142保持与眼睑(睑结膜)接触。由此,当眼球移动或者用户眨眼时,显示设备101也固定而不相对于用户的头部移动。
已经描述了显示设备101设置有凸起部分141和凸起部分142的实例。但是,例如,如图17所示,通过在显示设备101的上和下外圆周附近设置高摩擦部分151和高摩擦部分152,显示设备101可以相对于用户的头部固定。
处理高摩擦部分151和高摩擦部分152以与显示设备101的中心部分相比具有相对于眼睑的较高摩擦系数。因此,在显示设备101穿戴在用户的眼球上的状态下,由于高摩擦部分151和高摩擦部分152与用户的眼睑(睑结膜)的摩擦,显示设备101固定而不相对于用户的头部移动。
以该方式,如果显示设备101设置有凸起部分141和凸起部分142或者高摩擦部分151和高摩擦部分152,则在图18所示的区域SR11和区域SR12中设置凸起部分和高摩擦部分。
注意到,图18是当与当从前面观看穿戴着显示设备101的用户时相同的方向观看显示设备101时显示设备101的图。因此,显示设备101的图中的上侧对应于用户的眼睛的上侧,且显示设备101的图中的下侧对应于用户的眼睛的下侧。
在该情况下,在沿着显示设备101的上端形成的区域SR11中设置图16所示的凸起部分141或者图17所示的高摩擦部分151。此外,在沿着显示设备101的下端形成的区域SR12中设置图16所示的凸起部分142或者图17所示的高摩擦部分152。
这里,凸起部分141和凸起部分142或者高摩擦部分151和高摩擦部分152设置在显示设备101的图中的前侧,即,外部世界侧上。
已经描述了显示设备101设置有凸起部分和高摩擦部分的实例。但是,可以沿着如图2所示的显示设备11的上和下端设置凸起部分和高摩擦部分。
<修改实例1>
<显示区域的配置实例>
上面已经描述了如图3所示在显示区域21中以紧密接触状态设置显示像素51和光接收元件52的实例。但是,可以设置用于使得环境光从外部通过显示区域21的透射区域。
在这种情况下,显示区域21例如配置为图19所示的。注意到,图19中的垂直方向和横向例如对应于图14中的垂直方向和横向。此外,在图19中,单个正方形区域表示显示像素51、光接收元件52或者透射区域。
特别地,黑色正方形表示单个显示像素51的区域。双斜线正方形表示单个光接收元件52的区域。白色正方形表示透射区域。这里,透射区域是与显示像素51和光接收元件52相比相对光具有较高透射率(透明度)的区域。
例如,由箭头标记Q31指示的正方形表示单个显示像素51的区域。显示像素51的图中的上、下、左和右部分设置为透射区域。此外,在由箭头标记Q31指示的显示像素51的倾斜地上和下部分中,设置光接收元件52。因此,每一显示像素51由四个光接收元件52和四个透射区域围绕。
通过如上所述设置使得外部世界的光(环境光)通过每一显示像素51周围的显示设备11或者显示设备101的透射区域,用户可以在穿戴着显示设备11或者显示设备101时看向四周。此外,在该实例中,光接收元件52设置为与每一显示像素51相邻,且因此从显示像素51输出且由眼球反射的光可以由光接收元件52接收。
<修改实例2>
<显示区域的配置实例>
此外,显示区域21可以配置为图20所示的。注意到,在图20中,单个正方形区域表示显示像素51、光接收元件52或者透射区域。
特别地,黑色正方形表示单个显示像素51的区域。双斜线正方形表示单个光接收元件52的区域。白色正方形表示透射区域。
例如,由箭头标记Q41指示的正方形表示单个显示像素51的区域,且显示像素51由透射区域围绕。
此外,由箭头标记Q42指示的正方形表示单个显示像素51的区域。在显示像素51的图中的倾斜地右上部分,设置单个光接收元件52。由箭头标记Q42指示的最接近显示像素51的其他区域是透射区域。
在图20所示的实例中,在显示区域21中提供的光接收元件52的数目小于在显示区域21中提供的显示像素51的数目。相应地提供更多透射区域。通过比如上所述的显示像素51更少地提供光接收元件52,可以增加从显示设备的外部通过显示区域21的光(环境光)。另外,与图19所示的实例相比用户可以以更亮的观感看向四周。
<修改实例3>
<显示区域的配置实例>
另外,在显示区域21中提供的显示像素51具有渗透性的情况下,用户可以通过显示像素51看向四周而不在显示区域21中设置透射区域。在这种情况下,显示区域21例如配置为图21所示的。
注意到,在图21中,黑色区域表示显示像素51的区域。双斜线正方形表示单个光接收元件52的区域。
在该实例中,光接收元件52设置为与显示像素51相邻。此外,显示像素51中光的透射率高于光接收元件52中光的透射率。用户可以通过显示像素51看向四周。
<第三实施例>
<隐形眼镜类型显示设备的配置实例>
另外,显示设备101可以设置有压力传感器,可以检测穿戴着显示设备101的用户的眼睑的开/闭,且可以检测用户强有力地闭上眼睑的压力。在这种情况下,显示设备101例如配置为图22所示的。注意到,在图22中,与图14中的部分对应的部分由相同的附图标记表示,且将适当地省略其描述。
图22所示的显示设备101不同于图14的显示设备101在于在图14所示的显示设备101中另外设置有压力传感器181,但在别的方面具有与图14中的显示设备101相同的配置。
也就是,图22中的显示设备101由显示区域21、馈送天线22、信号天线23、功率生成单元24、传感器25、信号处理单元26、显示元件驱动单元27和压力传感器181构成。
压力传感器181位于图中的右端附近,且通过从功率生成单元24接收电功率而操作。此外,压力传感器181检测在显示设备101的图中的深度方向上施加的压力,并将其检测结果经由显示元件驱动单元27提供到信号处理单元26。
信号处理单元26基于从压力传感器181提供的压力的检测结果来检测用户的眼睑的开/闭等。例如,信号处理单元26在用户闭上眼睑时确定选择目标的选择,或者在用户使劲闭上眼睑时,即,检测到高于预定值的压力时确定选择目标的选择。
通过压力传感器181以该方式基于压力的检测结果检测用户的操作,可以另外增强显示设备101的可操作性。
<第四实施例>
<隐形眼镜类型视线检测设备的配置实例>
注意到,上面已经描述了检测用户的视线方向的本发明应用于显示设备的实例。本发明不限于显示设备。本发明可应用于检测用户的视线方向(眼球方向)的所有设备。在下文中,将描述本发明应用于检测用户的视线方向的视线检测设备的实施例。
图23是示出了本发明应用到的视线检测设备的配置实例的图。注意到,在图23中,与图2中的部分对应的部分由相同的附图标记表示,且将适当地省略其描述。
隐形眼镜类型视线检测设备211具有使得其可以穿戴在用户的眼球上的形状。在视线检测设备211穿戴在眼球上的状态下,视线检测设备211覆盖用户的眼球的整个角膜部分。
视线检测设备211由检测区域221、馈送天线22、信号天线23、功率生成单元24、传感器25、信号处理单元26和发光元件驱动单元222构成。
注意到,图23是当从与当从前面观看穿戴着视线检测设备211的用户时相同的方向观看视线检测设备211时视线检测设备211的图。在图23中,视线检测设备211具有椭圆形。
检测区域221包括由将用于视线检测的光发射到用户的眼球表面的多个发光部分形成的发光元件和设置为与发光部分相邻且接收由用户的眼球表面反射的光的光接收元件。此外,如在上述显示区域21中那样,在检测区域221中,在与用户的眼球的瞳孔可移动的范围中的区域相对的检测区域221中的区域中设置发光部分和光接收元件的至少一个。
发光元件驱动单元222在信号处理单元26的控制下驱动检测区域221的发光元件,从每一发光部分发光,并将从检测区域221的光接收元件提供的光接收信号提供到信号处理单元26。
在视线检测设备211中,馈送天线22到信号处理单元26的位置是与在图14中的显示设备101的情况下相同的位置。
此外,视线检测设备211的检测区域221例如配置为图24所示的。注意到,图24示出了当从图23中的横向观看视线检测设备211时视线检测设备211的截面的一部分。注意到,在图24中,与图3中的部分对应的部分由相同的附图标记表示,且将适当地省略其描述。
在图24中,在视线检测设备211的检测区域221中,提供发射用于检测视线方向的光的发光部分251-1到251-7和接收从用户的眼球表面入射的反射光的光接收元件52-1到52-7。然后,由发光部分251-1到251-7形成的单个发光装置设置为发光元件252。
在下文中,在不需要特别彼此区分发光部分251-1到251-7的情况下,它们也将被简单地称为发光部分251。
发光部分251具有通过发光发射用于视线检测的光的功能。但是,发光部分251具有与在图3所示的显示像素51中那样的显示信息的功能。
在图24中的实例中,在视线检测设备211的图中的右侧,即,在垂直方向上用户的眼球的一侧上交替地布置发光部分251和光接收元件52。因此,例如,在图23中,在垂直方向上和在检测区域22中的图23中的横向上交替地布置发光部分251和光接收元件52。
注意到,在图24中,已经描述了发光部分251和光接收元件52紧密接触的实例。发光部分251和光接收元件52不必须紧密接触。可以设置发光部分251和光接收元件52之间的余隙。此外,在图24中,对于一个发光部分251设置一个光接收元件52。但是,可以对于多个发光部分251设置一个光接收元件52。
另外,已经描述了在检测区域221中设置由多个发光部分251形成的发光元件252的实例。但是,可以在检测区域221中设置由在检测区域221的整个区域中发光的单个发光部分形成的发光元件252。在该情况下,在发光元件252的每一区域中,仅需要设置用于在这些区域中检测光接收量的光接收元件52。
此外,在仅从外部世界入射眼球的光用于检测用户的视线方向的情况下,不必须向视线检测设备211提供发光元件252。
<校准处理的描述>
接下来,将描述视线检测设备211的操作。
例如,当由用户穿戴着视线检测设备211时,开始校准处理。在下文中,将参考图25的流程图描述视线检测设备211的校准处理。
在步骤S101,信号处理单元26控制发光元件驱动单元222以使得发光部分251发光。发光部分251在发光元件驱动单元222的控制下发光,并输出用于检测用户的视线方向的光。
在步骤S102,光接收元件52开始从眼球入射的光的检测。也就是,光接收元件52接收已经从视线检测设备211或者发光部分251的外部入射眼球且由眼球表面反射的光,执行光电转换,并经由发光元件驱动单元222将根据光接收量的光接收信号提供到信号处理单元26。
此外,当开始校准处理时,用户看向预先设置的方向。例如,根据从无线地连接到视线检测设备211的控制设备输出的声音指南等,用户尽可能大地在上、下、左或者右方向上移动视线。
当如上所述用户在上、下、左或者右方向上移动视线时,从发光部分251输出用于检测视线方向的光。光接收元件52接收从眼球表面入射的光,例如,已经从发光部分251输出且由眼球反射的光。然后,光接收元件52经由发光元件驱动单元222将根据光接收量的光接收信号提供到信号处理单元26。
在步骤S103,信号处理单元26基于从光接收元件52提供的光接收信号确定用户的视线位置。
例如,当用户在上、下、左或者右方向上显著地移动视线时,信号处理单元26确定由用户移动的视线的上、下、左和右端中的每一个的位置为视线位置。通过此,用户可以基于视线位置确定视线可移动的范围。注意到,在视线位置的计算期间,例如,执行与图11中的步骤S14相同的处理。
在步骤S104,信号处理单元26基于所确定的视线位置执行校准,且校准处理结束。
例如,假定在校准之后,视线检测设备211的视线的检测结果用于通过用户移动视线在不同于视线检测设备211的外部显示器上移动光标的处理。
在这种情况下,信号处理单元26基于在步骤S103的处理中确定的相对于上、下、左和右位置中的每一个的视线位置,确定用户的视线可移动的范围。然后,信号处理单元26通过使得通过从用户的视线可移动的范围减去余量(margin)而获得的区域的每一位置与显示器的每一位置对应来执行校准。
以上述方式,视线检测设备211基于某些视线位置执行校准。通过以该方式执行校准,可以获得外部显示器等的特定区域与作为用户的视线的移动目的地的区域的对应性等,且由此增强由用户执行的界面操作的可操作性。
<视线检测处理的描述>
例如,在视线检测设备211和外部控制设备彼此无线地连接的情况下,当执行校准处理时,用户可以激活任意应用程序并执行期望的处理。
例如,在应用程序的执行期间,用户可以移动视线并执行各种操作。在这种情况下,视线检测设备211执行视线检测处理以检测用户的视线位置,并将其检测结果输出到外部控制设备。
在下文中,将参考图26的流程图描述视线检测设备211的视线检测处理。
在步骤S131,信号处理单元26控制发光元件驱动单元222以使得发光部分251发光。发光部分251在发光元件驱动单元222的控制下发光,并输出用于检测用户的视线方向的光。
在步骤S132,光接收元件52开始从眼球入射的光的检测。也就是,光接收元件52接收已经从视线检测设备211或者发光部分251的外部进入眼球且由眼球表面反射的光,执行光电转换,并经由发光元件驱动单元222将根据光接收量的光接收信号提供到信号处理单元26。
在步骤S133,信号处理单元26基于从光接收元件52提供的光接收信号确定用户的视线位置。也就是,信号处理单元26基于光接收信号产生光接收信号图,并通过基于所获得的光接收信号图检测用户的瞳孔中心(眼球方向)来确定用户的视线位置。
在步骤S134,信号处理单元26输出所确定的视线位置并终止视线检测处理。
例如,信号处理单元26将所确定的视线位置提供到信号天线23,并使得控制设备发送该所确定的视线位置。控制装置执行根据视线位置的处理,例如,根据例如从视线检测设备211接收到的视线位置移动光标等。
以上述方式,在视线检测设备211中,由光接收元件52接收来自发光部分251等的光。基于所获得的光接收信号检测视线位置。输出其检测结果。
以该方式,通过基于由光接收元件52获得的光接收信号检测视线位置,可以容易地确定用户的操作而不需要除了视线检测设备211之外的外部设备。换句话说,可以以简单配置增强可操作性。
这里,已经描述了视线检测设备211检测用户的视线位置的处理。但是,视线检测设备211可以使得发光部分251从发光部分251输出具有特定波长的光以用于检测活体状态,计算左眼和右眼的会聚量或者到目标对象的距离,或者确定瞳孔的直径。
另外,在上述中,已经描述了使用在光接收信号图的瞳孔区域中光接收信号的值小于在巩膜或者虹膜部分的区域中光接收信号的值的事实,基于光接收信号图检测瞳孔区域,即,视线位置的实例。
换句话说,使用通过瞳孔透射的光到达的视网膜的光谱反射率与巩膜或者虹膜部分的光谱反射率之间的差异,基于光接收信号图检测用户的瞳孔区域。
因此,取决于从显示像素51、发光部分251等发出的光的波长,在某些情况下视网膜的反射率高于巩膜或者虹膜部分的反射率。在那些情况下,在光接收信号图中,瞳孔区域中光接收信号的值高于巩膜或者虹膜部分的区域中光接收信号的值。
此外,在如上所述视网膜的反射率高于巩膜或者虹膜部分的反射率的光从显示像素51或者发光部分251输出的情况下,可以在信号处理单元26中基于光接收信号图检测瞳孔区域。在该情况下,信号处理单元26检测光接收信号的值高的光接收信号图的区域作为瞳孔区域。
在任何情况下,信号处理单元26能够基于光接收信号图的每一区域中光接收信号的值检测瞳孔区域(视线位置)。此时,仅需要取决于从显示像素51或者发光部分251输出的光的波长,巩膜、虹膜和视网膜的光谱反射率特性等,确定设置光接收信号的值高的区域或者光接收信号的值低的区域为瞳孔区域。
注意到,本发明的实施例不限于上述实施例且可以在不脱离本发明的实质的情况下做出各种修改。
例如,本发明可以采取单个功能经网络与多个设备共享且被公共地处理的云计算配置。
此外,参考以上流程图描述的步骤可以由单个设备执行,或者可以以别的方式与多个设备共享并由该多个设备执行。
另外,在多个步骤包括多个处理的情况下,多个步骤中包括的多个处理可以由单个设备执行,且可以以别的方式与多个设备共享并由该多个设备执行。
另外,本发明也可以采取以下配置。
[1]一种可穿戴在眼球上的检测设备,包括
光接收元件,接收从眼球入射的光。
[2]根据[1]的检测设备,进一步包括
发光元件,输出光,其中
光接收元件设置在发光元件附近。
[3]根据[2]的检测设备,其中
发光元件由多个发光部分形成,和
光接收元件设置在发光部分附近。
[4]根据[3]的检测设备,其中
光接收元件接收从发光部分输出且由眼球反射的光,进一步包括
信号处理单元,检测检测设备的各区域中所布置的多个光接收元件的光接收量。
[5]根据[3]或者[4]的检测设备,其中
发光部分是显示信息的显示像素。
[6]根据[2]到[5]中的任何一个的检测设备,其中
检测设备配置为当检测设备穿戴在眼球上时覆盖整个角膜部分。
[7]根据[3]到[6]中的任何一个的检测设备,其中
在检测设备穿戴在眼球上的状态下,发光部分和光接收元件中的至少一个设置在与眼球的瞳孔可移动的范围中的区域相对的检测设备的区域中。
[8]根据[2]到[7]中的任何一个的检测设备,其中
检测设备配置为由其覆盖眼球的横向宽度大于垂直宽度。
[9]根据[8]的检测设备,其中
不同于发光元件和光接收元件的元件设置在检测设备的横向端附近。
[10]根据[2]到[9]的检测设备,其中
检测设备具有用于相对于具有眼球的头部固定检测设备的结构。
[11]根据[4]的检测设备,其中
信号处理单元基于多个光接收元件的光接收量确定眼球的方向。
[12]根据[11]的检测设备,其中
信号处理单元基于眼球的方向和与该眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于会聚量计算至注视目标对象的距离。
[13]根据[4]的检测设备,其中
信号处理单元基于多个光接收元件的光接收量确定眼球的瞳孔的直径。
[14]根据[4]的检测设备,其中
信号处理单元基于多个光接收元件的光接收量检测活体状态。
[15]根据[14]的检测设备,其中
发光部分将具有预定波长的光发射到眼球或者依次将具有不同波长的光发射到眼球,和
信号处理单元基于在光接收元件中发射到眼球的具有预定波长的光或者具有不同波长的光的光接收量检测活体状态。
[16]根据[15]的检测设备,其中
发光部分是显示信息的显示像素,并在显示信息的时段之后将具有预定波长的光或者具有不同波长的光发射到眼球。
[17]一种用于检测设备的检测方法,该检测设备可穿戴在眼球上,且包括
光接收元件,接收从眼球入射的光,和
信号处理单元,检测光接收元件的光接收量,
该方法包括:
光接收步骤,由光接收元件接收由眼球反射的光;和
检测步骤,由信号处理单元检测在检测设备的各区域中所布置的多个光接收元件的光接收量。
[18]根据[17]的检测方法,进一步包括
发光步骤,由检测设备中提供的发光元件输出光,其中
光接收元件在光接收步骤中接收从发光元件输出且由眼球反射的光。
[19]根据[18]的检测方法,进一步包括
计算步骤,由信号处理单元基于多个光接收元件的光接收量确定眼球的方向。
[20]根据[19]的检测方法,其中
信号处理单元在计算步骤中基于眼球的方向和与该眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于会聚量计算至注视目标对象的距离。
附图标记的说明
11显示设备
21显示区域
23信号天线
25传感器
26信号处理单元
27显示元件驱动单元
51-1到51-7,51显示像素
52-1到52-7,52光接收元件
53显示元件
81控制设备
101显示设备
141凸起部分
142凸起部分
151高摩擦部分
152高摩擦部分
181压力传感器
211视线检测设备
251-1到251-7,251发光部分
252发光元件

Claims (20)

1.一种检测设备,其可穿戴在眼球上,所述检测设备包括
光接收元件,所述光接收元件接收从所述眼球入射的光。
2.根据权利要求1所述的检测设备,进一步包括
发光元件,所述发光元件输出光,其中,
所述光接收元件设置在所述发光元件附近。
3.根据权利要求2所述的检测设备,其中,
所述发光元件由多个发光部分形成,和
所述光接收元件设置在所述发光部分附近。
4.根据权利要求3所述的检测设备,其中,
所述光接收元件接收从所述发光部分输出且由所述眼球反射的光,
所述检测设备进一步包括
信号处理单元,所述信号处理单元检测所述检测设备的各区域中所布置的多个所述光接收元件的光接收量。
5.根据权利要求3所述的检测设备,其中,
所述发光部分是显示信息的显示像素。
6.根据权利要求2所述的检测设备,其中,
所述检测设备配置为当所述检测设备穿戴在眼球上时覆盖整个角膜部分。
7.根据权利要求3所述的检测设备,其中,
在所述检测设备穿戴在所述眼球上的状态下,所述发光部分和所述光接收元件中的至少一个设置在与所述眼球的瞳孔可移动的范围中的区域相对的所述检测设备的区域中。
8.根据权利要求2所述的检测设备,其中,
所述检测设备配置为由其覆盖所述眼球的横向宽度大于垂直宽度。
9.根据权利要求8所述的检测设备,其中,
不同于所述发光元件和所述光接收元件的元件设置在所述检测设备的横向端附近。
10.根据权利要求2所述的检测设备,其中,
所述检测设备具有用于相对于具有所述眼球的头部固定所述检测设备的结构。
11.根据权利要求4所述的检测设备,其中,
所述信号处理单元基于所述多个所述光接收元件的光接收量确定所述眼球的方向。
12.根据权利要求11所述的检测设备,其中,
所述信号处理单元基于所述眼球的方向和与所述眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于所述会聚量计算至注视目标对象的距离。
13.根据权利要求4所述的检测设备,其中,
所述信号处理单元基于所述多个所述光接收元件的光接收量确定所述眼球的瞳孔的直径。
14.根据权利要求4所述的检测设备,其中,
所述信号处理单元基于所述多个所述光接收元件的光接收量检测活体状态。
15.根据权利要求14所述的检测设备,其中,
所述发光部分将具有预定波长的光发射到所述眼球,或者依次将具有不同波长的光发射到所述眼球,
所述信号处理单元基于发射到所述眼球的具有预定波长的光或者具有不同波长的光在所述光接收元件中的光接收量检测所述活体状态。
16.根据权利要求15所述的检测设备,其中,
所述发光部分是显示信息的显示像素,所述发光单元在显示所述信息的时段之后将具有预定波长的光或者具有不同波长的光发射到所述眼球。
17.一种用于检测设备的检测方法,所述检测设备可穿戴在眼球上,且包括
光接收元件,接收从所述眼球入射的光,和
信号处理单元,检测所述光接收元件的光接收量,
所述检测方法包括:
光接收步骤,由所述光接收元件接收由所述眼球反射的光;和
检测步骤,由所述信号处理单元检测所述检测设备的各区域中所布置的多个所述光接收元件的光接收量。
18.根据权利要求17所述的检测方法,进一步包括
发光步骤,由所述检测设备中设置的发光元件输出光,其中,
所述光接收元件在所述光接收步骤中接收从所述发光元件输出且由所述眼球反射的光。
19.根据权利要求18所述的检测方法,进一步包括
计算步骤,由所述信号处理单元基于所述多个所述光接收元件的光接收量确定所述眼球的方向。
20.根据权利要求19所述的检测方法,其中,
所述信号处理单元,在所述计算步骤中基于所述眼球的方位和与所述眼球成对的眼球的方向计算左眼和右眼的会聚量,并基于所述会聚量计算至注视目标对象的距离。
CN201480039759.9A 2013-07-19 2014-07-08 检测装置和方法 Active CN105378598B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013150433 2013-07-19
JP2013-150433 2013-07-19
PCT/JP2014/068126 WO2015008654A1 (ja) 2013-07-19 2014-07-08 検出装置および方法

Publications (2)

Publication Number Publication Date
CN105378598A true CN105378598A (zh) 2016-03-02
CN105378598B CN105378598B (zh) 2018-12-25

Family

ID=52346122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039759.9A Active CN105378598B (zh) 2013-07-19 2014-07-08 检测装置和方法

Country Status (8)

Country Link
US (1) US9996151B2 (zh)
EP (1) EP3023864B1 (zh)
JP (1) JP6380814B2 (zh)
KR (1) KR102376854B1 (zh)
CN (1) CN105378598B (zh)
BR (1) BR112016000639B1 (zh)
RU (1) RU2682798C2 (zh)
WO (1) WO2015008654A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459720A (zh) * 2018-04-19 2018-08-28 京东方科技集团股份有限公司 视控装置及终端的控制方法
CN108508629A (zh) * 2017-02-26 2018-09-07 瑞云诺伐有限公司 具有眼睛驱动控制系统的智能接触镜片和方法
CN110502099A (zh) * 2018-05-16 2019-11-26 托比股份公司 可靠地检测注视与刺激之间的关联的方法
CN111629654A (zh) * 2017-12-15 2020-09-04 索尼公司 隐形眼镜和通信系统
CN114371555A (zh) * 2020-10-14 2022-04-19 Oppo广东移动通信有限公司 穿戴式电子设备
WO2023001007A1 (zh) * 2021-07-23 2023-01-26 京东方科技集团股份有限公司 成像调整装置及方法、可穿戴设备、存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9880401B2 (en) * 2014-06-13 2018-01-30 Verily Life Sciences Llc Method, device and system for accessing an eye-mountable device with a user interface
EP3163410A4 (en) * 2014-06-30 2017-12-13 Toppan Printing Co., Ltd. Line-of-sight measurement system, line-of-sight measurement method, and program
KR101844883B1 (ko) 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
JP2019514092A (ja) * 2016-02-26 2019-05-30 ザ コカ・コーラ カンパニーThe Coca‐Cola Company タッチレス制御グラフィカルユーザインターフェース
US11030975B2 (en) * 2016-07-04 2021-06-08 Sony Corporation Information processing apparatus and information processing method
US10649233B2 (en) 2016-11-28 2020-05-12 Tectus Corporation Unobtrusive eye mounted display
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
CA3056657A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Method and system for tracking eye movement in conjunction with a light scanning projector
US11157073B2 (en) * 2017-10-04 2021-10-26 Tectus Corporation Gaze calibration for eye-mounted displays
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
JP7181293B2 (ja) * 2018-07-18 2022-11-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
WO2020016969A1 (ja) * 2018-07-18 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7312465B2 (ja) * 2018-08-09 2023-07-21 株式会社ジオクリエイツ 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
US10529107B1 (en) 2018-09-11 2020-01-07 Tectus Corporation Projector alignment in a contact lens
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
JP7284498B2 (ja) * 2019-03-05 2023-05-31 Kikura株式会社 瞳孔測定装置
EP3939837A1 (en) * 2019-05-17 2022-01-19 Kabushiki Kaisha Tokai Rika Denki Seisakusho Control system and presentation system
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
DE102019119913A1 (de) * 2019-07-23 2021-01-28 Implandata Ophthalmic Products Gmbh Anordnung und Verfahren zum Erfassen eines Gesichtsfeldes sowie Verwendung eines Implantats
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100525631C (zh) * 2001-02-23 2009-08-12 马尔西奥·马克·阿布雷乌 化学物质的无创测量
CN102402004A (zh) * 2010-09-16 2012-04-04 奥林巴斯株式会社 头戴式显示装置
US20120319928A1 (en) * 2011-06-20 2012-12-20 Google Inc. Systems and Methods for Adaptive Transmission of Data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121114A (ja) * 1993-10-22 1995-05-12 Hitachi Ltd 表示装置
TW275112B (en) * 1995-03-15 1996-05-01 Ciba Geigy Ag Rotationally stabilized contact lens and methods of lens stabilization
US6120460A (en) * 1996-09-04 2000-09-19 Abreu; Marcio Marc Method and apparatus for signal acquisition, processing and transmission for evaluation of bodily functions
US20020024631A1 (en) * 1999-08-31 2002-02-28 Roffman Jeffrey H. Rotationally stabilized contact lenses
US6885818B2 (en) * 2001-07-30 2005-04-26 Hewlett-Packard Development Company, L.P. System and method for controlling electronic devices
US6570386B2 (en) * 2001-07-30 2003-05-27 Hewlett-Packard Development Company, L.P. System and method for providing power to electrical devices
WO2004015460A2 (en) * 2002-08-09 2004-02-19 E-Vision, Llc Electro-active contact lens system
CN102670163B (zh) * 2004-04-01 2016-04-13 威廉·C·托奇 控制计算装置的系统及方法
US7350919B2 (en) * 2004-12-03 2008-04-01 Searete Llc Vision modification with reflected image
JP4752309B2 (ja) 2005-04-07 2011-08-17 ソニー株式会社 画像表示装置および方法
US8446341B2 (en) * 2007-03-07 2013-05-21 University Of Washington Contact lens with integrated light-emitting component
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
JP5622431B2 (ja) * 2010-04-21 2014-11-12 オリンパス株式会社 頭部装着型瞳孔検出装置
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
WO2013086078A1 (en) * 2011-12-06 2013-06-13 E-Vision Smart Optics, Inc. Systems, devices, and/or methods for providing images
US8971978B2 (en) * 2012-08-21 2015-03-03 Google Inc. Contact lens with integrated pulse oximeter
US8888277B2 (en) * 2012-10-26 2014-11-18 Johnson & Johnson Vision Care, Inc. Contact lens with improved fitting characteristics
CN105122119B (zh) * 2012-12-06 2017-06-09 E-视觉有限公司 提供影像的系统、装置、和/或方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100525631C (zh) * 2001-02-23 2009-08-12 马尔西奥·马克·阿布雷乌 化学物质的无创测量
CN102402004A (zh) * 2010-09-16 2012-04-04 奥林巴斯株式会社 头戴式显示装置
US20120319928A1 (en) * 2011-06-20 2012-12-20 Google Inc. Systems and Methods for Adaptive Transmission of Data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108508629A (zh) * 2017-02-26 2018-09-07 瑞云诺伐有限公司 具有眼睛驱动控制系统的智能接触镜片和方法
CN111629654A (zh) * 2017-12-15 2020-09-04 索尼公司 隐形眼镜和通信系统
CN108459720A (zh) * 2018-04-19 2018-08-28 京东方科技集团股份有限公司 视控装置及终端的控制方法
CN108459720B (zh) * 2018-04-19 2023-11-21 京东方科技集团股份有限公司 视控装置及用视控装置控制终端的方法
CN110502099A (zh) * 2018-05-16 2019-11-26 托比股份公司 可靠地检测注视与刺激之间的关联的方法
CN114371555A (zh) * 2020-10-14 2022-04-19 Oppo广东移动通信有限公司 穿戴式电子设备
WO2023001007A1 (zh) * 2021-07-23 2023-01-26 京东方科技集团股份有限公司 成像调整装置及方法、可穿戴设备、存储介质

Also Published As

Publication number Publication date
BR112016000639A8 (pt) 2020-01-14
BR112016000639B1 (pt) 2022-08-09
EP3023864B1 (en) 2022-12-21
JPWO2015008654A1 (ja) 2017-03-02
JP6380814B2 (ja) 2018-08-29
BR112016000639A2 (pt) 2017-07-25
KR102376854B1 (ko) 2022-03-21
RU2016100860A (ru) 2017-07-17
KR20160032043A (ko) 2016-03-23
CN105378598B (zh) 2018-12-25
WO2015008654A1 (ja) 2015-01-22
EP3023864A1 (en) 2016-05-25
US20160147301A1 (en) 2016-05-26
RU2682798C2 (ru) 2019-03-21
EP3023864A4 (en) 2017-03-22
US9996151B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN105378598A (zh) 检测装置和方法
CN112558751B (zh) 一种智能眼镜基于mems和光波导镜片的视线追踪方法
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
CN106663183B (zh) 眼睛跟踪及用户反应探测
CN106132284B (zh) 光学眼动追踪
KR102439387B1 (ko) 눈 불편감 감소 디스플레이
US11366519B2 (en) Relative position based eye-tracking system
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
EP3082568B1 (en) Method for calibrating a head-mounted eye tracking device
EP2776978B1 (en) Systems and methods for high-resolution gaze tracking
US20170092007A1 (en) Methods and Devices for Providing Enhanced Visual Acuity
JP7106569B2 (ja) ユーザーの健康状態を評価するシステム
US10345621B2 (en) Electronic ophthalmic device with extreme gaze angle detection
US7618144B2 (en) System and method for tracking eye movement
EP3801196B1 (en) Method and system for glint/reflection identification
JP2018028728A (ja) 眼部画像処理装置
WO2017051721A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant