CN116322475A - 视线检测设备、显示设备以及眼球感测方法 - Google Patents
视线检测设备、显示设备以及眼球感测方法 Download PDFInfo
- Publication number
- CN116322475A CN116322475A CN202180068449.XA CN202180068449A CN116322475A CN 116322475 A CN116322475 A CN 116322475A CN 202180068449 A CN202180068449 A CN 202180068449A CN 116322475 A CN116322475 A CN 116322475A
- Authority
- CN
- China
- Prior art keywords
- mode
- event
- intensity
- detection
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 524
- 238000000034 method Methods 0.000 title claims description 206
- 210000005252 bulbus oculi Anatomy 0.000 title claims description 193
- 210000001747 pupil Anatomy 0.000 claims abstract description 247
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 230000007704 transition Effects 0.000 claims description 125
- 230000008859 change Effects 0.000 claims description 57
- 210000001508 eye Anatomy 0.000 claims description 41
- 238000009825 accumulation Methods 0.000 claims description 8
- 230000004434 saccadic eye movement Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 178
- 238000010586 diagram Methods 0.000 description 42
- 238000012937 correction Methods 0.000 description 35
- 230000007246 mechanism Effects 0.000 description 34
- 238000006073 displacement reaction Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- 210000000554 iris Anatomy 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 12
- 210000003786 sclera Anatomy 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 6
- 230000005284 excitation Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
提供一种能够进一步提高视线检测精度、实现低时延并且实现低功耗的视线检测设备。提供了一种视线检测设备，包括：具有事件驱动功能的成像元件；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元。
Description
技术领域
本技术涉及视线检测设备、显示设备以及眼球感测方法。
背景技术
眼球信息感测预期有各种各样的发展目标。在研究领域期待脑神经科学、生物工程学和医学，在工业领域，期待基于视线追踪的技术传承、UX的易用性的提高等，此外，还期待通过虹膜认证的安全性的发展。近年来，已被越来越多地和竞争性地开发的头戴式显示器(AR/VR)已用于注视点渲染和可视区域(眼盒(eye box))的扩展。
例如，在专利文献1中，通过使用两种亮度状态，创建浦肯野(Purkinje)检测(亮度状态调制时)和瞳孔检测(事件驱动时)两种状态。
引文列表
专利文献
专利文献：国际公开No.2019/067731
发明内容
本发明要解决的问题
然而，在专利文献1中提出的技术中，有可能难以实现视线检测精度的进一步提高、实现低时延和实现低功耗。
于是，鉴于这样的状况提出了本技术，本技术的主要目的是提供能够实现视线检测精度的进一步提高、实现低时延并且实现低功耗的视线检测设备、包括该视线检测设备的显示设备、以及眼球感测方法。
问题的解决方案
作为完成上述目的的深入研究的结果，本发明人令人惊讶地成功实现了视线检测精度的进一步提高，实现了低时延且实现了低功耗，并且完成了本技术。
即，作为第一方面，本技术提供一种视线检测设备，包括：
具有事件驱动功能的成像元件；
生成浦肯野检测模式的第一模式生成单元；
生成瞳孔检测模式的第二模式生成单元；以及
生成事件驱动模式的第三模式生成单元。
作为按照本技术的第一方面的视线检测设备还可以包括发光器件，并且在这种情况下，
所述发光器件可以具有三种发光强度。
作为按照本技术的第一方面的视线检测设备还可以包括发光器件，并且在这种情况下，
所述发光器件可以具有两种发光强度，
具有事件驱动功能的成像元件可以包括具有不同阈值的第一像素和第二像素，并且
第一像素和第二像素可以以拜耳阵列的方式排列。
作为按照本技术的第一方面的视线检测设备还可以包括发光器件，并且在这种情况下，
所述发光器件可以具有两种发光强度，并且
具有事件驱动功能的成像元件随着时间的变化可以有两个阈值。
作为按照本技术的第一方面的视线检测设备还可以包括多个发光器件，并且在这种情况下，
当所述多个发光器件中的每一个被顺次开启时，所述第一模式生成单元可以生成浦肯野检测模式。
作为按照本技术的第一方面的视线检测设备还可以包括发光器件，并且在这种情况下，
所述发光器件可以具有三种发光强度，
所述三种发光强度可以是高强度、中等强度和低强度，并且
高强度和中等强度之间的强度差可以与中等强度和低强度之间的强度差大致相同。
作为按照本技术的第一方面的视线检测设备还可以包括多个发光器件，并且在这种情况下，
所述多个发光器件可以大致同时地改变发光强度，并且
所述第二模式生成单元可以生成瞳孔检测模式。
作为按照本技术的第一方面的视线检测设备还可以包括：发光器件；和信号获取单元，并且
所述信号获取单元可以在所述浦肯野检测模式和所述瞳孔检测模式下，与所述发光器件的发光强度的变化的时间戳同步地获取信号，并且
可以在所述事件驱动模式下进行时间戳累积来获取信号。
在作为按照本技术的第一方面的视线检测设备中，
当在所述事件驱动模式下检测丢失时，所述第二模式生成单元可以生成瞳孔检测模式。
在作为按照本技术的第一方面的视线检测设备中，
当所述事件驱动模式的检测似然度低于预定值时，所述第二模式生成单元可以生成瞳孔检测模式。
在作为按照本技术的第一方面的视线检测设备中，
当在所述事件驱动模式下检测到扫视的结束时，所述第二模式生成单元可以生成瞳孔检测模式。
作为第二方面，本技术提供一种显示设备，所述显示设备至少包括作为按照本技术的第一方面的视线检测设备。
作为第三方面，本技术提供一种眼球感测方法，包括：
通过使用具有事件驱动功能的成像元件，
生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及
转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式。
作为按照本技术的第三方面的眼球感测方法还可以包括使用发光器件改变到三种发光强度状态。
作为按照本技术的第三方面的眼球感测方法还可以包括使用发光器件改变到两种发光强度状态，并且在这种情况下，
具有事件驱动功能的成像元件可以包括具有不同阈值的第一像素和第二像素，并且
第一像素和第二像素可以以拜耳阵列的方式排列。
作为按照本技术的第三方面的眼球感测方法还可以包括使用发光器件改变到两种发光强度状态，并且在这种情况下，
具有事件驱动功能的成像元件随着时间的变化可以具有两个阈值。
作为按照本发明技术的第三方面的眼球感测方法还可以包括使用多个发光器件，通过顺次开启所述多个发光器件中的每一个来顺次转变到浦肯野检测模式。
作为按照本技术的第三方面的眼球感测方法还可以包括使用发光器件改变到三种发光强度状态，并且在这种情况下，
所述三种发光强度可以是高强度、中等强度和低强度，并且
高强度和中等强度之间的强度差可以与中等强度和低强度之间的强度差大致相同。
作为按照本技术的第三方面的眼球感测方法还可以包括使用多个发光器件大致同时地改变多个发光器件的发光强度，以转变到瞳孔检测模式。
作为按照本技术的第三方面的眼球感测方法还可以包括：
在所述浦肯野检测模式和所述瞳孔检测模式下，与发光器件的发光强度的变化的时间戳同步地获取信号；以及
在所述事件驱动模式下进行时间戳累积来获取信号。
作为按照本技术的第三方面的眼球感测方法还可以包括当在所述事件驱动模式下检测丢失时转变到所述瞳孔检测模式。
作为按照本技术的第三方面的眼球感测方法还可以包括当所述事件驱动模式的检测似然度低于预定值时转变到所述瞳孔检测模式。
作为按照本技术的第三方面的眼球感测方法还可以包括当在所述事件驱动模式下检测到扫视的结束时转变到所述瞳孔检测模式。
按照本技术，可以实现视线检测精度的进一步提高、低时延和低功耗。注意，记载在本文中的效果不一定是限定的，而是可以是记载在本公开中的任何效果。
附图说明
图1是用于说明眼睛的反射光的强度分布的示图。
图2是图解说明动态视觉传感器(DVS)的阈值与浦肯野检测模式、瞳孔检测模式和事件驱动模式之间的关系的示图。
图3是图解说明通过使用应用本技术的第一实施例的视线检测设备感测眼球时的图像的示图。
图4是图解说明应用本技术的第二实施例的视线检测设备和眼球感测方法中的三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方法的例子的示图。
图5是图解说明应用本技术的第三实施例的视线检测设备和眼球感测方法中的三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方法的例子的示图。
图6是图解说明应用本技术的第四实施例的视线检测设备和眼球感测方法中的两种模式(事件驱动模式和浦肯野检测模式)的转变方法的例子的示图。
图7是图解说明应用本技术的第五实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图。
图8是图解说明应用本技术的第六实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)下的检测方法的例子的示图。
图9是图解说明应用本技术的第七实施例的视线检测设备和眼球感测方法中的瞳孔检测流程的例子的示图。
图10是用于说明应用本技术的第七实施例的视线检测设备和眼球感测方法中的通过使用光流进行似然度估计来确定瞳孔的位置的示图。
图11是图解说明应用本技术的第八实施例的视线检测设备和眼球感测方法中的瞳孔检测流程的例子的示图。
图12是图解说明应用本技术的第九实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图。
图13是图解说明应用本技术的第十实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图。
图14是图解说明应用本技术的第十一实施例的显示设备的构成例子的顶视图。
图15是图解说明应用本技术的第十一实施例的显示设备的构成例子的主视图。
图16是图解说明应用本技术的第十一实施例的显示设备的构成例子的框图。
具体实施方式
在下文中，将说明用于实施本技术的优选模式。下文将要说明的实施例例示了本技术的代表性实施例的例子，并且本技术的范围不被实施例狭义地解释。注意，除非另有说明，否则在附图中，“上”意味着图中的上方向或上侧，“下”意味着图中的下方向或下侧，“左”意味着图中的左方向或左侧，而“右”意味着图中的右方向或右侧。此外，在使用附图的说明中，相同或等同的元件或部件用相同的附图标记表示，并省略重复的说明。
注意，将按照以下顺序进行说明。
1.本技术的概要
2.第一实施例(视线检测设备的例1和眼球感测方法的例1)
3.第二实施例(视线检测设备的例2和眼球感测方法的例2)
4.第三实施例(视线检测设备的例3和眼球感测方法的例3)
5.第四实施例(视线检测设备的例4和眼球感测方法的例4)
6.第五实施例(视线检测设备的例5和眼球感测方法的例5)
7.第六实施例(视线检测设备的例6和眼球感测方法的例6)
8.第七实施例(视线检测设备的例7和眼球感测方法的例7)
9.第八实施例(视线检测设备的例8和眼球感测方法的例8)
10.第九实施例(视线检测设备的例9和眼球感测方法的例9)
11.第十实施例(视线检测设备的例10和眼球感测方法的例10)
12.第十一实施例(显示设备的例1)
<1.本技术的概要》
首先，将说明本技术的概要。本技术涉及一种视线检测设备、显示设备以及眼球感测方法。
通常，基于摄像头的技术用于眼睛感测，其中瞳孔和角膜检测方法是常用的视线检测方法。在这种视线检测方法中，重要的是区分并适当地标记多束角膜反射光，例如，存在其中顺次开启角膜反射光光束来提高标记精度的技术例子。此外，在摄像头方式中，省电和时延有时会成为问题，但是在该技术中使用DVS来解决这些问题。然而，在该技术例子中，当使用DVS时，除非选择适当的强度，否则不仅对于浦肯野图像，而且对于诸如瞳孔之类的其他分量也会发生事件激发，使得可能发生诸如数据堵塞之类的时延。在仅通过事件检测瞳孔时，在例如瞳孔在眨眼等时已运动的情况下，瞳孔可能丢失。
鉴于这种状况提出了本技术。本技术通过使用具有事件驱动功能的成像元件的阈值与眼睛的反射光的强度图案之间的关系，可以生成三种特征模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)。
按照本技术，可以实现视线检测精度的进一步提高、低时延和低功耗。
在下文中，将参考附图详细说明用于实施本技术的优选实施例。下文将要说明的实施例例示了本技术的代表性实施例的例子，并且本技术的范围不被实施例狭义地解释。注意，在使用附图的说明中，相同或等同的元件或部件用相同的附图标记表示，并且在一些情况下省略重复的说明。
<2.第一实施例(视线检测设备的例1和眼球感测方法的例1)>
按照本技术的第一实施例(视线检测设备的例1)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式(有时简称为浦肯野模式，下文中同样适用)的第一模式生成单元；生成瞳孔检测模式(有时简称为瞳孔模式)的第二模式生成单元；以及生成事件驱动模式(有时简称为事件模式，下文中同样适用)的第三模式生成单元。
按照本技术的第一实施例(眼球感测方法的例1)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式。同时，按照本技术的第一实施例(眼球感测方法的例1)的眼球感测方法可以使用按照本技术的第一实施例(视线检测设备的例1)的视线检测设备来执行。
将参考图1～图3说明按照本技术的第一实施例的视线检测设备和眼球感测方法。
图1是用于说明眼睛的反射光的强度分布的示图。更具体地，图1A是图解说明眼睛的结构的示图，而图1B是图解说明在沿着图1A中图解所示的X10-Y10线切断时眼睛5000的反射光的强度图案1000的示图。图2是图解说明动态视觉传感器(DVS)的阈值与在第一模式下生成的浦肯野检测模式、在第二模式下生成的瞳孔检测模式以及在第三模式下生成的事件驱动模式之间的关系的示图。图3是图解说明使用按照本技术的第一实施例的视线检测设备感测眼球时的图像的示图。
图1A中图解所示的眼睛5000包括瞳孔5520、虹膜5540、覆盖瞳孔5520和虹膜5540的角膜5500、以及巩膜5560。在眼睛5000中，检测浦肯野(角膜5500的表面的反射光)6100A和6100E。如图1B的眼睛的反射光的强度图案1000中图解所示，在红外光下，存在角膜反射(浦肯野图像)(h3)>虹膜(h1和h5)>瞳孔(h24)的反射光的强度(反射率)的关系。注意。图1B图解说明反射光的强度(反射率)在图1B的上侧较高。
图2图解说明事件驱动模式下的眼睛的反射光的强度图案1001、浦肯野检测模式下的眼睛的反射光的强度图案1002、以及瞳孔检测模式下的眼睛的反射光的强度图案1003。作为事件驱动模式下的眼睛的反射光的强度图案1001，例示了虹膜的反射光h11和h15、浦肯野图像的反射光h13-1和h13-2、以及瞳孔的反射光h1214。作为浦肯野检测模式下的眼睛的反射光的强度图案1002，例示了虹膜的反射光h21和h25、浦肯野图像的反射光h23-1和h23-2、以及瞳孔的反射光h2224。作为瞳孔检测模式下的眼睛的反射光的强度图案1003，例示了虹膜的反射光h31和h35、浦肯野图像的反射光h33-1和h33-2、以及瞳孔的反射光h3234。注意，图2图解说明反射光的强度在图2的上侧较高。
如浦肯野检测模式下的眼睛的反射光的强度图案1002所示，当只有浦肯野的反射光(h23-1和h23-2)超过阈值S时，只有浦肯野被激发。另一方面，当虹膜的反射光(h11、h13-1、h13-2、h15、h31、h33-1、h33-2和h35)超过阈值S时，虹膜的反射光和浦肯野的反射光被激发。该激发包括由事件引起的激发，以及由照明光的变化引起的强制激发。当发生强制激发时，输出所有浦肯野和瞳孔的事件数据。另一方面，在事件激发的情况下，只有边缘部分(例如，瞳孔45和虹膜46之间的边界(边缘)43以及虹膜46和巩膜47之间的边界(边缘)44)被激发(还参见后面说明的图3)。
在图3中，图3A图解说明通过使用按照本技术的第一实施例的视线检测设备，在事件驱动模式下眼球已运动时感测眼球时的图像；图3B图解说明在事件驱动模式下眼球未运动时感测眼球时的图像；图3C图解说明在浦肯野检测模式下感测眼球时的图像；图3D图解说明在瞳孔检测模式下感测眼球时的图像。
在图3A(事件驱动模式)中，眼球在运动，因此虹膜46和巩膜47之间的边界(边缘)44以及瞳孔45和虹膜46之间的边界(边缘)43作为事件被激发。在图3B(事件驱动模式)中，眼球未运动，因此虹膜46和巩膜47之间的边界(边缘)44、瞳孔45和虹膜46之间的边界(边缘)43等不会作为事件被激发，从而获得诸如灰色之类无彩色的纯色图像。在图3C(浦肯野检测模式)中，只有浦肯野图像41被激发。在图3D(瞳孔检测模式)中，浦肯野图像41、瞳孔45、虹膜46以及巩膜47全部被强制激发。注意，激发指的是在包含在具有事件驱动功能的成像元件中的各个像素中，当光信号的变化超过预定阈值时输出事件(产生信号)。
在三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)下，例如，在事件驱动模式下一直检测瞳孔，使得可以提高速度，并且在瞳孔丢失时通过设定瞳孔检测模式，可以实现高鲁棒性和高精度。此外，通过设定浦肯野检测模式，高精度的视线检测也是可能的。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第一实施例(视线检测设备的例1和眼球感测方法的例1)的视线检测设备和眼球感测方法说明的内容就可以应用于如后所述的按照本技术的第二到第十实施例的视线检测设备和眼球感测方法。
<3.第二实施例(视线检测设备的例2和眼球感测方法的例2)>
按照本技术的第二实施例(视线检测设备的例2)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括发光器件。设置在按照本技术的第二实施例的视线检测设备中的发光器件具有三种发光强度。
按照本技术的第二实施例(眼球感测方法的例2)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括使用发光器件改变到三种发光强度状态。同时，按照本技术的第二实施例(眼球感测方法的例2)的眼球感测方法可以使用按照本技术的第二实施例(视线检测设备的例2)的视线检测设备来执行。
于是，在按照本技术的第二实施例(眼球感测方法的例2)的眼球感测方法中，从浦肯野检测模式转变到事件驱动模式，从事件驱动模式转变到浦肯野检测模式，从瞳孔检测模式转变到事件驱动模式，从事件驱动模式转变到瞳孔检测模式，以及从浦肯野检测模式转变到瞳孔检测模式。
将参考图4说明按照本技术的第二实施例的视线检测设备和眼球感测方法。
图4是图解说明按照本技术的第二实施例的视线检测设备和眼球感测方法中的三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方法的例子的示图。更具体地，图4A是图解说明三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方式102的示图。在图4A中，横轴表示时间，纵轴表示发光器件(例如，LED)的发光强度。图4B是总结三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变关系(用附图标记102-1指示)的示图(也称为状态转移图102-1)。
在转变方式102中，从处于强度恒定在中等强度S2-2的状态的事件模式M1-1转变到作为强度从中等强度S2-2变化为低强度S1-2的瞬间的浦肯野模式M2-1，随后，转变到处于强度恒定在低强度S1-2的状态的事件模式M1-2，然后转变到作为强度从低强度S1-2变化为中等强度S2-2的瞬间的浦肯野模式M2-2。然后，从浦肯野模式M2-2转变到处于强度恒定在中等强度S2-2的状态的事件模式M1-1-1，随后，转变到作为强度从中等强度S2-2变化为高强度S3-2的瞬间的瞳孔模式M3-1，从瞳孔模式M3-1转变到处于强度恒定在高强度S3-2的状态的事件模式M1-3，并且进而，再次转变到作为强度从高强度S3-2变化为中等强度S2-2的瞬间的瞳孔模式M3-2。
如上所述，转变方式102具有三种强度，即，低强度S1-2、中等强度S2-2和高强度S3-2。在其中每个强度(低强度S1-2、中等强度S2-2或高强度S3-2)恒定的区间(事件模式)中，对于眼球的运动触发瞳孔和浦肯野的反射光(菲涅尔反射和漫反射分量)。
在以小位移从中央强度S2-2转变到低强度S1-2的瞬间(强度变化的瞬间)或以小位移从低强度S1-2转变到中等强度S2-2的瞬间(强度变化的瞬间)(浦肯野检测模式下)，光的强度被强制改变，只有浦肯野光(菲涅尔反射分量)的反射位移量被触发。
在以大位移从中等强度S2-2转变到高强度S3-2的瞬间(强度变化的瞬间)或以大位移从高强度S3-2转变到中等强度S2-2的瞬间(强度变化的瞬间)(瞳孔检测模式下)，光的强度被强制改变，瞳孔和浦肯野的反射光(菲涅耳反射和漫反射分量)的反射位移量被触发。
如状态转移图102-1中图解所示，在转变方式102中，可以从事件模式P1转变到浦肯野模式P2，并且可以从浦肯野模式P2转变到事件模式P1(图4B中图解所示的箭头Y2-1)。此外，在转变方式102中，可以从事件模式P1转变到瞳孔模式P3，并且可以从瞳孔模式P3转变到事件模式P1(图4B中图解所示的箭头Y2-2)。此外，在转变方式102中，可以从浦肯野模式P2转变到瞳孔模式P3(图4B中图解所示的箭头Y2-3)。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第二实施例(视线检测设备的例2和眼球感测方法的例2)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第三到第十实施例的视线检测设备和眼球感测方法。
<4.第三实施例(视线检测设备的例3和眼球感测方法的例3)>
按照本技术的第三实施例(视线检测设备的例3)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括发光器件。设置在按照本技术的第三实施例的视线检测设备中的发光器件具有三种发光强度。这三种发光强度是高强度、中等强度和低强度，并且高强度和中等强度之间的强度差与中等强度和低强度之间的强度差大致相同。
按照本技术的第三实施例(眼球感测方法的例3)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括使用发光器件改变到三种发光强度状态。这三种发光强度是高强度、中等强度和低强度，并且高强度和中等强度之间的强度差与中等强度和低强度之间的强度差大致相同。同时，按照本技术的第三实施例(眼球感测方法的例3)的眼球感测方法可以使用按照本技术的第三实施例(视线检测设备的例3)的视线检测设备来执行。
于是，在按照本技术的第三实施例(眼球感测方法的例3)的眼球感测方法中，从浦肯野检测模式转变到事件驱动模式，从事件驱动模式转变到浦肯野检测模式，从瞳孔检测模式转变到事件驱动模式，从事件驱动模式转变到瞳孔检测模式，从浦肯野检测模式转变到瞳孔检测模式，以及从瞳孔检测模式转变到浦肯野检测模式。
将参考图5说明按照本技术的第三实施例的视线检测设备和眼球感测方法。
图5是图解说明按照本技术的第三实施例的视线检测设备和眼球感测方法中的三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方法的例子的示图。更具体地，图5A是图解说明三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方式103的示图。在图5A中，横轴表示时间，纵轴表示发光器件(例如，LED)的发光强度。图5B是总结三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变关系(用附图标记103-1指示)的示图(也称为状态转移图103-1)。
在转变方式103中，从处于强度恒定在中等强度S2-3的状态的事件模式M1-4转变到作为强度从中等强度S2-3变化为低强度S1-3(随α的位移量而变化)的瞬间的浦肯野模式M2-3，随后，转变到处于强度恒定在低强度S1-3的状态的事件模式M1-5，然后转变到作为强度从低强度S1-3变化为高强度S3-3(强度随2α的位移量而变化)的瞬间的瞳孔模式M3-3。然后，从瞳孔模式M3-3转变到处于强度恒定在高强度S3-3的状态的事件模式M1-6，随后，转变到作为强度从高强度S3-3变化为中等强度S2-3(随α的位移量而变化)的瞬间的浦肯野模式M2-4，然后从浦肯野模式M2-4转变到处于强度恒定在中等强度S2-3的状态的事件模式M1-7。
如上所述，转变方式103具有三种强度，即，低强度S1-3、中等强度S2-3和高强度S3-3。低强度S1-3和中等强度S2-3之间的强度差(位移量)为α，并且中等强度S2-3和高强度S3-3之间的强度差(位移量)为α。即，低强度S1-3和中等强度S2-3之间的强度差(位移量)与中等强度S2-3和高强度S3-3之间的强度差(位移量)均为α。于是，低强度S1-3和高强度S3-3之间的强度差(位移量)为2α。
在其中每个强度(低强度S1-3、中等强度S2-3或高强度S3-3)恒定的区间(事件模式)中，对于眼球的运动触发瞳孔和浦肯野的反射光(菲涅尔反射和漫反射分量)。
在位移从中等强度S2-3转变到相邻强度的瞬间(浦肯野检测模式(也称为浦肯野模式)下)，光的强度被强制改变，这仅由浦肯野光(菲涅耳反射分量)的反射位移量触发。
在以2α的位移从低强度S1-3转变到不同强度的瞬间(瞳孔检测模式下)，光的强度被强制改变，这由瞳孔和浦肯野的反射光(菲涅尔反射和漫反射分量)的反射位移量触发。
如状态转移图103-1中图解所示，在转变方式103中，可以从事件模式P1转变到浦肯野模式P2，并且可以从浦肯野模式P2转变到事件模式P1(图5B中图解所示的箭头Y3-1)。此外，在转变方式103中，可以从事件模式P1转变到瞳孔模式P3，并且可以从瞳孔模式P3转变到事件模式P1(图5B中图解所示的箭头Y3-2)。此外，在转变方式103中，可以从浦肯野模式P2转变到瞳孔模式P3，并且可以从瞳孔模式P3转变到浦肯野模式P2(图5B中图解所示的箭头Y3-3)。
于是，在转变方式103(状态转移图103-1)中，向上述转变方式102(状态转移图102-1)增加了从瞳孔模式P3到浦肯野检测模式P2的转变，因此多了一个状态转变方向。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第三实施例(视线检测设备的例3和眼球感测方法的例3)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第二实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第四到第十实施例的视线检测设备和眼球感测方法。
<5.第四实施例(视线检测设备的例4和眼球感测方法的例4)>
按照本技术的第四实施例(视线检测设备的例4)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括多个发光器件。在按照本技术的第四实施例的视线检测设备中，当多个发光器件中的每一个被顺次开启时，第一模式生成单元生成浦肯野检测模式。
按照本技术的第四实施例(眼球感测方法的例4)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括通过使用多个发光器件，顺次开启多个发光器件中的每一个来顺次转变到浦肯野检测模式。同时，按照本技术的第四实施例(眼球感测方法的例4)的眼球感测方法可以使用按照本技术的第四实施例(视线检测设备的例4)的视线检测设备来执行。
将参考图6说明按照本技术的第四实施例的视线检测设备和眼球感测方法。
图6是图解说明按照本技术的第四实施例的视线检测设备和眼球感测方法中的两种模式(事件驱动模式和浦肯野检测模式)的转变方法的例子的示图，更具体地，从图6的上侧开始顺序图解说明了两种模式(浦肯野检测模式和事件驱动模式)的转变方式104-1，两种模式(浦肯野检测模式和事件驱动模式)的转变方式104-2，以及两种模式(浦肯野检测模式和事件驱动模式)的转变方式104-3。
在图6中转变方式104-1的右侧，图解说明了使用按照本技术的第四实施例的视线检测设备在浦肯野检测模式下感测眼球时的示意图像MP2-2；图6中在转变方式104-2的右侧，图解说明了使用按照本技术的第四实施例的视线检测设备在浦肯野检测模式下感测眼球时的示意图像MP2-3；并且图6中在转变方式104-3的右侧，图解说明了使用按照本技术的第四实施例的视线检测设备在浦肯野检测模式下感测眼球时的示意图像MP2-4。
使用LED 1作为发光器件。在转变方式104-1中，从处于强度恒定在高强度S2-4-1的状态的事件模式M1-8转变到作为强度从高强度S2-4-1变化为低强度S1-4-1的瞬间的浦肯野检测模式M2-5，随后，从浦肯野检测模式M2-5转变到处于强度恒定在低强度S1-4-1的状态的事件模式M1-9。注意，LED 1也可以具有高于高强度S2-4-1的强度或低于低强度S1-4-1的强度，即，连同高强度S2-4-1和低强度S1-4-1一起具有总共三种强度。注意，LED 1可以具有总共四种以上的强度。
使用LED 2作为发光器件。在转变方式104-2中，从处于强度恒定在高强度S2-4-2的状态的事件模式M1-10转变到作为强度从高强度S2-4-2变化为低强度S1-4-2的瞬间的浦肯野检测模式M2-6，随后，从浦肯野检测模式M2-6转变到处于强度恒定在低强度S1-4-2的状态的事件模式M1-11。注意，LED 2也可以具有高于高强度S2-4-2的强度或低于低强度S1-4-2的强度，即，连同高强度S2-4-2和低强度S1-4-2一起具有总共三种强度。注意，LED 2可以具有总共四种以上的强度。
使用LED 3作为发光器件。在转变方式104-3中，从处于强度恒定在高强度S2-4-3的状态的事件模式M1-12转变到作为强度从高强度S2-4-3变化为低强度S1-4-3的瞬间的浦肯野检测模式M2-7，随后，从浦肯野检测模式M2-7转变到处于强度恒定在低强度S1-4-3的状态的事件模式M1-13。注意，LED 3也可以具有高于高强度S2-4-3的强度或低于低强度S1-4-3的强度，即，连同高强度S2-4-3和低强度S1-4-3一起具有总共三种强度。注意，LED 2可以具有总共四种以上的强度。
如上所述，当依次从事件模式M1-8、事件模式M1-10和事件模式M1-12分别转变到浦肯野检测模式M2-5、浦肯野检测模式M2-6和浦肯野检测模式M2-7时，随着时间的推移(随着时间的推移依次转变相应LED 1～3的发光定时)，在图像MP2-2中可以检测到位于瞳孔45右上方的浦肯野图像41，在图像MP2-3中可以检测到位于瞳孔45下方的浦肯野图像41，而在图像MP2-4中可以检测到位于瞳孔45左上方的浦肯野图像41，从而可以提高标记的精度。然后，例如，在按照本技术的第四实施例中的视线检测设备构成眼镜式显示设备的情况下，当从镜架的外侧看时(当看佩戴眼镜式显示设备的佩戴者时)，LED 1布置在形成镜架的前部的镜框部分的右上方，LED 2布置在形成镜架的前部的镜框部分的下方，而LED 3布置在形成镜架的前部的镜框部分的左上方。
注意，说明了3个LED(LED 1～3)，但是LED的数量(例如，LED的数量可以是2个或4个以上)不受限制，只要能够提高标记的精度即可。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第四实施例(视线检测设备的例4和眼球感测方法的例4)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第三实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第五到第十实施例的视线检测设备和眼球感测方法。
<6.第五实施例(视线检测设备的例5和眼球感测方法的例5)>
按照本技术的第五实施例(视线检测设备的例5)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括多个发光器件。在按照本技术的第五实施例的视线检测设备中，当多个发光器件大致同时地改变发光强度时，第二模式生成单元生成瞳孔检测模式。
按照本技术的第五实施例(眼球感测方法的例5)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括通过使用多个发光器件，大致同时地改变多个发光器件的发光强度来转变到瞳孔检测模式。同时，按照本技术的第五实施例(眼球感测方法的例5)的眼球感测方法可以使用按照本技术的第五实施例(视线检测设备的例5)的视线检测设备来执行。
将参考图7说明按照本技术的第五实施例的视线检测设备和眼球感测方法。
图7是图解说明按照本技术的第五实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图，更具体地，从图7的上侧开始顺序图解说明了三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方式105-1，三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方式105-2，以及三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方式105-3。
在图7中转变方式105-1、105-2和105-3的右侧，图解说明了使用按照本技术的第五实施例的视线检测设备在瞳孔检测模式下感测眼球时的示意图像MP3-2。
使用LED 4作为发光器件。在转变方式105-1中，从处于强度恒定在高强度S2-5-4的状态的事件模式M1-14转变到作为强度从高强度S2-5-4变化为低强度S1-5-4的瞬间的浦肯野检测模式M2-8，随后，从浦肯野检测模式M2-8转变到处于强度恒定在低强度S1-5-4的状态的事件模式M1-15。接下来，从事件模式M1-15转变到作为强度从低强度S1-5-4变化为高强度S2-5-4的瞬间的浦肯野检测模式M2-9，随后，转变到处于强度恒定在高强度S2-5-4的状态的事件模式M1-16。从事件模式M1-16转变到作为强度从高强度S2-5-4变化为低强度S1-5-4的瞬间的浦肯野检测模式M3-4，然后从浦肯野检测模式M3-4转变到处于强度恒定在低强度S1-5-4的状态的事件模式M1-17。
使用LED 5作为发光器件。在转变方式105-2中，从处于强度恒定在高强度S2-5-5的状态的事件模式M1-18转变到作为强度从高强度S2-5-5变化为低强度S1-5-5的瞬间的浦肯野检测模式M2-10，随后，从浦肯野检测模式M2-10转变到处于强度恒定在低强度S1-5-5的状态的事件模式M1-19。接下来，从事件模式M1-19转变到作为强度从低强度S1-5-5变化为高强度S2-5-5的瞬间的浦肯野检测模式M2-11，随后，转变到处于强度恒定在高强度S2-5-5的状态的事件模式M1-20。从事件模式M1-20转变到作为强度从高强度S2-5-5变化为低强度S1-5-5的瞬间的浦肯野检测模式M3-5，然后从浦肯野检测模式M3-5转变到处于强度恒定在低强度S1-5-5的状态的事件模式M1-21。
使用LED 6作为发光器件。在转变方式105-3中，从处于强度恒定在高强度S2-5-6的状态的事件模式M1-22转变到作为强度从高强度S2-5-6变化为低强度S1-5-6的瞬间的浦肯野检测模式M2-12，随后，从浦肯野检测模式M2-12转变到处于强度恒定在低强度S1-5-6的状态的事件模式M1-23。接下来，从事件模式M1-23转变到作为强度从低强度S1-5-6变化为高强度S2-5-6的瞬间的浦肯野检测模式M2-13，随后，转变到处于强度恒定在高强度S2-5-6的状态的事件模式M1-24。从事件模式M1-24转变到作为强度从高强度S2-5-6变化为低强度S1-5-6的瞬间的浦肯野检测模式M3-7，然后从浦肯野检测模式M3-7转变到处于强度恒定在低强度S1-5-6的状态的事件模式M1-25。
如上所述，在相应的转变方式105-1、105-2和105-3中，当同时开启3个LED(LED 4～LED 6)以改变强度，并且同时分别转变到三种浦肯野检测模式M3-4、M3-5和M3-6时，生成瞳孔检测模式，结果转变到瞳孔检测模式。
例如，当高强度S2-5-4和低强度S1-5-4之间的强度差(位移量)为α，高强度S2-5-5和低强度S1-5-5之间的强度差(位移量)为α，并且高强度S2-5-6和低强度S1-5-6之间的强度差(变等量)为α时，强度总共改变3α，从而转变到瞳孔检测模式。注意，如果强度变化2α以上，则可以转变到瞳孔检测模式。
注意，说明了3个LED(LED 4～6)，但是LED的数量(例如，LED的数量可以是2个或4个以上)不受限制，只要例如同时开启多个LED，强度变化2α以上，并且可以转变到瞳孔检测模式即可。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第五实施例(视线检测设备的例5和眼球感测方法的例5)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第四实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第六到第十实施例的视线检测设备和眼球感测方法。
<7.第六实施例(视线检测设备的例6和眼球感测方法的例6)>
按照本技术的第六实施例(视线检测设备的例6)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括发光器件。在按照本技术的第六实施例(视线检测设备的例6)的视线检测设备中，在浦肯野检测模式和瞳孔检测模式下，与发光器件的发光强度的变化的时间戳同步地获取信号，并且在事件驱动模式下通过进行时间戳累积来获取信号。
按照本技术的第六实施例(眼球感测方法的例6)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括：在浦肯野检测模式和瞳孔检测模式下，与发光器件的发光强度的变化的时间戳同步地获取信号；并且在事件驱动模式下进行时间戳累积来获取信号。同时，按照本技术的第六实施例(眼球感测方法的例6)的眼球感测方法可以使用按照本技术的第六实施例(视线检测设备的例6)的视线检测设备来执行。
将参考图8说明按照本技术的第六实施例的视线检测设备和眼球感测方法。
图8是图解说明按照本技术的第六实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的检测方法的例子的示图。在图8的左侧，从图8的上侧开始顺序图解说明了使用按照本技术的第六实施例的视线检测设备在事件驱动模式下感测眼球时的示意图像MP1-2，在浦肯野检测模式下感测眼球时的示意图像MP2-5，以及在瞳孔检测模式下感测眼球时的示意图像MP3-3。
在事件驱动模式下检测瞳孔，在浦肯野检测模式下检测浦肯野，在瞳孔检测模式下检测瞳孔。使用事件驱动模式下的瞳孔检测和浦肯野检测模式下的浦肯野检测进行视线检测。使用瞳孔检测模式下的瞳孔检测和浦肯野检测模式下的浦肯野检测进行视线检测。
作为获取信号并进行信号处理的方法，在事件驱动模式下(图像MP1-2)，在步骤S1000-1累积时间戳。累积时间戳以(通过信号获取单元)获取信号。在步骤S1002通过帧处理进行特征检测，然后在步骤S1003进行瞳孔检测。或者，在事件驱动模式下，在步骤S1001-2进行实时处理，在步骤S1002进行特征检测，然后在步骤S1003进行瞳孔检测。对于步骤S1002的特征检测，例如使用椭圆检测或诸如DNN或RNN之类的神经网络。
作为获取信号并进行信号处理的方法，在浦肯野检测模式下(图像MP2-5)，在步骤S1004与LED的变化同步地进行时间戳提取。与强度变化的时间戳同步地获取信号(通过信号获取单元)。在步骤S1005，使用获得的时间戳之间的事件数据，进行与上面所述相同的特征检测，然后在步骤S1006进行浦肯野检测。
作为获取信号并进行信号处理的方法，在瞳孔检测模式下(图像MP3-3)，在步骤S1007与LED的变化同步地进行时间戳提取。(通过信号获取单元)与强度变化的时间戳同步地获取信号。在步骤S1008，对获得的时间戳之间的事件数据进行与上面所述相同的特征检测，然后在步骤S1009进行瞳孔检测。
使用步骤S1003中的瞳孔检测和步骤1006中的浦肯野检测，在步骤S1010进行视线检测。
使用步骤S1009中的瞳孔检测和步骤1006中的浦肯野检测，在步骤S1011进行视线检测。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第六实施例(视线检测设备的例6和眼球感测方法的例6)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第五实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第七到第十实施例的视线检测设备和眼球感测方法。
<8.第七实施例(视线检测设备的例7和眼球感测方法的例7)>
按照本技术的第七实施例(视线检测设备的例7)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元。在按照本技术的第七实施例(视线检测设备的例7)的视线检测设备中，当在事件驱动模式下检测丢失时，或者当事件驱动模式的检测似然度低于预定值(基准值)时，第二模式生成单元生成瞳孔检测模式。
按照本技术的第七实施例(眼球感测方法的例7)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括当在事件驱动模式下检测丢失时，或者当事件驱动模式的检测似然度低于预定值时转变到瞳孔检测模式。同时，按照本技术的第七实施例(眼球感测方法的例7)的眼球感测方法可以使用按照本技术的第七实施例(视线检测设备的例7)的视线检测设备来执行。
将参考图9和图10说明按照本技术的第七实施例的视线检测设备和眼球感测方法。
图9是图解说明按照本技术的第七实施例的视线检测设备和眼球感测方法中的瞳孔检测流程的例子的示图。
在图9的步骤S101，转变到事件模式(事件驱动模式)(生成事件模式(事件驱动模式))。
在步骤S102进行瞳孔检测，流程在瞳孔检测成功的情况下(是)进入步骤S103，或者在瞳孔检测失败的情况下(否)进入步骤104。
在步骤S103(在瞳孔检测成功的情况下(是))，判定瞳孔检测似然度是否大于基准值。流程在瞳孔检测似然度大于基准值的情况下(是)进入步骤S105，或者在瞳孔检测似然度不大于基准值的情况下(否)进入步骤S104。
在步骤S105(在瞳孔检测似然度大于基准值的情况下(是))，确定瞳孔位置。必要时，流程返回步骤S103，再次判定瞳孔检测似然度是否大于基准值。在流程没有返回步骤S103的情况下，在步骤S107扫出瞳孔位置。
如上所述，在瞳孔检测失败的情况下(否)，流程进入步骤104，并且在步骤104生成瞳孔检测模式(转变到瞳孔检测模式)。接下来，在步骤S106进行瞳孔检测。接下来，在步骤S105确定瞳孔位置。必要时，处理进入步骤S103，判定瞳孔检测似然度是否大于基准值。在流程没有返回步骤S103的情况下，在步骤S107进行瞳孔位置的扫出。
如上所述，在瞳孔检测似然度不大于基准值的情况下(否)，处理进入步骤104，并且在步骤104生成瞳孔检测模式(转变到瞳孔检测模式)。接下来，在步骤S106进行瞳孔检测。接下来，在步骤S105确定瞳孔位置。必要时，处理进入步骤S103，判定瞳孔检测似然度是否大于基准值。在流程没有返回步骤S103的情况下，在步骤S107进行瞳孔位置的扫出。
在瞳孔检测似然度不大于基准值的情况下(否)，重复步骤S104(瞳孔检测模式)→步骤S106(瞳孔检测)→步骤S105(瞳孔位置确定)→步骤S103(瞳孔检测似然度是否大于基准值的判定)→步骤104(瞳孔检测模式)的循环。
如上所述，当事件模式下的瞳孔位置的确定失败时，转变到瞳孔检测模式(生成瞳孔检测模式)。结果，将向瞳孔检测模式的转变(瞳孔检测模式的生成)抑制在必要的最小限度，可以降低功耗和提高瞳孔检测等的速度。
图10是用于说明按照本技术的第七实施例的视线检测设备和眼球感测方法中的通过使用光流进行似然度估计来确定瞳孔的位置的示图。更具体地，图10A、图10B和图10C中图解所示的图像是在事件驱动模式下感测眼球时的示意图。随着时间(t)的流逝(随着图10A、图10B和图10C按该顺序前进)，图10A、图10B和图10C中图解所示的瞳孔45从图像中的左侧位置(图10A)转移到中央位置(图10B)，然后从中央位置(图10B)转移到右侧位置(图10C)。
在图10D中图解所示的曲线图中，横轴是时间(t)，纵轴是瞳孔的位置(x)。图10D中图解所示的线G1是指示瞳孔45的可能转移的曲线，线G2是指示瞳孔45的检测误差的线。图10A中图解所示的瞳孔45的位置对应于线G1上的圆形区域G1-1，图10B中图解所示的瞳孔45的位置对应于线G1上的圆形区域G1-2，而图10C中图解所示的瞳孔45的位置对应于线G1上的圆形区域G1-3。即，可以确认图10A～图10C中图解所示的瞳孔45的转移对应于可能转移。
如上所述，光流可以用于似然度估计。例如，在扫视时段期间等，时间轴方向的瞳孔转移画出可能曲线(例如，图10D中的线G1)。偏离该转移的部分被识别为检测误差(例如，图10D中的线G2)。于是，在上面说明的图9中图解所示的步骤S103(瞳孔检测似然度是否大于基准值的判定)中，可以使用图10D中图解所示的曲线图。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第七实施例(视线检测设备的例7和眼球感测方法的例7)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第六实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第八到第十实施例的视线检测设备和眼球感测方法。
<9.第八实施例(视线检测设备的例8和眼球感测方法的例8)>
按照本技术的第八实施例(视线检测设备的例8)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元。在按照本技术的第八实施例(视线检测设备的例8)的视线检测设备中，当在事件驱动模式下检测到扫视的结束时，第二模式生成单元生成瞳孔检测模式。
按照本技术的第八实施例(眼球感测方法的例8)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括在事件驱动模式下检测到扫视的结束时，转变到瞳孔检测模式。同时，按照本技术的第八实施例(眼球感测方法的例8)的眼球感测方法可以使用按照本技术的第八实施例(视线检测设备的例8)的视线检测设备来执行。
将参考图11说明按照本技术的第八实施例的视线检测设备和眼球感测方法。
图11是图解说明按照本技术的第八实施例的视线检测设备和眼球感测方法中的瞳孔检测流程的例子的示图。
在图11中的步骤S201，转变到事件模式(事件驱动模式)(生成事件模式(事件驱动模式))。
在步骤S202，扫出瞳孔位置。
在步骤S203进行扫视检测，然后在步骤S204完成扫视。
在扫视完成之后，在步骤S205，转变到瞳孔检测模式(生成瞳孔检测模式)。
可以从步骤S205中的瞳孔检测模式转变到事件模式(事件驱动模式)(可以生成事件模式(事件驱动模式))(步骤S201)。
由于在扫视完成的定时(步骤S204)，从事件模式下的瞳孔检测的结果转变到瞳孔检测模式(步骤S205)，因此可以时延最小地提高检测精度。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第八实施例(视线检测设备的例8和眼球感测方法的例8)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第七实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第九到第十实施例的视线检测设备和眼球感测方法。
<10.第九实施例(视线检测设备的例9和眼球感测方法的例9)>
按照本技术的第九实施例(视线检测设备的例9)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括发光器件。设置在按照本技术的第九实施例的视线检测设备中的具有事件驱动功能的成像元件包括具有不同阈值的第一像素和第二像素。第一像素和第二像素以拜耳阵列的方式排列。拜耳阵列方式的排列指的是例如第一像素和第二像素的矩阵式排列，其中在行方向和列方向上分别交替地排列第一像素和第二像素。于是，设置在按照本技术的第九实施例的视线检测设备中的发光器件具有两种发光强度。
按照本技术的第九实施例(眼球感测方法的例9)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括使用发光器件改变到两种发光强度状态。在按照本技术的第九实施例的眼球感测方法中使用的具有事件驱动功能的成像元件包括具有不同阈值的第一像素和第二像素。第一像素和第二像素以拜耳阵列的方式排列。拜耳阵列方式的排列指的是例如第一像素和第二像素的矩阵式排列，其中在行方向和列方向上分别交替地排列第一像素和第二像素。同时，按照本技术的第九实施例(眼球感测方法的例9)的眼球感测方法可以使用按照本技术的第九实施例(视线检测设备的例9)的视线检测设备来执行。
将参考图12说明按照本技术的第九实施例的视线检测设备和眼球感测方法。
图12是图解说明按照本技术的第九实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图。更具体地，图12A是图解说明三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方式109的示图。图12B是图解说明包括在设置于按照本技术的第九实施例的视线检测设备中的具有事件驱动功能的成像元件中的像素的构成例子的示图，更具体地，图解说明像素a(第一像素)和像素b(第二像素)以拜耳阵列的方式排列。即，像素a和像素b排列成矩阵，并且在行方向(图12B中的左右方向)和列方向(图12B中的上下方向)上分别交替地排列像素a和像素b。
在转变方式109中，在强度从高强度S2-9变化为低强度S1-9的瞬间，从处于强度恒定在高强度S2-9的状态的事件模式M1-26在像素a中转变到瞳孔检测模式M4-1a，并且在像素b中转变到浦肯野检测模式M4-1b，随后，从瞳孔检测模式M4-1a和浦肯野检测模式M4-1b转变到处于强度恒定在低强度S1-9的状态的事件模式M1-27。接下来，在强度从低强度S1-9变化为高强度S2-9的瞬间，从事件模式M1-27在像素a中转变到瞳孔检测模式M4-2a，并且在像素b中转变到浦肯野检测模式M4-2b，随后，转变到处于强度恒定在高强度S2-9的状态的事件模式M1-28。在从高强度S2-9变化为低强度S1-9的瞬间，从事件模式M1-28在像素a中转变到瞳孔检测模式M4-3a，并且在像素b中转变到浦肯野检测模式M4-3b，然后从瞳孔检测模式M4-3a和浦肯野检测模式M4-3b转变到处于强度恒定在低强度S1-9的状态的事件模式M1-29。
如转变方式109中图解所示，通过在两种强度(低强度S1-9和高强度S2-9)下，以拜耳阵列的方式排列具有两个不同阈值的像素a和像素b，可以生成三种模式。
上述内容总结如下。
像素a(具有较低阈值)：瞳孔检测模式和事件模式的生成。
像素b(具有较高阈值)：浦肯野检测模式和事件模式的生成。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第九实施例(视线检测设备的例9和眼球感测方法的例9)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第八实施例的视线检测设备和眼球感测方法，以及如后所述的按照本技术的第十实施例的视线检测设备和眼球感测方法。
<11.第十实施例(视线检测设备的例10和眼球感测方法的例10)>
按照本技术的第十实施例(视线检测设备的例10)的视线检测设备是包括以下的视线检测设备：具有事件驱动功能的成像元件(例如，动态视觉传感器(DVS))；生成浦肯野检测模式的第一模式生成单元；生成瞳孔检测模式的第二模式生成单元；以及生成事件驱动模式的第三模式生成单元，并且还包括发光器件。设置在按照本技术的第十实施例的视线检测设备中的具有事件驱动功能的成像元件随着时间的变化具有两个阈值。于是，设置在按照本技术的第十实施例的视线检测设备中的发光器件具有两种发光强度。
按照本技术的第十实施例(眼球感测方法的例10)的眼球感测方法是一种用于感测眼球的方法，包括：通过使用具有事件驱动功能的成像元件生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式，并且还包括使用发光器件改变到两种发光强度状态。在按照本技术的第九实施例的眼球感测方法中使用的具有事件驱动功能的成像元件基于时间变化具有两个阈值。同时，按照本技术的第十实施例(眼球感测方法的例10)的眼球感测方法可以使用按照本技术的第十实施例(视线检测设备的例10)的视线检测设备来执行。
将参考图13说明按照本技术的第十实施例的视线检测设备和眼球感测方法。
图13是图解说明按照本技术的第九实施例的视线检测设备和眼球感测方法中的三种模式(事件驱动模式、浦肯野检测模式和瞳孔检测模式)的转变方法的例子的示图。更具体地，图13是图解说明随着时间的流逝，当阈值从阈值S1变化为阈值S2(>阈值S1，即，阈值S2高于阈值S1)，然后从阈值S2(>阈值S1)变化为阈值S1时的三种模式(浦肯野检测模式、瞳孔检测模式和事件驱动模式)的转变方式110的示图。
在转变方式110中，从在阈值S1变化为阈值S2时，处于强度恒定在高强度S2-10的状态的事件模式M1-30(此时，阈值S1变化为阈值S2)转变到在强度从高强度S2-10变化为低强度S1-10的瞬间的浦肯野检测模式M2-13(此时，应用阈值S2)，随后，从浦肯野检测模式M2-13转变到处于强度恒定在低强度S1-10的状态的事件模式M1-31(此时，应用阈值S2)。接下来，从事件模式M1-31转变到作为强度从低强度S1-10变化为高强度S2-10的瞬间的浦肯野检测模式M2-14(此时，应用阈值S2)，随后，转变到处于强度恒定在高强度S2-10的状态的事件模式M1-32(此时，阈值S2变化为阈值S1)。从事件模式M1-32转变到作为强度从高强度S2-10变化为低强度S1-10的瞬间的瞳孔检测模式M3-8(此时，应用阈值S1)，然后从瞳孔检测模式M3-8转变到处于强度恒定在低强度S1-10的状态的事件模式M1-33(此时，应用阈值S1)。
如转变方式110中图解所示，通过在两种强度(低强度S1-10和高强度S2-10)下随着时间的过去改变两个不同的阈值，可以生成三种模式。
上述内容总结如下。
低阈值(阈值S1)：瞳孔检测模式和事件模式的生成。
高阈值(阈值S2)：浦肯野检测模式的生成。
如上所述，特别是只要不存在技术上的矛盾，关于按照本技术的第十实施例(视线检测设备的例10和眼球感测方法的例10)的视线检测设备和眼球感测方法说明的内容就可以应用于上面说明的按照本技术的第一到第九实施例的视线检测设备和眼球感测方法。
<12.第十一实施例(显示设备的例1)>
按照本技术的第十一实施例(显示设备的例1)的显示设备是至少包括按照本技术的第一到第十实施例的视线检测设备中的一个实施例的视线检测设备的显示设备。按照本技术的第十一实施例的显示设备例如可以应用于眼镜式显示器、头戴式显示器等。
在下文中，将参考图14～图16说明按照本技术的第十一实施例(显示设备的例1)的显示设备。
首先，将参考图14和图15说明按照本技术的第十一实施例的显示设备的构成例子。图14是戴在用户头上的状态下的按照本技术的显示设备的顶视图。图15是戴在用户头上的状态下的按照本技术的显示设备的主视图。图14中图解所示的显示设备包括：视频显示单元(也称为图像显示单元)；检测显示设备相对于头部的位置变化的传感器(在本说明书中，检测显示设备相对于头部的位置变化的传感器也称为“位移传感器”或“传感器”)、视线检测设备(按照本技术的第一到第十实施例的视线检测设备中的一个实施方式的视线检测设备，下文中同样适用)；投影位置调整机构；控制单元；以及存储单元。这些组成元件将在下文中说明。
视频显示单元
如图14中图解所示，显示设备100具有眼镜式形状，并被配置为向两只眼睛分别投射视频显示光(有时称为图像显示光)。即，显示设备100包括向左眼投射视频显示光的视频显示单元和向右眼投射视频显示光的视频显示单元。向左眼投射视频显示光的视频显示单元包括光源单元101L、投影光学系统102L和全息光学元件(下文中也称为HOE)103L。
光源单元101L发射视频显示光。作为用于发射视频显示光的构成，光源单元101L例如可以包括激光光源120L、镜121L和扫描镜122L。从激光光源120L发射的激光被镜121L反射，然后到达扫描镜122L。扫描镜122L二维地扫描激光。扫描镜122L例如可以是MEMS镜。扫描镜122L可以高速移动激光的方向，使得在视网膜上形成图像。
投影光学系统102L调整视频显示光的方向，使得视频显示光到达HOE 103L的期望区域和/或位置。例如，由扫描镜122L扫描的视频显示光被调整为平行光。
HOE 103L衍射视频显示光，以使之会聚在用户的瞳孔附近并发射到视网膜。HOE103L例如可以是反射式衍射元件。HOE 103L可以具有对于具有视频显示光的波长范围的光起透镜作用并且透射具有在所述波长范围之外的波长的光的光学特性。依据该光学特性，用户可以通过HOE 103L识别例如视线方向上前方的风景，并且可以识别视频显示光的图像。即,视频显示光的图像可以叠加在外界的风景上。作为HOE 103L，可以使用全息透镜，优选薄膜状全息透镜，更优选透明的薄膜状全息透镜。薄膜状全息透镜可以通过粘贴在例如玻璃等上来使用。通过本领域已知的技术，可以对全息透镜赋予所希望的光学特性。于是，可以使用市场上可获得的全息透镜作为全息透镜，或者可以通过本领域已知的技术来制造全息透镜。
如上所述，光源单元101L、投影光学系统102L和HOE 103L使视频显示光到达用户的左眼。
显示设备100包括分别为眼镜形状的一部分的边撑部分109L和镜框部分108L。光源单元101L和投影光学系统102L布置在边撑部分109L上。HOE 103L由镜框部分108L保持。更具体地，镜框部分108L经由投影位置调整机构105L-2保持内侧镜框部分106L，内侧镜框部分106L经由投影位置调整机构105L-1保持HOE 103L。
将视频显示光投射到用户的右眼的视频显示单元包括光源单元101R、投影光学系统102R和HOE 103R。
关于光源单元101L、投影光学系统102L和HOE 103L的说明也适用于光源单元101R、投影光学系统102R和HOE 103R。
类似于用于左眼的视频显示单元，光源单元101R和投影光学系统102R布置在边撑部分109R中。HOE 103R由镜框部分108R保持。更具体地，镜框部分108R经由投影位置调整机构105R-2保持内侧镜框部分106R，内侧镜框部分106R经由投影位置调整机构105R-1保持HOE 103R。
显示设备100的镜框部分108L和108R经由鼻桥部分110相互连接。鼻桥部分110是当用户佩戴显示设备100时放在用户的鼻子上的部分。此外，显示设备100的镜框部分108L和108R两者都连接到头带部分111。如图15中图解所示，头带部分111是当用户佩戴显示设备100时与用户的头顶接触的部分。
尽管图14中图解所示的光源单元101L包括一个激光光源120L，但是包括在光源单元101L中的激光光源的数量可以是两个以上，例如可以是2～5个。这些多个激光光源可被配置为输出具有不同波长的激光光束。类似地，尽管光源单元101R包括一个激光光源120R，但是包括在光源单元101R中的激光光源的数量可以是两个以上，例如可以是2～5个。所述多个激光光源可被配置为输出具有不同波长的激光光束。由于使用了激光光源120L和激光光源120R，因此可以呈现特定波长的刺激。
尽管未示出，但是显示设备100还可以包括波长色散补偿部件。波长色散补偿部件例如是反射式或透射式体积全息图、反射式或透射式浮雕全息图等。波长色散补偿部件可以例如在镜121L和扫描镜122L之间和/或镜121R和扫描镜122R之间布置在镜121L和/或121R的周边。当在显示设备100中使用波长色散补偿部件时，因为补偿了波长色散，因此可以精确地刺激视网膜上的任何点(预定点)。
(传感器)
显示设备100还包括检测显示设备100相对于用户的头部的位置变化的传感器104L、104R、104C和104T。这些传感器检测到的位置变化例如可以是位置变化的方向和/或位置变化的量。注意，在本说明书中，传感器104L、104R、104C和104T可以被统称为传感器104。
传感器104L和104R检测显示设备100相对于用户的头部在水平方向的位置变化，传感器104C检测显示设备100相对于用户的头部在前后方向的位置变化，而传感器104T检测显示设备100相对于用户的头部在上下方向的位置变化。于是，能够三维地把握安装偏差。
(视线检测设备)
显示设备100包括检测用户的视线的视线检测设备107L和107R。在本说明书中，视线检测设备107L和107R可以被统称为视线检测设备107。按照本技术的第一到第十实施例的视线检测设备中的一个实施例的视线检测设备可以应用于视线检测设备107(视线检测设备107L和107R)。
(投影位置调整机构)
还可以包括调整从显示设备100发射的视频显示光的投影位置的投影位置调整机构105L-1和105L-2以及105R-1和105R-2。注意，在本说明书内，这4个投影位置调整机构有时被统称为投影位置调整机构105。投影位置调整机构105可被配置为调整视频显示光的投影位置以便例如跟随视线。投影位置调整机构105可以按照安装偏差来调整视频显示光的投影位置。
另外，投影位置调整机构105可以按照眼球的旋转移动或视线的移动来调整视频显示光的投影位置。例如，当显示设备100包括投影位置调整机构105时，可以将向用户呈现的图像的位置调整到更适当的位置。例如，在显示设备100要呈现的图像叠加在外界的图像上的情况下，可以通过检测用户的视线在更适当的位置显示该图像。即，在AR信息的呈现方面，优选的是包括视线检测设备107。此外，通过这些投影位置调整机构，也可以调整在Maxwell视的图像显示中会聚视频显示光的位置。
投影位置调整机构105L-1和105L-2调整投射到左眼的视频显示光的投影位置。投影位置调整机构105L-1调整在z轴方向上内侧镜框部分106L和镜框部分108L之间的位置关系。例如，投影位置调整机构105L-1相对于镜框部分108L在z轴方向上移动内侧镜框部分106L。于是，调整HOE 103L在z轴方向上的位置。投影位置调整机构105L-2在x轴方向上调整HOE 103L和内侧镜框部分106L之间的位置关系。例如，投影位置调整机构105L-2相对于内侧镜框部分106L在x轴方向上移动HOE 103L。于是，调整HOE 103L在x轴方向上的位置。
配置为驱动由投影位置调整机构105L-1进行的在z轴方向上内侧镜框部分106L和镜框部分108L之间的位置关系的调整的驱动元件例如可以是压电元件、致动器或双金属，但是不限于此。配置为调整由投影位置调整机构105L-2进行的在x轴方向上HOE 103L和内侧镜框部分106L之间的位置关系的的驱动元件例如也可以是压电元件、致动器或双金属，但是不限于此。
投影位置调整机构105L-1可以基于例如由传感器104L、104R、104C和104T中的一个、两个、三个或者全部四个检测到的显示设备100的位置变化来调整在z轴方向上内侧镜框部分106L和镜框部分108L之间的位置关系。此外，投影位置调整机构105L-1可以基于该位置变化和由视线检测设备107L检测到的视线来调整所述位置关系。投影位置调整机构105L-2可以基于例如由传感器104L、104R、104C和104T中的一个、两个、三个或者全部四个检测到的显示设备100的位置变化来调整在x轴方向上HOE 103L和内侧镜框部分106L之间的位置关系。此外，投影位置调整机构105L-2可以基于该位置变化和由视线检测设备107L检测到的视线来调整所述位置关系。
投影位置调整机构105R-1和105R-2调整投射到右眼的视频显示光的投影位置。该调整可以与投影位置调整机构105L-1和105L-2的调整类似地进行。
(控制单元和存储单元)
将参考图16进行说明。显示设备100包括控制单元112。如图16中图解所示，图16是图解说明显示设备100的主要组件的框图，控制单元112包括图像控制单元181、投影位置控制单元182以及视线校正单元183。
图像控制单元181控制图像显示单元进行的图像显示光的投影。图像控制单元181例如驱动光源单元101L和101R，特别是包括在这些光源单元中的激光光源和扫描镜以输出图像显示光。图像控制单元181可以获取例如存储在存储单元184中的图像数据，并且可以基于图像数据使光源单元101L和101R输出图像显示光。图像控制单元181可以基于由传感器104检测到的显示设备100相对于头部的位置变化来校正图像数据。图像控制单元181可以基于校正后的图像数据使光源单元101L和101R输出图像显示光。即，显示设备100可以基于由检测头戴式显示设备相对于头部的位置变化的传感器检测到的位置变化来校正图像。
投影位置控制单元182控制投影位置调整机构105L-1、105L-2、105R-1和105R-2，由此可以控制图像显示光的投影位置。例如，投影位置控制单元182可以基于由视线检测设备107L和107R检测到的视线，驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的1个至4个，以调整图像显示光的投影位置。例如，可以调整图像显示光的投影位置以跟随视线。投影位置控制单元182可以通过基于如后所述的视线校正单元183校正后的视线，驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的1个至4个来调整图像显示光的投影位置。例如，可以调整图像显示光的投影位置以跟随校正后的视线。投影位置控制单元182可以通过基于关于由传感器104L、104R、104C和104T中的1个至4个检测到的显示设备100相对于头部的位置变化的数据(下文中也称为“位移数据”)驱动投影位置调整机构105L-1、105L-2、105R-1和105R-2中的1个至4个，来调整图像显示光的投影位置。
例如，投影位置控制单元182可以基于所述位移数据和校正系数，计算各个投影位置调整机构所获得的位置调整量。投影位置控制单元182可以驱动各个投影位置调整机构，使得位置关系被改变所计算的位置调整量。投影位置控制单元182例如可以从预先存储在存储单元184中的校正表获取校正系数，并将该校正系数用于位置调整量的计算。所述校正表例如可以包括多个校正系数，并且投影位置控制单元182可以按照位移数据从所述多个校正系数中选择预定的校正系数。此外，例如，可以针对每个投影位置调整机构设置校正表。校正表可以预先设置在显示设备100中，或者可以按照用户对显示设备100的使用来更新。通过选择或更新校正表或校正系数，可以提高投影位置控制的精度。投影位置控制单元182可以使用由视线检测设备检测到的视线或者由视线校正单元183校正后的视线来计算位置调整量。
视线校正单元183基于所述位移数据校正由视线检测设备107L和107R检测到的视线。于是，视线校正单元183可以考虑到安装偏差来识别视线，从而提高视线检测精度。可以相对于眼球的光轴进行该校正，可以对眼球的视轴进行该校正，或者可以相对于其他参考轴进行该校正。视线校正单元183还可以例如从预先存储在存储单元184中的校正表获取校正系数，并将该校正系数用于视线校正。校正表例如可以包括多个校正系数，并且视线校正单元183可以按照位移数据从所述多个校正系数中选择预定的校正系数。校正表可以预先设置在显示设备100中，或者可以按照用户对显示设备100的使用来更新。通过选择或更新校正表或校正系数，可以提高视线校正的精度。
显示设备100还可以包括存储单元184。存储单元可以存储与由图像显示单元投影的图像显示光相关的数据、用于由投影位置控制单元122进行的投影位置控制的校正表、以及用于由视线校正单元123进行的视线校正的校正表。
注意，按照本技术的实施例不限于上述各个实施例，在不脱离本技术的主旨的范围内可以进行各种修改。
此外，记载在本说明书中的效果仅仅是例子，并不受限制，并且可以存在其他效果。
此外，本技术还可以具有以下构成。
[1]一种视线检测设备，包括：
具有事件驱动功能的成像元件；
生成浦肯野检测模式的第一模式生成单元；
生成瞳孔检测模式的第二模式生成单元；以及
生成事件驱动模式的第三模式生成单元。
[2]按照[1]所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有三种发光强度。
[3]按照[1]所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有两种发光强度，
所述具有事件驱动功能的成像元件包括具有相互不同阈值的第一像素和第二像素，并且
第一像素和第二像素以拜耳阵列的方式排列。
[4]按照[1]所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有两种发光强度，并且
所述具有事件驱动功能的成像元件随着时间的变化有两个阈值。
[5]按照[1]～[4]任意之一所述的视线检测设备，还包括
多个发光器件，
其中当所述多个发光器件中的每一个被顺次开启时，所述第一模式生成单元生成浦肯野检测模式。
[6]按照[1]～[5]任意之一所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有三种发光强度，
所述三种发光强度是高强度、中等强度和低强度，并且
所述高强度和中等强度之间的强度差与所述中等强度和低强度之间的强度差大致相同。
[7]按照[1]～[6]任意之一所述的视线检测设备，还包括
多个发光器件，
其中当所述多个发光器件大致同时地改变发光强度时，所述第二模式生成单元生成瞳孔检测模式。
[8]按照[1]～[7]任意之一所述的视线检测设备，还包括：发光器件；和信号获取单元，
其中所述信号获取单元
在所述浦肯野检测模式和所述瞳孔检测模式下，与所述发光器件的发光强度的变化的时间戳同步地获取信号，并且
在所述事件驱动模式下进行时间戳累积来获取信号。
[9]按照[1]～[8]任意之一所述的视线检测设备，其中
当在所述事件驱动模式发生检测丢失时，所述第二模式生成单元生成瞳孔检测模式。
[10]按照[1]～[9]任意之一所述的视线检测设备，其中
当所述事件驱动模式的检测似然度低于预定值时，所述第二模式生成单元生成瞳孔检测模式。
[11]按照[1]～[10]任意之一所述的视线检测设备，其中
当在所述事件驱动模式检测到扫视的结束时，所述第二模式生成单元生成瞳孔检测模式。
[12]一种显示设备，至少包括按照[1]～[11]任意之一所述的视线检测设备。
[13]一种眼球感测方法，包括：
通过使用具有事件驱动功能的成像元件，
生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及
转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式。
[14]按照[13]所述的眼球感测方法，还包括使用发光器件改变到三种发光强度状态。
[15]按照[13]所述的眼球感测方法，还包括
使用发光器件改变到两种发光强度状态，
其中所述具有事件驱动功能的成像元件包括具有不同阈值的第一像素和第二像素，并且
第一像素和第二像素以拜耳阵列的方式排列。
[16]按照[13]所述的眼球感测方法，还包括
使用发光器件改变到两种发光强度状态，
其中所述具有事件驱动功能的成像元件随着时间的变化具有两个阈值。
[17]按照[13]～[16]任意之一所述的眼球感测方法，还包括使用多个发光器件，通过顺次开启所述多个发光器件中的每一个来顺次转变到浦肯野检测模式。
[18]按照[13]～[17]任意之一所述的眼球感测方法，还包括
使用发光器件改变到三种发光强度状态，
其中所述三种发光强度是高强度、中等强度和低强度，并且
所述高强度和中等强度之间的强度差与所述中等强度和低强度之间的强度差大致相同。
[19]按照[13]～[18]任意之一所述的眼球感测方法，还包括使用多个发光器件大致同时地改变所述多个发光器件的发光强度，以转变到所述瞳孔检测模式。
[20]按照[13]～[19]任意之一所述的眼球感测方法，还包括：
在所述浦肯野检测模式和所述瞳孔检测模式下，与发光器件的发光强度的变化的时间戳同步地获取信号；以及
在所述事件驱动模式下进行时间戳累积来获取信号。
[21]按照[13]～[20]任意之一所述的眼球感测方法，还包括当在所述事件驱动模式发生检测丢失时转变到所述瞳孔检测模式。
[22]按照[13]～[21]任意之一所述的眼球感测方法，还包括
当所述事件驱动模式的检测似然度低于预定值时转变到所述瞳孔检测模式。
[23]按照[13]～[22]任意之一所述的眼球感测方法，还包括
当在所述事件驱动模式检测到扫视的结束时转变到所述瞳孔检测模式。
附图标记列表
41浦肯野图像
43瞳孔和虹膜之间的边界(边缘)
44虹膜和巩膜之间的边界(边缘)
45 瞳孔
46 虹膜
47 巩膜
102,103,103-1,104-1,104-2,104-3,105-1,105-2,105-3,109,110转变方式
100显示设备
1000眼睛的反射光的强度图案
1001事件驱动模式下的眼睛的反射光的强度图案
1002浦肯野检测模式下的眼睛的反射光的强度图案
1003瞳孔检测模式下的眼睛的反射光的强度图案
Claims (23)
1.一种视线检测设备，包括：
具有事件驱动功能的成像元件；
生成浦肯野检测模式的第一模式生成单元；
生成瞳孔检测模式的第二模式生成单元；以及
生成事件驱动模式的第三模式生成单元。
2.按照权利要求1所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有三种发光强度。
3.按照权利要求1所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有两种发光强度，
所述具有事件驱动功能的成像元件包括具有不同阈值的第一像素和第二像素，并且
第一像素和第二像素以拜耳阵列的方式排列。
4.按照权利要求1所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有两种发光强度，并且
所述具有事件驱动功能的成像元件随着时间的变化有两个阈值。
5.按照权利要求1所述的视线检测设备，还包括
多个发光器件，
其中当所述多个发光器件中的每一个被顺次开启时，所述第一模式生成单元生成浦肯野检测模式。
6.按照权利要求1所述的视线检测设备，还包括
发光器件，
其中所述发光器件具有三种发光强度，
所述三种发光强度是高强度、中等强度和低强度，并且
所述高强度和中等强度之间的强度差与所述中等强度和低强度之间的强度差大致相同。
7.按照权利要求1所述的视线检测设备，还包括
多个发光器件，
其中当所述多个发光器件大致同时地改变发光强度时，所述第二模式生成单元生成瞳孔检测模式。
8.按照权利要求1所述的视线检测设备，还包括：发光器件；和信号获取单元，
其中所述信号获取单元
在所述浦肯野检测模式和所述瞳孔检测模式下，与所述发光器件的发光强度的变化的时间戳同步地获取信号，并且
在所述事件驱动模式下进行时间戳累积来获取信号。
9.按照权利要求1所述的视线检测设备，其中
当在所述事件驱动模式发生检测丢失时，所述第二模式生成单元生成瞳孔检测模式。
10.按照权利要求1所述的视线检测设备，其中
当所述事件驱动模式的检测似然度低于预定值时，所述第二模式生成单元生成瞳孔检测模式。
11.按照权利要求1所述的视线检测设备，其中
当在所述事件驱动模式检测到扫视的结束时，所述第二模式生成单元生成瞳孔检测模式。
12.一种显示设备，包括按照权利要求1所述的视线检测设备。
13.一种眼球感测方法，包括：
通过使用具有事件驱动功能的成像元件，
生成浦肯野检测模式，生成瞳孔检测模式以及生成事件驱动模式；以及
转变到浦肯野检测模式，转变到瞳孔检测模式以及转变到事件驱动模式。
14.按照权利要求13所述的眼球感测方法，还包括
使用发光器件改变到三种发光强度状态。
15.按照权利要求13所述的眼球感测方法，还包括
使用发光器件改变到两种发光强度状态，
其中所述具有事件驱动功能的成像元件包括具有不同阈值的第一像素和第二像素，并且
第一像素和第二像素以拜耳阵列的方式排列。
16.按照权利要求13所述的眼球感测方法，还包括
使用发光器件改变到两种发光强度状态，
其中所述具有事件驱动功能的成像元件随着时间的变化具有两个阈值。
17.按照权利要求13所述的眼球感测方法，还包括使用多个发光器件，通过顺次开启所述多个发光器件中的每一个来顺次转变到浦肯野检测模式。
18.按照权利要求13所述的眼球感测方法，还包括
使用发光器件改变到三种发光强度状态，
其中所述三种发光强度是高强度、中等强度和低强度，并且
所述高强度和中等强度之间的强度差与所述中等强度和低强度之间的强度差大致相同。
19.按照权利要求13所述的眼球感测方法，还包括使用多个发光器件大致同时地改变所述多个发光器件的发光强度，以转变到所述瞳孔检测模式。
20.按照权利要求13所述的眼球感测方法，还包括：
在所述浦肯野检测模式和所述瞳孔检测模式下，与发光器件的发光强度的变化的时间戳同步地获取信号；以及
在所述事件驱动模式下进行时间戳累积来获取信号。
21.按照权利要求13所述的眼球感测方法，还包括
当在所述事件驱动模式发生检测丢失时转变到所述瞳孔检测模式。
22.按照权利要求13所述的眼球感测方法，还包括
当所述事件驱动模式的检测似然度低于预定值时转变到所述瞳孔检测模式。
23.按照权利要求13所述的眼球感测方法，还包括
当在所述事件驱动模式检测到扫视的结束时转变到所述瞳孔检测模式。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-172360 | 2020-10-13 | ||
| JP2020172360 | 2020-10-13 | ||
| PCT/JP2021/033616 WO2022080058A1 (ja) | 2020-10-13 | 2021-09-14 | 視線検出装置及び表示装置、並びに眼球のセンシングを行う方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116322475A true CN116322475A (zh) | 2023-06-23 |
Family
ID=81208351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180068449.XA Pending CN116322475A (zh) | 2020-10-13 | 2021-09-14 | 视线检测设备、显示设备以及眼球感测方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230367393A1 (zh) |
| CN (1) | CN116322475A (zh) |
| DE (1) | DE112021005407T5 (zh) |
| WO (1) | WO2022080058A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11543883B2 (en) | 2020-12-17 | 2023-01-03 | Zinn Labs, Inc. | Event camera system for pupil detection and eye tracking |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6175945B2 (ja) * | 2013-07-05 | 2017-08-09 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
| JP6870474B2 (ja) * | 2017-05-24 | 2021-05-12 | 富士通株式会社 | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 |
| CN111263925B (zh) | 2017-09-28 | 2022-06-14 | 苹果公司 | 用于使用事件相机数据的眼动跟踪的方法和设备 |
| US10867174B2 (en) * | 2018-02-05 | 2020-12-15 | Samsung Electronics Co., Ltd. | System and method for tracking a focal point for a head mounted device |
| US10795435B2 (en) * | 2018-07-19 | 2020-10-06 | Samsung Electronics Co., Ltd. | System and method for hybrid eye tracker |
-
2021
- 2021-09-14 DE DE112021005407.4T patent/DE112021005407T5/de active Pending
- 2021-09-14 CN CN202180068449.XA patent/CN116322475A/zh active Pending
- 2021-09-14 WO PCT/JP2021/033616 patent/WO2022080058A1/ja active Application Filing
- 2021-09-14 US US18/246,078 patent/US20230367393A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230367393A1 (en) | 2023-11-16 |
| DE112021005407T5 (de) | 2023-08-10 |
| WO2022080058A1 (ja) | 2022-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210144361A1 (en) | Near Eye Wavefront Emulating Display | |
| JP6656156B2 (ja) | 頭部装着型アイトラッキング装置の較正方法 | |
| CN107407812B (zh) | 图像显示装置 | |
| US11716456B2 (en) | Autocalibrated near-eye display | |
| US11860370B2 (en) | Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization | |
| US20210373660A1 (en) | Calibration, customization, and improved user experience for bionic lenses | |
| JP2024045580A (ja) | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 | |
| CN116322475A (zh) | 视线检测设备、显示设备以及眼球感测方法 | |
| WO2022254782A1 (ja) | 視線検出装置、表示装置、視線検出システム、及び視線検出方法 | |
| US11940630B2 (en) | Display apparatus and display method | |
| WO2021106502A1 (ja) | 頭部装着型表示装置、画像表示システム、及び画像表示方法 | |
| US20230350197A1 (en) | Line-of-sight detection device and display device | |
| CN116711297A (zh) | 图像显示设备和图像显示系统 | |
| GB2608789A (en) | Optical system for eye tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |