CN106797422B - 视线检测用的装置 - Google Patents

视线检测用的装置 Download PDF

Info

Publication number
CN106797422B
CN106797422B CN201480080184.5A CN201480080184A CN106797422B CN 106797422 B CN106797422 B CN 106797422B CN 201480080184 A CN201480080184 A CN 201480080184A CN 106797422 B CN106797422 B CN 106797422B
Authority
CN
China
Prior art keywords
display
user
invisible light
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480080184.5A
Other languages
English (en)
Other versions
CN106797422A (zh
Inventor
洛克拉因·威尔逊
赵漠居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Inc
Original Assignee
Fove Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Inc filed Critical Fove Inc
Publication of CN106797422A publication Critical patent/CN106797422A/zh
Application granted granted Critical
Publication of CN106797422B publication Critical patent/CN106797422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/149Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明的目的在于使视线检测用的装置小型化。一种用于头戴式显示器之中的视线检测用的装置,包括不可见光发射装置,向用户的眼睛发射不可见光、不可见光反射镜,将不可见光反射而让可见光穿过、滤光片,让不可见光穿过而让可见光无法穿过、及摄影装置,能够将由不可见光所形成的影像加以摄影,其中在显示器与用户的眼睛之间、且在显示器与摄影装置之间的位置上安装不可见光反射镜,使该不可见光反射镜的表面与显示器的显示面之间所呈的角度0度以上且小于45度地加以安装,且用以将从不可见光发射装置发射出而受用户的眼睛反射的不可见光加以反射、在显示器与摄影装置之间的位置上安装滤光片、在得以使该摄影装置的撮影范围涵盖显示器的显示面的至少一局部包含方向上安装摄影装置,而对由不可见光反射镜所反射的不可见光所形成的用户的眼睛的影像加以摄影。

Description

视线检测用的装置
技术领域
本发明涉及一种视线检测用的装置,且特别是涉及一种在头戴式显示器(HMD)中使用的视线检测用的装置。
背景技术
如图8所示地,将用户的眼睛加以摄影而推测用户的视线的习知视线检测装置具有透镜61、红外线发射装置62、将红外线反射而让可见光穿过的热反射镜63、摄影机64、显示器65。使热反射镜63的角度相对于显示器65的从显示面垂直延伸的光轴66约呈45度,而相对于显示器的显示面的角度θ则为倾斜着45度。摄影机64被安装在:于光轴66的下方,相对于光轴66的垂直方向上而面向光轴。从红外线发射装置62发出的红外线在用户的眼睛60反射之后,经热反射镜63的反射,而到达摄影机64。经过此热反射镜63而链接摄影机64与用户的眼睛60的红外线的反射光径被设定成直角。相关的构造为,例如专利文献1的图8所绘示出的。再者,专利文献2揭露具有相对于光轴倾斜着45度的热反射镜的医疗用的眼用摄影机。相对于此,如本说明书的图9所示地,专利文献1所述的发明揭露使分光镜(热反射镜)63相对于光轴66的角度γ大于45度,而使其相对于显示器的角度θ小于45度的构造,是作为藉由热反射镜消除不必要的空间的目的。
再者,如图10所示地,已知作为其它的习知技术的是:使摄影机64面对着用户的眼睛60、直接对用户的眼睛60加以摄影,而检测用户的眼睛的视线的方法。
专利文献3揭露利用半反射镜的视线输入设备。于专利文献3中的半反射镜为将从特定的方向入射而来的光线加以反射而改变其光径的同时,让从该特定的方向以外的方向入射而来的光穿过(专利文献3的[0015])。在正面对着用户的眼睛的位置上安装透镜,在相对于用户的视线方向呈垂直的方向上安装液晶显示器(LCD)、视线输入设备,并且更在相对于用户的视线方向呈45度的角度上安装半反射镜。藉由半反射镜将从LCD发出的光加以反射,并藉由透镜再度加以反射,而穿过半反射镜到达用户的眼睛。因此,正面对着LCD的视线输入设备将被半反射镜遮住而无法接收到从LCD而来的光线。
于HMD中,先前技术文献4之中记载着:藉由用户的脖子的运动而由影像显示件使影像改变的技术。专利文献5-7中有揭露其它作为关于HMD以及视线检测技术。
[专利文献]
专利文献1:日本专利公开公报第08-9205号(美国专利第6018630号的说明书)
专利文献2:日本专利公开公报第05-076497号
专利文献3:日本专利公开公报第2001-108933号
专利文献4:日本专利公开公报第8-179239号
专利文献5:日本专利公开公报第2014-21272号
专利文献6:日本专利公开公报第2006-163383号(美国专利公开公报第2006/0103591号的说明书)
专利文献7:日本专利公开公报第11-155152号(美国专利第6611283号的说明书)
发明内容
在图8所示的习知技术中,为了要将热反射镜安装成相对于垂直于显示器65的显示面的光轴66呈45度的倾斜,故必须有较大的空间,而这将成为妨害头戴式显示器的小型化的主因。
在图9所示的习知技术中,为了解决此问题,故将热反射镜安装成相对于光轴66呈大于45度的倾斜。然而,因为此角度的设定为限制性的设定,故无法实现充分的小型化。亦即,用户的眼睛60的影像所成像的摄影机64的光轴为面向相对于显示器的显示面约略呈水平的方向,而呈不面向显示器65的构造。这是因为从显示器65发出的光线,于视线检测时,相对于用户的眼睛的影像为噪声成分之故,因此,必须使从显示器65发出的光线不会进入摄影机64的方向上使显示器面向摄影机。因此,即使使热反射镜63相对于显示器65的角度θ以小于45度的角度安装热反射镜,角度θ仍必须为相当大的角度。因此,仍然无法充分地缩小透镜与显示器之间的距离,而无法实现省空间化。
再者,为了使装置小型化,当使用小尺寸的热反射镜时,将造成用户的眼睛与显示器之间存在热反射镜的间隙,而于热反射镜的间隙中的光的折射、反射将引起预料外的视觉效果,这将对影像显示造成妨碍。
在图10所示的习知的构造中,摄影机64直接对着用户的眼睛加以撮影。因为这代表摄影机64将出现在用户的视野之中,故将妨碍用户融入由头戴式显示器所创造出的虚拟现实世界。
于使用如专利文献3所示的半反射镜的构造中,因为必须在相对于用户的视线方向45度的角度上安装半反射镜,故将产生不必要的空间,而无法实现头戴式显示器的小型化。
有鉴于此,本发明的一目的在于提供一种适合使头戴式显示器(HMD)小型化的视线检测用的装置,以及利用此视线检测用的装置的HMD与系统。
[解决课题的手段]
本发明乃鉴于以上的课题而研发出来的,并具有以下的特征。亦即,本发明的视线检测用的装置为一种用于供装戴在用户的头部上使用、且于具备至少一个显示器的头戴式显示器之中使用的视线检测用的装置,其包括至少一个不可见光发射装置,向用户的眼睛发射不可见光、至少一个不可见光反射镜,将不可见光反射而让可见光穿过、至少一个滤光片,让不可见光穿过而让可见光无法穿过、及至少一个摄影装置,能够将由不可见光所形成的影像加以摄影,其中在至少一个显示器与用户的眼睛之间的位置上、且在至少一个显示器与至少一个摄影装置之间的位置上安装所述至少一个不可见光反射镜、是使至少一个显示器的显示面与至少一个不可见光反射镜的表面之间有角度地安装所述至少一个不可见光反射镜,并且是以以下方式安装所述至少一个不可见光反射镜,即以包含至少一个显示器的显示面的平面上的互相垂直的两个轴的其中的一个轴为中心而使所述至少一个不可见光反射镜的表面旋转达第一方向的角度,以及,以另一个轴为中心而使所述至少一个不可见光反射镜的表面旋转达第二方向的角度的两个角度为0度以上且小于45度、所述至少一个不可见光反射镜将从所述至少一个不可见光发射装置发射出而经用户的眼睛反射的不可见光加以反射、在至少一个显示器与至少一个摄影装置之间的位置上安装所述至少一个滤光片、及在得以使该至少一个摄影装置的摄影范围涵盖所述至少一个显示器的显示面的至少一局部的方向上安装所述至少一个摄影装置,并将由所述至少一个不可见光反射镜所反射的不可见光所形成的用户的眼睛的影像加以摄影。
本发明的所述至少一个不可见光反射镜也可包含两个不可见光反射镜、也可将所述两个不可见光反射镜的其中一个安装在所述至少一个显示器与用户的其中一眼之间的位置上,关于该其中一个不可见光反射镜的所述第一方向的角度以及所述第二方向的角度则分别设定成,使经该用户的其中一眼反射的不可见光向着所述至少一个摄影装置的其中一个摄影装置反射的角度、也可将所述两个不可见光反射镜的另外一个安装在所述至少一个显示器与用户的另外一眼之间的位置上,关于该另外一个不可见光反射镜的所述第一方向的角度以及所述第二方向的角度则分别设定成,使经该用户的另外一眼反射的不可见光向着所述的一个摄影装置反射的角度。
再者,还包括视线分析装置,连接于所述至少一个摄影装置,其中所述至少一个摄影装置也可将所摄影到的关于用户的眼睛的影像的情报传送给视线分析装置、并且所述视线分析装置也可基于所摄影到的用户的眼睛的影像的情报而检测用户的视线。
再者,所述不可见光为红外线,且可以以热反射镜作为所述不可见光反射镜。
在所述至少一个显示器与用户的眼睛之间的位置上也可具有至少一个透镜。
也可至少基于用户的视力以及用户的焦点距离而决定所述至少一个透镜、所述至少一个显示器以及用户的眼睛的各个之间的距离。
所述透镜为可装卸于所述视线检测用的装置。
可以将本发明的视线检测用的装置装卸于头戴式显示器。
也可将所述至少一个摄影装置安装在能够从下方对用户的眼睛摄影的位置上。
本发明的头戴式显示器为具有所述的视线检测用的装置。
再者,本发明的系统具有所述的头戴式显示器,其中所述的头戴式显示器具备至少一个显示器、所述影像控制系统具备所述视线分析装置以及连接于所述至少一个显示器的影像控制装置、所述视线分析装置将检测到的关于用户的视线的情报传送给所述影像控制装置、所述影像控制装置基于从所述视线分析装置所接收到的关于用户的视线的情报,而产生将传送到所述至少一个显示器的影像情报、及所述至少一个显示器基于所述影像情报而显示出影像。
再者,所述系统还包括用户输入装置,连接于所述影像控制装置,其中所述用户输入装置将来自用户的输入传送给所述影像控制装置、及所述影像控制装置还基于来自用户的输入,而产生将传送到所述显示器的影像情报。
[发明的效果]
藉由采用所述的本发明的构造,将摄影装置安装成向着得以使摄影装置的撮影范围涵盖显示器的显示面的至少一局部的方向。藉此,因为可以提高设定不可见光反射镜与显示器之间所呈的角度的自由度,故可以使头戴式显示器的更加小型化得以实现。再者,因为不需要使用习知用以使装置小型化的尺寸较小的不可见光反射镜,故不会有因不可见光反射镜的边缘进入视野中而造成对影像显示的影响。因此,既可以实现装置的小型化、也可以实现正确的影像显示的两者。
于本发明中,藉由红外线发射装置向用户的眼睛发射红外线,并经由用户的眼睛将此红外线加以反射,此后,藉由不可见光反射镜加以进一步的反射,就可使其到达安装在用户的视野之外的摄影装置。亦即,藉由采用此种构造,因为可以在用户的视野之外安装摄影装置,故摄影装置将不会妨碍用户观看影像,而能够促进用户融入由头戴式显示器所创造出来的虚拟现实世界。
当用户的眼皮稍微下垂时,眼皮将覆盖住眼球的上半部。由于在眼睛的上方安装摄影装置时,从上方对用户的眼睛进行摄影的缘故,用户的眼皮、睫毛将妨碍摄影机的摄影。将用以对用户的眼睛加以摄影的摄影装置安装在能从用户的眼睛的下方进行摄影的位置的情况时,将能够不受眼皮、睫毛的影响地确实将用户的眼睛加以摄影。
藉由将本发明之中的视线检测用的装置收纳于外壳之中,并使其成为可装卸于头戴式显示器的构造,将可对不具视线检测用机能的头戴式显示器追加视线检测用的机能。再者,藉由将具有适合用户的光学系统的视线检测用的装置收纳于外壳之中,将可使每个用户不需要购买整个头戴式显示器。再者,藉由至少基于用户的视力以及用户的焦点距离而决定至少一个透镜、至少一个显示器以及用户的眼睛之间的各个距离,将能够提供适合各用户的头戴式显示器。
附图说明
图1为根据本发明的第一实施例的HMD的示意侧视图。
图2为说明HMD的X轴以及Y轴的图式。
图3为根据本发明的第一实施例的HMD的示意俯视图。
图4为根据本发明的第二实施例的HMD的示意俯视图。
图5为根据本发明的第三实施例的HMD的示意俯视图。
图6为根据本发明的第四实施例的HMD的示意侧视图。
图7为根据本发明的第四实施例的显示画面的一个例子。
图8为习知的视线检测装置的示意侧视图。
图9为习知的视线检测装置的示意侧视图。
图10为习知的视线检测装置的示意侧视图。
具体实施方式
[第一实施例]
图1绘示出于本发明的第一实施例之中的头戴式显示器HMD的示意侧视图。装戴在用户的头部上的头戴式显示器1具备显示器14,而显示器14则具有显示面16。安装在头戴式显示器之中的视线检测用的装置还具有:不可见光发射装置20,向用户的眼睛10发射不可见光、不可见光反射镜13,将不可见光反射而让可见光穿过、摄影装置12,能够对由不可见光所形成的影像加以摄影、及滤光片15,让不可见光穿过而让可见光无法穿过。进一步地,视线检测用的装置在显示器14与用户的眼睛10之间的位置上具有透镜11。
于本实施例中,虽然使用红外线发射装置20-1-20-4作为不可见光发射装置20,但是只要能够发射不可见光,也可以是能够发射其它波长的光线的装置。再者,于本实施例中,如图1所示地,在透镜的上、下、左、右安装四个红外线发射装置20-1-20-4作为不可见光发射装置20。然而,只要使发射出的红外线经用户的眼睛10的反射而到达摄影装置12地安装红外线发射装置,也可以在其它的位置上安装红外线发射装置,而且也可以安装更少的红外线发射装置,例如,一个也可以。再者,也可以安装更多的红外线发射装置。于图1中,虽然将摄影装置12安装在头戴式显示器1的下半部,但也可以安装在上半部、侧边等其它的场所。于本实施例中,使用将红外线反射而让可见光穿过的热反射镜作为不可见光反射镜13。在使用发射红外线以外的波长的不可见光的装置作为不可见光发射装置20的情况时,则使用可以将所发射出的不可见光加以反射的不可见光反射镜。将热反射镜安装在显示器与用户的眼睛之间、且在显示器与摄影装置之间的位置上。于本实施例中,将热反射镜13安装在显示器14与透镜11之间。接着,如图1所示地,使热反射镜的表面与显示器14的显示面16(显示器14的热反射镜侧的表面)之间所呈的角度θ0度以上而小于45度,优选地,以呈0度-小于20度地加以安装。角度θ越小,将能够使头戴式显示器更薄型化、更轻量化。例如,也可使热反射镜13与显示器14彼此的末端接触。
如图2所示地,将热反射镜的表面与显示器14的显示面16之间所呈的角度藉由下述般地规定成:以X轴为中心而使热反射镜13旋转的方向达热反射镜13的表面与显示器14的显示面16之间所呈的角度、及以Y轴为中心而使热反射镜13旋转的方向的角度。在此,将包含显示器14的显示面16的平面的在头部上装戴了头戴式显示器时的左右方向上延伸的轴视为X轴,而将在上下方向上延伸的轴视为Y轴。再者,于本实施例中,在Z轴方向上有用户存在。图1的角度θ为以X轴作为中心而使热反射镜13旋转的方向的角度。于本实施例中,如图3所示地,将以显示器14的Y轴作为中心而使热反射镜13旋转的方向的角度α作为0度。接着,热反射镜13使从红外线发射装置20发射而受用户的眼睛10反射的红外线向着摄影装置12反射。因为此角度θ以及角度α的两个角度越小,就更能够节省不必要的空间,故能够使头戴式显示器更小型化。
将滤光片15安装在显示器14与摄影装置12之间的位置上。使用让红外线穿过而阻挡可见光的防可见光滤光片作为滤光片15。只要是能够让从不可见光发射装置20发射而经用户的眼睛的反射的不可见光穿过、而让可见光无法穿过的滤光片,则滤光片15可以是任意的滤光片。在得以使摄影装置的撮影范围涵盖显示器的显示面16的至少一局部的方向上安装摄影装置12,并对被热反射镜13反射的红外线所形成的用户的眼睛的影像加以摄影。亦即,将摄影装置12安装在:从显示器14的显示面16发出的光可直接地入射,且向着被热反射镜13反射的红外线的入射的方向。
其次,说明本实施例的作动方式。首先,用户将头戴式显示器1装戴在头部。显示器14的显示面16将被安装在向着用户的眼睛的方向上,而显示出影像。影像包含计算器的影像、电玩的影像、电影的影像等。显示器14的显示面16发出可见光而显示出影像。所发出的可见光将穿过热反射镜13,而通过透镜11到达用户的眼睛10。透镜11将显示在显示器14上的影像放大而供用户观看。再者,也能够有助于用户的视力矫正。于视线检测用的装置中,并不一定需要透镜11。
红外线发射装置20-1-20-4向着用户的眼睛10而以一定的发射角度发射红外线。发射出的红外线经用户的眼睛10的反射,而通过透镜11到达热反射镜13。热反射镜13使红外线向着摄影装置12反射。依本实施例的方式,于用户的视野21内,优选地,将热反射镜13形成为覆盖住整个显示器14。如此一来,无需于视野21内建立热反射镜的边界,就能够使显示器得以观看。但是,热反射镜13并不一定要覆盖住整个显示器14。摄影装置12对经用户的眼睛10所反射的红外线所形成的用户的眼睛的影像加以摄影。基于此摄影到的用户的眼睛的影像,将能够检测用户的视线。藉由热反射镜13将红外线反射,将可以藉由安装在用户的视野21之外的摄影装置将用户的眼睛加以摄影。用户将能够免于受到摄影装置的干扰地观看显示在显示器上的影像。
如本实施例所述地,藉由利用多数的红外线发射装置20-1-20-4,将能够增强经用户的眼睛10的反射而到达摄影装置12的红外线的强度。藉由一个红外线发射装置也能够得到足够的红外线的光照强度。再者,也可藉由增大一个红外线发射装置的红外线的发射强度,而增强反射到摄影装置12的反射的红外线。但是,在此情况时,于用户的眼睛中,因为特定的部分受到强烈的红外线的照射,用户的眼睛将因此有受伤的危险。藉由多数的红外线发射装置发射较弱的红外线,将可免于伤害用户的眼睛,并可于摄影装置12中有足够检测出视线的反射红外线的照射。
因为在得以使摄影装置的撮影范围涵盖显示器14的显示面的至少一局部的方向上安装摄影装置12,故从显示器14的显示面16发出的可见光会穿过热反射镜13而向着摄影装置12照射。然而,因为从显示器14所发出的光线为可见光,故可藉由显示器14与摄影装置12之间所安装的防可见光滤光片15加以阻挡,而无法到达摄影装置12。相对于此,受热反射镜13所反射的红外线会穿过防可见光滤光片15而到达摄影装置。
于习知技术中,当从显示器所发出的可见光入射到摄影装置时,因为会成为检测用户的视线时的噪声,故为了使来自显示器的可见光免于入射到摄影装置,而必须尽可能地使其从铅直方向上面向摄影装置。如此一来,就不得不加大热反射镜相对于显示器的倾斜角度。
相对于此,藉由采用本发明的构造,尽管在得以使摄影装置的摄影范围涵盖显示器14的显示面的至少一局部的方向上安装摄影装置12,但仍不会使从显示器14发出的可见光成为摄影装置12中的噪声,而能够对被照以红外线的用户的眼睛加以摄影。因此,可以提高摄影装置的安装方向的自由度,而进一步提高热反射镜13与显示器14之间所呈的角度θ的设定的自由度。例如,角度θ也能够是0度。如此一来,得以实现头戴式显示器的薄型化、小型化。
再者,如图1所示地,优选地,将摄影装置12安装在能够从用户的眼睛的下方进行摄影的位置上。在从用户的眼睛的下方进行摄影的情况时,因为不会受到眼皮、睫毛的影响,故能够对用户的眼睛进行正确的摄影。
[第二实施例]
图4绘示出从上方所看到的第二实施例的头戴式显示器的构造的示意图。于以下的说明中,就与第一实施例相同的构造组件而言,将适当地省略相关说明。
于本实施例中,对于用户的两眼的各眼,具备有与第一实施例所述的构造相同的构造。亦即,相对于用户的右眼10a,头戴式显示器1具备有显示器14a、在显示器14a与右眼10a之间,而且是在显示器14a与摄影装置12a之间所安装的热反射镜13a、显示器14a与用户的右眼10a之间所安装的透镜11a、对用户的右眼10a发射红外线的红外线发射装置20a-1-20a-4、在得以使其摄影范围涵盖显示器14a的显示面的至少一局部的方向上所安装的摄影装置12a、以及该摄影装置12a与显示器14a之间所安装的防可见光滤光片15a。与第一实施例相同地,本实施例也是如图1所示地,以包含显示器14a的显示面16a的平面上的以X轴作为中心而使热反射镜13a旋转的方向的热反射镜13a的表面与显示器14a的显示面之间所呈的角度θ(于本实施例中作为θ1)0度以上且小于45度,优选地,0度以上且小于20度。另一方面,如图4所示地,以Y轴作为中心而使热反射镜13a旋转的方向的热反射镜13a的表面与显示器14a的显示面16a之间所呈的角度α为0度。
相对于用户的左眼10b,视线检测用的装置也同样地具备有显示器14b、热反射镜13b、透镜11b、红外线发射装置20b-1-20b-4、防可见光滤光片15b以及摄影装置12b具有。以包含显示器14b的显示面16b的平面上的以X轴作为中心而使热反射镜13b旋转的方向的热反射镜13b的表面与显示器14b的显示面16b之间所呈的角度θ(于本实施例中作为θ2)0度以上且小于45度,优选地,0度以上且小于20度,且以Y轴作为中心而使热反射镜13b旋转的方向的热反射镜13b的表面与显示器14b的显示面16b之间所呈的角度β为0度。角度θ1与θ2并不需要彼此相同。
这些是两者分别实施如第一实施例所述的作动方式,而由摄影装置12a以及12b分别将由红外线所分别形成的用户的右眼10a以及左眼10b的影像加以摄影。
再者,于本实施例中,在头戴式显示器1的前方侧面设置有显示器14c以及显示器14d。由于用户除了有安装在正面对着用户的方向上的显示器14a与14b以外,还能够看到安装在侧面的显示器14c与14d的影像,故能够获得更近似于现实世界的体验。藉由在这些侧面的显示器14c以及14d与摄影装置12a以及12b之间安装防可见光滤光片15a以及15b,将能够阻挡从这些显示器所发出的可见光,并且能够正确地将用户的眼睛的运动加以摄影。例如,能够将防可见光滤光片设置成:覆盖住摄影装置的透镜地。再者,也可藉由多数的防可见光滤光片阻挡从多数的显示器所发出的可见光。
同样地,也可以在头戴式显示器1的前方上面以及底面等安装显示器。
[第三实施例]
图5绘示出从上方所看到的本实施例的头戴式显示器的构造的示意图。以下就与第二实施例的相异点为中心加以说明。为了简化说明起见,仅以正面的显示器14a以及14b的两个的构造作为显示器加以说明。再者,也可以在侧面以及底面追加显示器。再者,也可以使显示器14a以及14b一体成形而作为单一的显示器。
于本实施例中,摄影装置12为供左、右两眼共享而为单一的摄影装置。使此单一的摄影装置向着得以使此摄影范围涵盖显示器14a以及14b的至少一者的显示面的至少一局部的方向。再者,准备两个热反射镜13a以及13b,并在用户的各眼与两个显示器14a以及14b的各个之间安装各个热反射镜。图5所示的热反射镜13a与显示器14a的显示面16a之间所呈的角度α为:以显示器14a的Y轴作为中心而使热反射镜13a旋转的方向上的热反射镜13a的表面与显示器14a的显示面16a之间所呈的角度。
本实施例的示意侧视图为与图1所示的实施例具有相同的构造。亦即,具有以包含显示器14a的显示面的平面上的X轴作为中心而使热反射镜13b旋转的方向上的热反射镜13a的表面与显示器14a的显示面16a之间所呈的角度θ(作为θ3)。接着,将这些角度α以及θ3设定成:使经过该用户的右眼反射的红外线朝向单一的摄影装置12反射的角度。
同样地,将另一个热反射镜13b安装在显示器14b与用户的左眼10b之间的位置上。接着,将为热反射镜的表面与显示器14的显示面16b之间所呈的角度、而且是以包含显示器14b的显示面16b的平面上的Y轴作为中心而使热反射镜13b旋转的方向的角度β,以及将以X轴作为中心而使热反射镜13b旋转的方向的角度θ(作为θ4),设定为经该用户的左眼所反射的红外线向着摄影装置12反射的角度。于本实施例中,角度α以及β为具有0度以上的一定的角度。角度α、β、θ3、以及θ4并不需要彼此相同。
摄影装置12分别受到从热反射镜13a以及13b反射而来的红外线的照射,而将用户的左、右两眼10a以及10b的两眼的影像加以摄影。
像这样地,除了使摄影装置向着得以其摄影范围涵盖显示器的显示面的至少一局部的方向,还不仅使热反射镜以头戴式显示器的水平轴作为中心进行旋转的方向有角度以外,更以垂直轴作为中心进行旋转的方向也有角度,故藉由使热反射镜相对于显示器产生倾斜,将能够以一个摄影装置对两眼的视线加以摄影。藉此,除了能够使头戴式显示器更加小型化,还能够更廉价地制造头戴式显示器。
[第四实施例]
图6绘示出本实施例的影像控制系统的构造图。就头戴式显示器1a而言,以示意侧视图加以表示。
于本实施例中,除了头戴式显示器1a以外,还具有影像控制装置24。头戴式显示器1a为第一实施例所示的头戴式显示器1的变化例。头戴式显示器1a之中所具备的视线检测用的装置除了第一实施例的视线检测用的装置的构造以外,还具备连接于摄影装置12的视线分析装置22。视线分析装置22连接于影像控制装置24,而影像控制装置24则连接于显示器14。再者,用以接收来自用户的输入的用户输入装置25连接于影像控制装置24。这些连接可以是有线连接,也可以是无线连接。于本实施例中,影像控制装置24为控制电玩的电玩机,用户输入装置为连接于电玩机的控制器25。
于本实施例中的视线分析装置,被收纳在可装卸于头戴式显示器1a的外壳23之中。由于视线检测用的装置是可装卸于头戴式显示器上,故不具备既有的视线检测用装置的头戴式显示器可以追加用以检测视线的机能。
优选地,透镜11、显示器14、用户的眼睛10的各个之间的距离以及透镜11是基于用户的视力以及用户的焦点距离等而加以决定的。虽然视线检测用的装置的光学系统必须基于用户的眼睛与透镜的位置加以设计,如果每个用户都必须购买适合自己的整组头戴式显示器的话,对用户将造成很大的负担。
如本实施例所示地,如果使视线检测用的装置作为可装卸的构造、且基于用户的视力、焦点距离等而就透镜11、显示器14、用户的眼睛10的各个之间的距离以及透镜11加以决定的构造的话,每个用户就仅需购买视线检测用的装置,而将其装在头戴式显示器上使用即可。如此一来,将能够使各用户廉价地使用适合自己的附视线检测用的装置的头戴式显示器。
再者,藉由适当地调整透镜11、显示器14、用户的眼睛10的各个之间的距离,将能够以一个视线检测用的装置为每个用户设定最适当的光学系统。例如,可固定透镜与显示器之间的距离,而藉由使透镜与用户的眼睛之间的距离改变地加以调整而作为调整的方式。再者,也可固定透镜与用户的眼睛之间的距离,而使显示器移动。也可固定显示器与用户的眼睛之间的距离,而使两者之间的透镜移动。更具体而言,例如,如图6所示地,将透镜11装在安装在用户的眼睛10与显示器14之间的滑轨26上,而藉由透镜可沿着此滑轨26进行前后移动的构造,而能配合用户地调整透镜11的位置。就显示器14而言,也可作成同样的构造。再者,也可同时将透镜与显示器作成为滑动的构造。
在使用头戴式显示器的情况时,将因为用户的颧骨、鼻子的形状等的骨骼,而使每个用户的透镜11与用户的眼睛之间的距离有很大的不同。藉由采用本实施例所述的构造,将能够获得适合每个用户的头戴式显示器。再者,将透镜作成为可装卸的,则可成为藉由交换透镜就可获得适合用户的视线检测用的装置的构造。
其次,于本实施例中,虽然就影像控制装置24是作为头戴式显示器的外部装置加以说明,但它也可以作为是头戴式显示器之中所具备的装置。再者,虽然就视线分析装置22是作为视线检测用的装置之中所具备的装置加以说明,但它也可以作为是视线检测用的装置或头戴式显示器的外部的装置。
摄影装置12将关于摄影到的用户的眼睛的影像的影像情报传送到视线分析装置22,且视线分析装置22基于相关的影像情报而分析用户的视线、眼球移动频率、眼球震动等。于本实施例中,视线分析装置22对用户的视线的方向以及速度加以确认,而将此视线情报传送到影像控制装置24。影像控制装置24基于从视线分析装置22所接收到的用户的视线情报,而产生由显示器14所显示出的影像情报。
于本实施例中,用户使用头戴式显示器1a来玩射击游戏。作为影像控制装置的电玩机24使显示器14的显示面16显示出射击游戏的影像。接着,基于由视线分析装置21所分析出的用户的视线情报,于显示器14的显示面上的用户的视线的位置的附近显示出表示进行射击的位置的光标,随着视线的移动而使光标移动。例如,如图7所示地,于显示器所显示出的影像30中,显示出以用户的视线的位置31为中心的圆形的光标32,而随着用户的视线往右方移动时,光标32也往右方移动。基于视线的位置以及移动速度而计算此光目标位置以及移动速度。接着,使光标移动到用户所期望的位置之后,当从控制器25输入射击命令时,基于此命令的影像将由电玩机24产生,而显示于显示器14上。再者,可取代透过控制器25的用户的输入的是:当用户在一定的期间中,保持视线不变的情况时,例如,电玩机24也能够判断出用户已经进行了输入。
在用户不玩电玩机而使用个人计算器时,也可藉由视线的位置控制鼠标的指针。在此情况时,用户输入装置25就变成鼠标。再者,在以影像控制装置24作为显示电影等的装置时,配合用户的视线的位置的移动,也可执行使影像卷动的控制。在此情況時,就不一定需要有用户输入装置25。
虽然本发明已以优选实施例披露如上,然其并非用以限定本发明,任何一般技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,因此本发明的保护范围当视权利要求所界定为准。
附图标记说明
1,1a:头戴式显示器(HMD)
10,10a,10b,60:眼睛
11,11a,11b,61:透镜
12,12a,12b:摄影装置
13:不可见光反射镜
14,14a,14b,14c,14d,65:显示器
15,15a,15b:滤光片
16,16a,16b,30:显示面
20,20-1-20-4,20a-1-20a-4,20b-1-20b-4:不可见光发射装置
21:视野
22:视线分析装置
23:外壳
24:影像控制装置
25:用户输入装置
26:滑轨
31:视线位置
32:光标
62:红外线发射装置
13a,13b,63:热反射镜
64:摄影机
66:光轴
α,β,γ,θ:角度

Claims (13)

1.一种视线检测用的装置,用于供装戴在用户的头部上使用、且于具备至少一个显示器的头戴式显示器之中使用,所述视线检测用的装置包括:
至少一个不可见光发射装置,其向用户的眼睛发射不可见光;
至少一个不可见光反射镜,其将不可见光反射而让可见光穿过;
至少一个滤光片,其让不可见光穿过而让可见光无法穿过;
至少一个透镜,其安装在所述至少一个显示器与用户的眼睛之间的位置上;及
至少一个摄影装置,其能够将由不可见光所形成的影像加以摄影,其中
所述至少一个不可见光反射镜是:
安装在所述至少一个显示器与所述至少一个透镜之间的位置上、且在所述至少一个显示器与所述至少一个摄影装置之间的位置上;
安装为使所述至少一个显示器的显示面与所述至少一个不可见光反射镜的表面之间的角度,即以包含所述至少一个显示器的显示面的平面上的互相垂直的两个轴的其中的一个轴为中心而使所述至少一个不可见光反射镜的表面旋转达第一方向的角度,以及,以另一个轴为中心而使所述至少一个不可见光反射镜的表面旋转达第二方向的角度的两个角度为0度以上且小于45度;
将从所述至少一个不可见光发射装置发射出而经用户的眼睛反射的不可见光加以反射,
所述至少一个滤光片是安装在至少一个显示器与至少一个摄影装置之间的位置上,
所述至少一个摄影装置是安装在得以使该至少一个摄影装置的摄影范围涵盖所述至少一个显示器的显示面的至少一局部的方向上,其将由所述至少一个不可见光反射镜所反射的不可见光所形成的用户的眼睛的影像加以摄影,并在所述用户装戴所述头戴式显示器的状态时,用户的眼轴与所述摄影装置的光轴交差的角度大于0度,其中所述眼轴与所述至少一个显示器的显示面互相垂直且通过所述用户的角膜的顶点,所述摄影装置的光轴是所述不可见光藉由所述不可见光反射镜反射而到达所述摄影装置的光的轴。
2.如权利要求1所述的视线检测用的装置,其中
所述至少一个不可见光反射镜包含两个不可见光反射镜,
将所述两个不可见光反射镜的其中一个安装在所述至少一个显示器与用户的其中一眼之间的位置上,关于该其中一个不可见光反射镜的所述第一方向的角度以及所述第二方向的角度则分别设定成,使经该用户的其中一眼反射的不可见光向着所述至少一个摄影装置的其中一个摄影装置反射的角度,
将所述两个不可见光反射镜的另外一个安装在所述至少一个显示器与用户的另外一眼之间的位置上,关于该另外一个不可见光反射镜的所述第一方向的角度以及所述第二方向的角度则分别设定成,使经该用户的另外一眼反射的不可见光向着所述一个摄影装置反射的角度。
3.如权利要求1或2所述的视线检测用的装置,还包括:
视线分析装置,其连接于所述至少一个摄影装置,其中
所述至少一个摄影装置将所摄影到的关于用户的眼睛的影像的情报传送给视线分析装置,
所述视线分析装置基于所摄影到的用户的眼睛的影像的情报而检测用户的视线。
4.如权利要求1或2所述的视线检测用的装置,其中所述不可见光为红外线,且所述不可见光反射镜为热反射镜。
5.如权利要求1或2所述的视线检测用的装置,其中至少基于用户的视力以及用户的焦点距离而决定所述至少一个透镜、所述至少一个显示器以及用户的眼睛的各个之间的距离。
6.如权利要求1或2所述的视线检测用的装置,其中所述透镜为可装卸于所述视线检测用的装置。
7.如权利要求1或2所述的视线检测用的装置,其中具有调整部,其用以调整所述透镜的从用户的眼睛起的距离。
8.如权利要求1或2所述的视线检测用的装置,其对于头戴式显示器为可装卸的。
9.如权利要求1或2所述的视线检测用的装置,其中将所述至少一个摄影装置安装在能够从下方对用户的眼睛摄影的位置上。
10.如权利要求1或2所述的视线检测用的装置,其中具有多数的所述不可见光发射装置。
11.一种头戴式显示器,具有如权利要求1-10的任一项所述的视线检测用的装置。
12.一种系统,具有如权利要求11所述的头戴式显示器,其中
所述头戴式显示器具备至少一个显示器,
所述系统具备影像控制装置,其连接于视线分析装置以及所述至少一个显示器,
所述视线分析装置将检测到的关于用户的视线的情报传送给所述影像控制装置,
所述影像控制装置基于从所述视线分析装置所接收到的关于用户的视线的情报,而产生将传送到所述至少一个显示器的影像情报,
所述至少一个显示器基于所述影像情报而显示出影像。
13.如权利要求12所述的系统,还包括:
用户输入装置,其连接于所述影像控制装置,其中
所述用户输入装置将来自用户的输入传送给所述影像控制装置,
所述影像控制装置还基于来自用户的输入,而产生将传送到所述显示器的影像情报。
CN201480080184.5A 2014-06-27 2014-11-14 视线检测用的装置 Active CN106797422B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2014/067197 2014-06-27
PCT/JP2014/067197 WO2015198477A1 (ja) 2014-06-27 2014-06-27 視線検知装置
PCT/JP2014/080254 WO2015198502A1 (ja) 2014-06-27 2014-11-14 視線検知のための装置

Publications (2)

Publication Number Publication Date
CN106797422A CN106797422A (zh) 2017-05-31
CN106797422B true CN106797422B (zh) 2020-03-27

Family

ID=54937600

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480080185.XA Active CN106797423B (zh) 2014-06-27 2014-06-27 视线检测装置
CN201480080184.5A Active CN106797422B (zh) 2014-06-27 2014-11-14 视线检测用的装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480080185.XA Active CN106797423B (zh) 2014-06-27 2014-06-27 视线检测装置

Country Status (5)

Country Link
US (3) US10445573B2 (zh)
JP (2) JP6539654B2 (zh)
KR (1) KR20170039622A (zh)
CN (2) CN106797423B (zh)
WO (2) WO2015198477A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8251508B2 (en) 2008-01-14 2012-08-28 Syed Khizer Rahim Khaderi Method and system of enhancing ganglion cell function to improve physical performance
WO2016157486A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
CN107852474B (zh) * 2015-08-11 2021-01-08 索尼互动娱乐股份有限公司 头戴式显示器
KR102388249B1 (ko) * 2015-11-27 2022-04-20 엘지이노텍 주식회사 일반 촬영 및 적외선 촬영 겸용 카메라 모듈
US11579686B2 (en) * 2016-03-07 2023-02-14 Apple Inc. Method and device for carrying out eye gaze mapping
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CA3020390A1 (en) 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US10599215B2 (en) * 2016-04-26 2020-03-24 Facebook Technologies, Llc Off-axis eye tracker
WO2017186320A1 (en) * 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
US10095307B2 (en) 2016-05-13 2018-10-09 Google Llc Eye tracking systems and methods for virtual reality environments
US10877556B2 (en) * 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
US20180157320A1 (en) * 2016-12-01 2018-06-07 Oculus Vr, Llc Air spaced optical assembly with integrated eye tracking
US10816814B2 (en) 2016-12-08 2020-10-27 Sony Corporation Imaging device
US10310598B2 (en) * 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10545347B2 (en) 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
US10855977B2 (en) * 2017-05-26 2020-12-01 Google Llc Near-eye display with extended accommodation range adjustment
US20190049722A1 (en) * 2017-08-10 2019-02-14 Htc Corporation Head-mounted display apparatus
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
US10788677B2 (en) 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
EP3698359A1 (en) * 2017-10-18 2020-08-26 Soapbox Labs Ltd. Methods and systems for speech detection
EP3477490A1 (en) 2017-10-26 2019-05-01 Druva Technologies Pte. Ltd. Deduplicated merged indexed object storage file system
WO2019089811A1 (en) 2017-11-01 2019-05-09 Vrgineers, Inc. Interactive augmented or virtual reality devices
US10845594B1 (en) 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
CN109068050A (zh) * 2018-01-11 2018-12-21 王富云 自由观察仪
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
TWI749172B (zh) * 2018-02-13 2021-12-11 緯創資通股份有限公司 頭戴式顯示裝置及其調整方法
US10488917B2 (en) * 2018-02-17 2019-11-26 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze using reflective element
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
CN108919960B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
CN108965644B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN109109745B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
CN109109744B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN110850594B (zh) * 2018-08-20 2022-05-17 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
TWM642752U (zh) * 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
US10880542B1 (en) * 2018-12-19 2020-12-29 Facebook Technologies, Llc Near-eye optical element with embedded hot mirror
CN115202037A (zh) * 2019-03-06 2022-10-18 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
CN111754728A (zh) 2019-03-29 2020-10-09 京东方科技集团股份有限公司 检测组件、检测装置、疲劳驾驶的检测方法
US11822081B2 (en) * 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
US11921917B2 (en) * 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
KR102378673B1 (ko) 2020-07-31 2022-03-25 주식회사 리버스톤미디어 스트레치 디스플레이 패널을 광원으로 하는 아이컨텍트 디스플레이 장치
KR102378047B1 (ko) 2020-07-31 2022-03-24 주식회사 리버스톤미디어 얼굴과 눈동자 캡쳐를 위한 이미지 반사경 장치
KR20220111144A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD
TWI811825B (zh) * 2021-03-26 2023-08-11 宏達國際電子股份有限公司 頭戴式顯示裝置
KR20220136561A (ko) 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
US11630510B2 (en) 2021-06-23 2023-04-18 Huawei Technologies Co., Ltd. System, method and storage medium for 2D on-screen user gaze estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
CN1592597A (zh) * 2002-05-30 2005-03-09 松下电器产业株式会社 眼睛图像采集装置
CN103631018A (zh) * 2012-08-21 2014-03-12 鸿富锦精密工业(深圳)有限公司 显示系统及头戴式显示装置
CN203608262U (zh) * 2013-09-10 2014-05-21 许玉珍 低照度红外线彩色摄影装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3149462B2 (ja) 1991-06-25 2001-03-26 株式会社島津製作所 アイカメラ
US5515266A (en) 1992-01-12 1996-05-07 Meyer; Urs Textile spinning machine management system
JPH0777665A (ja) 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US6018630A (en) 1994-05-17 2000-01-25 Canon Kabushiki Kaisha Camera viewfinder having a viewpoint detecting apparatus
JPH089205A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像モニタ装置
JPH08179239A (ja) 1994-12-21 1996-07-12 Canon Inc ヘッドマウントディスプレイ装置及びその駆動制御方法
JPH11155152A (ja) 1997-11-21 1999-06-08 Canon Inc 三次元形状情報入力方法及び装置及び画像入力装置
JP2001108933A (ja) 1999-08-03 2001-04-20 Sony Corp ヘッドマウントディスプレイ装置
JP2003225207A (ja) 2002-02-04 2003-08-12 Minolta Co Ltd 視線検出装置
JP3925222B2 (ja) 2002-02-07 2007-06-06 コニカミノルタホールディングス株式会社 視線検出装置
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP2005195821A (ja) * 2004-01-06 2005-07-21 Scalar Corp 画像表示装置
JP2006053321A (ja) * 2004-08-11 2006-02-23 Olympus Corp 投影観察装置
JP2006163383A (ja) * 2004-11-15 2006-06-22 Canon Inc 情報処理装置、情報処理方法
JP2008241822A (ja) * 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP5216761B2 (ja) * 2007-09-26 2013-06-19 パナソニック株式会社 ビーム走査型表示装置
JP5237268B2 (ja) * 2007-11-21 2013-07-17 パナソニック株式会社 表示装置
JP5415948B2 (ja) * 2008-02-28 2014-02-12 パナソニック株式会社 視線検出装置及び視線検出方法
JP5829850B2 (ja) * 2011-03-22 2015-12-09 パナソニック株式会社 瞳孔計測装置
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
JP2014021272A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
JP2014022942A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着装置
US20140118243A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Display section determination
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
KR20150034558A (ko) * 2013-09-26 2015-04-03 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
EP3103059A1 (de) * 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10303940B2 (en) * 2015-11-25 2019-05-28 Google Llc Prism-based eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
CN1592597A (zh) * 2002-05-30 2005-03-09 松下电器产业株式会社 眼睛图像采集装置
CN103631018A (zh) * 2012-08-21 2014-03-12 鸿富锦精密工业(深圳)有限公司 显示系统及头戴式显示装置
CN203608262U (zh) * 2013-09-10 2014-05-21 许玉珍 低照度红外线彩色摄影装置

Also Published As

Publication number Publication date
US10445573B2 (en) 2019-10-15
CN106797423A (zh) 2017-05-31
US10817721B2 (en) 2020-10-27
CN106797422A (zh) 2017-05-31
JPWO2015198477A1 (ja) 2017-04-20
KR20170039622A (ko) 2017-04-11
US20170140224A1 (en) 2017-05-18
JP6656921B2 (ja) 2020-03-04
US20170140223A1 (en) 2017-05-18
US20190392210A1 (en) 2019-12-26
JPWO2015198502A1 (ja) 2017-04-20
CN106797423B (zh) 2019-12-06
WO2015198477A1 (ja) 2015-12-30
JP6539654B2 (ja) 2019-07-03
WO2015198502A1 (ja) 2015-12-30

Similar Documents

Publication Publication Date Title
CN106797422B (zh) 视线检测用的装置
JP6175945B2 (ja) 視線検出装置及び視線検出方法
TWI569040B (zh) 自動調焦頭戴式顯示裝置
EP3228072B1 (en) Virtual focus feedback
JP6474900B2 (ja) ヘッドマウントディスプレイ
JP5420793B1 (ja) 画像の視認距離を調整できるヘッドマウントディスプレイ
US10481403B2 (en) Contact lens with retinal camera
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP5151207B2 (ja) 表示装置
US11116395B1 (en) Compact retinal scanning device for tracking movement of the eye's pupil and applications thereof
US20190258314A1 (en) Gaze-tracking system and method of tracking user's gaze using reflective element
JP4900277B2 (ja) 頭部装着式映像表示装置
JP6379639B2 (ja) 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム
JP7145708B2 (ja) 検眼装置
CN116437180A (zh) 显示设备、取景器设备和摄像设备
CN116149051A (zh) 一种透镜组件、红外补光方法及眼动跟踪方法和系统
EP4327151A1 (en) Eyewear having a projector with heat sink shields
CN117083541A (zh) 带有场透镜的投影仪
JP2013228573A (ja) Rsd機能付き電子機器、rsd機能付き電子機器の制御方法、及びコンピュータプログラム
JP2015055869A (ja) 虚像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant