CN108693648B - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN108693648B
CN108693648B CN201810234473.6A CN201810234473A CN108693648B CN 108693648 B CN108693648 B CN 108693648B CN 201810234473 A CN201810234473 A CN 201810234473A CN 108693648 B CN108693648 B CN 108693648B
Authority
CN
China
Prior art keywords
image
unit
convergence
focus
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810234473.6A
Other languages
English (en)
Other versions
CN108693648A (zh
Inventor
小松朗
武田高司
宫尾敏明
高木将行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN108693648A publication Critical patent/CN108693648A/zh
Application granted granted Critical
Publication of CN108693648B publication Critical patent/CN108693648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/095Refractive optical elements
    • G02B27/0955Lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/14Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

图像显示装置。图像显示装置(100)具备:图像显示部(100A、100B),其对使用者显示图像,并且使外部光能够可视;视线方向距离检测部(71、72、73),其检测使用者的视线方向及至位于视线方向的对象物的距离;以及显示控制部(90),其控制图像显示部(100A、100B)的显示动作,图像显示部(100A、100B)具有改变投射的显示图像的辐辏和焦点的焦点辐辏变更部(60),显示控制部(90)根据视线方向距离检测部(71、72、73)所检测的视线方向和至对象物的距离,控制焦点辐辏变更部(60)。

Description

图像显示装置
技术领域
本发明涉及将影像作为虚像呈现给观察者的图像显示装置。
背景技术
作为安装于观察者的头部的头戴式显示器(以下也称作HMD)等图像显示装置,公知使影像光与外部光重叠地可视的所谓透视型的图像显示装置。
在能够直视外界像的透视型的图像显示装置中,有时对位于使用者的视线方向的对象物显示附加的图像。由此,对对象物显示附加的图像的情况下,计算或检测使用者的视线方向的对象物的距离,根据得到的距离使显示元件内的图像或光学元件移动,由此显示使辐辏变化的图像,从而在双眼看到的情况下使附加的图像显示于与对象物相同的位置(专利文献1及2)。
如上所述在仅调整辐辏的装置中,对于显示图像,发生焦点调节距离与辐辏距离不同这样的不会在现实世界中发生的现象。在该情况下,尽管在真实图像中焦点调节距离与辐辏距离一致,由于在显示图像中这两者不一致,使用者容易产生不适感或眼睛疲劳。
专利文献1:日本特开平11-202256号公报
专利文献2:日本特开2010-139589号公报
发明内容
本发明的目的在于提供一种图像显示装置,其在对位于使用者的视线方向的对象物显示附加的图像的情况下,抑制产生不适感或疲劳。
本发明的图像显示装置具备:图像显示部,其对使用者显示图像,并且能够使外部光可视;视线方向距离检测部,其检测使用者的视线方向以及距位于视线方向上的对象物的距离;以及显示控制部,其控制图像显示部的显示动作,图像显示部具有变更投射的显示图像的辐辏和焦点的焦点辐辏变更部,显示控制部根据视线方向距离检测部所检测出的视线方向和距对象物的距离,控制焦点辐辏变更部。
在上述图像显示装置中,显示控制部根据视线方向距离检测部检测到的视线方向和距对象物的距离,控制焦点辐辏变更部,因此,对于观察者可视的外界的对象物,能够显示与对象物大致相同的辐辏且焦点状态的图像,从而能够减少不适感或疲劳。
在本发明的一个具体方面,显示控制部基于根据视线方向距离检测部检测出的视线方向和距对象物的距离得到的辐辏角,使焦点辐辏变更部调整显示图像的辐辏和焦点。通过利用辐辏角来控制焦点辐辏变更部的动作,控制变得比较简单。另外,显示图像的辐辏角如果与对象物一致,则允许焦点稍微偏离,不适感较少。
在本发明的另一个方面,焦点辐辏变更部具有使投射的显示图像的辐辏和焦点以规定的关系联动的光学部件。在该情况下,能够简单地避免焦点辐辏变更部变大。
在本发明的另一个方面,光学部件配置为关于用于对使用者显示图像的投射光学系统的投射光轴非对称,并且以屈光力发生变化的方式被驱动,伴随着屈光力的变化,使显示图像的辐辏和焦点变化。在该情况下,光学部件的屈光力变化,由此,投射光学系统的焦点变化,并且像光的行进方向变化,因此能够使显示图像的辐辏和焦点变化。
在本发明的另一个方面,光学部件具有一对透镜,一对透镜分别具有凹部和凸部,通过使一对透镜中的至少一个在与光轴交叉的横向上移动,来调整焦点和辐辏。
在本发明的另一个方面,光学部件根据含有的液体的量,使透镜形状变化。
在本发明的另一个方面,光学部件通过对两种比重不同的液体施加电场,使边界变形。
在本发明的另一个方面,视线方向距离检测部针对检测出的视线方向在规定的视野范围内检测距对象物的距离。在该情况下,能够缩小对象物,从而容易显示与对象物大致相同的辐辏且焦点状态的图像。
附图说明
图1是说明第1实施方式的图像显示装置的俯视图。
图2是说明图1的图像显示装置产生的虚像的显示的俯视图。
图3是说明正面方向的距离与辐辏角的关系的图。
图4是说明斜方向的距离与辐辏角的关系的图。
图5是说明外界像与虚像的重叠方式的概念图。
图6是说明图像显示装置的动作的概念图。
图7是说明第2实施方式的图像显示装置的图。
图8是说明第3实施方式的图像显示装置的图。
标号说明
AX:光轴;D1、D2:显示图像;D21-D23:显示图像;D31-D33:图像要素;EA:有效视野;EY:眼睛;LI:影像光;MX:轴;P1、P1、P21-P23:交点;PI0:外界像;SX:对称轴;10:导光部件;15:半反射镜层;20:透光部件;30:导光装置;40:图像形成装置;50:投射透镜;60、260:焦点辐辏变更部;61:光学部件;61a、61b:透镜;65:驱动部;71:测距部;72、73:视线检测部;71、72、73:视线方向距离检测部;75:光源;76:照相机;90:主控制部;91:存储部;95:输入输出操作部;100:图像显示装置;100A、100B:图像显示部;101a、101b:图像显示合成部;105a、105b:图像形成部。
具体实施方式
以下,参照附图,同时对本发明的第1实施方式的图像显示装置详细地进行说明。
如图1所示,本实施方式的图像显示装置100是能够进行AR显示的头戴式显示器(HMD),能够向佩戴该图像显示装置100的观察者或使用者显示作为基于图像光或影像光的虚像的图像,或使佩戴该图像显示装置100的观察者或使用者观察作为基于图像光或影像光的虚像的图像。图像显示装置100具备第1图像显示部100A、第2图像显示部100B、测距部71、视线检测部72、73、以及主控制部90。此处,测距部71和视线检测部72、73作为检测使用者的视线方向以及到位于视线方向上的对象物的距离的视线方向距离检测部发挥功能。在图1中,沿着纸面的与眼睛宽度对应且与对称轴SX正交的左右方向与正交3轴中的X轴平行,以向观察者的眼睛EY的前方延伸的方式设定的光轴AX或对称轴SX与正交3轴中的Z轴平行。此外,正交3轴中的Y轴的延伸方向称作垂直于纸面的上下方向。
第1图像显示部100A及第2图像显示部100B是分别形成右眼用和左眼用的虚像的部分,分别具备能够透视地覆盖观察者的眼前的第1显示合成部101a及第2图像显示合成部101b和第1图像形成部105a及第2图像形成部105b。另外,两个图像显示部100A、100B具有同样的光学功能,仅反转了左右,因此,以下,仅对第1图像显示部100A进行说明,省略说明第2图像显示部100B。
第1图像显示部100A中的第1图像形成部105a具备:图像形成装置40,其形成影像光LI;投射透镜50,其为了投射图像形成装置40所形成的被投射图像而向第1图像显示合成部101a射出影像光(图像光)LI;以及焦点辐辏变更部60,其用于调整虚像或显示图像的焦点及辐辏。
图像形成装置40具备例如有机EL面板等其他自发光型的影像元件。图像形成装置40本身能够形成被投射图像。图像形成装置40还能够设成如下的结构,即具备:影像元件,其例如是LCD面板等其他的空间光调制装置;以及照明装置,其是向影像元件射出照明光的背光源。
投射透镜50是具备一个以上的透镜的投射光学系统,与图像形成装置40等一同收纳并支承于未图示的外装部件中。在图示的例子中,投射透镜50在作为沿着投射光轴即光轴AX的大致无穷远处形成虚像的准直仪发挥功能。
焦点辐辏变更部60在主控制部90的控制下动作。焦点辐辏变更部60为了变更作为虚像投射的显示图像的辐辏和焦点而配置在投射透镜50的后级光路上,具有光学部件61和驱动部65。光学部件61用于使投射的显示图像的辐辏与焦点按规定的关系联动,具有第1透镜61a和第2透镜61b作为一对透镜。光学部件61或构成光学部件61的透镜61a、61b配置为关于从投射透镜50延伸的光轴AX非对称。前者的第1透镜61a包括凹部6a和凸部6b,后者的第2透镜61b包括凹部6c和凸部6d。在第1透镜61a中,凹部6a和凸部6b平滑地连接,在第2透镜61b中,凹部6c和凸部6d也平滑地连接。一个第1透镜61a相对于光轴AX固定,另一个第2透镜61b被驱动部65驱动而能够在垂直于光轴AX、并与平行于XZ面的水平基准面平行的光学系统的横向上移动。即,驱动部65能够使第2透镜61b的轴MX从与光轴AX重合的状态缓缓变化到相对于光轴AX平行且在横向上分离规定距离的状态。由此,能够使第1透镜61a与第2透镜61b从一致的状态变化到偏心的状态,光学部件61整体被驱动,使得屈光力变化,如后面详述,能够伴随着屈光力的变化使作为虚像投射的显示图像的辐辏和焦点协调,同时进行变更。另外,以上仅使第2透镜61b在与光轴AX垂直的横向上移动来改变辐辏及焦点,但也能够使第1透镜61a及第2透镜61b双方在与光轴AX垂直的横向上移动来改变辐辏及焦点。
第1图像显示合成部101a是整体上板状或棱柱状的部件,由导光及透视用的导光部件10和透视用的透光部件20构成。其中,导光部件10是具有透光性的棱柱状或块状的部件。透光部件20是辅助导光部件10的透视功能的辅助光学块或透光部,与导光部件10接合而一体地固定。
导光部件10具有第1面11~第4面14作为具有光学功能的侧面。其中,第1面11和第2面12平行地延伸,使得在平板状的导光体内能够导光。入射侧的第3面13为平面,其反射经由第1面11从第1图像形成部105a入射至导光部件10的影像光LI,在导光部件10内结合。射出侧的第4面14为平面,在第4面14上设置有半反射镜层15。半反射镜层15是具有透光性的反射膜即半透射反射膜,通过对金属反射膜或电介质多层膜成膜而形成,适当地设定对于影像光LI的反射率。
透光部件20具有第1透射面21、第2透射面22、第3透射面23,作为具有光学功能的侧面。第1透射面21位于延伸导光部件10的第1面11的面上,第2透射面22位于延伸导光部件10的第2面12的面上。第3透射面23相对于导光部件10的第4面14接合,从而一体化。
以下,对影像光LI的光路进行说明。首先,图像形成装置40中形成的影像光LI经过投射透镜50及焦点辐辏变更部60而入射至第1图像显示合成部101a的导光部件10的一端。入射至导光部件10的一端的影像光LI被第1面11和第2面12反射,同时在导光部件10内传播,到达另一端。到达导光部件10的另一端的影像光LI被半反射镜层15部分反射,再次入射至第1面11并通过第1面11。通过第1面11的影像光LI入射至观察者的眼睛EY或其等效位置。即,观察者通过影像光LI观察作为虚像的显示图像。
在第1图像显示合成部101a中,第1面11与第2面12彼此平行,第1透射面21与第2透射面22彼此平行,且第1面11与第1透射面21彼此平行,因此,相对于外部光,视度大致为0,不产生像差等。如上所述,观察者能够观察没有失真的外界像,即通过透视基本上直接可视或观察外界。此时,对于隔着半反射镜层15观察的外界像,能够使图像形成装置40产生的虚像重叠地进行观察。
此处,参照图2,对利用焦点辐辏变更部60使作为虚像投射的显示图像的辐辏与焦点自然联动的方法进行说明。另外,图2是一并示出利用第1图像显示合成部101a及第2图像显示合成部101b不弯曲光路的状态的概念图,虚拟的或等效的第1图像形成部105a及第2图像形成部105b配置在视线前方。
首先,在焦点辐辏变更部60中,假设凸部6b与凹部6c对置,两个透镜61a、61b的合成屈光力基本上为零。在该情况下,向无穷远或远方投射虚像的显示图像D1。即,来自第1图像形成部105a及第2图像形成部105b的影像光LI如来自位于大致无穷远处的显示图像D1的影像光LIa那样以接近于零的辐辏角α1入射至观察者的两个眼睛EY。此时,入射至两个眼睛EY的LIa为与来自左右视线的交点即P1及其周边的光大致等效的状态,达到大致接近平行光的状态。另外,在图示的例子中,假设与观察者的视线对应的交点P1位于图像形成部105a、105b间的对称轴SX的前方。
之后,驱动部65使第2透镜61b的轴MX沿AB方向缓缓偏移,则凹部6c与凸部6d的边界或靠凸部6d的部分相对于凸部6b对置,两个透镜61a、61b的合成屈光力达到正值,并且将原来的影像光LI设为偏向于纸面外侧即两个眼睛EY的眼角侧的影像光LI'。其结果是,虚像的显示图像D2被投射到比较接近的位置。即,来自第1图像形成部105a及第2图像形成部105b的影像光LI'如来自位于比较接近的位置的显示图像D2的影像光LIb那样以比较大的辐辏角α2入射至观察者的两个眼睛EY。此时,入射至两个眼睛EY的LIb为与来自左右视线的交点即P2及其周边的光大致等效的状态,成为发散光。即,观察到向前方投影的虚像对于右眼EY靠左偏移,对于左眼EY靠右偏移,焦点位置或焦点向眼睛EY或靠图像形成装置40偏移。
图3例示了到位于视线前的对象物的对象距离与注视对象物时的辐辏角的关系。如实线所示,具有对象距离增加则辐辏角减少的函数对应关系,观察满足该对应关系或处于与其接近的状态的图像的情况下,观察者难以感知不适感,眼睛的疲劳也能够减少。焦点辐辏变更部60以满足图3的实线所示的对应关系或与此近似的对应关系的联动关系,协调地调整显示图像D1、D2的辐辏角α1、α2与焦点位置或焦点。
图4示出视线的方向从对称轴SX的前方即正面向例如水平方向的左侧偏离的情况。视线或视点从交点P21移动到交点P22的情况下,考虑以两个眼睛EY和原来的交点P21为顶点的三角形的外切圆CC,如果外切圆CC上存在交点P22,则根据圆周角的定理维持辐辏角α。在比较接近于对称轴SX的位置(即交点P22)的情况下,如果维持辐辏角α,则也基本上维持对象距离。即,通过使用图3所示的对称轴SX上的辐辏角与焦点位置的联动关系,被投射到接近于对称轴SX的位置的显示图像D22也与投射到对称轴SX上的显示图像D21同样能够无不适感地观察。并且,将显示图像D23投影到从对称轴SX分离的位置(即交点P23)的情况下,如果辐辏角α匹配,能够忽略焦点位置的一些差异来观察显示图像D23,眼睛的疲劳也能够减少。由上可知,根据视线检测部72所检测到的视线的方向和由测距部71根据视线的方向确定的对象距离来确定辐辏角,根据由此得到的辐辏角以满足图3所示的联动关系的方式使焦点辐辏变更部60动作,对于注视的对象,能够使辐辏角与焦点位置或焦点近似地匹配,从而能够无不适感地观察显示图像D21~D23。具体而言,在焦点辐辏变更部60中,通过驱动部65使第2透镜61b移动,能够基本上沿着图3所示的特性曲线或规定的关系来统一调整辐辏角和对象距离(即焦点位置),进行合适的光学设计,对于辐辏角及对象距离(即焦点位置),使得能够近似地达到适当的联动关系。
另外,在视线的方向从对称轴SX的前方即正面向与±Y方向对应的上下或垂直方向偏离的情况下,焦点位置与辐辏角的对应关系或相关关系与正面的情况相同,能够直接利用图3所示的联动关系,使焦点辐辏变更部60动作。视线的方向为右上(靠-X和+Y)或右下(靠-X和-Y)的斜方向的情况下,如参照图4说明的那样,能够利用图3所示的焦点位置或焦点与辐辏角的联动关系进行近似。
返回图1,测距部71作为视线方向距离检测部的一部分,能够测量到观察者观察的外界像的各部的距离。测距部71能够设为使用各种测距原理的机构,例如能够使用立体照相机那样的利用视差的机构。此外,投射红外线并用图像传感器检测时,还可以使用检测相位差或延迟时间的传感器。并且,还可以使用如下的装置:使用焦点阶段性变化的照相机,在空间频率提高的焦点位置确定到对象的距离。
一个视线检测部72作为视线方向距离检测部的一部分,检测观察者的右侧眼睛EY的方向、即右眼的视线方向。视线检测部72具有例如LED这样的红外或可视用的光源75和对由光源75照明的眼睛EY进行拍摄的照相机76,以眼角、角膜反射等为基准,检测虹膜等其他部分的运动。上述视线检测部72可以按每个佩戴图像显示装置100的观察者进行视线方向的校准。另一个视线检测部73检测观察者的左侧眼睛EY的方向、即左眼的视线方向,具有与上述的一个视线检测部72同样的结构。通过使用两个视线检测部72、73的输出(例如平均值),可知观察者的视线方向,在上述测距部71具有照相机的情况下,能够根据拍摄到的图像与视线的方向或角度的关系确定观察者注视的对象物,测距部71能够测定到注视的对象物的距离(以下也称作对象距离)。在测距部71不具有照相机的情况下,通过对视线的方向或角度进行测距,也能够测定到观察者注视的对象物的对象距离。此时,如图4所示,对于与检测到的视线方向对应的交点P21,优选在以其为中心的规定的视野EA范围内检测距对象物的距离。对象距离仅能够选择一个,因此,通过适当缩小视野EA,能够使对象距离更合适。此处,视野EA可以设定成具有例如±15°左右的扩展的有效视野。
以上,确定观察者的视线交叉的对象物来测定距对象物的距离为前提,但对于以视线为中心的规定的角度范围中存在的对象物,也能够判定为视线会聚于该对象物。在该情况下,多个对象物成为观察者注视的候补,但能够以从观察者观察面积大的、从观察者观察时最接近的这样的基准,缩小注视的候补。
上述规定的视野EA不限于有效视野,可以使用辨别视野(例如±2.5°)、稳定注视视野(例如水平方向上60°~90°,垂直方向上45°~70°)等,能够在这些辨别视野或安定注视视野的范围内检测距对象物的距离。
主控制部90统一地控制图像显示装置100的动作,在控制图像显示合成部101a、101b的显示动作的意义上是显示控制部。主控制部(显示控制部)90使视线检测部72、73动作,以使其检测佩戴图像显示装置100的观察者的视线方向,并且使用测距部71以使其测量距位于观察者的视线方向前的对象物的距离。由此,由测距部71及视线检测部72、73构成的视线方向距离检测部所得到的观察者的视线方向及对象距距离的相关信息暂时保存于存储部91。另一方面,主控制部90根据存储部91中保存的影像数据,使设置于第1图像形成部105a及第2图像形成部105b的一对图像形成装置40进行显示动作,向两个眼睛EY提供共通的显示图像。此时,显示图像的横向或纵向的位置(即,虚像的面内的位置)能够通过使用视线检测部72、73的检测输出,设为位于观察者的视线方向前的对象物上或其附近。并且,显示图像的进深方向的位置(即,与虚像的面垂直的方向的位置)能够通过使用测距部71和焦点辐辏变更部60,设为位于观察者的视线方向前的对象物上或其附近。此处,主控制部90能够利用测距部71判定距视线方向的对象物的距离,根据该距离使焦点辐辏变更部60动作。焦点辐辏变更部60利用驱动部65使第2透镜61b在与光轴AX垂直的方向上适当移动,使辐辏与焦点协调地改变,使得投射的显示图像的位置与视线方向的对象物的位置在进深方向上大致一致。
图5是说明图像显示装置100的具体动作例的图。外界视野内的外界像PI0例如是野外的景色,例如,存在树2a、2b、桌子3a。图像显示装置100所显示的虚像的显示图像是人物那样的图像要素D31~D33,在视线会聚于树2a、2b、桌子3a中的任意一个的情况下,能够使其显示于该位置。此处,图像要素D31的显示考虑距树2a的距离来设定辐辏和焦点位置(焦点),图像要素D33的显示考虑距桌子3a的距离来设定辐辏和焦点位置(焦点)。另外,在图示的例子中,图像要素D31~D33的尺寸与对象距离相应地改变,但可以保持图像要素D31~D33的尺寸恒定。
以下,参照图6的流程图,对图1等所示的图像显示装置100的显示动作的一例进行说明。
图像显示装置100在AR显示模式下进行视线反映显示时,主控制部(显示控制部)90利用视线检测部72、73对佩戴图像显示装置100的使用者的视线开始追踪或跟踪(步骤S11)。此时,主控制部90利用测距部71测定位于使用者的视线前的对象距离。主控制部90判断是否与使用者的视线追踪并行地提取出关注对象(步骤S12)。此处,关注对象的提取表示使用者将视线设定为关注对象的行为或确定为关注对象的行为,例如由一边注视对象物一边进行的闪烁模式、或者手或臂的动作模式进行指令或输入。闪烁模式例如能够根据视线检测部72、73的照相机76得到的图像进行判断,手或臂的动作模式在测距部71具备照相机的情况下,能够根据该照相机得到的图像进行判断。在提取了关注对象的情况下,主控制部90使图像显示部100A、100B在与由使用者的视线指定的对象物对应的位置进行附加图像要素的显示。具体而言,在图5所示的例子中,使用者注视桌子3a同时进行关注对象的提取动作的情况下,使桌子3a上显示人物状的图像要素D33(步骤S13)。此处,人物状的图像要素D33的辐辏和焦点位置(焦点)接近于使用者观察桌子3a时的辐辏和焦点位置(焦点)。主控制部90判断是否解除了关注对象(步骤S14)。此处,所谓关注对象的解除,表示对关注对象消除附加的图像要素的行为,例如由一边注视对象物一边进行的闪烁模式、手或臂的动作模式、附随于主控制部90的输入输出操作部95的操作进行指令或输入。在解除了关注对象的情况下,主控制部90清除在步骤S13中由图像显示部100A、100B显示于与对象对应的位置上的图像要素(步骤S15)。此后,如果动作没有结束(步骤S16),则返回步骤S12重复动作。以上利用闪烁模式进行了关注对象的设定和解除,但如果对关注的对象的注视持续规定时间以上,则设定为关注对象,对设定为关注对象的对象以外的特定对象物的注视持续规定时间以上的情况、或者对关注对象的注视中断规定时间以上的情况下,能够进行关注对象的解除。
以上,通过使图像要素的显示位置与图像显示装置100的状态变化相应地变化,也能够使图像要素D31~D33的显示位置追随对象2a、2b、3a。此外,以上判断了关注对象的提取、关注对象的解除,但也可以不进行这样的判断,而使图像要素D31~D33始终显示在使用者的视线前。
图6所示的动作能够编入观光及其他的向导软件,能够通过对人物状的图像要素附加文字信息、附加声音来提供使用者的关注对象的相关说明。图6所示的动作不限于观光及其他向导软件,也能够应用于自然观察及其他的教育软件、对工作及其他作业的远程指示授予软件、虚拟设置家具及其他物品的配置确认软件、会议介绍资料的演示软件、各种游戏软件等。
在以上的动作说明中,以测距部71、视线检测部72在图5所例示的外界视野内或虚像的显示区域内对视线注视的全部对象物检测距离或视线为前提,但也可以控制使得限于虚像的显示区域内的例如中央区域中存在的对象物来检测距离或视线。
如上所述,在本实施方式的图像显示装置100中,主控制部(显示控制部)90根据视线方向距离检测部71、72、73检测到的视线方向和距对象物的距离,来控制焦点辐辏变更部60,因此对于观察者可视的外界的对象物,能够显示与对象物大致相同的辐辏且焦点状态的图像,从而能够减少不适感或疲劳。
〔第2实施方式〕
以下对第2实施方式的图像显示装置进行说明。另外,本实施方式是第1实施方式的图像显示装置的变形例,对于与第1实施方式的情况重复的部分,省略说明。
如图7所示,纳入第2实施方式的图像显示装置的焦点辐辏变更部260具备:光路部分具有透光性的容器67a;水及其他的液体67b;具有透光性的密封膜67c。焦点辐辏变更部260根据容器67a中含有的液体67b的量,来使透镜形状变化。即,在焦点辐辏变更部260中,能够利用致动器67e使容器67a中的液体量增减,密封膜67c凹凸变形,对通过的影像光LI发挥聚光等作用。如果使容器67a的对称轴相对于图像形成部105a、105b的光轴AX偏移,不仅对影像光LI发挥聚光等作用,使影像光LI的射出方向变化的偏向也成为可能。该焦点辐辏变更部260与第1实施方式的焦点辐辏变更部60同样地,以满足图3所示的联动关系而动作,对于任意的对象,能够使焦点位置(焦点)与辐辏角近似地匹配。
〔第3实施方式〕
以下对第3实施方式的图像显示装置进行说明。另外,本实施方式是第1实施方式的图像显示装置的变形例,对于与第1实施方式的情况重复的部分,省略说明。
如图8所示,纳入第3实施方式的图像显示装置的焦点辐辏变更部360为液体透镜,其具备:光路部分具有透光性的容器68a;第1液体68b;第2液体68c;具有透光性的一对电极68d。此处,第1液体68b和第2液体68c是两种比重不同的液体,由例如水、油及其他的材料构成。在焦点辐辏变更部360中,由致动器68e经由电极68d对容器68a中的两种比重不同的液体68b、68c形成电场,两种液体68b、68c的边界68x凹凸变形,对通过的影像光LI发挥聚光等作用。如果使容器68a的对称轴相对于图像形成部105a、105b的光轴AX偏移,不仅对影像光LI发挥聚光等作用,使影像光LI的射出方向变化的偏向也成为可能。该焦点辐辏变更部360与第1实施方式的焦点辐辏变更部60同样地,以满足图3所示的联动关系而动作,对于任意的对象,能够使焦点位置(焦点)与辐辏角近似地匹配。
〔其他〕
按照以上各实施方式对本发明进行了说明,本发明不限于上述的实施方式,能够在不脱离其主旨的范围内实施各种方式。
例如,在上述实施方式中,由设置于焦点辐辏变更部60的光学部件61使投射的显示图像的辐辏与焦点按规定的关系联动,但能够独立地调整辐辏和焦点。例如,使图8所示的液体透镜的对称轴与图像形成部105a、105b的光轴AX一致,一边使液体透镜的功率变化一边使图像形成装置40在与光轴AX垂直的横向上移动,或者使图像形成装置40中显示的图像偏移,由此能够独立地控制焦点位置(焦点)和辐辏角。
此外,在上述实施方式中,使用使测距部71与视线检测部72、73组合的作为视线方向距离检测部,但也可以使用统一进行测距及视线检测的传感器,例如能够确定视线方向作为视线检测部72、73的输出的平均值,从而能够得到辐辏角作为视线检测部72、73的输出之差。能够根据这样得到的辐辏角倒算出焦点位置。
对于检测距对象物的距离的规定的视野EA,不限于有效视野等,还可以采用可以视作注视点(POR)的范围、能够识别文字的范围、眼球运动能舒适地进行的范围、能够识别形状的范围、能够颜色信息的范围、视野的界限等中的任意一个,还可以根据状况切换它们。对于可以视作注视点(POR)的范围,设定为大约1度左右的角度范围,对于能够识别文字的范围,设定为大约10度左右的角度范围,对于眼睛球运动能舒适地进行的范围,设定为大约15度左右的角度范围,对于能够识别形状的范围,设定为大约0度左右的角度范围,对于能够识别颜色信息的范围,设定为大约60度左右的角度范围,对于视野的界限设定为大约94度左右的角度范围。
在以上的说明中,图像显示合成部101a、101b使用导光体,但可以使用具备由反光镜、透镜、半反光镜等构成的投射系统的作为图像显示合成部101a、101b。
此外,在使用使用导光装置30的导光系统、或如上所述由反光镜或透镜构成的投射系统的情况下,使用例如日本特开2017-3845号公报所述的由多个半反光镜构成的反射单元,能够在眼侧提取影像光。
在以上的说明中,使用了在折射面或反射面形成虚像的导光装置30作为图像显示合成部101a、101b,但不限于此,可以使用利用衍射面来形成虚像、利用全息图像元件来形成虚像的作为图像显示合成部101a、101b。
在以上的说明中,实施方式的图像显示装置100为头戴式显示器,进行了具体的说明,但实施方式的图像显示装置100还可以应用于平视显示器、双眼镜型的手持显示器等。

Claims (6)

1.一种图像显示装置,其具备:
图像显示部,其具有形成图像光的图像形成部、以及朝向使用者反射图像光并且使外部光透过的反光镜;
视线方向距离检测部,其检测所述使用者的视线方向以及距位于视线方向上的对象物的距离;以及
显示控制部,其控制所述图像显示部的显示动作,
所述图像显示部具有焦点辐辏变更部,该焦点辐辏变更部变更从所述图像形成部投射的所述图像光的辐辏以及焦点,该焦点辐辏变更部设置在所述图像形成部和所述反光镜之间的光路上,
所述焦点辐辏变更部具有:第1光学部件,其具有凹部;第2光学部件,其具有凸部;以及驱动部,其使所述第1光学部件和所述第2光学部件中的至少一个在与所述光路交叉的方向上移动,
所述显示控制部根据所述视线方向距离检测部所检测出的所述视线方向和距所述对象物的距离,以使所述图像光通过所述第1光学部件的所述凹部和所述第2光学部件的所述凸部,使屈光力变化的方式控制所述驱动部,
所述图像光经由所述第1光学部件和所述第2光学部件入射到所述图像显示部。
2.根据权利要求1所述的图像显示装置,其中,
所述显示控制部基于根据所述视线方向距离检测部检测出的视线方向和距对象物的距离得到的辐辏角,使所述焦点辐辏变更部调整所述图像光的辐辏和焦点。
3.根据权利要求1所述的图像显示装置,其中,
所述第1光学部件和所述第2光学部件配置为关于用于对使用者显示图像的投射光学系统的投射光轴非对称,并且以屈光力发生变化的方式被驱动,伴随着屈光力的变化,使所述图像光的辐辏和焦点变化。
4.一种图像显示装置,其具备:
图像显示部,其具有形成图像光的图像形成部、以及朝向使用者反射图像光并且使外部光透过的反光镜;
视线方向距离检测部,其检测所述使用者的视线方向以及距位于视线方向上的对象物的距离;以及
显示控制部,其控制所述图像显示部的显示动作,
所述图像显示部具有焦点辐辏变更部,该焦点辐辏变更部变更从所述图像形成部投射的所述图像光的辐辏以及焦点,该焦点辐辏变更部设置在所述图像形成部和所述反光镜之间的光路上,
所述焦点辐辏变更部具有使投射的所述图像光的辐辏和焦点以规定的关系联动的光学部件,
所述显示控制部根据所述视线方向距离检测部所检测出的所述视线方向和距所述对象物的距离,控制所述焦点辐辏变更部,
所述光学部件根据含有的液体的量,使透镜形状变化,从而使屈光力发生变化,
所述图像光经由所述光学部件入射到所述图像显示部。
5.一种图像显示装置,其具备:
图像显示部,其具有形成图像光的图像形成部、以及朝向使用者反射图像光并且使外部光透过的反光镜;
视线方向距离检测部,其检测所述使用者的视线方向以及距位于视线方向上的对象物的距离;以及
显示控制部,其控制所述图像显示部的显示动作,
所述图像显示部具有焦点辐辏变更部,该焦点辐辏变更部变更从所述图像形成部投射的所述图像光的辐辏以及焦点,该焦点辐辏变更部设置在所述图像形成部和所述反光镜之间的光路上,
所述焦点辐辏变更部具有使投射的图像光的辐辏和焦点以规定的关系联动的光学部件,
所述显示控制部根据所述视线方向距离检测部所检测出的所述视线方向和距所述对象物的距离,控制所述焦点辐辏变更部,
所述光学部件通过对两种比重不同的液体施加电场,使边界变形,从而使屈光力发生变化,
所述图像光经由所述光学部件入射到所述图像显示部。
6.根据权利要求1至5中的任意一项所述的图像显示装置,其中,
所述视线方向距离检测部针对检测出的视线方向在规定的视野范围内检测距对象物的距离。
CN201810234473.6A 2017-03-29 2018-03-21 图像显示装置 Active CN108693648B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017064542A JP2018169428A (ja) 2017-03-29 2017-03-29 画像表示装置
JP2017-064542 2017-03-29

Publications (2)

Publication Number Publication Date
CN108693648A CN108693648A (zh) 2018-10-23
CN108693648B true CN108693648B (zh) 2022-08-02

Family

ID=63670252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810234473.6A Active CN108693648B (zh) 2017-03-29 2018-03-21 图像显示装置

Country Status (3)

Country Link
US (1) US10481686B2 (zh)
JP (1) JP2018169428A (zh)
CN (1) CN108693648B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036572B2 (ja) * 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
US10679306B2 (en) * 2017-11-21 2020-06-09 International Business Machines Corporation Focus-object-determined communities for augmented reality users
JP2019128724A (ja) * 2018-01-23 2019-08-01 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN110082920A (zh) * 2019-06-05 2019-08-02 南京钟山虚拟现实技术研究院有限公司 可调焦的增强现实ar眼镜
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0579506A1 (en) * 1992-07-17 1994-01-19 KAISER AEROSPACE & ELECTRONICS CORPORATION Helmet-mounted biocular display system
US5374820A (en) * 1990-05-04 1994-12-20 Schmidt Optiek B.V. Lens system with movable magnifiers
US5739797A (en) * 1994-06-23 1998-04-14 Seiko Epson Corporation Head-mounted virtual image display device having switching means enabling user to select eye to view image
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2004191962A (ja) * 2002-11-29 2004-07-08 Brother Ind Ltd 画像表示装置
CN101414425A (zh) * 2007-10-16 2009-04-22 宋学锋 显示装置及其显示方法
CN102692706A (zh) * 2011-03-22 2012-09-26 精工爱普生株式会社 图像中继光学系统以及具备其的虚像显示装置
CN103353663A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN203587827U (zh) * 2012-08-17 2014-05-07 精工爱普生株式会社 导光装置及虚像显示装置
CN103995356A (zh) * 2014-05-30 2014-08-20 北京理工大学 一种真实立体感的光场头盔显示装置
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
WO2014129102A1 (en) * 2013-02-22 2014-08-28 Sony Corporation Display control apparatus, display apparatus, display control method, and program
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
WO2016209605A1 (en) * 2015-06-24 2016-12-29 Microsoft Technology Licensing, Llc Virtual place-located anchor

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749464A (ja) 1993-08-03 1995-02-21 Keibunshiya:Kk 頭部搭載型ディスプレイ装置
JPH09218376A (ja) 1996-02-09 1997-08-19 Sharp Corp 立体表示装置
US6967781B2 (en) * 2002-11-29 2005-11-22 Brother Kogyo Kabushiki Kaisha Image display apparatus for displaying image in variable direction relative to viewer
CN2736787Y (zh) * 2004-07-22 2005-10-26 匡维 液压连续变焦透镜
JP2010139589A (ja) 2008-12-10 2010-06-24 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
JP5499854B2 (ja) * 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
JP5434848B2 (ja) * 2010-08-18 2014-03-05 ソニー株式会社 表示装置
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
GB201302719D0 (en) * 2013-02-15 2013-04-03 Adlens Ltd Variable-power lens
JP6212877B2 (ja) * 2013-02-20 2017-10-18 富士通株式会社 画像表示装置及び画像表示方法
TWI490547B (zh) * 2013-05-07 2015-07-01 Shinyoptics Corp 自動調焦頭戴式顯示器
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
US10445573B2 (en) * 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
JP2016212177A (ja) * 2015-05-01 2016-12-15 セイコーエプソン株式会社 透過型表示装置
TWI569040B (zh) * 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
EP3979047A1 (en) * 2016-02-02 2022-04-06 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
CN117770757A (zh) * 2016-07-25 2024-03-29 奇跃公司 光场处理器系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5374820A (en) * 1990-05-04 1994-12-20 Schmidt Optiek B.V. Lens system with movable magnifiers
EP0579506A1 (en) * 1992-07-17 1994-01-19 KAISER AEROSPACE & ELECTRONICS CORPORATION Helmet-mounted biocular display system
US5739797A (en) * 1994-06-23 1998-04-14 Seiko Epson Corporation Head-mounted virtual image display device having switching means enabling user to select eye to view image
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2004191962A (ja) * 2002-11-29 2004-07-08 Brother Ind Ltd 画像表示装置
CN101414425A (zh) * 2007-10-16 2009-04-22 宋学锋 显示装置及其显示方法
CN102692706A (zh) * 2011-03-22 2012-09-26 精工爱普生株式会社 图像中继光学系统以及具备其的虚像显示装置
CN203587827U (zh) * 2012-08-17 2014-05-07 精工爱普生株式会社 导光装置及虚像显示装置
WO2014129102A1 (en) * 2013-02-22 2014-08-28 Sony Corporation Display control apparatus, display apparatus, display control method, and program
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN103353663A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103995356A (zh) * 2014-05-30 2014-08-20 北京理工大学 一种真实立体感的光场头盔显示装置
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
WO2016209605A1 (en) * 2015-06-24 2016-12-29 Microsoft Technology Licensing, Llc Virtual place-located anchor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
毛苗等.3-D视频的视差优化调整方法.《清华大学学报(自然科学版)》.2014,(第10期), *
观察立体影像时的视觉疲劳及其缓解措施;王飞 等,;《工程图学学报》;20111231(第4期);第80-83页 *

Also Published As

Publication number Publication date
CN108693648A (zh) 2018-10-23
US10481686B2 (en) 2019-11-19
US20180288359A1 (en) 2018-10-04
JP2018169428A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
CN108693648B (zh) 图像显示装置
TWI688789B (zh) 虛擬影像產生器及投影虛擬影像的方法
JP5990998B2 (ja) 虚像表示装置
US10397560B2 (en) Transmission-type display
US9851565B1 (en) Increasing effective eyebox size of an HMD
US10775633B1 (en) Exit pupil steering for near-eye displays
US10873742B2 (en) Head mounted display and image formation optical system
JP4155343B2 (ja) 二つの光景からの光を観察者の眼へ代替的に、あるいは同時に導くための光学系
US20150153572A1 (en) Adjustment of Location of Superimposed Image
US20130088413A1 (en) Method to Autofocus on Near-Eye Display
US10482676B2 (en) Systems and methods to provide an interactive environment over an expanded field-of-view
KR20170084094A (ko) 조정 가능 초점 평면 광학 시스템
KR20170017080A (ko) 디스플레이 장치
JP6707823B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6707809B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
US10914956B1 (en) Tiled display assemblies for artificial reality headset
US11716456B2 (en) Autocalibrated near-eye display
US10928635B1 (en) Curved display assembly for artificial reality headset
JP2011107382A (ja) 車両用表示装置
WO2018199245A1 (ja) 虚像表示装置及び移動体用表示システム
US11668946B1 (en) Interactive virtual reality display providing accommodation depth cues
EP3318914A1 (en) Gaze tracking
JP7424823B2 (ja) 画像表示装置
JPWO2019151314A1 (ja) 表示装置
WO2020189258A1 (ja) 表示装置、ヘッドアップディスプレイ装置、およびヘッドマウントディスプレイ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant