CN103913841B - 显示装置以及显示装置的控制方法 - Google Patents

显示装置以及显示装置的控制方法 Download PDF

Info

Publication number
CN103913841B
CN103913841B CN201410003313.2A CN201410003313A CN103913841B CN 103913841 B CN103913841 B CN 103913841B CN 201410003313 A CN201410003313 A CN 201410003313A CN 103913841 B CN103913841 B CN 103913841B
Authority
CN
China
Prior art keywords
light
input
image
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410003313.2A
Other languages
English (en)
Other versions
CN103913841A (zh
Inventor
小林伸
小林伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN103913841A publication Critical patent/CN103913841A/zh
Application granted granted Critical
Publication of CN103913841B publication Critical patent/CN103913841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种显示装置以及显示装置的控制方法,在显示装置中,能够使用可简单地利用的操作方法,实现操作性的提高。头戴式显示装置HM具备显示单元,其与外光重叠地输出图像光,使图像得以被视觉确认;以及输入检测部(165),其在与图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。

Description

显示装置以及显示装置的控制方法
技术领域
本发明涉及显示装置以及显示装置的控制方法。
背景技术
以往,作为针对用户佩戴的显示装置的输入操作的方法,公知有检测使用者的手指的手势的方法(例如,参照专利文献1)。
专利文献1:日本特开2008-17501号公报
上述以往的方法具备无需复杂的装置而能够简单地使用这样的优点,而另一方面,不得不对用户以外的人进行无意义的动作。因此,从给周围奇怪的印象的担心考虑,期待减少用户的心理的抗拒。
另外,并不局限于用户所佩戴的显示装置,在以能够视觉确认所显示的图像以外的景色等的方式显示图像的显示装置中,期待以不损坏显示图像以外的景色等的可视性地进行输入操作。
发明内容
本发明是鉴于上述事情而完成的发明,其目的在于,在显示装置中,能够使用可简单地利用的操作方法,并实现操作性的提高。
为了实现上述目的,本发明是显示装置,其特征在于,具备:显示单元,其通过输出图像光,来使通过上述图像光以外的光而被视觉确认的景色和由上述图像光形成的图像得以被视觉确认;以及操作检测单元,其在与上述图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。
根据本发明,若在与用户视觉确认的图像对应的范围内,检测出预先设定的规定的光,则显示装置对输入操作进行检测,因此能够仅由用户使发出规定的光的某装置发光来对输入操作进行检测。以检测出预先设定的光的方式,例如利用发光设备等发出光,从而能够进行输入操作,所以对用户所视觉确认的景象的影响小,例如能够以不损害用户视觉确认的景色的可视性的方式进行输入操作。
另外,为了实现上述目的,本发明是头戴式的显示装置,其特征在于,具备显示单元,其与外光重叠地输出图像光,并使图像得以被视觉确认;以及操作检测单元,其在与上述图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。
根据本发明,若在与用户视觉确认的图像对应的范围内,检测出预先设定的规定的光,则头戴式的显示装置对输入操作进行检测,因此能够仅由用户使发出规定的光的某装置发光来对输入操作进行检测。由于该操作没有给用户周围的人奇异的印象的担心,所以用户能够不担心周围而简单地进行执行。另外,用户使用的装置也可以不与显示装置电连接,如果能够发出预先设定的光则能够无限制地使用。例如也能够挪用使用于其他用途的装置。因此,由于无需专用的装置,所以能够更简单地进行操作。并且,由于通过预先设定的光来对输入操作进行检测的位置为与用户视觉确认的图像对应的范围,所以不会通过无关的环境光对输入操作进行检测,从而能够进行准确的输入操作。因此,能够实现头戴式的显示装置的操作性的提高。
另外,本发明是上述显示装置,其特征在于,具备外光检测单元,该外光检测单元对与上述显示装置的用户的视场对应的外光进行检测,其中,上述操作检测单元从通过上述外光检测单元检测出的外光来对上述预先设定的光进行检测。
根据本发明,由于能够利用简单的机构来快速地检测出通过用户的操作而发光的光,所以能够实现进一步的操作性的提高。
另外,本发明是上述显示装置,其特征在于,上述操作检测单元在与虚拟设定的输入检测区域对应的位置处检测出上述预先设定的光的情况下,对输入操作进行检测。
根据本发明,由于对输入操作进行检测的情况为预先设定的光在与输入检测区域对应的位置被检测出的情况,所以不会通过无关的环境光对输入操作进行检测,从而能够进行更准确的输入操作。
另外,本发明是上述显示装置,其特征在于,在上述输入检测区域配置有多个操作对象,上述操作检测单元判定与检测出上述预先设定的光的位置对应的上述操作对象被操作。
根据本发明,由于配置有多个通过预先设定的光对输入操作进行检测的操作对象,所以用户能够根据发出该光的位置进行多种输入操作,能够实现进一步的操作性的提高。
另外,本发明是上述显示装置,其特征在于,上述预先设定的光是可见光。
根据本发明,由于用户自身能够视觉确认为了输入操作而发出的光,所以能够更简单地进行准确的操作。
另外,本发明是上述显示装置,其特征在于,上述预先设定的光包含多个波段的光。
根据本发明,由于通过多个波段的光对输入操作进行检测,所以通过无关的环境光对输入操作进行检测的可能性变低,能够进行更准确的输入操作。
另外,本发明是上述显示装置,其特征在于,具备显示控制单元,该显示控制单元对上述图像进行表示上述操作检测单元所检测出的输入操作的显示。
根据本发明,由于用户能够视觉确认输入操作被检测出的情况,所以能够更简单地进行准确的操作。
另外,本发明是上述显示装置,其特征在于,是使使用者视觉确认图像的头戴式显示装置,上述显示单元包含图像光生成部,其使用显示用图像数据生成表示图像的图像光,并射出该图像光;以及光学部件,其将射出的上述图像光导向至上述使用者的眼睛,其中,上述外光透过上述光学部件与上述图像光一并射入至上述使用者的眼睛。
根据本发明,利用通过光学部件将图像光导向至使用者的眼睛,并且透过该光学部件将外光导向至使用者的眼睛的头戴式的显示装置,在外光内检测出预先设定的光的情况下,对输入操作进行检测。因此,若在用户能看见外光的范围内检测出预先设定的光,则头戴式的显示装置对输入操作进行检测,因而能够仅由用户使发出规定的光的某装置发光来对输入操作进行检测。而且,由于利用透视型的显示装置进行显示,从而能够实现高操作性。
另外,为了实现上述目的,本发明是显示装置的控制方法,其特征在于,通过输出图像光来使视觉确认通过上述图像光以外的光被视觉确认的景色和由上述图像光形成的图像,在与上述图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。
根据本发明,若在与用户视觉确认的图像对应的范围内,检测出预先设定的规定的光,则显示装置对输入操作进行检测,所以能够仅由用户使发出规定的光的某装置发光来对输入操作进行检测。以检测出预先设定的光的方式,例如利用发光设备等发光,从而能够进行输入操作,所以对用户视觉确认的景象的影响小,例如能够以不损坏用户视觉确认的景色的可视性的方式进行输入操作。
另外,为了实现上述目的,本发明是具备与外光重叠地输出图像光,并使图像得以被视觉确认的显示单元,且佩戴于头部的显示装置的控制方法,其特征在于,在与上述图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。
根据本发明,若在与用户视觉确认的图像对应的范围内,检测出预先设定的规定的光,则头戴式的显示装置对输入操作进行检测,因此能够仅由用户使发出规定的光的某装置发光来对输入操作进行检测。由于该操作没有给用户的周围的人奇异的印象的担心,所以用户能够不担心周围而简单地进行执行。另外,用户所使用的装置也可以不与显示装置电连接,如果能够发出预先设定的光则能够无限制地使用。例如也能够挪用使用于其他用途的装置。因此,由于无需专用的装置,所以能够更简单地进行操作。并且,通过预先设定的光对输入操作进行检测的位置为与用户视觉确认的图像对应的范围,所以不会通过无关的环境光来对输入操作进行检测,从而能够进行准确的输入操作。因此,能够实现头戴式的显示装置的操作性的提高。
此处,所谓预先设定的光,列举有例如预先设定的一个或者多个波长的光。另外,既可以是以预先设定的周期或者模式来周期性地发出的光,即脉冲状的光,也可以是以预先设定的周期或者模式来周期性地进行光量变化的光。另外,也可以包含光的波长以周期性地或者预先设定的模式变化的方式,例如不同颜色的光按顺序发光的方式。另外,也可以包含这些方式的光所组合的方式。另外,所谓由图像光以外的光形成的景色是用户通过显示装置所发出的图像光以外的外光、其他装置所发出的光等的光来视觉确认的即可,并不局限于周围的景象或者图像。
根据本发明,能够利用用户能够简单地执行的操作方法,来进行针对显示装置的输入操作。
附图说明
图1是本发明的实施方式的头戴式显示装置的外观图。
图2是表示头戴式显示装置的光学系统的概略构成的图。
图3是头戴式显示装置的控制系统的功能模块图。
图4是表示利用头戴式显示装置显示的输入辅助图像以及输入操作的例子的说明图,(A)表示利用虚拟键盘的例子,(B)表示利用包含输入辅助线的虚拟输入板的例子。
图5是利用了发光设备的操作的说明图,(A)表示使用发光设备进行的操作的例子,(B)表示变更了对发光设备的操作进行检测的检测区域的例子。
图6是表示头戴式显示装置的动作的流程图。
图7是利用了发光设备的操作的说明图,(A)表示使用发光设备进行的操作的例子,(B)表示变更了对发光设备的操作进行检测的检测区域的例子。
图8是表示头戴式显示装置的动作的流程图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
图1是本发明的实施方式的头戴式显示装置的外观图。
头戴式显示装置HM是佩戴于用户的头部的头戴式显示装置,被叫作头戴式显示器(HMD:Head Mounted Display)。本实施方式的头戴式显示装置HM是用户视觉确认虚像的同时也能够直接视觉确认外景的光学透射式的头戴式显示装置。
如图1所示,头戴式显示装置HM具备佩戴于用户的头部的图像显示部20、以及控制图像显示部20的控制装置10。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26以及左光学像显示部28。
右光学像显示部26以及左光学像显示部28分别位于用户的右眼以及左眼的眼前,在与用户的眉间对应的位置相互连接而成为一体。右保持部21从右光学像显示部26的端部ER延伸出,左保持部23从左光学像显示部28的端部EL延伸出。
右保持部21位于用户的右侧头部的侧方,其前端与用户的右耳卡合。另外,左保持部23位于用户左侧头部的侧方,其前端与用户的左耳卡合。通过这些右保持部21以及左保持部23的前端,和设置于右光学像显示部26以及左光学像显示部28的接合部的下端的鼻托部来支承头戴式表示装置HM。
在右保持部21的基端部内置有右显示驱动部22,在左保持部23的基端部内置有左显示驱动部24。通过这些右显示驱动部22以及左显示驱动部24,头戴式显示装置HM使用户的右眼和左眼分别视觉确认图像。
右光学像显示部26以及左光学像显示部28的前面侧即表面侧设置有调光板20A。调光板20A相对于右光学像显示部26以及左光学像显示部28可装卸,且能够更换安装多种调光板20A。调光板20A是薄板状的光学元件,能够使用光透光性几乎为零的元件、几乎透明的元件、使光量衰减地透过光的元件、使特定波长的光衰减或者反射的元件等各种元件,通过恰当地选择调光板20A的光学特性,能够调整从外部射入至右光学像显示部26以及左光学像显示部28的外光的光量。在本实施方式中,对于使用至少具有佩戴了头戴式显示装置HM的用户能够视觉确认外面的景色的程度的光透过性的调光板20A的情况进行说明。调光板20A也具有保护后述的右导光板261、左导光板262不受损伤、污垢的附着等功能。
另外,在头戴式显示装置HM的前面,在右光学像显示部26和左光学像显示部28的分界线部分配置有照相机61(拍摄单元)。照相机61的位置是头戴式显示装置HM的前面的大致中央,为用户的左右的眼的中间位置。
照相机61的拍摄方向即、视场角为头戴式显示装置HM的表侧方向,换言之,为对在佩戴了头戴式显示装置HM的状态下的用户的视场方向的至少一部分的外景进行拍摄的方向。优选是对用户通过面262A视觉确认的范围的外景进行拍摄的方向。另外,进一步优选对包含通过面262A被用户视觉确认的范围,且比该范围更广的范围进行拍摄。即,优选是能够对通过调光板20A的用户的视野整体进行拍摄。
照相机61进行静止图像的间歇性拍摄或者拍摄动态图像并输出拍摄图像数据。此外,在本实施方式中,虽然照相机61作为一个数码相机例示,但是也可以采用由多个数码相机构成的立体摄像机。
图2是表示图像显示部20中的光学系统的概略构成的图。该图2利用俯视图表示使用户的左眼LE视觉确认虚像的左显示驱动部24以及左导光板262的构成。因为使用户的左眼和右眼视觉确认虚像的各构成左右对称,所以此处仅对左显示驱动部24以及左导光板262进行说明。
图像显示部20的左显示驱动部24具备左背光灯222,其具有LED等的光源和扩散板;透射型的左LCD(Liquid Crystal Display:液晶显示器)242,其配置于从左背光灯222的扩散板发出的光的光路上;以及左投影光学系统252,其具备引导透过左LCD242的图像光L的透镜组等。
左投影光学系统252由使从左LCD242射出的图像光L成为并行状态的光束的准直透镜构成。经过左投影光学系统252的图像光L射入至左导光板262。左导光板262是形成有反射图像光L的多个反射面的棱镜,图像光L在左导光板262的内部经过多次反射导向至左眼LE侧。而且,被位于左眼LE的眼前的面262A反射的图像光L朝向左眼LE从右光学像显示部26射出,该图像光L在左眼LE的视网膜成像,使用户视觉确认图像。
此外,也将左投影光学系统252和左导光板262统称为“导光部”。该导光部只要是使用图像光在用户的眼前形成虚像即可,能够使用任意的方式,例如,可以使用衍射光栅,也可以使用半透过反射膜。
面262A由半透明反射镜构成。因此,对用户的左眼LE不仅射入被面262A反射的图像光L,还射入透过调光板20A的外光OL。即,头戴式显示装置HM使在内部处理的图像的图像光L和外光OL重叠地射入至用户眼睛,对于用户来说,透过头戴式显示装置HM的调光板20A看见外景,与该外景重叠地视觉确认由图像光L形成的图像。因此,头戴式显示装置HM能够叫作透视型的显示装置。
导向至头戴式显示装置HM的用户双眼的图像光L在用户的视网膜成像,从而用户得以视觉确认虚像。此处,对用户来说的外景和虚像的可视性受到外光OL和图像光L的光量的平衡的影响,在外光OL的光量大于图像光L的情况下,能够清楚看见外景,而另一方面,头戴式显示装置HM所处理(显示)的虚像的可视性低。相反,图像光L的光量大于外光OL的情况下,相对于头戴式显示装置HM处理(显示)的虚像的可视性高,外景的可视性低。
返回图1,头戴式显示装置HM具有将图像显示部20与控制装置10连接的连接部40。连接部40具有与控制装置10连接的主体软线48、和从主体软线48经由连结部件46分支的两根右软线42以及左软线44。其中,右软线42插入于右保持部21的框体内,与右显示驱动部22连接。左软线44插入于左保持部23的框体内,与左显示驱动部24连接。
图像显示部20和控制装置10经由连接部40进行各种信号的传输。右软线42、左软线44、以及主体软线48能够采用例如金属线缆、光纤。
控制装置10是用于操作头戴式显示装置HM的装置。控制装置10包含点亮部12、触摸板14、十字键16、以及电源开关18。
点亮部12具备由LED等构成的指示器,通过其发光状态来通知头戴式显示装置HM的动作状态(例如,电源的开/关等)。触摸板14对用户的手指的接触操作进行检测,输出与检测内容对应的信号。十字键16是与上下左右方向对应的键,输出与按下操作对应的信号。电源开关18是切换头戴式显示装置HM的电源状态的开关。
图3是表示头戴式显示装置HM的控制系统的构成的功能模块图。
控制装置10具备输入信息获取部110、存储部120、电源130、控制部140、通信接口185、以及发送部(Tx)51、52。前述的各部通过总线(图示省略)相互地连接。
输入信息获取部110获取例如与触摸板14、十字键16、电源开关18等的输入对应的信号。存储部120利用半导体存储器元件、磁存储装置等存储程序、数据。电源130具备例如二次电池,向头戴式显示装置HM的各部供给电力。
控制部140具备CPU、ROM、RAM等,通过执行存储于ROM或者存储部120的程序,来控制头戴式显示装置HM的各部。控制部140通过执行上述程序,还作为图像处理部160、输入检测部165(操作检测单元)、辅助图像处理部169、声音处理部170、以及显示控制部190发挥作用。
图像处理部160基于经由通信接口185输入的内容等生成供给至图像显示部20的信号,向图像显示部20发送。图像处理部160在经由通信接口185被输入模拟信号的情况下,进行A/D变换处理而生成数字图像数据(Data),与时钟信号(PCLK)、垂直同步信号(VSync)、以及水平同步信号(HSync)一起输出。另外,图像处理部160在数字图像数据被输入至通信接口185的情况下,进行帧频的变换、分辨率变换等各种处理,并将处理后的数字图像数据与时钟信号、垂直同步信号以及水平同步信号输出。
图像处理部160输出的信号经由发送部51输入至图像显示部20的右显示驱动部22,经由发送部52输入至左显示驱动部24。
显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言,显示控制部190按照控制信号分别控制通过右LCD控制部211进行的右LCD241的驱动开/关、通过右背光灯控制部201进行的右背光灯221的驱动开/关、通过左LCD控制部212进行的左LCD242的驱动开/关、通过左背光灯控制部202进行的左背光灯222的驱动开/关等,从而控制右显示驱动部22以及左显示驱动部24各自的图像光的生成以及射出。例如,显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光、或者仅使一方生成图像光、或者使双方均不生成图像光。
显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。另外,显示控制部190分别发送针对右背光灯控制部201和左背光灯控制部202的控制信号。
声音处理部170获取内容所包含的声音信号,并对获取的声音信号进行放大,经由连接部40供给至图像显示部20的右耳机32以及左耳机34。
通信接口185与外部的通信线路5连接,经由该通信线路5与外部的服务器6之间执行通信。通信接口185按照控制部140的控制与服务器6之间收发各种数据。通信接口185与通信线路5之间、以及构成通信线路5的具体的通信线路既可以是有线也可以是无线。
另外,通信接口185与个人计算机、移动电话终端、游戏机、DVD播放机等的视频播放设备等的外部设备连接,将从这些各设备输入的各种内容的模拟视频信号或者图像数据输出至显示控制部190。通信接口185也可以具备与上述设备有线连接的连接器、接口电路、或者无线LAN、Bluetooth(注册商标)等近距离无线通信接口。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、照相机61、右耳机32以及左耳机34。
右显示驱动部22具备接收部(Rx)53、右背光灯(BL)控制部201以及右背光灯(BL)221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、右投影光学系统251。
接收部53接收从发送部51输入的信号。右背光灯控制部201根据输入至接收部53的控制信号来驱动右背光灯221。右LCD控制部211根据输入至接收部53的时钟信号、垂直同步信号、水平同步信号、以及右眼用的图像数据,来驱动右LCD241。右LCD241是将多个像素呈矩阵状地配置的透射式液晶面板,被右LCD控制部211驱动来描绘各种图像。
同样地,左显示驱动部24具备接收部(Rx)54、左背光灯(BL)控制部202以及左背光灯(BL)222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、以及左投影光学系统252。
此外,将右背光灯控制部201、右LCD控制部211、右背光灯221、以及右LCD241统称为右侧的“图像光生成部”,将左背光灯控制部202、左LCD控制部212、左背光灯222、以及左LCD242统称为左侧的“图像光生成部”。另外,将右保持部21以及左保持部23仅统称为“保持部”,将右显示驱动部22以及左显示驱动部24仅统称为“显示驱动部”,也将右光学像显示部26以及左光学像显示部28仅统称为“光学像显示部”。
而且,利用这些显示驱动部和图像光生成部来构成本发明的显示单元。显示单元可以包含光学像显示部,也可以包含导光部。
接收部54接收从发送部52输入的信号。左背光灯控制部202根据输入至接收部54的控制信号,驱动左背光灯222。左LCD控制部212根据输入至接收部54的时钟信号、垂直同步信号、水平同步信号、以及左眼用的图像数据,来驱动左LCD242。左LCD242是将多个像素呈矩阵状地配置的透射式液晶面板,被左LCD控制部212驱动来描绘各种图像。
在以下的说明中,将用户利用头戴式显示装置HM视觉确认的虚像称为“图像”。该图像是形成于右LCD241、左LCD242的图像在用户的视网膜成像而被识别的图像。另外,将头戴式显示装置HM使用户视觉确认虚像称为“显示”。
控制部140利用图像显示部20显示从通信接口185输入的各种内容的图像,显示包含声音的内容的图像的情况下,与图像的显示一起,从耳机32、34输出声音。由此,用户能够视听各种视频内容。
在头戴式显示装置HM中,能够通过右显示驱动部22以及左显示驱动部24来显示操作用的输入辅助图像,在照相机61的拍摄范围内通过进行基于输入辅助图像的操作,从而输入文字或者图形。
在照相机61的拍摄范围内,通过移动用户的手指、笔状或者棒状的操作设备、或者激光指示器、LED等的光源等的指示体来进行该操作。
输入辅助图像是为了利用指示体来输入文字或者图形而由图像显示部20显示的图像,例如排列有文字的虚拟键盘、用于进行手写输入的线等。对输入辅助图像以后说明。
控制部140具备输入检测部165。输入检测部165还具备:图像解析部166,其获取照相机61的拍摄图像数据,并解析该拍摄图像数据从而对指示体进行检测;位置检测部167,其对通过图像解析部166检测出的指示体的位置、以及/或者移动进行检测;以及操作内容判定部168,其根据位置检测部167所检测出的指示体的位置、以及/或者移动来确定出被输入的输入内容。
存储部120存储有包含指示体的形状、颜色的特征的操作检测用数据122。图像解析部166根据操作检测用数据122从拍摄图像数据提取指示体的图像,位置检测部167根据该被提取出的图像对指示体的指示位置进行检测。指示体的指示位置是例如用户的指尖、操作设备的前端、光源的发光位置等。并且,位置检测部167根据连续拍摄的多个静止图像的拍摄图像数据,或者构成动态图像数据的多个帧检测指示体的指示位置,并比较这多个指示位置,从而对指示位置的计时性变化,换言之指示位置的移动或者轨迹进行检测。而且,根据这些指示位置的移动或者轨迹,操作内容判定部168确定被输入的内容,即图形或者文字。
操作检测用数据122包含有表示指示位置的移动或者轨迹的条件的数据。该数据是例如表示指示位置的移动的方向、移动的大小、移动的速度、一连串的移动的时间、以及轨迹的形状的数据等。在位置检测部167检测出的指示位置的移动或者轨迹符合操作检测用数据122所包含的条件的情况下,操作内容判定部168检测为与该条件对应的内容被输入。操作内容判定部168也可以使用操作检测用数据122所包含的多个不同条件,来辨别并确定多种输入内容。
并且,控制部140具备辅助图像处理部169。辅助图像处理部169在进行基于上述指示体的输入操作的情况下,生成用于显示输入辅助图像的数据并输出至显示控制部190,由右显示驱动部22以及左显示驱动部24进行显示。
存储部120存储有例如包含用于显示上述的虚拟键盘或者线的图像数据、向量数据的输入辅助图像数据124。输入辅助图像数据124也可以包含用于显示多种输入辅助图像的数据,在该情况下,辅助图像处理部169从输入辅助图像数据124选择数据来使用。
图4是表示利用头戴式显示装置HM显示的输入辅助图像以及输入操作的例子的说明图。图4(A)表示利用虚拟键盘的例子,(B)表示利用输入辅助线的例子。这些图4(A)、(B)是作为用户视觉确认的像表示的图。
在图4(A)所示的例子中,通过辅助图像处理部169的控制而显示有虚拟键盘330。虚拟键盘330是具有用于选择文字的键排列部331、和显示被选择的文字的输入文字显示部332的输入辅助图像。在键排列部331,与一般的QWERTY键盘相同地排列有文字,显示有用于选择各文字的框。如图所示,虚拟键盘330由线、文字构成,其背景色为不损坏外光OL的透过性的颜色。因此,虚拟键盘330与外景重叠地被用户视觉确认。
用户在例如将手指作为指示体使用的情况下,以自己的手指与键排列部331上所需要的文字重叠的方式进行操作。即,以指示体与键排列部331重叠的方式进行操作。输入检测部165通过图像解析部166对用户的指示体进行检测,通过位置检测部167对指示体的指示位置进行检测。然后,操作内容判定部168通过比较对照用户的视野中的虚拟键盘330的显示位置(用户视觉确认的位置)和由位置检测部167检测出的指示位置,来确定通过用户的操作而被选择的文字。
然后,控制部140将由操作内容判定部168确定出的文字作为输入的文字显示在输入文字显示部332。
在图4(A)的例子中,由用户的手指等指示体选择指定的文字“W”、“O”、“O”、“D”四个文字被显示在输入文字显示部332。
在图4(B)所示的例子中,通过辅助图像处理部169的控制,显示在纵向以及横向上分别等间隔地配置线的虚拟输入板335。虚拟输入板335是具有作为对描绘文字或者图形的操作进行检测的操作区域的输入区域336、和显示通过输入区域336中的操作而被输入的内容的输入内容显示部337的输入辅助图像,其被利用于通过指示体的移动来描绘并输入文字或者图形的情况。虚拟输入板335与虚拟键盘330同样地由文字或者线构成,其背景色为不损坏外光OL的可视性的颜色。虚拟输入板335与外景重叠地被用户视觉确认。
在图4(B)的例子中,在输入区域336的线形成的块中文字被以一文字单位地输入。在显示有输入区域336的情况下,用户使与虚拟输入板335重叠地被视觉确认的指示体在块中移动来描绘文字或者图形。在通过图像解析部166对指示体进行检测,通过位置检测部167对指示体的指示位置进行检测,操作内容判定部168比较虚拟输入板335的显示位置和指示位置,判定为一个块中的指示体的轨迹表示特定的文字的情况下,输入检测部165将该文字判定为被输入的文字。在图4(B)的例子中在输入内容显示部337显示有输入的“W”、“O”、“O”、“D”。
佩戴有头戴式显示装置HM的用户能够通过操作控制装置10的触摸板14、十字键16,来使虚拟键盘330、虚拟输入板335显示,并开始输入操作。
并且,头戴式显示装置HM在照相机61的可拍摄范围内,在预先设定的检测区域(输入检测区域)内检测出规定波长的光的情况下,显示虚拟键盘330或者虚拟输入板335,从而移至能够进行输入操作的状态。因此,用户能够通过使发出规定波长的光的装置(发光设备)在检测区域内发光,来开始输入操作。
该情况下,输入检测部165作为对上述规定波长的光进行检测的操作检测单元发挥作用。更详细而言,图像解析部166解析照相机61的拍摄图像数据,判定外光OL是否包含有规定波长的光。另外,位置检测部167对图像解析部166检测出的规定波长的光的发光位置进行检测,作为拍摄图像数据中的位置。操作内容判定部168根据由位置检测部167检测出的位置,判定是否是使用虚拟键盘330或者虚拟输入板335的输入操作开始的指示。
此外,输入检测部165检测的光是预先设定的光即可。所谓预先设定的光列举有例如预先设定的一个或者多个波长的光。另外,既可以是以预先设定的周期或者模式周期性地发光的光,即脉冲状的光,也可以是以预先设定的周期或者模式周期性地改变光量的光。另外,还可以包含光的波长周期性地或者以预先设定的模式变化的方式,例如不同的颜色的光按顺序发光的方式。另外,也可以包含这些方式的光所组合的方式。另外,预先设定的光可以是激光,也可以是可见光、红外光、紫外光。在输入检测部165从照相机61的拍摄图像数据检测出预先设定的光的构成中,照相机61的拍摄元件是能够接收并检测预先设定的光的元件即可。另外,输入检测部165并不局限于照相机61,也可以是利用其他受光元件的装置。
服务器6是存储用于在头戴式显示装置HM中进行强调显示的信息的服务器。服务器6能够从未图示的个人计算机等终端装置经由通信线路5来访问,对从该终端装置等发送的信息进行存储。对服务器6的具体的构成没有限制,头戴式显示装置HM通过进行数据通信能够获取信息即可。
控制部140能够从服务器6获取操作检测用数据122、输入辅助图像数据124,并存储于存储部120。
发光设备的具体的方式并未被特别限制,具备发光的功能即可,是以上述各种方式的发光中的任意一种发出预先设定的光的设备即可,不论装置的大小。例如,便携式电话机(包含智能手机)、便携式音乐播放机、便携式视频播放机等具备显示画面、被利用为指示器的LED等光源,所以能够作为发光设备使用。另外,控制装置10也因为具备点亮部12所以能够作为发光设备使用,即使手电筒、收音机等不具备控制装置的装置也能够作为发光设备使用。
输入检测部165检测的光的上述规定的波长能够以提高用户的便利性的方式任意地设定。例如,如果照相机61具备对红外光或者可见光进行检测的图像传感器的构成,则能够将红外区域、可视区域的波长设定为上述规定波长。另外,在可见光中,尤其是能够设定红色、绿色等任意波长,对应用户所使用的发光设备的光源的颜色即可。并且,也可以以使上述规定波长具有宽度,对属于规定波段的光进行检测的方式设定。
另外,在欲可靠地防止外光OL所包含的环境光或者用户利用的发光设备以外的装置所发出的光所引起的动作的情况下,可以将上述规定波长设定为多个波长或者波段。该情况下,因为能够将同时发出属于设定的波长或者波段的多个波长的光的装置作为发光设备使用,并能够清楚地与任意一个波长的光区别,所以能够防止用户无意的动作。
图5是头戴式显示装置HM动作的说明图,表示利用发光设备的操作的情况。(A)表示基于发光设备的操作的例子,(B)表示变更了对发光设备的操作进行检测的检测区域的例子。
图5以及后述的图7中的标记VA表示佩戴有头戴式显示装置HM的用户的视场(视野),DA表示图像显示部20的可显示区域。可显示区域DA指通过图像光L而得以被视觉确认图像的范围,由右LCD241以及左LCD242的可显示范围、右背光灯221以及左背光灯222的尺寸、右投影光学系统251、左投影光学系统252、右导光板261、以及左导光板262的光学特性等决定。在本实施方式中视场VA的大致中央存在矩形的可显示区域DA。头戴式显示装置HM能够在可显示区域DA中显示图像。
在以下的例子中,控制装置10被作为发光设备使用。
在图5(A)的例子中,照相机61的可拍摄范围与视场VA一致,该可拍摄范围的整体被设定为规定波段的光的检测区域。
若用户手拿控制装置10在与检测区域亦即视场VA重叠的位置处使点亮部12点亮,则点亮部12所发出的光被输入检测部165检测出。在该例子中,点亮部12例如具备红色LED作为光源,输入检测部165以从照相机61的拍摄图像检测包含红色LED的发光颜色的波段的光的方式而被设定。输入检测部165辨别为检测出光的位置是被设定的检测范围,进而控制辅助图像处理部169,来显示作为输入辅助图像的虚拟键盘330或者虚拟输入板335。之后,输入检测部165在与虚拟键盘330或者虚拟输入板335重叠的位置处对用户的手指等指示体进行检测,并受理输入操作。
另外,在照相机61的可拍摄范围大于视场VA的情况下,也可以在比视场VA更广的范围设定检测区域,在该检测区域内对发光设备所发出的光进行检测。
在图5(B)的例子中,照相机61能够对包含视场VA的周围的范围进行拍摄,在视场VA的周围设定有检测区域IA。如图5(B)所示的检测区域IA配置于视场VA的周围,是不包含视场VA的区域,在图中带斜线表示。若在该检测区域IA中若点亮部12发光,则输入检测部165对该光进行检测,输入辅助图像被显示。在图5(B)的例子中,因为检测区域IA不包含视场VA,所以用户看不见点亮部12的光,在用户感觉厌烦点亮部12的光的情况下有用。另外,当然也能够使检测区域IA成为包含视场VA的广阔的范围。
控制装置10等发光设备的操作不要求在检测区域IA中发光设备的光源从熄灭的状态点亮。即,使点亮的状态的发光设备从检测区域IA的外面向区域内移动的情况下,也与在检测区域IA中发光设备从熄灭切换为点亮的情况相同地检测该光。因此,用户也能够通过使点亮的发光设备移动来操作头戴式显示装置HM。
图6是表示头戴式显示装置HM的动作的流程图,尤其表示与发光设备的操作对应地显示输入辅助图像的动作。
若电源被接通开始动作,则头戴式显示装置HM对发光设备,即设定的波长的光的操作进行待机(步骤S11)。
输入检测部165获取照相机61的拍摄图像数据(步骤S12),根据该拍摄图像数据,通过图像解析部166对设定的波长的光进行检测(步骤S13)。此处,在设定的波长的光未被检测出的情况下(步骤S13;否),输入检测部165返回步骤S12。另一方面,通过图像解析部166检测出设定的波长的光的情况下(步骤S13;是),位置检测部167确定被检测出的光的位置(步骤S14)。并且,操作内容判定部168比较位置检测部167所确定出的位置和检测区域(步骤S15)。
此处,在检测出发光设备的光的位置不是检测区域内的情况下(步骤S16;否),输入检测部165返回步骤S12。另一方面,在检测出发光设备的光的位置是检测区域内的情况下(步骤S16;是),控制部140通过辅助图像处理部169显示输入辅助图像(步骤S17),对使用了该输入辅助图像的输入操作(例如,文字输入操作)进行检测(步骤S18),之后结束动作。
这样,在头戴式显示装置HM中,能够通过使控制装置10等具有光源的发光设备在被设定为照相机61的拍摄范围的检测区域内发光,从而使虚拟键盘330或者虚拟输入板335显示,来开始文字输入或者图形输入。
另外,在头戴式显示装置HM中,能够将发光设备所发出的光作为指示体,来操作头戴式显示装置HM。
图7是头戴式显示装置HM的动作的说明图,表示利用了发光设备的操作的情况。(A)表示基于发光设备的操作的例子,(B)表示变更了对发光设备的操作进行检测的检测区域的例子。
在图7(A)的例子中,照相机61的可拍摄范围与视场VA一致,该可拍摄范围的整体被设定为规定波段的光的检测区域。
在可显示区域DA显示有用于通过发光设备控制头戴式显示装置HM的功能的图标341、342、343。图标341、342、343构成GUI(Graphical User Interface:图形用户界面),若选择指定了任意一个图标,则头戴式显示装置HM执行已与所指定的图标建立关联的功能。在图7(A)的例子中,图标341与音乐播放功能建立关联,图标342与引导功能的开始指示建立关联,图标343与引导功能的结束指示建立关联。用户能够通过使控制装置10的点亮部12在与图标341、342、343的任意一个重叠的位置点亮,来使上述功能执行。
另外,如图7(B)所示,在检测区域IA配置于视场VA的外面的情况下,可以在检测区域IA设置与图标341、342、343对应的检测区域,将各检测区域中的操作作为针对图标341、342、343的操作来检测出。
在图7(B)的例子中,配置于视场VA的周围的检测区域IA被分割为四个检测区域IA1、IA2、IA3、IA4,被分割而成的检测区域IA1、IA2、IA3分别与图标341、342、343对应。在该例子中未配置与检测区域IA4对应的图标。
在该图7(B)的例子中,点亮部12所发出的光不在图标341上而在检测区域IA1被检测出的情况下,控制部140执行已与图标341建立关联的功能。同样地,在检测区域IA2、IA3中点亮部12的光被检测出的情况下也同样地执行与图标342、343建立关联的功能。在该图7(B)的例子中,因为检测区域IA不包含视场VA,所以用户看不见点亮部12的光,在用户感觉厌烦点亮部12的光的情况下有用。并且,例如若点亮部12在点亮的状态下,从检测区域IA的外面向视场VA移动,则在点亮部12到达检测领域IA时光被检测出。该情况下,用户能够通过使控制装置10移动的操作来执行与图标341、342、343对应的功能,因为无需使点亮部12的位置对准图标341、342、343,所以能够更简单地操作头戴式显示装置HM。
图8是表示头戴式显示装置HM的动作的流程图,尤其表示与发光设备的操作对应地执行与图标对应的功能的动作。
由于图8的步骤S11~S14的动作与图6相同所以省略说明。
操作内容判定部168将位置检测部167在步骤S14中确定出的位置与设置于检测区域内的图标的位置或者与图标对应的位置(例如,检测区域IA1~IA3)进行比较(步骤S21)。此处,在确定出的位置不是检测区域内的情况下(步骤S22;否),输入检测部165返回步骤S12。另一方面,在确定出的位置是检测区域内的情况下(步骤S22;是),操作内容判定部168判定是否设定有与检测出的位置对应的功能(步骤S23)。此处,在有对应的功能的情况下,即,在位置检测部167在步骤S14中确定出的位置与设置于检测区域内的图标的位置或者与图标对应的位置重叠的情况下(步骤S23;是),控制部140执行对应的功能(步骤S24),并结束本处理。
与此相对,在位置检测部167在步骤S14中确定出的位置与设置于检测区域内的图标的位置或者与图标对应的位置不相符的情况下,判定为未设定有对应的功能(步骤S23;否),移至能够进行通常的输入操作的状态。即,控制部140通过辅助图像处理部169显示输入辅助图像(步骤S17),对使用该输入辅助图像的输入操作(例如,文字输入操作)进行检测(步骤S18),之后结束动作。
如以上说明,应用了本发明的实施方式的头戴式显示装置HM具备显示单元,其通过输出图像光来使由图像光以外的外光形成的景色和由图像光形成的图像得以被视觉确认;以及输入检测部165,其在与图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测。由此,若在与用户视觉确认的图像对应的范围内,对预先设定的规定光进行检测,则头戴式显示装置HM检测输入操作。因此,能够仅由用户使发出规定光的任意装置发光来检测输入操作。以检测出预先设定的光的方式,例如通过发光设备等发光,从而能够进行输入操作,所以对用户视觉确认的景象的影响小,例如能够以不损害用户视觉确认的景色的可视性的方式来进行输入操作。
另外,实施方式的头戴式显示装置HM具备显示单元,其与外光重叠地输出图像光,使图像得以被视觉确认;以及输入检测部165,其在与图像对应的范围内检测出预先设定的光的情况下,对输入操作进行检测,其中,由于通过规定光对输入操作进行检测,所以能够仅由用户使发出预先设定的光的发光设备发光来进行输入操作。由于该操作没有给予用户的周围的人奇异印象的担心,所以用户能够不担心周围而简单地进行执行。由此,鉴于使用头戴式的显示装置的用户担心给周围奇异的印象的可能性,减少用户的心理的抗拒,所以能够实现如下的目的,即在头戴式的显示装置中能够使用可简单地利用的操作方法,实现操作性的提高。
另外,用户所使用的发光设备可以不与头戴式显示装置HM电连接,无需与头戴式显示装置HM的动作连动的控制,只要能够发出预先设定的波长的光,则能够无限制地使用。例如也能够挪用使用于其他的用途的装置。因此,无需专用的装置,便能够更简单地进行操作。并且,对预先设定的波长的光进行检测的检测区域为与用户视觉确认的图像的可显示区域DA或者与视场VA对应的范围,所以不会通过无关的环境光对输入操作进行操作,而能够进行准确的输入操作。因此,能够实现头戴式的显示装置的操作性的提高。
另外,头戴式显示装置HM具备对与用户的视场对应的外光进行检测的照相机61,输入检测部165基于照相机61的拍摄图像数据对预先设定的波长的光进行检测,因此能够实现进一步的操作性的提高。
另外,因为头戴式显示装置HM通过辅助图像处理部169进行表示被输入检测部165检测出的输入操作的显示,所以能够更简单地进行正确的操作。
另外,如图5(A)、(B)以及图7(A)、(B)所示,由于输入检测部165在与虚拟设定的检测区域IA对应的位置处检测出预先设定的波长的光的情况下,对输入操作进行检测,所以不会通过无关的环境光对输入操作进行检测,而能够进行更准确的输入操作。
预先设定的波长的光可以是可见光,由于在该情况下,用户自身能够视觉确认为了进行输入操作而发出的光,所以能够更简单地进行准确的操作。
并且,可以使预先设定的波长的光包含多个波段的光,由于在该情况下,通过多个波段的光对输入操作进行检测,所以通过无关的环境光对输入操作进行检测的可能性降低,能够进行更准确的输入操作。
另外,头戴式显示装置HM的显示单元包含右显示驱动部22以及左显示驱动部24,它们使用显示用图像数据生成表示图像的图像光,并射出该图像光;以及右导光板261以及左导光板262,它们将射出的图像光导向至用户的眼睛,其中,外光透过右导光板261以及左导光板262与图像光一起射入至用户的右眼RE、左眼LE。
因此,能够利用通过右导光板261以及左导光板262将图像光导向至右眼RE、左眼LE,并且透过右导光板261以及左导光板262,将外景的光导向至右眼RE、左眼LE的头戴式的显示装置,通过检测在外光中预先设定的光,从而检测输入操作。
另外,在图7(A)、(B)的例子中,检测区域IA配置有多个作为操作对象的图标341、342、343或者与各图标对应的检测区域IA1~3,输入检测部165判定为与检测出预先设定的波长的光的位置对应的图标被操作,所以用户能够根据使发光设备发光的位置进行多种输入操作,能够实现进一步的操作性的提高。
此外,上述的实施方式是表示应用本发明的一个例子的方式,本发明的构成以及本发明的应用范围并不局限于上述实施方式的构成。例如,作为输入辅助图像,并不局限于如图4(A)、(B)所示的虚拟键盘330、虚拟输入板335,是成为用户的输入操作的辅助的图像即可,并不局限于线,也可以是通过其他的图形等引导操作的图像。
另外,在上述实施方式中,作为头戴式显示装置的一个例子,列举用户具备如眼镜那样佩戴的图像显示部20的构成进行了说明,但是本发明并不局限于此,代替图像显示部20,可以构成为具备例犹如帽子那样佩戴的图像显示部、组装到头盔等的图像显示部。另外,耳机32、34也可以采用挂耳型、头带型,也可以省略。
另外,在上述实施方式中,例如,作为图像光生成部具备左右的背光灯221、222;左右的背光灯控制部201、202;左右的LCD241、242;以及左右的LCD控制部211、212的构成进行了说明。该实施方式的形态只是一个例子,图像光生成部也可以与上述的构成部一起,或者代替这些构成部,而具备用于实现其他方式的构成部。例如,图像光生成部也可以构成为具备有机EL(有机电致发光,Organic Electro-Luminescence)面板等的自发光型的显示器、和控制其发光的控制部的构成。另外,例如图像生成部也能够使用LCOS(注册商标)(Liquidcrystal on silicon)、数字微镜设备(DMD)等代替LCD。该情况下,图像生成部具备LED等的光源,并将该光源所发出的光通过LCOS或者DMD调制来生成图像光。
另外,例如,也能够对激光视网膜投影型的头戴式显示器应用本发明。即,也可以采用图像生成部具备激光光源、和将激光光源导向用户眼睛的光学系统,通过使激光射入至用户的眼睛进而在视网膜上进行扫描,并在视网膜上成像,来使用户视觉确认图像的构成。在采用激光视网膜投影型的头戴式显示器的情况下,“图像光生成部中的图像光的可射出区域”能够定义为被使用者的眼睛识别的图像区域。
在头戴式显示器中,作为将图像生成部所生成的图像光导向至用户的眼睛的光学系统,能够采用具备透过从外部向装置入射的外光的光学部件,并与图像光一并射入至用户的眼睛的构成。另外,也可以使用位于用户眼睛的前方且与用户的视场的一部分或者全部重叠的光学部件。并且,也可以采用使激光等进行扫描来作为图像光的扫描方式的光学系统。另外,并不局限于在光学部件的内部引导图像光的光学部件,也可以是仅具有朝向用户眼睛使图像光折射以及/或者反射来进行引导的功能的光学部件。
另外,在上述实施方式中,列举佩戴于用户的头部的头戴式显示装置HM为例子进行了说明,本发明的方式并不局限于此。另外,本发明能够应用于能够视觉确认由图像光以外的光形成的景色的显示装置,由图像光以外的光形成的景色是用户通过显示装置所发出的图像光以外的外光或者其他的装置所发出的光等的光来视觉确认的即可,并不局限于周围的景象、图像。例如,还能够在远离用户的位置固定地或者可动地设置的显示面发出图像光来形成图像的显示装置应用本发明。作为发出图像光的构成,例如,能够使用将放电管、LED、激光作为光源的投影仪。作为具体的例子,列举有向车辆的窗玻璃射入图像光,使乘车的用户或者在车辆的外面的用户与图像光形成的图像一起视觉确认车辆内外的景色的显示装置的构成。另外,例如,列举有向固定地设置于建筑物的窗玻璃等的透明或者半透明、或者有色透明的显示面射入图像光,使在显示面的周围的用户,与由图像光形成的图像一起,透过显示面视觉确认景色的显示装置的构成。在这些构成例子中,在显示面的用户侧或者相反的一侧设置输入检测部即可,也可以在远离显示面的位置,以能够对能够透过显示面视觉确认的范围中的预先设定的光进行检测的方式设置输入检测部。另外,由显示装置所发出的图像光以外的光形成的景色是用户通过显示装置所发出的图像光以外的外光、其他的装置所发出的光等的光来视觉确认的景色即可,并不局限于周围的景象、图像。
并且,本发明也当然能够应用于在用户能看见的范围配置成为显示面的光学部件,使该光学部件通过图像光视觉确认图像的头戴式显示器等。
另外,也能够将本发明应用于利用了MEMS显示器技术的显示装置。
上述实施方式的头戴式显示装置HM也可以构成为使用具备左右的背光灯221、222、左右的背光灯控制部201、202、左右的LCD241、242、左右的LCD控制部211、212的图像光生成部,并将图像光生成部所生成的光通过右导光板261以及左导光板262导向至用户的眼睛。
与此相对,也可以采用使用了MEMS反射镜的扫描光学系统。即,作为图像显示元件,可以具备信号光形成部、具有扫描信号光形成部所射出的光的MEMS反射镜的扫描光学系统、以及通过利用扫描光学系统扫描的光来形成虚像的光学部件。在该构成中,信号光形成部所射出的光被MEMS反射镜反射,射入光学部件,在光学部件中被引导,到达虚像形成面。通过MEMS反射镜扫描光,在虚像形成面形成虚像,用户用的眼睛捕捉该虚像,从而图像被识别。该情况下的光学部件可以是例如上述实施方式的右导光板261以及左导光板262那样,经过多次反射来引导光的光学部件,虚像形成面也可以如面262A那样为半透明反射镜面。
并且,并不局限于将控制部140所执行的程序存储在存储部120的构成,例如也可以将上述程序存储在与计算机可读取的便携式记录介质或者与控制装置10外部连接的存储装置、或者经由有线或者无线通信线路与控制装置10连接的装置,根据需要,使控制装置10读取程序并执行。当然,其他的头戴式显示装置HM的详细构成也能够任意地变更。
符号说明
6…服务器,10…控制装置,14…触摸板,16…十字键,20…图像显示部,20A…调光板,22…右显示驱动部,24…左显示驱动部,26…右光学像显示部,28…左光学像显示部,61…照相机(拍摄单元),120…存储部,140…控制部,165…输入检测部(操作检测单元),166…图像解析部,167…位置检测部,168…输入内容判定部,169…辅助图像处理部,160…图像处理部,185…通信接口,190…显示控制部,221…右背光灯,222…左背光灯,241…右LCD,242…左LCD,251…右投影光学系统,252…左投影光学系统,261…右导光板(光学部件),262…左导光板(光学部件),262A…面,HM…头戴式显示装置(显示装置),L…图像光,OL…外光。

Claims (13)

1.一种显示装置,其特征在于,
具备:
显示单元,其通过输出图像光,来使通过所述图像光以外的光而被视觉确认的景色和由所述图像光形成的图像得以被视觉确认;以及
输入检测部,其在与所设定的输入检测区域对应的位置检测预先设定的光并对输入操作进行检测,
所述输入检测部包括操作内容判定部,该操作内容判定部确定输入操作的内容,
所述输入检测部在与所设定的输入检测区域对应的位置检测出所述预先设定的光的情况下,控制辅助图像处理部,以显示输入辅助图像,从而移至能够进行所述输入操作的状态,并通过所述操作内容判定部确定输入操作的内容。
2.一种显示装置,其特征在于,其为头戴式的显示装置,具备:
显示单元,其与外光重叠地输出图像光,使图像得以被视觉确认;以及
输入检测部,其在与所设定的输入检测区域对应的位置检测预先设定的光并对输入操作进行检测,
所述输入检测部包括操作内容判定部,该操作内容判定部确定输入操作的内容,
所述输入检测部在与所设定的输入检测区域对应的位置检测出所述预先设定的光的情况下,控制辅助图像处理部,以显示输入辅助图像,从而移至能够进行所述输入操作的状态,并通过所述操作内容判定部确定输入操作的内容。
3.根据权利要求2所述的显示装置,其特征在于,
所述输入检测区域是与所述显示装置的用户的视野对应的区域。
4.根据权利要求2所述的显示装置,其特征在于,
所述输入检测区域是比与所述显示装置的用户的视野对应的区域大的区域。
5.根据权利要求2所述的显示装置,其特征在于,
所述输入检测区域位于与所述显示装置的用户的视野对应的区域的周围。
6.根据权利要求4或5所述的显示装置,其特征在于,
在所述输入检测区域中配置有多个操作对象,
所述操作内容判定部判定为与检测出所述预先设定的光的位置对应的所述操作对象被操作,并在检测出所述预先设定的光的位置处无对应的操作对象的情况下,通过辅助图像处理部显示输入辅助图像,从而移至能够进行所述输入操作的状态。
7.根据权利要求2~5中任意一项所述的显示装置,其特征在于,
所述显示装置是使使用者视觉确认图像的头戴式显示装置,
所述显示单元包含:
图像光生成部,其使用显示用图像数据来生成表示图像的图像光,并射出该图像光;以及
光学部件,其将射出的所述图像光导向所述使用者的眼睛,
所述外光透过所述光学部件与所述图像光一起射入至所述使用者的眼睛。
8.根据权利要求1~5中任意一项所述的显示装置,其特征在于,
所述预先设定的光是可见光。
9.根据权利要求1~5中任意一项所述的显示装置,其特征在于,
所述预先设定的光包含多个波段的光。
10.根据权利要求1~5中任意一项所述的显示装置,其特征在于,
具备显示控制单元,该显示控制单元对所述图像进行表示由所述操作内容判定部确定出的输入操作的内容的显示。
11.根据权利要求1~5中任意一项所述的显示装置,其特征在于,
所述输入检测部将所述预先设定的光作为指示体检测。
12.一种显示装置的控制方法,其特征在于,
通过输出图像光来使通过所述图像光以外的光而被视觉确认的景色和由所述图像光形成的图像得以被视觉确认,
在与所设定的输入检测区域对应的位置检测出预先设定的光的情况下,
显示输入辅助图像,从而移至能够进行所述输入操作的状态并对输入操作进行检测。
13.一种显示装置的控制方法,其特征在于,
是具备与外光重叠地输出图像光并使图像得以被视觉确认的显示单元,且被佩戴于头部的显示装置的控制方法,
在与所设定的输入检测区域对应的位置检测出预先设定的光的情况下,
显示输入辅助图像,从而移至能够进行所述输入操作的状态并对输入操作进行检测。
CN201410003313.2A 2013-01-07 2014-01-03 显示装置以及显示装置的控制方法 Active CN103913841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-000363 2013-01-07
JP2013000363A JP6149403B2 (ja) 2013-01-07 2013-01-07 表示装置、および、表示装置の制御方法

Publications (2)

Publication Number Publication Date
CN103913841A CN103913841A (zh) 2014-07-09
CN103913841B true CN103913841B (zh) 2018-10-09

Family

ID=51039650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410003313.2A Active CN103913841B (zh) 2013-01-07 2014-01-03 显示装置以及显示装置的控制方法

Country Status (3)

Country Link
US (1) US9348144B2 (zh)
JP (1) JP6149403B2 (zh)
CN (1) CN103913841B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
JP6483514B2 (ja) * 2015-04-28 2019-03-13 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
JP6593028B2 (ja) * 2015-08-24 2019-10-23 セイコーエプソン株式会社 透過型表示装置
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
JP6919222B2 (ja) * 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
JP2019048577A (ja) * 2017-09-11 2019-03-28 本田技研工業株式会社 車両用外板パネル、車両用表示カーテン、車両用表示幌及び車両用表示システム
CN112384879A (zh) * 2018-07-04 2021-02-19 麦克赛尔株式会社 头戴式显示器和设定方法
CN112423190A (zh) 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029619A (ja) 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2000284886A (ja) 1999-03-31 2000-10-13 Canon Inc テキスト入力システム、テキスト入力方法、メニュー選択方法及び記憶媒体
JP2001142605A (ja) * 1999-11-10 2001-05-25 Shimadzu Corp 入力システム
JP2001356875A (ja) * 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
US20020071287A1 (en) * 2000-12-13 2002-06-13 3M Innovative Properties Company Laser pointer with multiple color beams
JP2002259046A (ja) 2001-02-28 2002-09-13 Tomoya Sonoda 空中で手描きした文字・記号入力システム
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
KR101284797B1 (ko) * 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20130093661A1 (en) * 2011-10-17 2013-04-18 Nokia Corporation Methods and apparatus for facilitating user interaction with a see-through display
US8854452B1 (en) * 2012-05-16 2014-10-07 Google Inc. Functionality of a multi-state button of a computing device

Also Published As

Publication number Publication date
JP2014132719A (ja) 2014-07-17
JP6149403B2 (ja) 2017-06-21
US9348144B2 (en) 2016-05-24
CN103913841A (zh) 2014-07-09
US20140191942A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
CN103913841B (zh) 显示装置以及显示装置的控制方法
US10642564B2 (en) Display system, display device, information display method, and program
US10635169B2 (en) Eye-tracking enabled wearable devices
US10565446B2 (en) Eye-tracking enabled wearable devices
CN104345456B (zh) 显示装置、显示系统以及显示装置的控制方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US10739851B2 (en) Eye-tracking enabled wearable devices
CN105319717B (zh) 用于显示图像的头戴式显示设备及其方法
CN103309034B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103984097B (zh) 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
KR102601682B1 (ko) 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
CN104423583B (zh) 头部佩戴型显示装置、图像显示系统及信息处理装置
CN104280884B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
JP6111659B2 (ja) 表示装置、および、表示装置の制御方法
CN106662747A (zh) 用于增强现实和虚拟现实感知的具有电致变色调光模块的头戴式显示器
JP2015023381A (ja) 透過型表示装置および透過型表示装置の制御方法
CN108875473A (zh) 活体验证方法、装置和系统及存储介质
US10908425B2 (en) Transmission-type head mounted display apparatus, display control method, and computer program
JP6540426B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
KR20110077729A (ko) 휴대 단말기 및 그 동작 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant