CN106662921A - 显示装置、控制显示装置的方法、以及程序 - Google Patents

显示装置、控制显示装置的方法、以及程序 Download PDF

Info

Publication number
CN106662921A
CN106662921A CN201580037814.5A CN201580037814A CN106662921A CN 106662921 A CN106662921 A CN 106662921A CN 201580037814 A CN201580037814 A CN 201580037814A CN 106662921 A CN106662921 A CN 106662921A
Authority
CN
China
Prior art keywords
display
unit
image
target
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580037814.5A
Other languages
English (en)
Inventor
千代薰
津田敦也
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN106662921A publication Critical patent/CN106662921A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示装置通过安装在用户身体上而被使用，该头戴式显示装置包括图像显示单元，其中外部场景被透射通过图像显示单元，并且图像显示单元显示图像，使得图像与外部场景一起能够在视觉上被识别。此外，头戴式显示装置包括目标检测单元和位置检测单元，目标检测单元沿视线方向检测用户的目标，位置检测单元检测目标关于图像显示单元的显示区域的位置。此外，头戴式显示装置包括信息显示控制单元，信息显示控制单元基于由位置检测单元检测的目标的位置来确定信息的显示位置，并且允许图像显示单元显示信息。

Description

显示装置、控制显示装置的方法、以及程序
技术领域
本发明涉及显示装置、控制显示装置的方法、以及程序。
背景技术
在相关技术中，作为显示装置，已知的是具有显示语句功能的可穿戴式显示装置(参见PTL 1)。PTL 1中所公开的装置改变显示属性，如语句数据中的一些字符或字的字体大小或字符颜色，使得用户可以容易地掌握所显示的语句数据的内容。因此，例如，可以更快速且容易地识别语句中的一些字符。
引用列表
专利文献
PTL 1：JP-A-2014-56217
发明内容
技术问题
在PTL 1所公开的装置中，显示属性对应于要被显示的信息的内容而被改变，使得表示特定字段的字的字体大小等增大。同时，在相关技术中，没有对应于使用该装置的用户或装置的外部环境来执行显示的技术。例如，尚未考虑正在使用的可穿戴式显示装置的位置或环境。
问题的解决方案
本发明的一些方面的优点是提供一种用于对应于装置以外的外部因素来显示信息的显示装置、控制显示装置的方法、以及程序。
本发明的一个方面涉及一种通过安装在用户身体上而被使用的显示装置，该显示装置包括：显示单元，其中外部场景被透射通过该显示单元，并且该显示单元显示图像，使得图像与外部场景一起能够在视觉上被识别；目标检测单元，该目标检测单元沿视线方向检测用户的目标；位置检测单元，该位置检测单元检测目标关于显示单元的显示区域的位置；以及信息显示控制单元，该信息显示控制单元基于由位置检测单元检测的目标的位置来确定信息的显示位置，并且允许显示单元显示信息。
根据本发明的这方面，由于对应于安装有显示装置的用户的目标沿视线方向显示信息，所以可以通过调整用户看到的外部场景的外观和要显示的信息来显示信息。因此，可以显示信息，以使得对应于显示装置以外的外部因素容易地看到信息。
显示装置还包括成像单元，成像单元对用户的视线方向进行成像，以及目标检测单元可以基于成像单元的捕获图像来检测用户通过显示单元在视觉上识别的目标。
根据本发明的具有这样配置的这方面，可以更可靠地沿视线方向检测目标。
在显示装置中，位置检测单元可以基于成像单元的捕获图像来检测目标的位置。
根据本发明的具有这样配置的这方面，可以更快速地获取目标关于显示区域的位置。
在显示装置中，位置检测单元可以基于包括成像单元的捕获图像的多条信息来检测目标的位置。
根据本发明的具有这样配置的这方面，可以更准确地获取目标关于显示区域的位置。
在显示装置中，信息显示控制单元可以允许显示单元显示与目标检测单元检测的目标有关的附加信息。
根据本发明的具有这样配置的这方面，可以显示与目标有关的附加信息，使得用户可以看到目标连同附加信息。
在显示装置中，位置检测单元可以检测用户通过显示单元的显示区域在视觉上识别目标的位置。
根据本发明的具有这样配置的这方面，可以使用用户在视觉上识别目标的位置作为参考来显示信息。例如，可以显示信息以使得与目标交叠，或者在避开目标的位置处显示信息。
在显示装置中，信息显示控制单元可以允许显示信息，使得显示区域与位置检测单元检测的目标的位置交叠。
根据本发明的具有这样配置的这方面，可以显示信息以使得在信息与目标交叠的状态下可以看到信息。
显示装置还可以包括距离检测单元，该距离检测单元检测目标与用户之间的距离，以及信息显示控制单元可以确定信息的显示模式，并且允许显示单元根据距离检测单元检测的距离以确定的显示模式显示信息。
根据本发明的具有这样配置的这方面，可以对应于目标和用户之间的位置关系来改变显示模式。
本发明的另一方面涉及一种控制显示装置的方法，该显示装置包括显示单元，其中外部场景被透射通过显示单元，并且显示单元显示图像，使得图像与外部场景一起能够在视觉上被识别，并且显示装置通过安装在用户身体上而被使用，该方法包括：沿视线方向检测用户的目标；检测目标关于显示单元的显示区域的位置；以及基于目标的位置来确定信息的显示位置，并且允许显示单元显示信息。
根据本发明的这方面，由于对应于安装有显示装置的用户的目标沿视线方向显示信息，所以可以通过调整用户看到的外部场景的外观和要显示的信息来显示信息。因此，可以显示信息，以使得对应于显示装置以外的外部因素容易地看到信息。
本发明的又一方面涉及一种能够被计算机执行的控制显示装置的程序，该显示装置包括显示单元，其中外部场景被透射通过显示单元，并且显示单元显示图像，使得图像与外部场景一起能够在视觉上被识别，并且显示装置通过安装在用户身体上而被使用，该程序使计算机用作为：目标检测单元，该目标检测单元沿视线方向检测用户的目标；位置检测单元，该位置检测单元检测目标关于显示单元的显示区域的位置；以及信息显示控制单元，该信息显示控制单元基于由位置检测单元检测的目标的位置来确定信息的显示位置，并且允许显示单元显示信息。
根据本发明的这方面，由于对应于安装有显示装置的用户的目标沿视线方向显示信息，所以可以通过调整用户看到的外部场景的外观和要显示的信息来显示信息。因此，可以显示信息，以使得对应于显示装置以外的外部因素容易地看到信息。
附图说明
图1是示出头戴式显示装置的外部配置的图示。
图2是示出头戴式显示装置的功能配置的框图。
图3是示出头戴式显示装置的操作的流程图。
图4是具体示出目标检测处理的流程图。
图5是具体示出显示处理的流程图。
图6A是示出头戴式显示装置的典型应用示例的图示，并且是示意地示出使用头戴式显示装置的剧院的配置的图示。
图6B是示出头戴式显示装置的典型应用示例的图示，并且示出了在剧院中使用头戴式显示装置的用户的视野的示例。
图6C是示出头戴式显示装置的典型应用示例的图示，并且示出了在剧院中使用头戴式显示装置的用户的视野的示例。
图6D是示出头戴式显示装置的典型应用示例的图示，并且示出了在剧院中使用头戴式显示装置的用户的视野的示例。
图7A是示出头戴式显示装置的典型应用示例的图示，并且示出了在剧院中使用头戴式显示装置的用户的视野的示例。
图7B是示出头戴式显示装置的典型应用示例的图示，并且示出了在剧院中使用头戴式显示装置的用户的视野的示例。
具体实施方式
图1是示出头戴式显示装置100的外部配置的说明图。头戴式显示装置100是安装在头部的并且被称为头戴式显示器(HMD)的显示装置。根据本实施方式的头戴式显示装置100是在用户在视觉上识别虚拟图像的同时能够直接在视觉上识别外部场景的光透射型头戴式显示装置。此外，在本说明书中，由使用头戴式显示装置100的用户在视觉上识别的虚拟图像被简称为“显示图像”。此外，发射基于图像数据而生成的图像光被表示为“对图像进行显示”。
头戴式显示装置100包括图像显示单元20和控制装置10，在头戴式显示装置被安装在用户的头部的状态下，图像显示单元20使得用户能够在视觉上识别虚拟图像；控制装置10对图像显示单元20进行控制。控制装置10用作用于用户对头戴式显示装置100进行操作的控制器。图像显示单元20还被简称为“显示单元”。
图像显示单元20是要安装在用户头部上的安装体，并且在本实施方式中具有眼镜的形状。图像显示单元20包括右保持单元21、右显示驱动单元22、左保持单元23、左显示驱动单元24、右光学图像显示单元26、左光学图像显示单元28、相机61(成像单元)以及麦克风63。右光学图像显示单元26和左光学图像显示单元28被分别布置成当图像显示单元20被安装在用户头部时位于用户的右眼和左眼的前方。当图像显示单元20被安装在用户头部时，右光学图像显示单元26的一端和左光学图像显示单元28的一端在与用户的眉毛之间的位置对应的位置处彼此连接。
右保持单元21是以下述状态设置的构件：当图像显示单元20被安装在用户头部时从端部ER(其是右光学图像显示单元26的另一端)延伸到与用户的侧头部对应的位置。类似地，左保持单元23是以下述状态设置的构件：当图像显示单元20被安装在用户头部时从端部EL(其是左光学图像显示单元28的另一端)延伸到与用户的侧头部对应的位置。右保持单元21和左保持单元23以眼镜的镜腿(弓形物)的形状将图像显示单元20保持在用户的头部上。
右显示驱动单元22和左显示驱动单元24布置在当图像显示单元20被安装在用户上时面向用户的头部的一侧。下文中，将右保持单元21和左保持单元23简单统称为“保持单元”，将右显示驱动单元22和左显示驱动单元24简单统称为“显示驱动单元”，以及将右光学图像显示单元26和左光学图像显示单元28简单统称为“光学图像显示单元”。
显示驱动单元22和显示驱动单元24包括液晶显示器241和液晶显示器242(下文中还称为“LCD 241和LCD 242”)或者投影光学系统251和投影光学系统252(参见图2)。下面将描述显示驱动单元22和显示驱动单元24的配置的细节。用作光学构件的光学图像显示单元26和光学图像显示单元28包括导光板261和导光板262(参见图2)以及调光板20A。导光板261和导光板262由具有透光性等的树脂形成，并且将从显示驱动单元22和显示驱动单元24输出的图像光引导到用户的眼睛。调光板20A是薄板状的光学元件，并且被布置成覆盖图像显示单元20的的前侧(其是用户眼睛的相对侧)。作为调光板20A，可以使用各种板，如基本上不具有透光性的板、几乎透明的板、通过衰减光量来透射光的板、以及衰减或反射特定波长的光的板。通过适当地选择调光板20A的光学特性(光透射率等)，可以调节从外部入射到右光学图像显示单元26和左光学图像显示单元28的外部光的量，并且因此可以调节在视觉上识别虚拟图像的容易性。在本实施方式中，描述了以下情况：使用具有至少达到安装有头戴式显示装置100的用户能够在视觉上识别外部场景的程度的透光性的调光板20A。调光板20A保护右导光板261和左导光板262，使得抑制对右导光板261和左导光板262的损坏和污物附着。调光板20A可以可拆卸地附接到右光学图像显示单元26和左光学图像显示单元28，多种调光板20A是可更换的并且可以被安装，或者可以省略调光板。
相机61被布置在端部ER(其是右光学图像显示单元26的另一端)中。相机61对外部场景进行成像并且获取外部场景的图像，该外部场景是沿用户眼睛的相对侧上的方向的外部视图。图1所示的本实施方式的相机61是单镜头相机，但是也可以是立体相机。
相机61的成像方向(即视角)是头戴式显示装置100的前侧方向，换言之，在头戴式显示装置100被安装在用户上的状态下，外部场景的沿用户视野方向的至少一部分被成像。此外，可以适当地设置相机61的视角的范围，但是优选地，相机61的成像范围是包括用户通过右光学图像显示单元26和左光学图像显示单元28在视觉上识别的外界(外部场景)的范围。此外，更优选地，相机61的成像范围被设置成使得用户通过调光板20A的整个视野可以被成像。
图像显示单元20还包括将图像显示单元20与控制装置10连接的连接单元40。连接单元40包括连接到控制装置10的主软线48、右软线42、左软线44以及耦接构件46。右软线42和左软线44是其中主软线48分支成两根软线的软线。右软线42从右保持单元21的尖端部AP沿延伸方向插入到右保持单元21的壳体中，并连接到右显示驱动单元22。类似地，左软线44从左保持单元23的尖端部AP沿延伸方向插入到左保持单元23的壳体中，并连接到左显示驱动单元24。
耦接构件46设置在主软线48、右软线42和左软线44的分支点处，并且具有连接耳机插头30的插孔。右耳机32和左耳机34从耳机插头30延伸。麦克风63设置在耳机插头30的附近。软线从耳机插头30到麦克风63结合成一根软线，从麦克风63分支，并且分别连接到右耳机32和左耳机34。
麦克风63的具体规格是可选的。麦克风63可以是定向麦克风或非定向麦克风。定向麦克风的示例包括心形麦克风、超级心形麦克风、特级心形麦克风和终极心型麦克风。在麦克风63具有定向性的情况下，麦克风可以具有下述配置：极好地收集并且然后检测来自安装有头戴式显示装置100的用户的视线方向的语音。在这种情况下，麦克风63或容纳麦克风63的部件可以具有结构特性，以使得确保麦克风63的定向性。例如，在图1的示例中，麦克风63和耦接构件46可以被设计成在用户安装有右耳机32和左耳机34的状态下使得麦克风63的声音收集单元朝向用户的视线方向。可替换地，麦克风63可以通过被嵌入在右保持单元21或左保持单元23中来布置。在这种情况下，当用于收集声音的孔形成在右保持单元21或左保持单元23的前表面侧上时，麦克风可以具有与用户的视线方向对应的定向性，右保持单元21或左保持单元23的前表面即平行于右光学图像显示单元26和左光学图像显示单元28定位的表面。换言之，用户的视线方向是右光学图像显示单元26和左光学图像显示单元28所面对的方向、朝向用户通过右光学图像显示单元26和左光学图像显示单元28看到的视野中心的方向、或者相机61的成像方向。另外，麦克风63的定向性的方向可以变化。在这种情况下，麦克风可以具有下述配置：检测用户的视线方向并且调整麦克风63的视线方向以朝向该方向。
另外，右软线42和左软线44可以组合成一根软线。右软线42内部中的导线通过图像显示单元20的主体内部被拉入到左保持单元23侧中，并且与左软线44内部中的导线一起涂覆有树脂，并且两根软线可以组合成一根软线。
图像显示单元20和控制装置10通过连接单元40传输各种信号。主软线48中耦接构件46的相对侧上的端部和控制装置10分别设置有彼此接合的连接器(未示出)。控制装置10和图像显示单元20由于主软线48的连接器和控制装置10的连接器的接合或断开接合而彼此连接或彼此分离。例如，金属线缆或光纤可以应用于右软线42、左软线44和主软线48。
控制装置10是对头戴式显示装置100进行控制的装置。控制装置10包括切换器，切换器具有确定键11、照明单元12、显示切换键13、亮度切换键15、方向键16、菜单键17和电源开关18。此外，控制装置10包括通过用户使用手指进行触摸操作来操纵的触控板14。
确定键11输出用于检测按压操作的信号，并且确定由控制装置10操作的内容。照明单元12根据其发光状态通知头戴式显示装置100的操作状态。作为头戴式显示装置100的操作状态，电源的接通或断开状态可以作为例子。例如，使用发光二极管(LED)作为照明单元12。显示切换键13对按压操作进行检测，并且输出用于切换具有3D或2D的内容视频的显示模式的信号。
触控板14检测用户使用用户的手指对触控板14的操作表面的操作，并且根据所检测的内容输出信号。作为触控板14，可以采用各种触控板，例如静电触控板、压力检测触控板和光学触控板。亮度切换键15对按压操作进行检测，并且输出用于增大或减小图像显示单元20的亮度的信号。方向键16检测与竖直方向和水平方向对应的对键的按压操作，并且根据所检测的内容输出信号。电源开关18通过检测开关的滑动操作来切换头戴式显示装置100的电源状态。
图2是根据本实施方式的构成显示系统1的各个单元的功能框图。
如图2所示，显示系统1包括外部装置OA和头戴式显示装置100。外部装置OA的示例包括个人计算机(PC)、移动电话终端和游戏终端。外部装置OA用作向头戴式显示装置100提供图像的图像提供装置。
头戴式显示装置100的控制装置10包括控制单元140、操作单元135、输入信息获取单元110、存储器单元120、电源130、接口180、传输单元(Tx)51以及传输单元(Tx)52。
操作单元135对用户的操作进行检测。操作单元135包括图1所示的各个单元，如确定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17和电源开关18。
输入信息获取单元110获取根据用户执行的操作输入的信号。作为根据操作输入的信号，对于触控板14、方向键16或电源开关18的操作输入可以作为例子。
电源130向头戴式显示装置100的各个单元供给电力。作为电源130，例如可以使用二次电池。
存储器单元120存储各种计算机程序。存储器单元120被配置成ROM或RAM。存储器单元120可以存储被显示在头戴式显示装置100的图像显示单元20上的图像数据。
接口180是用于将用作提供内容的源的各种外部装置OA连接到控制装置10的接口。作为接口180，例如，可以使用与有线连接对应的接口，如USB接口、微型USB接口以及用于存储卡的接口。
控制单元140通过读取和执行存储在存储器单元120中的计算机程序来实现各个单元的功能。也就是说，控制单元140用作操作系统(OS)150、图像处理单元160、语音处理单元170、目标检测单元171、位置检测单元172、距离检测单元173、信息显示控制单元174和显示控制单元190。
3轴传感器113、GPS 115和通信单元117连接到控制单元140。3轴传感器113是3轴加速度传感器，并且3轴传感器113的检测值可以被控制单元140获取。GPS 115包括天线(未示出)，GPS 115接收全球定位系统(GPS)信号，并且获取控制装置10的当前位置。GPS 115将基于GPS信号而获取的当前位置或当前时间输出到控制单元140。此外，GPS 115基于包括在GPS信号中的信息来获取当前时间，并且可以具有对控制装置10的控制单元140所计时的时间进行校正的功能。
通信单元117遵照标准如无线LAN(WiFi(注册商标))、Miracast(注册商标)和蓝牙(注册商标)来进行无线数据通信。
在外部装置OA以无线方式连接到通信单元117的情况下，控制单元140从通信单元117获取内容数据，并且执行用于在图像显示单元20上显示图像的控制。同时，在外部装置OA以有线方式连接到接口180的情况下，控制单元140从接口180获取内容数据，并且执行用于在图像显示单元20上显示图像的控制。因此，在下文中，通信单元117和接口180统称为数据获取单元DA。
数据获取单元DA从外部装置OA获取要由头戴式显示装置100显示的内容数据。内容数据包括以下描述的显示数据，并且显示数据可以用作各种类型的数据，如图像数据或文本数据。
图像处理单元160获取包括在内容中的图像信号。图像处理单元160从所获取的图像信号中分离同步信号，如垂直同步信号VSync或水平同步信号HSync。此外，图像处理单元160根据所分离的垂直同步信号VSync或水平同步信号HSync的频率使用锁相环(PLL)电路(未示出)等生成时钟信号PCLK。图像处理单元160使用A/D转换电路(未示出)等将从其中分离了同步信号的模拟图像信号转换为数字图像信号。接下来，图像处理单元160针对每一帧将经转换的数字图像信号存储在存储器单元120的DRAM中，作为目标图像的图像数据(在图中，Data)。例如，图像数据是RGB数据。
另外，图像处理单元160可以根据需要执行图像处理，例如，各种色调校正处理，如分辨率转换处理以及调整亮度或饱和度，以及对于图像数据的梯形失真校正处理。
图像处理单元160通过传输单元51和传输单元52传输存储在存储器单元120的DRAM中的所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和图像数据Data中的每一个。通过传输单元51传输的图像数据Data被称为“用于右眼的图像数据”，以及通过传输单元52传输的图像数据Data被称为“用于左眼的图像数据”。传输单元51和传输单元52用作用于控制装置10与图像显示单元20之间的串行传输的收发器。
显示控制单元190生成对右显示驱动单元22和左显示驱动单元24进行控制的控制信号。特别地，显示控制单元190利用控制信号单独地进行以下控制：使用右LCD控制单元211控制右LCD 241的接通/断开驱动；使用右背光控制单元201控制右背光221的接通/断开驱动；使用左LCD控制单元212控制左LCD 242的接通/断开驱动；以及使用左背光控制单元202控制左背光222的接通/断开驱动。以这种方式，显示控制单元190使用右显示驱动单元22和左显示驱动单元24中的每一个对图像光的生成和发射进行控制。例如，显示控制单元190使得右显示驱动单元22和左显示驱动单元24两者能够生成图像光，使得右显示驱动单元22和左显示驱动单元24中的仅一个生成图像光，或者使得两者都不生成图像光。
显示控制单元190分别通过传输单元51和传输单元52向右LCD控制单元211和左LCD控制单元212传输控制信号。此外，显示控制单元190分别向右背光控制单元201和左背光源控制单元202传输控制信号。
图像显示单元20包括右显示驱动单元22、左显示驱动单元24、用作右光学图像显示单元26的右导光板261、用作左光学图像显示单元28的左导光板262、相机61、振动传感器65和9轴传感器66。
振动传感器65被配置成使用加速度传感器，并且如图1所示被布置在图像显示单元20的内部。在图1的示例的右保持单元21中，振动传感器65被结合在右光学图像显示单元26的端部ER附近。在用户进行敲击端部ER的操作的情况下，振动传感器65检测到由操作导致的振动，并将检测结果输出到控制单元140。控制单元140使用振动传感器65的检测结果来检测用户的敲击操作。
9轴传感器66是用于检测加速度(3轴)、角速度(3轴)和地磁(3轴)的运动传感器。由于9轴传感器66设置在图像显示单元20中，所以当图像显示单元20被安装在用户的头部上时，9轴传感器对用户头部的运动进行检测。由于可以根据检测到的用户头部的运动来看出图像显示单元20的取向，所以控制单元140可以假定用户的视线方向。
右显示驱动单元22包括接收单元(Rx)53；用作光源的右背光(BL)221和右背光(BL)控制单元201；用作显示元件的右LCD 241和右LCD控制单元221；以及右投影光学系统251。右背光控制单元201和右背光221用作光源。右LCD控制单元211和右LCD 241用作显示元件。另外，右背光控制单元201、右LCD控制单元211、右背光221和右LCD 241还被统称为“图像光生成单元”。
接收单元53用作用于控制装置10与图像显示单元20之间的串行传输的接收器。右背光控制单元201基于输入的控制信号来驱动右背光221。右背光221是发光体，如LED或电致发光(EL)。右LCD控制单元211基于通过接收单元53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和用于右眼的图像数据Data1来驱动右LCD 241。右LCD 241是其中多个像素以矩阵形式布置的透射型液晶面板。
右投影光学系统251被配置成用于使从右LCD 241发射的图像光成为平行光束的准直透镜。用作右光学图像显示单元26的右导光板261将从右投影光学系统251输出的图像光引导到用户的右眼RE，同时沿着预定光路反射图像光。此外，右投影光学系统251和右导光板261还被统称为“导光单元”。
左显示驱动单元24与右显示驱动单元22具有相同的配置。左显示驱动单元24包括接收单元(Rx)54；用作光源的左背光(BL)222和左背光(BL)控制单元202；用作显示元件的左LCD 242和左LCD控制单元212；以及左投影光学系统252。左背光控制单元202和左背光222用作光源。左LCD控制单元212和左LCD 242用作显示元件。另外，左背光控制单元202、左LCD控制单元212、左背光222和左LCD 242还被统称为“图像光生成单元”。左投影光学系统252被配置成用于使从左LCD 242发射的图像光成为平行光束的准直透镜。用作左光学图像显示单元28的左导光板262将从左投影光学系统252输出的图像光引导到用户的左眼LE，同时沿着预定光路反射图像光。此外，左投影光学系统252和左导光板262还被统称为“导光单元”。
在用户通过右光学图像显示单元26和左光学图像显示单元28看到外部场景的情况下，头戴式显示装置100对显示数据进行显示，以使得与外部场景交叠。
目标检测单元171执行使得相机61能够对目标进行成像的控制，并获取捕获图像。捕获图像作为彩色图像数据或单色图像数据从相机61输出，但是相机61输出图像信号，并且目标检测单元171可以根据图像信号生成符合预定文件格式的图像数据。
目标检测单元171对所获取的捕获图像数据进行分析，并且检测反映在捕获图像数据上的目标。目标是存在于相机61的成像方向(即，用户的视线方向)上的对象或人。
位置检测单元172对由目标检测单元171检测到的目标相对于图像显示单元20显示图像的显示区域的位置进行检测。由右光学图像显示单元26和左光学图像显示单元28显示的图像被用户的双眼在视觉上识别，并且该图像与通过调光板20A透射的外部光交叠。因此，用户以与右光学图像显示单元26和左光学图像显示单元28显示的图像交叠的方式在视觉上识别外部场景。文中，由用户看到右光学图像显示单元26和左光学图像显示单元28所显示的图像的范围被设置为图像显示单元20的显示区域。显示区域是图像显示单元20所显示的图像在视觉上被识别的最大范围，图像显示单元20在显示区域的整体或一部分中显示图像。
位置检测单元172基于相机61的捕获图像中的目标的图像的位置来获取用户看到目标的位置与看到图像显示单元20所显示的图像的位置之间的相对位置。在该处理中，需要示出图像显示单元20的显示区域与相机61的成像范围(视角)之间的位置关系的信息。替代于该信息，可以使用示出用户的视野(视界)与相机61的成像范围(视角)之间的位置关系的信息，以及示出用户的视野(视界)与图像显示单元20的显示区域之间的位置关系的信息。该信息被预先存储在存储器单元120中。
此外，位置检测单元172可以相对于显示区域检测目标的位置和目标的大小。以这种方式，在用户看到由图像显示单元20显示的图像和外部场景中的目标的情况下，可以显示图像，使得被用户感知的目标图像和所显示图像的大小变为预定状态。
当图像显示单元20基于由位置检测单元172检测的目标的位置来显示图像时，可以通过避开用户看到目标的位置来显示数据，或者数据可以被显示为与用户看到目标的位置交叠。
距离检测单元173获取距目标检测单元171检测到的目标的距离。例如，距离检测单元173基于在相机61的捕获图像中的由目标检测单元171检测到的目标图像的大小来获取距目标的距离。
此外，头戴式显示装置100可以包括测距仪，测距仪用于使用激光或超声波来检测距目标的距离。测距仪包括激光光源和用于接收从光源发射的激光的反射光并且基于所接收激光的状态来检测距目标的距离的光接收单元。此外，例如，测距仪可以是超声波型测距仪。也就是说，可以使用以下测距仪：该测距仪包括发射超声波的声源，以及检测由目标反射的超声波并基于所反射的超声波检测距目标的距离的检测单元。此外，测距仪可以具有下述配置：使用激光的测距仪和使用超声波的测距仪彼此组合。优选地，这样的测距仪被设置在图像显示单元20的右保持单元21或者右显示驱动单元22中，并且测距仪可以设置在例如以下表面中：在被导向前侧的状态下该表面与调光板20A直线性地布置。优选地，测距仪测量距离的方向是用户的视线方向，类似于相机61的成像方向。
距离检测单元173对从相机61或测距仪到目标的距离进行检测，但是该距离可以被认为是从头戴式显示装置100的用户到目标的距离。
信息显示控制单元174使得图像显示单元20能够基于目标检测单元171、位置检测单元172和距离检测单元173的处理结果来显示显示数据。头戴式显示装置100可以使用数据获取单元DA获取各种类型的数据，如运动图像、静止图像、字符和符号，并且所述数据可以用作显示数据。
信息显示控制单元174基于与目标检测单元171检测的目标有关的由位置检测单元172检测的位置和/或大小，以及由距离检测单元173检测的距目标的距离，来确定显示数据的显示属性。在显示数据是文本数据的情况下，显示属性包括存在字符装饰，诸如字符的显示大小、显示颜色、字体、粗体字符或斜体字符。此外，具有正方形、椭圆形和圆形形状的图像可以被布置为字符数据的背景，并且显示属性可以包括背景的存在、背景的大小、形状和背景的透明度。在显示数据是图像数据的情况下，显示属性包括图像的透明度、显示大小和显示颜色。
头戴式显示装置100显示显示数据，使得使用信息显示控制单元174的功能，显示数据与外部场景一起被用户在视觉上识别。
语音处理单元170获取包括在内容中的语音信号，放大所获取的语音信号，并且将语音信号提供给连接至耦接构件46的右耳机32中的扬声器(未示出)和左耳机34中的扬声器(未示出)。此外，在采用杜比(注册商标)系统的情况下，执行对语音信号的处理，并且从右耳机32和左耳机34中的每一个输出频率等改变的不同声音。
此外，语音处理单元170通过获取由麦克风63收集的语音并将语音转换为数字语音数据来执行与语音有关的处理。例如，语音处理单元170识别多个人的个体语音，并且可以通过从所获取的语音中提取特征并对语音进行建模来针对每个语音执行用于识别说话人的说话者识别。
3轴传感器113、GPS 115和通信单元117连接到控制单元140。3轴传感器113是3轴加速度传感器，并且控制单元140可以通过获取3轴传感器113的检测值来检测控制装置的运动以及运动的方向。
GPS 115包括天线(未示出)，GPS 115接收全球定位系统(GPS)信号并获取控制装置10的当前位置。GPS 115将基于GPS信号获取的当前位置或当前时间输出到控制单元140。此外，GPS 115基于包括在GPS信号中的信息来获取当前时间，以及GPS 115可以具有对控制装置10的控制单元140所计时的时间进行校正的功能。
通信单元117遵照标准如无线LAN(WiFi(注册商标))和蓝牙(注册商标)来进行无线数据通信。
接口180是用于将用作提供内容的源的各种图像提供装置OA连接到控制装置10的接口。由图像提供装置OA提供的内容包括运动图像或静止图像，并且可以包括语音。作为图像提供装置OA，个人计算机(PC)、移动电话终端或游戏终端可以作为例子。作为接口180，例如，可以使用USB接口、微型USB接口、用于存储卡的接口等。
文中，图像提供装置OA可以使用无线通信线路连接到控制装置10。在这种情况下，图像提供装置OA与通信单元117进行无线通信，并且使用无线通信技术如Miracast(注册商标)传输内容数据。
图3是示出头戴式显示装置100的操作的流程图，并且特别地，图3示出使用信息显示控制单元174的功能的数据显示处理。数据显示处理是当用户通过右光学图像显示单元26和左光学图像显示单元28看到外部场景时由图像显示单元20显示显示数据(如与外部场景有关的字符)的处理。
首先，头戴式显示装置100的控制单元140使用数据获取单元DA获取显示数据(步骤S1)。由数据获取单元DA获取的数据被存储在存储器单元120中。在步骤S1中接收的数据可以用作各种类型的数据，如运动图像数据、静止图像数据和文本数据，在本实施方式中将描述获取或显示由字符阵列形成的文本数据的示例。
接下来，目标检测单元171执行目标检测处理(步骤S2)。目标检测单元171根据相机61的捕获图像对目标的图像进行检测，以及位置检测单元172对目标的位置进行检测。随后，距离检测单元173执行用于检测距目标检测单元171所检测的目标的距离的距离检测处理(步骤S3)。此外，信息显示控制单元174执行显示处理，基于目标检测单元171、位置检测单元172和距离检测单元173的处理的结果对显示控制单元190进行控制，并且使得图像显示单元20能够显示显示数据(步骤S4)。
将在下面描述步骤S2和步骤S4的相应处理。
接下来，控制单元140确定在步骤S2至S4中是否处理了在步骤S1中获取的全部数据(步骤S5)。在存在未经处理的数据的情况下(步骤S5：否)，处理返回到步骤S2，并且控制单元140对未经处理的数据执行处理。此外，在对全部数据的处理结束的情况下(步骤S5：是)，控制单元140确定是否完成数据的显示(步骤S6)。在继续显示数据的情况下(步骤S6：否)，控制单元140的处理返回到步骤S1。此外，在根据由操作单元135检测的操作等，数据的显示被完成的情况下(步骤S6：是)，控制单元140停止显示，并且使用显示控制单元190完成主处理。
图4是具体示出图3的步骤S2所示的目标检测处理的流程图。
目标检测单元171通过使相机61能够捕获图像来获取捕获图像(步骤S11)，并且根据捕获图像对目标的图像进行检测(步骤S12)。作为由目标检测单元171来检测目标的处理，可以举例两个处理。第一个处理是使用以下数据的处理：该数据示出所检测的目标的图像的特性并且被预先存储在存储器单元120中。特别地，目标检测单元171从存储器单元120中获取示出图像的特性的数据，并且在捕获图像中搜索与该特性匹配的部分。在第一个处理中所检测的目标是与预先存储在存储器单元120中的数据匹配的目标。第二个处理是以下处理：在具有预定大小或更大尺寸的图像被裁切的情况下，由目标检测单元171裁切反映在捕获图像中的人或物体的图像，提取其在捕获图像中的轮廓，并且将所裁切的图像设置为目标的图像。在第一个处理和第二个处理中检测到具有多个目标的图像的情况下，目标检测单元171可以选择更靠近用户的视线方向的一个目标。例如，可以选择相机61的捕获图像中的靠近中心的目标的图像。
接下来，位置检测单元172检测由目标检测单元171检测的目标的图像相对于显示区域的位置(步骤S13)。在步骤S13中，位置检测单元172从如上所述的存储器单元120中适当地获取示出相机61的视角与显示区域之间的位置关系的信息等。
另外，目标检测单元171基于在步骤S12中检测到的目标的图像来确定目标的种类(步骤S14)。在本实施方式中，作为目标的种类，可以举例两种目标，即，不与显示数据交叠的目标，以及与显示数据交叠的目标。文中，与显示数据交叠的目标被称为背景。
此外，位置检测单元172输出在步骤S13中检测到的目标的位置，目标检测单元171输出在步骤S14中确定的目标的种类，并且处理移动到步骤S3(图3)(步骤S15)。
图5是详细示出显示处理的流程图。此外，图6A至图7B是示出头戴式显示装置100的典型应用示例的说明图。图6A是示意性地示出使用头戴式显示装置100的剧院TH的配置的图示，以及图6B、图6C、图6D、图7A和图7B示出了在剧院TH中使用头戴式显示装置100的用户的视野VR的示例。
图6A中所示的剧院TH具有以下构造：其中配置有用于包括头戴式显示装置100的用户的观众的多个座位SH，使得座位SH朝向舞台ST。头戴式显示装置100的用户在就座于座位SH的同时看到舞台ST时使用头戴式显示装置100。
图6B中的视野VR指示用户通过图像显示单元20的右光学图像显示单元26和左光学图像显示单元28看到的视野。由于图像显示单元20具有可以通过外部场景在视觉上识别图像显示单元20的特性，所以可以从视野VR中看到舞台ST。视野VR包括布置在舞台ST上方的帘幕CT及其左右端部，以及布置在舞台ST的左右两侧的舞台侧翼SS。从舞台ST看见演员A。在该示例中，演员A在舞台ST上并且被用户看到。
在该示例中，在步骤S1中由控制单元140获取的显示数据是与在剧院TH举行的表演节目有关的文本数据，并且包括与演员A所说的台词和表演节目有关的描述文本。在步骤S1中，控制单元140获取整个表演节目或其一部分的文本数据。在文本数据包括多个台词和/或多个描述文本的情况下，在步骤S1中获取的显示数据通过根据表演节目的进度被多次划分来显示。因此，信息显示控制单元174通过从步骤S1中获取的显示数据中提取本次要显示的数据量的显示数据来获取显示数据(步骤S21)。信息显示控制单元174根据表演节目的进度来获取显示数据。例如，在示出显示文本数据的定时的数据与文本数据一起被添加到显示数据的情况下，信息显示控制单元174基于添加的数据来提取显示数据。
信息显示控制单元174确定所获取的显示数据与目标检测单元171检测到的目标之间的关系的存在(步骤S22)。例如，在示出数据是表演节目的台词或描述文本的数据被添加到显示数据中所包括的文本数据的情况下，如果目标是演员A，并且所获取的显示数据是台词，则信息显示控制单元174确定显示数据与目标是相关的。在目标检测单元171确定目标不是背景的情况下，可以将目标指定为演员A.
信息显示控制单元174确定显示数据的显示属性(步骤S23)。特别地，基于由位置检测单元172检测的目标的位置、由目标检测单元171确定的目标的种类、由距离检测单元173检测的距目标的距离以及在步骤S22中搜索的目标与显示数据之间的关系的存在来确定显示属性。接下来，信息显示控制单元174将所确定的显示属性和显示数据输出到显示控制单元190，使得图像显示单元20能够显示数据，在执行显示时更新显示(步骤S24)，并且处理行进至步骤S5(图3)。
在图6B的示例中，由于由目标检测单元171检测的目标是演员A并且不存在背景，所以显示文本311，使得演员A与用户在视觉上识别演员A的位置不交叠。也就是说，将与演员A不交叠的位置确定为文本311的显示属性中所包括的显示位置。在图6B的示例中，将与舞台侧翼SS上的帘幕CT交叠的位置确定为文本311的显示位置。此外，如图6C所示，可以将与舞台ST上方的帘幕CT交叠的位置确定为文本311的显示位置。信息显示控制单元174可以将大小设置成使得演员A与舞台ST不交叠，作为显示属性中所包括的显示大小。此外，当帘幕CT的颜色与文本311的字符的颜色相同时，由于文本311的可视性降低，所以将具有预定颜色的背景添加到文本311中。此外，在图6B和6C的示例中，由于文本311是演员A的台词，所以文本311与作为目标的演员A相关。因此，信息显示控制单元174将字符装饰添加到字符以更加突出，作为文本311的显示属性，或者将显示颜色设置为在相机61的捕获图像中更突出的颜色。
同时，在目标检测单元171确定检测到的目标作为背景的情况下，如图6D所示，在与目标交叠的位置处显示文本311。在图6D的示例中，前座位SH1在视野VR的范围内，并且座位SH1被检测为目标。目标检测单元171基于形状或颜色识别座位SH1是与人不相关的目标，并将目标确定为背景。在这种情况下，信息显示控制单元174确定文本311的显示大小和位置，使得作为目标的座位SH1与该位置交叠。
图7A和图7B示出了信息显示控制单元174基于由距离检测单元173检测的距离来确定显示属性的示例。
图7A示出了在距离检测单元173所检测的距离短于预定距离并且文本311被显示成使得文本311可以被看见为小且亮的情况下的示例。同时，图7B示出了在距离检测单元173所检测的距离长于预定距离并且文本311被显示成使得文本311可以被看见为大且暗的情况下的示例。可以使用文本311的字符部分的亮度、以及文本311的背景(在该示例中为正方形)的颜色与文本311的亮度的比率来调整文本311的亮度。在用户处于靠近舞台ST的位置的情况下，用户的眼睛可以看到外部场景，即可以看到舞台ST是明亮的。因此，通过使文本311更亮，文本311的可见性变得更好。另外，由于当文本311被显示得大以使得舞台ST占据视野VR的大部分时演员A变得难以看见，所以优选地减小文本311的显示大小。
同时，如图7B所示，在用户处于与舞台ST分隔开的位置的情况下，由于看到舞台ST是暗的，所以当文本311被显示得暗时，可以极好地可视地识别舞台ST和文本311两者。此外，由于看到演员A小，所以即使当文本311显示得大时，文本311与演员A交叠的可能性也小。
以这种方式，信息显示控制单元174可以显示显示数据，以使得根据用户在视觉上识别的外部场景的情形，在不破坏用户想要看到的外部场景的可见性的情况下容易地看到显示数据。
另外，如图6和图7所示的示例，在演员出现在演出中的剧院中，在一些情况下，显示器设置在舞台侧翼SS中。在这种类型的显示中，显示由演员发出的语音(台词等)或与表演节目的描述有关的文本。在现有技术中，可以通过头戴式显示装置100将在上述显示器中显示的字符阵列显示为文本311。此外，在布置显示器的情况下，在视野VR中看到显示器。在该情况下，头戴式显示装置100将显示器设置为目标，并且可以将显示数据显示在与目标不交叠的位置处。在这种情况下，目标检测单元171检测显示器和演员A两者作为目标，并且可以确定每个目标的种类。另外，信息显示控制单元174可以确定与所有目标的种类对应的文本311的显示属性。
如上所述，根据应用本发明的实施方式的头戴式显示装置100包括图像显示单元20，图像显示单元20通过安装在用户的身体上而被使用，并且通过外部场景显示图像使得图像能够与外部场景一起在视觉上被识别。此外，头戴式显示装置100包括用于沿视线方向检测用户的目标的目标检测单元171，以及用于检测目标相对于图像显示单元20的显示区域的位置的位置检测单元172。另外，头戴式显示装置包括信息显示控制单元174，该信息显示控制单元174基于位置检测单元172所检测的目标的位置来确定信息的显示位置，并且使得图像显示单元20能够显示信息。以这种方式，由于沿视线方向与安装有头戴式显示装置100的用户的目标相对应地显示信息，所以可以通过调整用户看到的外部场景的外观和要显示的信息来显示信息。因此，可以显示信息，以使得与头戴式显示装置100外部的外部因素相对应地容易地看到信息。
此外，头戴式显示装置100包括用于对用户的视线方向进行成像的相机61，并且目标检测单元171基于相机61的捕获图像对用户通过图像显示单元20在视觉上识别的目标进行检测。因此，能够更可靠地检测沿视线方向的目标。
另外，由于信息显示控制单元174使得图像显示单元20能够显示与目标检测单元171所检测的目标有关的附加信息，因此可以显示与目标有关的附加信息，以使得用户可以看到目标和附加信息。文中，在将文本311(图6B)等显示为附加信息的情况下，包括有字符装饰的存在的显示模式可以由信息显示控制单元174根据附加信息的属性适当地改变，该字符装饰诸如字符的字体、字符的显示颜色、显示大小、背景颜色或轮廓字符。另外，附加信息的显示模式可以根据以下来改变：沿视线方向入射到用户的目标的外部光的亮度等的状态，或从用户的视线方向入射到图像显示单元20的外部光的亮度等的状态。此外，当显示附加图像时信息显示控制单元174可以通过使得具有视差的图像被右光学图像显示单元26和左光学图像显示单元28显示，来使得用户能够在视觉上识别三维(3D)图像。在这种情况下，可以由信息显示控制单元174设置或改变是将图像显示为立体图像还是平面图像，作为显示模式之一。
另外，位置检测单元172对用户通过图像显示单元20的显示区域在视觉上识别目标的位置进行检测。以这种方式，可以使用用户在视觉上识别目标的位置作为参考来显示信息。例如，如图6B和图6C所示，可以在避开目标的位置处显示信息。
此外，由于信息显示控制单元174使得能够显示信息，以使得信息与位置检测单元172所检测的目标的位置交叠，所以如图6D所示，信息可以被显示为以与目标交叠的方式而被看到。
另外，头戴式显示装置100包括用于检测目标与用户之间的距离的距离检测单元173，并且信息显示控制单元174根据距离检测单元173所检测的距离来确定信息的显示模式，并且使得能够由图像显示单元20以确定的显示模式来显示信息。因此，可以根据目标与用户之间的位置关系来改变显示模式。
此外，本发明不限于上述实施方式的配置，并且在不脱离本发明的范围的情况下可以执行各种修改。
例如，在上述实施方式中，已经描述了用作显示数据的文本311被显示为平面图像的示例，但是部分或全部文本可以被显示为立体图像。在这种情况下，信息显示控制单元174可以执行确定是将显示数据显示为立体图像还是平面图像作为显示属性之一的处理。
另外，描述了位置检测单元172基于相机61的捕获图像对目标的位置进行检测，但是本发明不限于此。例如，位置检测单元172可以基于从另一外部装置传输的信号来对目标的位置进行检测。特别地，在从安装在目标上的装置发送可见光区域以外的光束(红外线等)的情况下，接收光束并且可以检测目标的位置。代替于光束，从外部装置发送无线信号，头戴式显示装置100接收无线信号，并且位置检测单元172可以检测位置。可以采用相关技术中的光信标或无线电信标作为其具体示例。在这种情况下，可以检测目标与头戴式显示装置100之间的距离。此外，可以基于从用于检测目标的位置的外部装置传输的信号来获取目标的位置。此外，位置检测单元172可以基于多条信息，如相机61的捕获图像、光束或信号，来检测目标的位置。
另外，目标检测单元171可以沿视线方向检测用户的目标，并且不限于用于根据相机61的捕获图像检测目标的目标检测单元。例如，目标检测单元171可以基于从另一外部装置传输的信号来检测目标的位置。特别地，在从安装在目标上的装置发送可见光区域以外的光束(红外线等)的情况下，接收光束，并且可以检测目标的位置。代替于光束，从外部装置发送无线信号，头戴式显示装置100接收无线信号，并且位置检测单元171可以检测目标。可以采用相关技术中的光信标或无线电信标作为其具体示例。在这种情况下，位置检测单元172如上所述接收光或无线信号，并且可以检测目标的位置。
另外，目标检测单元171和位置检测单元172的配置不限于作为如上所述的控制单元140中所包括的功能的一部分而实现的配置，并且可以是与控制单元140分开设置的功能单元和与图像显示单元20分开设置的单元中的一个。
另外，代替于图像显示单元20，可以使用具有另一系统的图像显示单元，诸如要安装在用户头部上的图像显示单元，例如帽子等，来作为图像显示单元，并且可以包括用于显示与用户的左眼对应的图像的显示单元和用于显示与用户的右眼对应的图像的显示单元。另外，根据本发明的显示装置可以被配置为要安装在交通工具(如汽车或飞机)中的头戴式显示器。另外，例如，显示装置可以被配置为内置在身体保护工具(如头盔)中的头戴式显示器或用于汽车的前玻璃的平视显示器(HUD)。用于在用户眼球中的视网膜上形成图像的显示器，诸如通过安装在用户的两个眼球(例如，角膜)上而使用的所谓的隐形眼镜型显示器，或者通过嵌入到眼睛中而使用的可植入式显示器，可以用作为图像显示单元20。
此外，本申请的显示装置可以是要安装在用户身体上的装置，并且可以在不考虑是否需要使用另一技术的支持的情况下应用这样的装置。例如，可以采用通过由用户的双手握持而使用的双眼型手持显示器作为本申请的图像显示单元20。这样的显示器被包括在根据本发明的显示装置中，这是因为即使用户需要用手握持装置以保持被安装在用户头部上的状态，但是当用户看到显示器的显示图像时，该装置也是放置在用户的头部或面部上。另外，即使装置是要使用支撑腿等而被固定在地板表面或墙壁表面的显示装置，但是当用户看到显示器的显示图像时被放置在用户的头部或面部上的装置也包括在根据本发明的显示装置中。
此外，仅是具有图像显示单元20的配置或根据图像显示单元20中的图像显示的配置的显示单元被安装在用户的身体上，包括除显示单元之外的显示装置10的控制系统或者显示装置10和控制单元140可以被配置为物理上分离的主体。例如，具有另一控制系统的装置以无线方式连接到由图像显示单元20或图像显示单元20的一部分形成的显示单元，并且可以被设置为与头戴式显示装置100类似的显示装置。具有这样的控制系统的装置的示例包括智能电话、移动电话、平板计算机、具有另一形状的个人计算机和现有电子装置。不言而喻，本申请可以应用于这样的显示装置。
另外，在上述实施方式中，描述了图像显示单元20和控制装置10彼此分离并且通过连接单元40彼此连接的配置的示例，但是可以使用控制装置10和图像显示单元20彼此集成并安装在用户的头部上的配置。
另外，控制装置10和图像显示单元20通过较长的线缆或无线通信线路以及移动电子装置(包括膝上型计算机、平板计算机、台式计算机、游戏机、移动电话、智能电话或便携式媒体播放器)彼此连接；或者可以使用专用装置作为控制装置10。
另外，例如，作为在图像显示单元20中生成图像光的配置，可以采用包括有机电致发光(EL)显示器和有机EL控制单元的配置，以及可以采用硅上液晶(LCoS；注册商标)、数字微镜器件等。此外，例如，本发明可以应用于激光视网膜投影型头戴式显示器。也就是说，可以采用以下述方式使得用户能够在视觉上识别图像的配置：图像生成单元包括激光光源和将激光光源引导到用户的眼睛的光学系统，激光入射到用户的眼睛以扫描视网膜，并且在视网膜上形成图像。在使用激光视网膜投影型头戴式显示器的情况下，“能够发射图像光生成单元中的图像光的区域”的表述可以被限定为由用户的眼睛在视觉上识别的图像区域。
作为将图像光引导至用户的眼睛的光学系统，可以使用包括以下光学构件的配置：通过该光学构件透射从外部朝装置入射的外部光，并且使得图像光和外部光能够入射到眼睛的用户。此外，可以使用位于用户眼睛的前侧并与用户的部分或整个视野交叠的光学构件。此外，可以采用扫描激光等以用作为图像光的扫描型光学系统。此外，光学系统不限于在光学构件的内部引导图像光的光学系统，并且可以采用仅具有通过折射和/或反射图像光来朝用户的眼睛引导图像光的功能的光学系统。
此外，本发明可以应用于以下显示装置：对于该显示装置采用使用MEMS镜的扫描光学系统，并且该显示装置使用MEMS显示技术。也就是说，作为图像显示元件，显示装置可以包括信号光形成单元、具有用于扫描由信号光形成单元发射的光的MEMS镜的扫描光学系统、以及由于扫描光学系统所扫描的光而在其上形成虚拟图像的光学构件。在该配置中，由信号光形成单元发射的光在MEMS镜上反射、入射到光学构件上、通过光学构件引导并且到达形成虚拟图像的表面。通过使用MEMS镜扫描光来在形成虚拟图像的表面上形成虚拟图像，并且由用眼睛捕获虚拟图像的用户在视觉上识别图像。在这种情况下的光学部件可以是在执行多次反射之后引导光的部件，诸如根据上述实施方式的右导光板261和左导光板262，或者可以使用半反射镜表面。
另外，根据本发明的显示装置不限于头戴式显示装置，并且可以采用各种显示装置，如平板显示器和投影仪。根据本发明的显示装置可以是使得用户能够使用外部光和图像光来在视觉上识别图像的装置，并且举例了具有以下配置的装置：由于通过其透射外部光的光学构件，由用户使用图像光在视觉上识别图像。特别地，除了上述头戴式显示器中的包括通过其透射外部光的光学构件的配置之外，本发明还可以应用于将图像光投影在固定地或可移动地布置在与用户分离的位置上的透射平坦表面或弯曲表面(玻璃或透明塑料)上的显示装置。作为示例，可以举例以下显示装置的配置：该显示装置通过将图像光投影到车辆的窗玻璃上，由于图像光使得在车辆上的用户或在车辆外部的用户能够在视觉上识别除车辆以外的场景以及图像。此外，可以举例以下显示装置的配置：该显示装置通过将图像光投影到固定布置的透明、半透明或彩色透明显示表面(如建筑的窗玻璃)上，由于图像光使得存在于显示表面附近的用户能够通过显示表面在视觉上识别场景以及图像。
此外，可以采用以下配置：以硬件实现或者以硬件和软件协同实现图2所示的每个功能块的至少一部分。另外，该配置不限于如图2所示的布置独立硬件资源的配置。此外，由控制单元140执行的程序可以存储在存储器单元120或控制装置10中的存储器单元中，或者可以通过经由通信单元117或接口180获取存储在外部装置中的程序来执行。此外，在控制装置10中形成的配置中，仅操作单元135可以形成为单个用户接口(UI)，或者在本实施方式中的电源130可以被单独形成并且是可更换的。另外，在控制装置10中形成的配置可以在图像显示单元20中重复形成。例如，图2所示的控制单元140可以形成在控制装置10和图像显示单元20两者中，或者形成在控制装置10中的控制单元140和形成在图像显示单元20中的CPU的功能可以被单独地分开。
附图标记列表：
10：控制装置
20：图像显示单元(显示单元)
21：右保持单元
22：右显示驱动单元
23：左保持单元
24：左显示驱动单元
26：右光学图像显示单元
28：左光学图像显示单元
61：相机(成像单元)
63：麦克风
100：头戴式显示装置(显示装置)
117：通信单元
120：存储器单元
140：控制单元
150：操作系统
160：图像处理单元
170：语音处理单元
171：目标检测单元
172：位置检测单元
173：距离检测单元
174：信息显示控制单元
180：接口
190：显示控制单元
201：右背光控制单元
202：左背光控制单元
211：右LCD控制单元
212：左LCD控制单元
221：右背光
222：左背光
241：右LCD
242：左LCD
251：右投影光学系统
252：左投影光学系统
261：右导光板
262：左导光板
311：文本(显示数据)
DA：数据获取单元

Claims (10)

1.一种通过安装在用户身体上而被使用的显示装置，所述显示装置包括：
显示单元，其中外部场景被透射通过所述显示单元，并且所述显示单元显示图像，使得所述图像与所述外部场景一起能够在视觉上被识别；
目标检测单元，所述目标检测单元沿视线方向检测所述用户的目标；
位置检测单元，所述位置检测单元检测所述目标关于所述显示单元的显示区域的位置；以及
信息显示控制单元，所述信息显示控制单元基于由所述位置检测单元检测的所述目标的位置来确定信息的显示位置，并且允许所述显示单元显示信息。
2.根据权利要求1所述的显示装置，还包括：成像单元，所述成像单元对所述用户的视线方向进行成像，
其中，所述目标检测单元基于所述成像单元的捕获图像来检测所述用户通过所述显示单元在视觉上识别的目标。
3.根据权利要求2所述的显示装置，其中，所述位置检测单元基于所述成像单元的捕获图像来检测所述目标的位置。
4.根据权利要求3所述的显示装置，其中，所述位置检测单元基于包括所述成像单元的捕获图像的多条信息来检测所述目标的位置。
5.根据权利要求1至4中任一项所述的显示装置，其中，所述信息显示控制单元允许所述显示单元显示与所述目标检测单元检测的目标有关的附加信息。
6.根据权利要求1至5中任一项所述的显示装置，其中，所述位置检测单元检测所述用户通过所述显示单元的显示区域在视觉上识别所述目标的位置。
7.根据权利要求6所述的显示装置，其中，所述信息显示控制单元允许显示信息，使得所述显示区域与所述位置检测单元检测的所述目标的位置交叠。
8.根据权利要求1至7中任一项所述的显示装置，还包括：距离检测单元，所述距离检测单元检测所述目标与所述用户之间的距离，
其中，所述信息显示控制单元确定信息的显示模式，并且允许所述显示单元根据所述距离检测单元检测的所述距离以确定的显示模式显示所述信息。
9.一种控制显示装置的方法，所述显示装置包括显示单元，其中外部场景被透射通过所述显示单元，并且所述显示单元显示图像，使得所述图像与所述外部场景一起能够在视觉上被识别，并且所述显示装置通过安装在用户身体上而被使用，所述方法包括：
沿视线方向检测所述用户的目标；
检测所述目标关于所述显示单元的显示区域的位置；以及
基于所述目标的位置来确定信息的显示位置，并且允许所述显示单元显示信息。
10.一种能够被计算机执行的控制显示装置的程序，所述显示装置包括显示单元，其中外部场景被透射通过所述显示单元，并且所述显示单元显示图像，使得所述图像与所述外部场景一起能够在视觉上被识别，并且所述显示装置通过安装在用户身体上而被使用，所述程序使所述计算机用作为：
目标检测单元，所述目标检测单元沿视线方向检测所述用户的目标；
位置检测单元，所述位置检测单元检测所述目标关于所述显示单元的显示区域的位置；以及
信息显示控制单元，所述信息显示控制单元基于由所述位置检测单元检测的所述目标的位置来确定信息的显示位置，并且允许所述显示单元显示所述信息。
CN201580037814.5A 2014-07-31 2015-07-24 显示装置、控制显示装置的方法、以及程序 Pending CN106662921A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-156646 2014-07-31
JP2014156646A JP6432197B2 (ja) 2014-07-31 2014-07-31 表示装置、表示装置の制御方法、および、プログラム
PCT/JP2015/003718 WO2016017130A1 (en) 2014-07-31 2015-07-24 Display device, method of controlling display device, and program

Publications (1)

Publication Number Publication Date
CN106662921A true CN106662921A (zh) 2017-05-10

Family

ID=55217048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580037814.5A Pending CN106662921A (zh) 2014-07-31 2015-07-24 显示装置、控制显示装置的方法、以及程序

Country Status (7)

Country Link
US (1) US20170168562A1 (zh)
EP (1) EP3175334A4 (zh)
JP (1) JP6432197B2 (zh)
KR (1) KR20170030632A (zh)
CN (1) CN106662921A (zh)
TW (1) TW201617826A (zh)
WO (1) WO2016017130A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204011A1 (zh) * 2020-04-09 2021-10-14 华为技术有限公司 抬头显示装置和抬头显示方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491074A (zh) * 2017-09-11 2019-03-19 宏达国际电子股份有限公司 光学基站
US11047985B2 (en) 2017-09-11 2021-06-29 Htc Corporation Optical base station
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
CN110442521B (zh) * 2019-08-02 2023-06-27 腾讯科技（深圳）有限公司 控件单元检测方法及装置
JP7362439B2 (ja) 2019-11-14 2023-10-17 株式会社東芝 電解抽出装置および電解抽出方法
JP7094349B2 (ja) * 2020-12-04 2022-07-01 マクセル株式会社 情報記録装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682273A (zh) * 2002-07-16 2005-10-12 夏普株式会社 根据背光亮度或观众偏好改变字符显示特性的显示器
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
US20090278948A1 (en) * 2008-05-07 2009-11-12 Sony Corporation Information presentation apparatus, information presentation method, imaging apparatus, and computer program
US20110248904A1 (en) * 2010-04-08 2011-10-13 Sony Corporation Head mounted display and optical position adjustment method of the same
US20130176337A1 (en) * 2010-09-30 2013-07-11 Lenovo (Beijing) Co., Ltd. Device and Method For Information Processing
EP2657929A2 (en) * 2012-04-08 2013-10-30 Samsung Electronics Co., Ltd Transparent display apparatus and method thereof
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
CN103913842A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法
US20140192085A1 (en) * 2013-01-04 2014-07-10 Lg Electronics Inc. Head mounted display and method for controlling the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014004A (ja) * 2004-06-28 2006-01-12 Matsushita Electric Ind Co Ltd ２画面テレビ制御方法
KR101058040B1 (ko) * 2006-12-21 2011-08-19 삼성전자주식회사 컨텐츠 출력 방법 및 그 장치
JP5348114B2 (ja) * 2010-11-18 2013-11-20 日本電気株式会社 情報表示システム、装置、方法及びプログラム
US20140198234A1 (en) * 2011-09-21 2014-07-17 Nikon Corporation Image processing apparatus, program, image processing method, and imaging apparatus
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
JP2014056217A (ja) 2012-09-14 2014-03-27 Olympus Corp ウェアラブル携帯型表示装置、頭部装着型表示装置、表示処理システム及びプログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP6089705B2 (ja) * 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP6188452B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6699547B2 (ja) * 2014-03-12 2020-05-27 日本電気株式会社 陳列状況解析装置、陳列状況解析方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682273A (zh) * 2002-07-16 2005-10-12 夏普株式会社 根据背光亮度或观众偏好改变字符显示特性的显示器
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
US20090278948A1 (en) * 2008-05-07 2009-11-12 Sony Corporation Information presentation apparatus, information presentation method, imaging apparatus, and computer program
US20110248904A1 (en) * 2010-04-08 2011-10-13 Sony Corporation Head mounted display and optical position adjustment method of the same
US20130176337A1 (en) * 2010-09-30 2013-07-11 Lenovo (Beijing) Co., Ltd. Device and Method For Information Processing
EP2657929A2 (en) * 2012-04-08 2013-10-30 Samsung Electronics Co., Ltd Transparent display apparatus and method thereof
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
US20140192085A1 (en) * 2013-01-04 2014-07-10 Lg Electronics Inc. Head mounted display and method for controlling the same
CN103913842A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204011A1 (zh) * 2020-04-09 2021-10-14 华为技术有限公司 抬头显示装置和抬头显示方法

Also Published As

Publication number Publication date
TW201617826A (zh) 2016-05-16
JP6432197B2 (ja) 2018-12-05
KR20170030632A (ko) 2017-03-17
WO2016017130A1 (en) 2016-02-04
JP2016033758A (ja) 2016-03-10
EP3175334A1 (en) 2017-06-07
US20170168562A1 (en) 2017-06-15
EP3175334A4 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
US10297062B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US9898868B2 (en) Display device, method of controlling the same, and program
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
CN106662921A (zh) 显示装置、控制显示装置的方法、以及程序
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103930818B (zh) 具有虚拟图像对比度控制的光学显示系统和方法
TWI638188B (zh) 顯示裝置、頭部配戴型顯示裝置、顯示系統及顯示裝置之控制方法
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US20160313973A1 (en) Display device, control method for display device, and computer program
JP6149403B2 (ja) 表示装置、および、表示装置の制御方法
US9972319B2 (en) Display device, method of controlling display device, and program having display of voice and other data
US20140192092A1 (en) Display device and control method thereof
US9904053B2 (en) Display device, and method of controlling display device
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US10082671B2 (en) Head-mounted display, method of controlling head-mounted display and computer program to measure the distance from a user to a target
US20160021360A1 (en) Display device, method of controlling display device, and program
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20160035137A1 (en) Display device, method of controlling display device, and program
US20160116740A1 (en) Display device, control method for display device, display system, and computer program
JP2016033611A (ja) 情報提供システム、表示装置、および、表示装置の制御方法
JP2016085322A (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016212769A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510