CN106796771B - 头戴式显示设备、控制头戴式显示设备的方法和计算机程序 - Google Patents

头戴式显示设备、控制头戴式显示设备的方法和计算机程序 Download PDF

Info

Publication number
CN106796771B
CN106796771B CN201580055186.3A CN201580055186A CN106796771B CN 106796771 B CN106796771 B CN 106796771B CN 201580055186 A CN201580055186 A CN 201580055186A CN 106796771 B CN106796771 B CN 106796771B
Authority
CN
China
Prior art keywords
color
virtual
unit
real object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580055186.3A
Other languages
English (en)
Other versions
CN106796771A (zh
Inventor
山崎明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014210455A external-priority patent/JP6488629B2/ja
Priority claimed from JP2015099841A external-priority patent/JP6596914B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to CN202010718329.7A priority Critical patent/CN111883032A/zh
Publication of CN106796771A publication Critical patent/CN106796771A/zh
Application granted granted Critical
Publication of CN106796771B publication Critical patent/CN106796771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示设备包括：图像显示单元，其被配置成使用户在视觉上识别虚拟图像；增强现实处理单元，其被配置成使图像显示单元形成包括虚拟对象的虚拟图像，虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，其被配置成检测真实对象颜色，真实对象颜色是真实对象的颜色；以及颜色调整单元，其被配置成使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，视觉观察颜色是通过将虚拟对象的颜色叠加在真实对象颜色上而获得的颜色，其中，用户利用该头戴式显示设备可以在视觉上识别虚拟图像和外部场景。

Description

头戴式显示设备、控制头戴式显示设备的方法和计算机程序
技术领域
本发明涉及头戴式显示设备。
背景技术
存在一种已知的称为增强现实(AR)的技术，用于使用计算机来呈现附加于真实对象的信息，真实对象即存在于真实世界中的对象。在增强现实中，附加于真实对象而显示的信息也称为“虚拟对象”。增强现实的功能被安装在头戴式显示器(以下称为“HMD”或“头戴式显示设备”)上。
HMD利用摄相机来拍摄外部场景的图像、识别通过图像拍摄而获得的图像并且生成或获取虚拟对象。在HMD的安装状态下不阻挡用户视场的透射式HMD使用户仅视觉地识别包括虚拟对象的虚拟图像。用户可以通过观看真实世界中的真实对象以及由虚拟图像所表示的虚拟对象二者来体验增强现实。PTL 1描述了一种用于在透射式HMD中对虚拟图像的显示区和摄相机的图像拍摄区进行对准的技术，以减少用户在实现增强现实时所感觉到的不适感。
引用列表
专利文献
PTL 1:JP-A-2013-186641
发明内容
技术问题
例如当在汽车经销商中使用增强现实来确定要订购的汽车的颜色和配件时、或者当在房屋展示场所中使用增强现实来确定要订购的房屋的墙纸和地板材料时，至少一部分虚拟对象有时被叠加显示在真实对象上。在这种情况下，在真实对象的颜色与虚拟对象的颜色叠加的状态下，用户在视觉上识别的颜色是很重要的。PTL1中描述的技术没有考虑到这种与颜色有关的问题。
因此，需要一种能够在真实对象的颜色与虚拟对象的颜色叠加的状态下控制用户在视觉上识别的颜色的头戴式显示设备。
问题的解决方案
本发明的一些方面的优点是解决至少一部分上述问题，并且本发明可以实现为以下方面。
(1)本发明的一个方面提供了一种头戴式显示设备，用户利用该头戴式显示设备可以在视觉上识别虚拟图像和外部场景。头戴式显示设备包括：图像显示单元，该图像显示单元被配置成使用户在视觉上识别虚拟图像；增强现实处理单元，该增强现实处理单元被配置成使图像显示单元形成包括虚拟对象的虚拟图像，虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；颜色检测单元，该颜色检测单元被配置成检测真实对象颜色，真实对象颜色是真实对象的颜色；以及颜色调整单元，该颜色调整单元被配置成利用检测到的真实对象颜色来使视觉观察颜色接近目标颜色，该视觉观察颜色是通过将虚拟对象的颜色叠加在真实对象颜色上而获得的颜色。
利用该方面的头戴式显示设备，颜色调整单元可以利用由颜色检测单元所检测到的真实对象颜色来控制视觉观察颜色，视觉观察颜色是通过将真实对象的颜色(真实对象颜色)与虚拟对象的颜色叠加而获得的颜色，换言之，视觉观察颜色是用户在视觉上识别出的颜色。
(2)在一个方面的头戴式显示设备中，颜色调整单元可以通过调整虚拟对象的颜色使得通过对检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色，来使视觉观察颜色接近目标颜色。
利用该方面的头戴式显示设备，颜色调整单元可以通过调整虚拟对象的颜色来使视觉观察颜色接近目标颜色。也就是说，可以在不向包括在头戴式显示设备中的现有部件添加专用部件的情况下控制目标颜色。
(3)在一个方面的头戴式显示设备中，图像显示单元还能够针对每个像素来改变外部场景的透明度，以及颜色调整单元可以通过使图像显示单元改变外部场景的透明度来使视觉观察颜色接近目标颜色。
利用该方面的头戴式显示设备，颜色调整单元可以通过在图像显示单元中改变外部场景的透明度来使视觉观察颜色接近目标颜色。也就是说，可以在头戴式显示设备中控制视觉观察颜色而无需进行专门的图像处理。
(4)在一个方面的头戴式显示设备中，颜色调整单元可以使图像显示单元在所检测到的真实对象颜色的色度等于或高于预定色度时改变外部场景的透明度，并且可以在所检测到的真实对象颜色的色度低于预定色度时调整虚拟对象的颜色使得通过对所检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色。
利用该方面的头戴式显示设备，颜色调整单元根据真实对象颜色的色度(亮度)来适当地区分是通过改变外部场景的透明度来控制视觉观察颜色还是通过调整虚拟对象的颜色来控制视觉观察颜色。当真实对象颜色的色度高(真实对象颜色亮)时，有效的措施例如是通过减少外部场景的透明度来突出虚拟对象的颜色使得明亮的真实对象颜色本身更不易被用户看到。另一方面，当真实对象颜色的色度低(真实对象颜色暗)时，如果使用通过利用加色混合对虚拟对象的颜色进行调整而获得的经调色颜色，则可以扩展可表现的色域。由于可以实现精细颜色再现，因此以这种方式可以有效地改进颜色的分辨率。因此，颜色调整单元可以根据真实对象颜色的色调适当地使用更合适的方法来控制视觉观察颜色。
(5)在一个方面的头戴式显示设备中，颜色调整单元可以针对虚拟对象的每个像素来执行用于使视觉观察颜色接近目标颜色的处理。
利用该方面的头戴式显示设备，颜色调整单元针对虚拟对象的每个像素来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此，可以容易地执行对视觉观察颜色的控制。即使当多个颜色混合在虚拟对象中时，也可以控制视觉观察颜色。
(6)在一个方面的头戴式显示设备中，颜色调整单元可以针对每个n*m(n和m是等于或大于2的整数)像素块来执行用于使视觉观察颜色接近目标颜色的处理，其中该像素块是虚拟对象的像素之中的多个相邻像素的集合。
利用该方面的头戴式显示设备，颜色调整单元针对虚拟对象的每个像素块来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此，可以抑制对视觉观察颜色的控制的结果对于每个像素的波动。即使当多个颜色混合在虚拟对象中时，也可以控制视觉观察颜色。
(7)在一个方面的头戴式显示设备中，颜色调整单元可以基于真实对象处于其中的真实光环境来确定目标颜色。
利用该方面的头戴式显示设备，颜色调整单元基于真实对象处于其中的真实光环境来确定目标颜色。因此，可以将目标颜色设置成例如与真实环境匹配的颜色。颜色调整单元可以将目标颜色设置成例如在真实环境中显眼的颜色。
(8)在一个方面的头戴式显示设备中，颜色调整单元还可以通过在考虑虚拟光环境的情况下对虚拟对象的颜色进行转换来改变视觉观察颜色。
利用该方面的头戴式显示设备，颜色调整单元在考虑虚拟光环境的情况下改变视觉观察颜色。因此，增加了头戴式显示设备中的视觉观察颜色的再现的范围。可以改进用户的便利性。
(9)在一个方面的头戴式显示设备中，颜色检测单元可以是用于获取表示外部场景的外部场景图像的摄相机。
利用该方面的头戴式显示设备，可以利用普遍的摄相机作为标准功能来检测真实对象颜色。
包括在本发明的上述各方面中的所有多个部件并不都是必要的。为了解决上述问题中的一部分或全部、或者为了实现本说明书中描述的部分或全部效果，可以对多个部件中的一部分适当地执行改变、删除、用新部件替换以及对限制内容的部分删除。为了解决上述问题的一部分或全部、或者为了实现本说明书中描述的部分或全部效果，还可以将包括在本发明的一个方面中的部分或全部技术特征与包括在本发明的其它方面中的技术特征进行组合以形成本发明的另一个方面。
例如，本发明的一个方面可以实现为包括四个部件即图像显示单元、增强现实处理单元、颜色检测单元和颜色调整单元中的部分或全部的设备。也就是说，该设备可以包括或者不包括图像显示单元。该设备可以包括或者不包括增强现实处理单元。该设备可以包括或者不包括颜色检测单元。该设备可以包括或者不包括颜色调整单元。该设备可以实现为例如头戴式显示设备。该设备还可以实现为头戴式显示设备之外的设备。可以将各方面中的头戴式显示设备的部分或全部技术特征应用于该设备。例如，本发明的一个方面中的设备具有以下目的：在真实对象的颜色与虚拟对象的颜色叠加的状态下控制由用户在视觉上识别的颜色。然而，除此之外，对于设备而言，设备尺寸的减小、便利性的改进、设备制造成本的降低、资源节约、制造便利性等也是期望的。
注意，本发明可以以各种形式实现。本发明可以以例如以下形式实现：头戴式显示设备、用于头戴式显示设备的控制方法、包括头戴式显示设备的系统、用于实现方法、设备和系统的功能的计算机程序、用于分发计算机程序的设备以及存储有计算机程序的存储介质。
附图说明
[图1]图1是示出本发明的实施方式中的头戴式显示设备的示意性配置的说明图；
[图2]图2是示出头戴式显示设备在功能方面的配置的框图；
[图3A]图3A是示出由用户在视觉上识别的虚拟图像的示例的说明图；
[图3B]图3B是示出由用户在视觉上识别的虚拟图像的示例的说明图；
[图4]图4是用于说明颜色调整处理的过程的流程图；
[图5]图5是用于说明颜色调整处理的示例的图示；
[图6]图6是用于说明颜色调整处理的另一示例的图示；
[图7]图7是示出第二实施方式中的头戴式显示设备在功能方面的配置的框图；
[图8]图8是用于说明第二实施方式中的颜色调整处理的图示；
[图9]图9是用于说明颜色转换处理的过程的流程图；
[图10]图10是示出环境对应关系表的示例的图示；
[图11A]图11A是示出在修改例中的头戴式显示设备的外观的配置的说明图；
[图11B]图11B是示出在修改例中的头戴式显示设备的外观的配置的说明图。
具体实施方式
A.实施方式
A-1.头戴式显示设备的配置
图1是示出本发明的一个实施方式中的头戴式显示设备的示意性配置的说明图。本实施方式中的头戴式显示设备100是被安装在头部的显示设备，也称为头戴式显示器(HMD)。HMD 100是光学透射式头戴式显示器，用户利用HMD 100可以在视觉上识别虚拟图像，并且同时直接在视觉上识别外部场景。
本实施方式中的HMD 100可以使用HMD 100的CPU来执行用于向“真实对象”添加信息的增强现实(AR)处理，所述“真实对象”是存在于真实世界中的对象。对象可以是指任何人、任何动物或植物、任何物体(包括人造物体和自然物体)等。在增强现实处理中，附加于真实对象而显示的信息称为“虚拟对象”。在增强现实处理中，本实施方式中的HMD 100使用户仅在视觉上识别包括虚拟对象的虚拟图像。用户可以通过观看从HMD 100透射的真实对象和由虚拟图像所表示的虚拟对象二者来体验增强现实。在这样的虚拟现实处理中，本实施方式中的HMD 100可以对通过将真实对象的颜色与虚拟对象的颜色叠加而获得的颜色进行控制，即对用户在视觉上识别的颜色(以下还简称为“视觉观察颜色”)进行控制。
注意，本实施方式中的真实对象包括“真实感兴趣的对象”和“真实背景对象”二者，“真实感兴趣的对象”是用户所感兴趣的对象(即用户正在看的对象)，“真实背景对象”是用户不感兴趣的对象(例如尽管处于用户的视场内但用户没有在看的对象)。在该实施方式中，包括真实感兴趣的对象和真实背景对象二者的真实对象可以是增强现实处理的处理目标。
HMD 100包括图像显示单元20以及控制单元(控制器)10，图像显示单元20使用户在用户头部安装有HMD 100的状态下在视觉上识别虚拟图像，控制单元10对图像显示单元20进行控制。注意，为了方便起见，在以下说明中，使用HMD 100的用户在视觉上识别的虚拟图像还被称为“被显示图像”。HMD 100发出基于图像数据而生成的图像光还被称为“对图像进行显示”。
A-1-1.图像显示单元的配置
图2是示出HMD 100在功能方面的配置的框图。图像显示单元20是戴在用户头部的穿戴体。在本实施方式中，图像显示单元20具有眼镜的形状(图1)。图像显示单元20包括右保持单元21、右显示驱动单元22、左保持单元23、左显示驱动单元24、右光学图像显示单元26、左光学图像显示单元28、摄相机61和九轴传感器66。下面将说明在用户戴着图像显示单元20的状态下图像显示单元20中的各单元的位置关系和功能。
如图1所示，右光学图像显示单元26和左光学图像显示单元28被设置成分别位于用户的右眼的前方和左眼的前方。右光学图像显示单元26的一端和左光学图像显示单元28的一端在与用户前额的中间对应的位置处连接。如图2所示，右光学图像显示单元26包括右导光板261、右电子遮挡件261s和调光板(未图示)。右导光板261由透光树脂材料等形成。右导光板261将从右显示驱动单元22输出的图像光引导到用户的右眼RE同时沿着预定的光路反射图像光。
右电子遮挡件261s是在其上以矩阵形状布置有多个像素的透射式液晶面板。右电子遮挡件261s根据像素单元中的供给电压的增加或降低来增加或减少从外部引导到用户的右眼RE的外部光的透射率。在本实施方式的右电子遮挡件261s中，在没有供给电压的情况下，外部光的透射率为100％。在供给电压为最大的状态下，外部光的透射率为0％(外部光被阻挡)。注意，图2中的电子遮挡件的设置是示例。仅需要将右电子遮挡件261s设置在右LCD 241与用户右眼RE之间的光路上。右电子遮挡件261s可以设置在右LCD 241与用户右眼RE之间的光路以外，使得被并入到从右LCD 24导向右眼RE的光中的外部光通过右电子遮挡件261s增加或减少。调光板是薄的板状光学设备，并且被设置成覆盖在图像显示单元20的前侧(与用户的眼睛侧相对的一侧)。调光板保护右导光板261和右电子遮挡件261s，并且抑制例如污渍对右导光板261和右电子遮挡件261s的损坏和附着。通过调整调光板的光透射率，可以调整外部光进入用户眼睛的量，并且调整在视觉上识别虚拟图像的容易程度。注意，可以省略调光板。
左光学图像显示单元28包括左导光板262、左电子遮挡件262s和调光板(未图示)。左导光板262、左电子遮挡件262s和调光板的细节与右光学图像显示单元26的右导光板261、右电子遮挡件261s和调光板相同。注意，右光学图像显示单元26和左光学图像显示单元28还被统一简称为“光学图像显示单元”。右电子遮挡件261s和左电子遮挡件262s还被统一简称为“电子遮挡件”。光学图像显示单元可以采用任何系统，只要光学图像显示单元能在用户的眼睛前方形成虚拟图像即可。例如，可以使用衍射光栅来实现光学图像显示单元，或者可以使用穿透反射式膜来实现光学图像显示单元。
如图1所示，右保持单元21被设置成从右光学图像显示单元26的另一端ER延伸到与用户的太阳穴区域对应的位置。左保持单元23被设置成从左光学图像显示单元28的另一端EL延伸到与用户的太阳穴区域对应的位置。右保持单元21和左保持单元23像眼镜的镜腿一样将图像显示单元20保持在用户的头部。注意，右保持单元21和左保持单元23还被统一简称为“保持单元”。
如图1所示，右显示驱动单元22被设置在右保持单元21的内侧(与用户的头部相对的一侧)。左显示驱动单元24被设置在左保持单元23的内侧。如图2所示，右显示驱动单元22包括接收单元(Rx)53、用作光源的右背光(BL)221和右背光(BL)控制单元201、用作显示设备的右LCD液晶显示器)241和右LCD(控制单元211、以及右投影光学系统251。注意，右背光控制单元201、右LCD控制单元211、右背光221和右LCD 241还被统称为“图像光生成单元”。
接收单元53用作用于控制单元10与图像显示单元20之间的串行传输的接收器。右背光控制单元201基于输入控制信号来驱动右背光221。右背光221是发光体，诸如LED(发光二极管)或电致发光(EL)器件。右LCD控制单元221基于时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、经由接收单元53输入的用于右眼的图像数据Data来驱动右LCD 241。右LCD 241是在其上以矩阵形状布置有多个像素的透射式液晶面板。右投影光学系统251是用于将从右LCD 241射出的图像光变成平行状态的光束的准直透镜。
左显示驱动单元24包括接收单元(Rx)54、用作光源的左背光(BL)222和左背光(BL)控制单元202、用作显示设备的左LCD 242和左LCD控制单元212、以及左投影光学系统252。这些部件的细节与右显示驱动单元22的对应部件相同。注意，右显示驱动单元22和左显示驱动单元24还被统一简称为“显示驱动单元”。
如图1所示，摄相机61被设置在与用户右眼的外眼角的上部对应的位置处。在安装有HMD 100的状态下，摄相机61拍摄图像显示单元20前方的图像，也就是说在用户视场方向上的外部场景(外部的场景)的图像，并且获取外部场景图像。摄相机61是所谓的可见光摄相机。因此，外部场景图像是利用从对象辐射的可见光来表示对象形状的图像。本实施方式中的摄相机61是单目摄相机。然而，也可采用所谓的立体摄相机。摄相机61用作“颜色检测单元”。
如图1所示，九轴传感器66被设置在与用户右侧的镜腿对应的位置处。九轴传感器66是用于检测加速度(三轴)、角速度(三轴)和地磁(三轴)的运动传感器。由于九轴传感器66设置在图像显示单元20中，因此当用户头上戴有图像显示单元20时，九轴传感器66用作检测头戴式显示器100的用户的头部运动的运动检测单元。头部运动包括头部的速度、加速度、角速度、方向和方向的改变。
如图1所示，图像显示单元20包括用于将图像显示单元20连接至控制单元10的连接单元40。连接单元40包括：连接至控制单元10的主体线48、从主体线48分支的右线42和左线44以及设置在分支点处的耦接构件46。耦接构件46中设置有用于连接耳机插头30的插孔。右耳机32和左耳机34从耳机插头30延伸。图像显示单元20和控制单元10经由连接单元40执行各种信号的传输。作为连接单元40的线，可以采用例如金属线缆和光纤。
A-1-2.控制单元的配置
控制单元10是用于控制HMD 100的设备。如图1所示，控制单元10包括：确定键11、照明单元12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17和电源开关18。确定键11对按压操作进行检测并且输出用于确定控制单元10中的工作内容的信号。照明单元12通过例如LED来实现，并且利用LED的发光状态来通知HMD 100的工作状态(例如光源的接通/断开)。显示切换键13对按压操作进行检测，并且输入例如用于将内容移动图像的显示模式切换为3D和2D的信号。
触控板14检测用户的手指在触控板14的操作表面上进行的操作，并且输出与检测到的内容对应的信号。作为触控板14，可以采用各种类型，诸如静电型、压力型和光学型。亮度切换键15对按压操作进行检测并且输出用于增加或减少图像显示单元20的亮度的信号。方向键16检测键上的与上、下、左和右方向对应的按压操作，并且输出与检测到的内容对应的信号。电源开关18检测开关的滑动操作，以切换HMD 100的电源状态。
如图2所示，控制单元10包括：输入信息获取单元110、存储单元120、电源130、无线电通信单元132、GPS模块134、CPU 140、接口180、发送单元(Tx)51和发送单元(Tx)52。各单元之间通过未示出的总线相互连接。
输入信息获取单元110获取与确定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17和电源开关18的操作输入对应的信号。输入信息获取单元110可以获取通过除上述操作输入之外的各种方法实现的操作输入。例如，输入信息获取单元110可以获取通过脚踏开关(通过用户的脚来操作的开关)而实现的操作输入。例如，输入信息获取单元110可以获取通过视线检测单元(未图示)检测到的用户的视线以及通过与眼睛的移动相关联的命令而实现的操作输入。命令可以被设置成能够由用户来添加。例如，可以使用摄相机61来检测用户姿态。可以获取通过与该姿态相关联的命令所实现的操作输入。在姿态检测中，可以使用用户的指尖、用户手上戴的戒指、用户持有的医疗仪器等作为用于运动检测的标记。如果可以获取通过这些方法所实现的操作输入，则即使在用户难以解放双手的工作中，输入信息获取单元110也可以获取来自用户的操作输入。
存储单元120通过ROM、RAM、DRAM、硬盘等来被配置。存储单元120中存储有各种计算机程序，诸如操作系统(OS)。在存储单元120中存储有色度参考122。
在色度参考122中，预先存储作为在下面说明的颜色调整处理中使用的色度参考的值。在本实施方式中，使用RGB颜色空间或HSB颜色空间中的“S值”作为色度参考。色度参考122的值用来适当地使用控制视觉观察颜色的方法。注意，色度参考122的值能够由用户适当地改变。
电源130向HMD 100的各单元提供电力。作为电源130，例如可以使用二次电池。
无线电通信单元132根据预定的无线电通信标准与外部装置进行无线电通信。预定的无线电通信标准例如是以红外线和蓝牙(注册商标)为示例的短距离无线电通信，或者以IEEE802.11为示例的无线LAN。
GPS模块134接收来自GPS卫星的信号从而检测HMD 100的用户的当前位置，并且生成表示用户当前位置信息的当前位置信息。当前位置信息可以通过例如表示经度和纬度的坐标来实现。
CPU 140读取并执行被存储在存储单元120中的计算机程序，从而用作增强现实处理单元142、颜色调整单元144、OS 150、图像处理单元160、声音处理单元170和显示控制单元190。
增强现实处理单元142执行增强现实处理。增强现实处理是用于向实际存在于真实世界中的真实对象添加虚拟对象并且显示虚拟对象的处理。增强现实处理包括下面说明的过程a1至a6。
(a1)增强现实处理单元142获取由摄相机61拍摄的外部场景图像。
(a2)增强现实处理单元142从在过程a1中获取的外部场景图像所包括的真实对象之中指定一个真实对象集作为虚拟对象的添加目标(以下还称为“目标对象”)。
(a3)增强现实处理单元142获取目标对象关于HMD 100的位置以及目标对象与HMD100之间的距离。在获取位置和距离时，增强现实处理单元142可以使用通过立体摄相机获取的两个或更多个外部场景图像来计算位置和距离。增强现实处理单元142可以使用未示出的各种传感器(例如深度传感器和测距传感器)来计算位置和距离。
(a4)增强现实处理单元142获取或生成表示虚拟对象的图像、字符、图形符号等。增强现实处理单元142可以将虚拟对象预先存储在存储单元120中，或者可以经由网络从连接至HMD 100的另一设备获取虚拟对象。
(a5)增强现实处理单元142生成附加图像数据，在该附加图像数据中，过程a4中的虚拟对象是按照在过程a3中获取的目标对象的位置和距离来布置的，并且在其他单元中布置成黑色。在该对准中，增强现实处理单元142可以使用目标对象的特征或特性部分(边缘等)，或者可以使用标记，诸如附加到目标对象的标记。在布置虚拟对象时，增强现实处理单元142可以对虚拟对象应用图像处理，诸如放大、缩小、旋转或颜色转换。
(a6)增强现实处理单元142将附加图像数据发送至图像处理单元160。图像处理单元160对接收到的附加图像数据执行下面说明的显示处理。
颜色调整单元144执行用于控制视觉观察颜色的颜色调整处理。颜色调整处理是在过程a5和过程a6之间执行的处理，作为增强现实处理的子例程。下面将对颜色调整处理的细节进行说明。
图像处理单元160执行用于图像显示的信号处理。具体地，当内容(视频)经由接口180或无线电通信单元132被输入时，图像处理单元160基于该内容生成图像数据Data。当从HMD 100的另一功能单元接收到图像数据时，图像处理单元160将接收到的图像数据设置为图像数据Data。注意，图像处理单元160可以对图像数据Data执行图像处理，诸如分辨率转换处理、各种类型的色调校正处理诸如亮度和色度调整、以及梯形失真校正处理。图像处理单元160经由发送单元51和发送单元52向图像显示单元20发送图像数据Data、时钟信号PCLK、垂直同步信号VSync和水平同步信号HSync。
显示控制单元190生成用于控制右显示驱动单元22和左显示驱动单元24的控制信号。具体地，显示控制单元190使用控制信号通过右LCD控制单元211和左LCD控制单元212分别控制右LCD 241和左LCD242的驱动的接通/断开、通过右背光控制单元201和左背光控制单元202分别控制右背光221和左背光222的驱动的接通/断开，从而通过右显示驱动单元22和左显示驱动单元24控制图像光的生成和发射。显示控制单元190经由发送单元51和发送单元52将控制信号发送至图像显示单元20。
声音处理单元170获取包括在内容中的声音信号、放大所获取的声音信号并且将经放大的声音信号提供给右耳机32的未示出的扬声器和左耳机34的未示出的扬声器。
接口180根据预定的有线通信标准与外部装置OA进行通信。预定的有线通信标准例如是Micro USB(通用串行总线)、USB、HDMI(高清晰度多媒体接口；HDMI是注册商标)、DVI(数字视频接口)、VGA(视频图像阵列)、复合视频端子(composite)、RS-232C(推荐标准232)或以IEEE802.3为示例的有线LAN。作为外部装置OA，可以使用例如个人计算机PC、蜂窝电话终端和游戏终端。
图3A和图3B是示出用户在视觉上识别的虚拟图像的示例的说明图。图3A示出在未执行增强现实处理时获得的用户视场VR。如上所述，被引导至HMD 100的用户双眼的图像光聚焦在用户的视网膜上，由此用户在视觉上识别虚拟图像VI。在图3A所示的示例中，虚拟图像VI是HMD 100的OS 150的待机画面。用户通过右光学图像显示单元26和左光学图像显示单元28在视觉上识别外部场景SC。以这种方式，在虚拟图像VI被显示在视场VR中的部分中，在该实施方式中的HMD 100的用户可以观看到虚拟图像VI以及该虚拟图像后方的外部场景SC。在虚拟图像VI未被显示在视场VR中的单元中，用户可以通过光学图像显示单元直接观看到外部场景SC。
图3B示出在执行增强现实处理时所获得的用户视场VR。通过执行增强现实处理，用户在视觉上识别包括虚拟对象VO的虚拟图像VI。虚拟对象VO是被布置成与外部场景SC中的山脚交叠的苹果的图像。以这种方式，用户可以通过观看到包括在虚拟图像VI中的虚拟对象VO以及穿过虚拟图像VI看到后面的外部场景SC中的真实对象二者来体验增强现实。
A-2.颜色调整处理
颜色调整处理是用于在增强现实处理期间控制视觉观察颜色的处理。视觉观察颜色是指将真实对象的颜色与虚拟对象的颜色叠加而得到的颜色，换言之，是用户实际在视觉上识别的颜色。颜色调整处理在增强现实处理的过程a5和过程a6之间执行，作为增强现实处理的子例程。注意，在下面说明的颜色调整处理中，使用RGB颜色空间中的“RGB值”或HSB颜色空间中的“HSB值”来指定“颜色”。也就是说，在该实施方式中的“颜色”包括色相、色度和亮度。
图4是用于说明颜色调整处理的过程的流程图。图5是用于说明颜色调整处理的示例的图示。在图5所示的示例中，在汽车经销商中，用户UR在确定要订购的汽车的车身颜色时使用增强现实处理。图6是用于说明颜色调整处理的另一示例的图示。在图6所示的示例中，在汽车经销商中，用户UR在确定给要订购的汽车添加的配件时使用增强现实处理。
在颜色调整处理(图4)的步骤S100中，颜色调整单元144获取虚拟对象。具体地，颜色调整单元144从增强现实处理单元获取包括虚拟图像的附加图像数据。附加图像数据是在增强现实处理的过程a5中生成的数据。颜色调整单元144使用诸如特征部分提取(边缘提取)这样的方法从所获取的附加图像数据中提取虚拟对象。
在图5所示的示例中，颜色调整单元144从增强现实处理单元142获取附加图像数据Data1，并且提取表示车身的虚拟对象VO1。在图6所示的示例中，颜色调整单元144从增强现实处理单元142获取附加图像数据Data2，并且提取表示前扰流板的虚拟对象VO2。
在图4所示的步骤S102中，颜色调整单元144从外部场景图像中获取目标对象。目标对象是要向其添加虚拟对象的真实对象。具体地，颜色调整单元144使摄相机61拍摄外部场景图像并且从摄相机61获取外部场景图像。颜色调整单元144使用诸如特征部分提取(边缘提取)这样的方法从所获取的外部场景图像中提取目标对象。
在图5所示的示例中，颜色调整单元144从摄相机61获取外部场景图像IM1并且提取表示汽车的目标对象(真实对象)FO。类似地，在图6所示的示例中，颜色调整单元144从摄相机61获取外部场景图像IM2并且提取表示汽车的目标对象FO。
在图4的步骤S104中，颜色调整单元144将在颜色调整处理中使用的变量x和变量y设置为1。变量x和变量y二者用来指定一个像素。
在步骤S106中，颜色调整单元144确定虚拟对象的(x,y)像素的目标颜色。根据使用增强现实处理的场景并且依据下面说明的参考b1和参考b2中的一个来确定目标颜色。
(b1)目录颜色
在不考虑目标对象所处的真实环境(特别是光环境)的情况下决定目标颜色。颜色调整单元144可以直接将在步骤S100中提取的虚拟对象的(x,y)像素的颜色设置为目标颜色，或者可以直接将用户指定的颜色设置为目标颜色。注意，虚拟对象的(x,y)像素的颜色是虚拟对象的原始颜色、用于表示虚拟对象的纹理的颜色、用于表示照射到虚拟对象上的光的颜色和用于表示在虚拟对象中产生的阴影的颜色中的任一种颜色。因此，例如，即使虚拟对象是“红色汽车”，虚拟对象的(x,y)像素的颜色根据x和y的值(根据像素的位置)也可以是各种颜色，例如红色、白色、棕色。当用户希望用虚拟对象替换目标对象的至少一部分时，期望采用参考b1。用户例如在模拟如图5所示的经销商中的车体颜色的情况下、或者在模拟房屋展示场所中的墙纸和地板材料的情况下期望替换目标的至少一部分。
(b2)匹配颜色
在考虑到目标对象所处的真实环境(特别是光环境)的情况下决定目标颜色(例如，目标颜色可以与真实环境匹配或者可以在真实环境中显眼)。具体地，颜色调整单元144可以根据下面说明的方法b2-1或方法b2-2来决定目标颜色。在用户希望向目标对象添加虚拟对象时，期望采用参考b2。用户在例如模拟如图6所示的经销商中的配件的情况下、或者在模拟房屋展示场所中的家具的情况下期望添加虚拟对象。
(b2-1)颜色调整单元144计算在步骤S102中获取的目标对象(真实对象)的颜色的统计颜色(例如中间颜色或平均颜色)。颜色调整单元144将计算出的统计颜色设置为目标颜色。
(b2-2)颜色调整单元144对在步骤S102中获取的外部场景图像进行图像识别，从而收集目标对象(真实对象)的各区域的亮度信息(与阴影区域有关的信息、与镜面反射有关的信息、与漫反射有关的信息等)。颜色调整单元144基于所收集的亮度信息来确定要被添加到虚拟对象上的光源类型(点光源、聚光灯、平行光源、环境光、天光、IBL等)、光源的色温、光源的强度等中的至少一个。颜色调整单元144将具有确定的类型、色温、强度等的光源与在步骤S100中获取的虚拟对象进行组合。颜色调整单元144在组合光源之后将虚拟对象的(x,y)像素的颜色设置为目标颜色。
注意，在步骤S106中，可以经由网络将用户指定为虚拟对象的原始颜色的颜色存储在另一设备的存储设备中。存储在另一设备中的颜色可以用于各种用途。例如，存储在另一设备中的颜色可以用于具有用户所指定颜色的产品(例如汽车或墙纸和地板材料)的订购和制造，或者可以用于进行掌握用户品味的分析。
在图4的步骤S108中，颜色调整单元144获取目标对象的(x,y)像素的真实对象颜色。真实对象颜色是目标对象(要向其添加虚拟对象的真实对象)的真实颜色。具体地，颜色调整单元144获取在步骤S102中获取的目标对象的(x,y)像素的颜色作为真实对象颜色。以这种方式，在本实施方式中，将通过摄相机61拍摄的外部场景图像中的目标对象的颜色视为真实对象颜色。因此，可以使用普遍使用的摄相机61作为标准功能来检测真实对象颜色。
在步骤S110中，颜色调整单元144确定在步骤S108中获取的目标对象的(x,y)像素的真实对象颜色的色度(S值)是否等于或高于存储在色度参考122中的参考(S值)。当真实对象颜色的色度等于或高于色度参考122时(步骤S110中为是)，在步骤S112及随后步骤的处理中，颜色调整单元144使用电子遮挡件来改变外部场景的透明度以控制视觉观察颜色。另一方面，当真实对象颜色的色度低于色度参考122时(步骤S110中为否)，在步骤S118中的处理中，颜色调整单元144调整虚拟对象的颜色以控制视觉观察颜色。
以上对通过使用电子遮挡件来改变外部场景的透明度从而控制视觉观察颜色进行了说明。在图4的步骤S112中，颜色调整单元144在与目标对象的(x,y)像素对应的单元中打开电子遮挡件。具体地，颜色调整单元114将电压提供给图2所示的光电子遮挡件261s的与目标对象的(x,y)像素对应的像素和图2所示的左电子遮挡件262s与目标对象的(x,y)像素对应的像素，以减少外部光在该像素单元中的透射率。在这种情况下，颜色调整单元144可以将提供给电子遮挡件的供给电压设置成最大(100％)并且阻挡外部光。从而，简化了颜色调整单元144中的控制。颜色调整单元144可以与目标对象的(x,y)像素的色度成比例地、在1％到100％的范围内调整提供给电子遮挡件的供给电压以阻挡至少一部分外部光。从而，颜色调整单元144可以精细地控制视觉观察颜色。
在步骤S114中，颜色调整单元144不做改变并且保持虚拟对象的(x,y)像素的CG颜色。CG颜色是包括在图像数据中的虚拟对象的颜色。
以上对通过调整虚拟对象的颜色来控制视觉观察颜色进行了说明。在图4的步骤S118中，当对真实对象颜色i和CG颜色ii进行加色混合时，颜色调整单元114计算作为(或接近)目标颜色iii的颜色。颜色调整单元144将虚拟对象的(x,y)像素的CG颜色改变成计算出的颜色。
(i)在步骤S108中获取的目标对象的(x,y)像素的真实对象颜色
(ii)CG颜色
(iii)在步骤S106中确定的虚拟对象的(x,y)像素的目标颜色
在图4的步骤S116中，颜色调整单元144控制用于将处理推进到下一个像素的变量。具体地，当变量x不是虚拟对象的最终像素时，颜色调整单元144递增变量x并且将处理移至步骤S106。从而，处理目标移至右侧的像素。当变量x是最终像素而变量y不是最终像素时，颜色调整单元144递增变量y，将变量x设置为1，并且将处理移至步骤S106。从而，处理目标移至紧接着的像素行。当变量x和变量y都是最终像素时，颜色调整单元144结束处理并且在调整CG颜色之后将包括虚拟对象的附加图像数据发送到增强现实处理单元142。之后，颜色调整单元144结束处理。
作为图4所示的颜色调整处理的结果，如图5和图6所示，用户UR在视觉上识别处于视场VR中的、包括其CG颜色已调整的虚拟对象VO1和VO2的虚拟图像V1。用户UR在视觉上识别通过图像显示单元20透射的外部场景SC中的真实对象FO(目标对象)。图5所示的虚拟对象VO1被显示成叠加在真实对象FO的车身单元的整个区域上。因此，用户UR可以观看好像汽车的颜色已经改变了一样的图像。图6所示的虚拟对象VO2的一部分被显示成叠加在真实对象FO的车身的下部上。因此，用户UR可以观看好像给汽车添加了前扰流板的图像。
如上所述，在颜色调整处理中，颜色调整单元144可以使用由颜色检测单元(摄相机61)所检测到的真实对象颜色来控制视觉观察颜色，视觉观察颜色是通过将真实对象FO的颜色(真实对象颜色)与虚拟对象VO的颜色(CG颜色)叠加而获得的颜色，换言之，视觉观察颜色是用户在视觉上识别的颜色。因此，本实施方式中的头戴式显示设备(HMD 100)可以在图5和图6所示的各种场景中在考虑实际外观的情况下为用户UR执行更合适的颜色表示。
此外，在步骤S110及随后步骤中的颜色调整处理中，颜色调整单元144根据真实对象颜色的色度(亮度)来适当地区分是通过改变外部场景SC的透明度来控制视觉观察颜色还是通过调整虚拟对象VO的颜色来控制视觉观察颜色。当真实对象颜色的色度高(真实对象颜色亮)时，有效的措施例如是通过减少外部场景SC的透明度来突出虚拟对象VO的颜色使得明亮的真实对象颜色本身更不易被用户看到。另一方面，当真实对象颜色的色度低(真实对象颜色暗)时，如果通过利用加色混合对虚拟对象VO的颜色进行调整而获得调色颜色，则可以扩展可表现的色域。由于可以进行精细颜色再现，因此以这种方式可以有效地改进颜色的分辨率。因此，颜色调整单元144可以根据真实对象颜色的色调适当地使用更合适方法来控制视觉观察颜色。
此外，在颜色调整处理中，颜色调整单元144针对虚拟对象VO的每个像素来执行对视觉观察颜色的控制。
因此，可以容易地执行对视觉观察颜色的控制。即使当虚拟对象VO中混合有多个颜色时，也可以对视觉观察颜色进行控制。注意，除了虚拟对象VO具有多个原始颜色(例如具有蓝色主体和白帆的游艇)的情况以外，也在虚拟对象的原始颜色、用于表示虚拟对象的纹理的颜色、用于表示照射到虚拟对象上的光的颜色和用于表示在虚拟对象中产生的阴影的颜色被混合在一个虚拟对象VO中的情况下(例如红色汽车的前扰流板)，在虚拟对象VO中混合有多个颜色。
A-3.颜色调整处理的变型
注意，在颜色调整处理(图4)中，可以将下面说明的变型1至变型3应用于颜色调整处理(图4)。可以独立地或组合地采用变型1至变型3。
A-3-1.变型1
在变型1中，省略了根据真实对象颜色的色度对视觉观察颜色的控制。
在一个示例中，颜色调整单元144在不需要考虑真实对象颜色的色度的情况下、通过使用电子遮挡件均匀地改变外部场景的透明度来控制视觉观察颜色。具体地，只需省略图4中的步骤S110和步骤S118。从而，可以通过改变图像显示单元20中的外部场景SC的透明度来使视觉观察颜色接近目标颜色。因此，可以在头戴式显示设备(HMD 100)中对视觉观察颜色进行控制而无需专门的图像处理。
在另一示例中，颜色调整单元144在不需要考虑真实对象颜色的色度的情况下通过均匀地调整虚拟对象的颜色来控制视觉观察颜色。具体地，只需省略图4中的步骤S110、步骤S112和步骤S114。从而，可以通过调整虚拟对象VO的颜色(CG颜色)来使视觉观察颜色接近目标颜色。因此，可以在不向包括在头戴式显示设备(HMD 100)中的现有部件添加专用部件(右电子遮挡件261s和左电子遮挡件262s)的情况下对视觉观察颜色进行控制。
A-3-2.变型2
在变型2中，针对虚拟对象VO的每个像素块来执行对视觉观察颜色的控制。像素块是虚拟对象VO的像素之中的相邻的n*m(n和m是等于或大于2的整数)个像素的集合。“相邻的像素”是指彼此邻接的多个像素。
在图4的步骤S104中，颜色调整单元144将在颜色调整处理中使用的变量x和变量y设置为2。变量x和变量y二者都用于指定由3×3个像素所构成的像素块。
在对步骤S106、步骤S108和步骤S112进行的说明中，将表述“(x,y)像素”替换成“以(x,y)像素为中心的像素块”。将表述“(x,y)像素的颜色”替换成“以(x,y)像素为中心的像素块的颜色”。颜色调整单元144可以根据构成像素块的像素的统计颜色(例如中间颜色或平均颜色)来计算像素块的颜色。
在对步骤S116的说明中，将表述“增量”替换成“原始值加3”。将表述“将变量x设置为1”替换成“将变量x设置为2”。
注意，在上面说明的示例中，采用了由n＝3和m＝3的3*3个像素构成的像素块。然而，可以可选地决定n和m的值。n的值可以设置为与m的值不同的值。
根据变型2，由于颜色调整单元144针对虚拟对象VO的每个像素块执行视觉观察颜色的控制，因此可以抑制对视觉观察颜色的控制的结果对于每个像素的波动。即使在虚拟对象VO中混合有多个颜色的情况下，也可以对视觉观察颜色进行控制。
A-3-3.变型3
在变型3中，执行显示系统的对准(校准)。
在HMD 100中，对由光学图像显示单元(左显示驱动单元24和右光学图像显示单元26)、摄相机61和普通用户的眼睛所构造的显示系统进行对准。在变型3中，可以根据HMD100的用户的个体差异以及HMD 100的个体差异来改变该指定对准的内容。具体地，CPU 140执行下面说明的过程c1和过程c2。从改进对准精度的角度出发，期望以组合的方式执行过程c1和过程c2，并且以先过程c1然后过程c2的顺序执行。然而，可以独立地执行过程c1和过程c2。
(c1)调整用户的瞳孔间距
CPU 140使右LCD 241和左LCD 242显示相同的用于校准的第一图像。在本实施方式中，显示器为无穷大。这时，CPU 140通过用户接口(例如，触控板14)的操作而使显示在左LCD和右LCD之一上的用于校准的第一图像的位置移动。用户对用户接口进行操作以对准用于校准的左第一图像和右第一图像的位置。之后，用户对用户接口(例如确定键11)进行操作以通知CPU 140已决定位置。
当被通知已决定位置时，CPU 140将右LCD 241上的用于校准的第一图像的位置和左LCD 242上的用于校准的第一图像的位置发送至图像处理单元160。图像处理单元160通过参照右LCD 241上的用于校准的第一图像的位置来调整右LCD 241上的图像的显示范围。类似地，图像处理单元160通过参照左LCD 242上的用于校准的第一图像的位置来调整左LCD 242上的图像的显示范围。
(c2)由用户来对准用于校准的图像与真实对象
CPU 140在使右LCD 241和左LCD 242显示用于校准的第二图像的同时，经由摄相机61识别与用于校准的第二图像对应的真实对象(例如，二维标记)。这时，CPU 140追踪真实对象相对于摄相机61(或光学显示单元)的姿势和位置。CPU 140使显示在左LCD和右LCD上的用于校准的第二图像的位置通过用户接口(例如触控板14)的操作而相互关联地移动。在这种情况下，当没有用户操作时，可以根据真实对象的轨迹来改变所显示的用于校准的第二图像的姿势和位置。注意，当执行过程c1时，用于对准的第二图像的显示范围是在通过过程c1进行调整之后的范围。当不执行过程c1时，用于校准的第二图像的显示范围为默认范围。用户在用户觉察到在视觉上识别为虚拟图像的用于校准的左图像和右图像与通过光学图像显示单元在视觉上识别的真实对象交叠(位置、大小和方向中的至少一个基本上相互一致)的情况下，对用户接口(例如确定键11)进行操作。用户通知CPU 140已决定位置。
当被通知已决定位置时，CPU 140获取真实对象在通过摄相机61的图像拍摄而获得图像(外部场景图像)中的位置、在右LCD 241上的用于校准的第二图像的位置和在左LCD242上的用于校准的第二图像的位置。CPU 140基于与所获取的位置有关的信息对摄相机61的图像拍摄范围以及图像在右LCD 241和左LCD 242上的显示范围进行调整。注意，在过程c2中，用于校准的第二图像可以在LCD 241和LCD 242上移动。然而，用于校准的第二图像可以以固定姿势和固定位置显示。在后一种情况下，用户只需要相对于真实对象移动使得用户觉察到用于校准的第二图像与真实对象交叠即可。
根据变形3中的过程c1，CPU 140可以对主要对应于用户的个体差异的显示系统执行对准。根据变形3中的过程c2，CPU 140可以对主要对应于HMD 100的个体差异的显示系统执行对准。作为对准的结果，CPU 140可以在增强现实处理中更准确地对准真实对象的位置与虚拟对象的位置。注意，用于校准的第一图像和用于校准的第二图像可以是相同的或者可以是不同的。
B.第二实施方式
在本发明的第二实施方式中，在颜色调整处理中，在考虑除了真实光环境之外的虚拟光环境的情况下改变视觉观察颜色。在下面的说明中，仅说明具有与第一实施方式中的部件不同的部件的单元和与第一实施方式中的操作不同的执行操作。注意，在附图中，与第一实施方式中的部件和操作相同的部件和操作是用与上面说明的第一实施方式中的附图标记相同的附图标记来表示的，并且省略对这些部件和操作的详细说明。也就是说，下面未说明的部件和操作与第一实施方式中的部件和操作相同。
B-1.头戴式显示设备的配置
图7是示出第二实施方式中的HMD 100a在功能方面的配置的框图。HMD 100a包括控制单元10a以替代控制单元10。控制单元10a包括颜色调整单元144a以替代颜色调整单元144并且包括存储单元120a以替代存储单元120。在颜色调整单元144a中，颜色调整处理中的一部分处理内容与第一实施方式中的处理内容不同。
存储单元120a除了色度参考122之外还包括环境对应关系表124和预设置组126。在环境对应关系表124中存储有用于指定多个预设置(预设置组126)中的一个预设置的信息。预设置组126由多个预设置构成。在相应的预设置中存储有用于使附加图像数据进行颜色转换的信息。用于执行颜色转换的信息包括例如用于白平衡调整的信息(具体地，例如，每个RGB的色调曲线的调整内容、色温的调整内容、颜色偏差的调整内容中的至少一部分)。
B-2.颜色调整处理
图8是用于说明第二实施方式中的颜色调整处理的图示。在第一实施方式的颜色调整处理中，在不考虑目标对象所处的真实光环境的情况下(图4的步骤S106，b1：目录颜色)或者在考虑真实光环境的情况下(图4的步骤S106，b2：匹配颜色)，对视觉观察颜色进行控制(图8中的虚线框)。在第二实施方式中，可以在进一步考虑除了这种真实光环境之外的虚拟光环境的情况下改变视觉观察颜色。注意，“真实光环境”是指颜色调整处理的目标对象所处的真实光环境。“虚拟光环境”是指HMD 100a的用户在视觉上识别的虚拟光环境。
当考虑虚拟光环境时，在图4所示的颜色调整处理的步骤S116中，颜色调整单元144a在将附加图像数据发送到增强现实处理单元142之前进行下面说明的颜色转换处理(图8中的实线框)。另一方面，当不考虑虚拟光环境时，颜色调整单元144a直接执行图4所示的颜色调整处理(图8中的虚线框)。因此，颜色调整单元144a可以执行图8所示的四种处理模式。注意，颜色调整单元144a可以例如通过参照被预先存储在存储单元120a中的设置的内容来确定是否考虑虚拟光环境。设置内容可由用户改变。
B-2-1.颜色转换处理
图9是用于说明颜色转换处理的过程的流程图。颜色转换处理是用于在考虑虚拟光环境的情况下通过使附加图像数据进行颜色转换来改变视觉观察颜色的处理。在步骤S200中，颜色调整单元144a获取目标对象所处的真实光环境。颜色调整单元144a可以例如使用与颜色调整处理(图4)的步骤S106中的参考b2-2相同的方法来获取真实光环境。
在步骤S202中，颜色调整单元144a获取虚拟光环境。可以通过例如参照被预先存储在存储单元120a中的设置的内容来确定虚拟光环境。设置内容可由用户改变。
在步骤S204中，颜色调整单元144a通过参照环境对应关系表124来获取应该采用的预设置。
图10是示出环境对应关系表124的示例的图示。在环境对应关系表124中，为了实现虚拟光环境，与虚拟光环境和真实光环境相关联地存储根据真实光环境应该采用的当前的标识符。在图10所示的示例中，环境对应关系表124指示例如为了实现虚拟光环境“荧光灯”，在真实光环境是“荧光灯”时不采用预设置，在真实光环境是“白炽灯”时采用预设置3，以及在真实光环境是“太阳光”时采用预设置5。这同样适用于虚拟光环境“白炽灯”和“太阳光”。因此，省略与虚拟光环境“白炽灯”和“太阳光”有关的说明。在本实施方式中，日光的颜色被假定为荧光灯并且晴天的太阳光被假定为太阳光。注意，在图10所示的示例中，示出光源的类型作为光环境的示例。然而，作为光环境，例如可以采用场景类元素，诸如晨光和晚霞。
在图9的步骤S204中，颜色调整单元144a使用在步骤S200中获取的真实光环境和在步骤S202中获取的虚拟光环境作为关键值通过环境对应关系表124进行搜索，并且获取预设置的标识符。颜色调整单元144a从预设置组126中获取具有所获取的标识符的当前。
在步骤S206中，颜色调整单元144a将在步骤S204中获取的预设集置应用于附加图像数据的所有像素(这意味着包括黑色单元的所有像素)。因此，将预先存储在预设置中的每个RGB的色调曲曲线的调整、色温的调整、颜色偏差的调整等应用于整个附加图像数数据。例如，在采用预设置5(在真实光环境是太阳光并且虚拟光环境是荧光灯时采用的预设置)的情况下，向整个附加图像数据应用例如用于将色温设置为4000K并且提升B的色调曲线的调整。通过使包括虚拟对象的整个附加图像数据以该这种方式进行颜色转换，颜色调整单元144a可以在考虑虚拟光环境的情况下改变视觉观察颜色。因此，在本实施方式的头戴式显示设备(HMD 100a)中，增加了视觉观察颜色的再现范围。可以为用户改进便利性。
注意，在上面说明的颜色转换处理中，通过附加图像数据的颜色转换实现了在考虑虚拟光环境的情况下对视觉观察颜色进行控制。然而，通过使用电子遮挡件而不使用附加图像数据的颜色转换、或者在附加图像数据的颜色转换之外还使用电子遮挡件，颜色调整单元144a可以在考虑到虚拟光环境的情况下对视觉观察颜色进行改变。在这种情况下，可以将控制内容(例如提供给电子遮挡件的供给电压的调整内容)存储在例如预设置中。
B-3.颜色调整处理的变型
在第二实施方式的颜色调整处理中，可以采用变型1至变型3。可以独立地或组合地采用变型1至变型3。
C.修改例
在本实施方式中，由硬件实现的一部分部件可以替换成软件。相反地，由软件实现的一部分部件可以替换成硬件。此外，下面说明的修改例也是可行的。
修改例1
在本实施方式中，示出了HMD的配置。然而，在不背离本发明的精神的情况下，可以可选地设置HMD的配置。例如可以执行对各部件的添加、删除、转换等。
控制单元和图像显示单元的部件分配仅是示例。可以采用各种形式的分配。例如，可以采用下面说明的形式。
(i)在控制单元上安装处理功能，诸如CPU和存储器，并且在图像显示单元上仅安装显示功能
(ii)在控制单元和图像显示单元二者上都安装处理功能，诸如CPU和存储器
(iii)整合控制单元与图像显示单元(例如，控制单元包含于图像显示单元中并且用作眼镜型可穿戴计算机)
(iv)使用智能电话或者便携式游戏机以替代控制单元
(v)将控制单元和图像显示单元经由无线信号传输线连接，诸如无线LAN、红外通信或蓝牙，并且移除连接单元(线)。注意，在这种情况下，可以对控制单元或图像显示单元进行无线电力供应。
例如，可以可选地改变在本实施方式中示出的控制单元和图像显示单元的配置。具体地，例如，控制单元的发送单元(Tx)和图像显示单元的接收单元(Rx)二者可以包括能够执行双向通信的功能并且可以用作发送单元和接收单元。例如，可以省略包括在控制单元中的一部分操作接口(键、触控板等)。可以在控制单元中包括用诸如杆这样的其他操作接口。例如，可以将诸如键盘和鼠标这样的设备连接到控制单元使得控制单元从键盘和鼠标接收输入。例如，使用二次电池作为电源。然而，电源并不限于二次电池。可以使用各种电池。例如，可以使用原电池、燃料电池、太阳能电池或热电池。
图11A和图11B是示出在修改例中的HMD的外观的配置的说明图。图11A所示的图像显示单元20x包括右光学图像显示单元26x和左光学图像显示单元28x。右光学图像显示单元26x和左光学图像显示单元28x形成得比本实施方式中的光学构件更小并且在用户戴着HMD的情况下被分别倾斜地布置在用户的右眼和左眼之上。图11B所示的图像显示单元20y包括右光学图像显示单元26y和左光学图像显示单元28y。右光学图像显示单元26y和左光学图像显示单元28y形成得比本实施方式中的光学构件更小并且在用户戴着HMD的情况下被分别倾斜地布置在用户的右眼和左眼之下。以这种方式，只需要将光学图像显示单元布置在用户双眼的附近。形成光学图像显示单元的光学构件的大小可以是任意的。光学图像显示单元可以为光学图像显示单元只覆盖用户双眼中的一个单元的形式，即光学图像显示单元不完全覆盖用户双眼的形式。
例如，可以使用被设计用来实现多种功能的ASIC(专用集成电路)来配置包括在控制单元中的处理单元(例如，图像处理单元、显示控制单元、增强现实处理单元)。
例如，HMD是双目型的透射式HMD。然而，HMD可以是单目型的HMD。例如，HMD可以被配置成在用户戴着HMD的状态下阻挡外部场景的透射的非透射式HMD，或者可以被配置成将摄相机安装在非透射式HMD上的视频透视装置。例如，作为耳机，可以采用耳钩型或头带型。可以省略耳机。
例如，可以采用普通的平面显示设备(液晶显示设备、等离子体显示设备、有机EL显示设备等)来代替像眼镜那样佩戴的图像显示单元。在这种情况下，控制单元和图像显示单元可以通过有线或者无线电进行连接。从而，控制单元还可以用作普通平面显示设备的遥控器。
例如，替代像眼镜那样佩戴的图像显示单元，可以采用其他形式的图像显示单元，诸如像帽子那样佩戴的图像显示单元以及并入诸如头盔这样的身体保护器中的图像显示单元。例如，图像显示单元可以被配置成安装在诸如机动车辆和飞机的交通工具或其他运输工具上的平视显示器(HUD)。
例如，图像光生成单元除了各部件(背光、背光控制单元、LCD和LCD控制单元)之外或者替代各部件还可以包括用于实现另一系统的部件。例如，图像光生成单元可以包括有机EL(有机电致发光)显示器和有机EL控制单元。例如，图像生成单元可以包括数字微反射镜器件等以替代LCD。例如，本发明还可以应用于激光视网膜投影型的头戴式显示设备。
修改例2
在本实施方式中，对增强现实处理和颜色调整处理的示例进行说明。然而，在本实施方式中说明的这几种处理的过程仅是示例。对过程的各种修改都是可行的。例如，可以省略一部分步骤或者也可以增加其他步骤。可以改变要执行的步骤的顺序。
例如，颜色调整处理(图4)可以在增强现实处理的过程a4和过程a5之间执行。例如，颜色调整单元可以仅对“颜色”的构成元素之中的色相、色度和亮度中的至少一个进行颜色调整处理。
例如，在颜色调整处理的步骤S106中，颜色调整单元针对每个像素(或者每个像素块)来确定目标颜色。然而，颜色调整单元可以在虚拟对象单元中确定目标颜色。在虚拟对象单元中确定目标颜色的情况下，虚拟对象具有单一颜色。在这种情况下，在步骤S116结束之后，颜色调整单元只需要将处理移至步骤S108。
例如，在颜色调整处理的步骤S108中，在HMD包括诸如颜色传感器这样的其他颜色检测装置的情况下，颜色调整单元可以使用其他颜色检测装置来获取真实对象颜色。
例如，可以对于第一像素(或第一像素块)仅执行一次颜色调整处理的步骤S110中的确定。之后，由于是重复相同的处理，因此可以省略该确定。从而，可以减少颜色调整单元中的处理量。
例如，在颜色调整处理的步骤S110中的确定中，可以同时地使用不同的多个色度参考(第一色度参考和第二色度参考；满足关系：第一色度参考>第二色度参考)。例如，颜色调整单元可以在真实对象颜色的色度等于或高于第一色度参考的情况下执行步骤S112及随后步骤中的处理，在真实对象颜色的色度等于或低于第二色度参考的情况下执行步骤S118及随后步骤中的处理，以及在真实对象颜色的色度低于第一色度参考但高于第二色度参考的情况下同时使用步骤S112及随后步骤中的处理以及步骤S118及随后步骤中的处理。从而，颜色调整单元可以更精细地控制视觉观察颜色。
例如，在颜色调整处理的步骤S112中，颜色调整单元可以获取真实对象附近的紫外线、红外线等，并且根据所获取的紫外线和红外线的状态来确定电子遮挡件的透射率。
例如，在颜色调整处理的步骤S118中，除了基于真实对象颜色的色度和真实对象附近的紫外线和红外线中的任一种对虚拟对象的CG颜色进行调整之外，颜色调整单元还可以同时使用电子遮挡件。
例如，可以可选地改变本实施方式中所说明的真实对象和虚拟对象。例如，可以将“真实背景对象”用作真实对象。真实对象可以是平面的(例如，墙壁或屏幕)。虚拟对象也可以是平面的(例如，看起来好像是附着在作为真实对象而提供的墙壁上的广告的图像)。
例如，在增强现实处理中形成在用户双眼前方的虚拟图像可以仅包括虚拟对象，或者可以包括虚拟对象之外的信息(例如，菜单栏和时钟)。
修改例3
本发明不限于上述实施方式、示例和修改例，而是可以在不背离本发明的精神的情况下被实现为各种配置。例如，为了解决部分或全部问题或者实现部分或者全部效果，可以适当地替换或组合与在发明内容中描述的各方面中的技术特征对应的实施方式、示例和修改例中的技术特征。可以适当地删除技术特征，除非该技术特征在本说明书中被描述为必要技术特征。
附图标记列表
10、10a 控制单元
11 确定键
12 照明单元
13 显示切换键
14 触控板
15 亮度切换键
16 方向键
17 菜单键
18 电源开关
20 图像显示单元
21 右保持单元
22 右显示驱动单元
23 左保持单元
24 左显示驱动单元
26 右光学图像显示单元
28 左光学图像显示单元
30 耳机插头
32 右耳机
34 左耳机
40 连接单元
42 右线
44 左线
46 耦接构件
48 主体线
51 发送单元
52 发送单元
53 接收单元
54 接收单元
61 摄相机(颜色检测单元)
66 九轴传感器
110 输入信息获取单元
100 HMD(头戴式显示设备)
120、120a 存储单元
122 色度参考
124 环境对应关系表
126 预设置组
130 电源
132 无线电通信单元
140 CPU
142 增强现实处理单元
144、144a 颜色调整单元
160 图像处理单元
170 声音处理单元
180 接口
190 显示控制单元
201 右背光控制单元
202 左背光控制单元
211 右LCD控制单元
212 左LCD控制单元
221 右背光
222 左背光
241 右LCD
242 左LCD
251 右投影光学系统
252 左投影光学系统
261 右导光板
262 左导光板
261s 右电子遮挡件
261s 左电子遮挡件
PCLK 时钟信号
VSync 垂直同步信号
HSync 水平同步信号
Data 图像数据
Data1 附加图像数据
Data2 附加图像数据
OA 外部装置
PC 个人计算机
SC 外部场景
VI 虚拟图像
VR 视场
RE 右眼
LE 左眼
ER 端
EL 端
VO 虚拟对象
VO1 虚拟对象
VO2 虚拟对象
FO 目标对象(真实对象)

Claims (10)

1.一种头戴式显示设备，用户利用所述头戴式显示设备能够在视觉上识别虚拟图像和外部场景，所述头戴式显示设备包括：
图像显示单元，所述图像显示单元被配置成使所述用户在视觉上识别所述虚拟图像；
增强现实处理单元，所述增强现实处理单元被配置成使所述图像显示单元形成包括虚拟对象的所述虚拟图像，所述虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；
颜色检测单元，所述颜色检测单元被配置成检测真实对象颜色，所述真实对象颜色是所述真实对象的颜色；以及
颜色调整单元，所述颜色调整单元被配置成使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，所述视觉观察颜色是通过将所述虚拟对象的颜色叠加在所述真实对象颜色上而获得的颜色，
其中，所述颜色调整单元通过在所检测的真实对象颜色的色度低于预定色度的情况下调整所述虚拟对象的颜色使得通过对所检测的真实对象颜色和所述虚拟对象的颜色进行加色混合而获得的颜色接近所述目标颜色，使得所述视觉观察颜色接近所述目标颜色。
2.根据权利要求1所述的头戴式显示设备，其中，
所述图像显示单元还能够针对每个像素来改变所述外部场景的透明度，以及
所述颜色调整单元通过使所述图像显示单元改变所述外部场景的透明度来使所述视觉观察颜色接近所述目标颜色。
3.根据权利要求2所述的头戴式显示设备，其中，所述颜色调整单元使所述图像显示单元在所检测的真实对象颜色的色度等于或高于所述预定色度的情况下改变所述外部场景的透明度。
4.根据权利要求1至3中任一项的头戴式显示设备，其中，所述颜色调整单元针对所述虚拟对象的每个像素来执行用于使所述视觉观察颜色接近所述目标颜色的处理。
5.根据权利要求1至3中任一项所述的头戴式显示设备，其中，所述颜色调整单元针对每个n*m(n和m是等于或大于2的整数)像素块来执行使所述视觉观察颜色接近所述目标颜色的处理，其中所述n*m像素块是所述虚拟对象的像素之中的相邻的多个像素的集合。
6.根据权利要求1所述的头戴式显示设备，其中，所述颜色调整单元基于所述真实对象所处的真实光环境来确定所述目标颜色。
7.根据权利要求1所述的头戴式显示设备，其中，所述颜色调整单元还通过在考虑虚拟光环境的情况下对所述虚拟对象的颜色进行转换来改变所述视觉观察颜色。
8.根据权利要求1所述的头戴式显示设备，其中，所述颜色检测单元是用于获取表示所述外部场景的外部场景图像的摄相机。
9.一种控制头戴式显示设备的方法，包括：
(a)使所述头戴式显示设备形成包括虚拟对象的虚拟图像，所述虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；
(b)检测真实对象颜色，所述真实对象颜色是所述真实对象的颜色；以及
(c)使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，所述视觉观察颜色是通过将所述虚拟对象的颜色叠加在所述真实对象颜色上而获得的颜色，其中，通过在所检测的真实对象颜色的色度低于预定色度的情况下调整所述虚拟对象的颜色使得通过对所检测的真实对象颜色和所述虚拟对象的颜色进行加色混合而获得的颜色接近所述目标颜色，使得所述视觉观察颜色接近所述目标颜色。
10.一种存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行以下操作：
使头戴式显示设备形成包括虚拟对象的虚拟图像，所述虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上；
检测真实对象颜色，所述真实对象颜色是所述真实对象的颜色；以及
使用所检测的真实对象颜色来使视觉观察颜色接近目标颜色，所述视觉观察颜色是通过将所述虚拟对象的颜色叠加在所述真实对象颜色上而获得的颜色，其中，通过在所检测的真实对象颜色的色度低于预定色度的情况下调整所述虚拟对象的颜色使得通过对所检测的真实对象颜色和所述虚拟对象的颜色进行加色混合而获得的颜色接近所述目标颜色，使得所述视觉观察颜色接近所述目标颜色。
CN201580055186.3A 2014-10-15 2015-10-08 头戴式显示设备、控制头戴式显示设备的方法和计算机程序 Active CN106796771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010718329.7A CN111883032A (zh) 2014-10-15 2015-10-08 显示设备、用于控制显示设备的方法和计算机可读介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014210455A JP6488629B2 (ja) 2014-10-15 2014-10-15 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2014-210455 2014-10-15
JP2015-099841 2015-05-15
JP2015099841A JP6596914B2 (ja) 2015-05-15 2015-05-15 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
PCT/JP2015/005116 WO2016059781A1 (en) 2014-10-15 2015-10-08 Head-mounted display device, method of controlling head-mounted display device, and computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010718329.7A Division CN111883032A (zh) 2014-10-15 2015-10-08 显示设备、用于控制显示设备的方法和计算机可读介质

Publications (2)

Publication Number Publication Date
CN106796771A CN106796771A (zh) 2017-05-31
CN106796771B true CN106796771B (zh) 2020-08-21

Family

ID=54360507

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010718329.7A Pending CN111883032A (zh) 2014-10-15 2015-10-08 显示设备、用于控制显示设备的方法和计算机可读介质
CN201580055186.3A Active CN106796771B (zh) 2014-10-15 2015-10-08 头戴式显示设备、控制头戴式显示设备的方法和计算机程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010718329.7A Pending CN111883032A (zh) 2014-10-15 2015-10-08 显示设备、用于控制显示设备的方法和计算机可读介质

Country Status (6)

Country Link
US (2) US10210670B2 (zh)
EP (1) EP3207542A1 (zh)
KR (1) KR20170067856A (zh)
CN (2) CN111883032A (zh)
TW (1) TW201626046A (zh)
WO (1) WO2016059781A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111883032A (zh) 2014-10-15 2020-11-03 精工爱普生株式会社 显示设备、用于控制显示设备的方法和计算机可读介质
CN105700688A (zh) * 2016-03-17 2016-06-22 京东方科技集团股份有限公司 虚拟现实/增强现实装置
WO2017185357A1 (zh) * 2016-04-29 2017-11-02 深圳市大疆创新科技有限公司 可穿戴设备及无人机系统
AU2017260192B2 (en) * 2016-05-05 2022-11-10 James R. Watson Surgical stereoscopic visualization system with movable head mounted display
WO2017217296A1 (ja) * 2016-06-16 2017-12-21 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
US11030975B2 (en) * 2016-07-04 2021-06-08 Sony Corporation Information processing apparatus and information processing method
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
JP2018160735A (ja) 2017-03-22 2018-10-11 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP6888435B2 (ja) * 2017-06-16 2021-06-16 コニカミノルタ株式会社 印刷システム、表示装置、表示装置の制御方法及びプログラム
US10354573B2 (en) * 2017-07-25 2019-07-16 Lenovo (Singapore) Pte Ltd Screen color calibration
TWI697692B (zh) * 2017-08-01 2020-07-01 緯創資通股份有限公司 近眼顯示系統及其操作方法
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
CN109752951B (zh) * 2017-11-03 2022-02-08 腾讯科技（深圳）有限公司 控制系统的处理方法、装置、存储介质和电子装置
EP3489801A1 (en) * 2017-11-24 2019-05-29 Thomson Licensing Method and system for color grading a virtual reality video content
US10552665B2 (en) * 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
DE102017222534B3 (de) * 2017-12-12 2019-06-13 Volkswagen Aktiengesellschaft Verfahren, computerlesbares Speichermedium mit Instruktionen, Vorrichtung und System zum Einmessen einer Augmented-Reality-Brille in einem Fahrzeug, für das Verfahren geeignetes Fahrzeug und für das Verfahren geeignete Augmented-Reality-Brille
CN108108023B (zh) * 2018-01-02 2021-02-19 联想(北京)有限公司 一种显示方法和显示系统
CN110244459B (zh) 2018-03-09 2021-10-08 财团法人工业技术研究院 增强现实装置
TWI664438B (zh) * 2018-03-09 2019-07-01 Industrial Technology Research Institute 擴增實境裝置
JP6938770B2 (ja) 2018-04-04 2021-09-22 株式会社ソニー・インタラクティブエンタテインメント 通信装置、生成データサイズ制御方法及びプログラム
US11245890B2 (en) * 2018-04-04 2022-02-08 Sony Interactive Entertainment Inc. Communication apparatus, generated data size control method, communication method, and program
CN108665373B (zh) * 2018-05-08 2020-09-18 阿里巴巴集团控股有限公司 一种车辆定损的交互处理方法、装置、处理设备及客户端
CN108647712A (zh) * 2018-05-08 2018-10-12 阿里巴巴集团控股有限公司 车辆损伤识别的处理方法、处理设备、客户端及服务器
TWI669682B (zh) * 2018-05-25 2019-08-21 光寶電子（廣州）有限公司 影像處理系統及影像處理方法
CN108803877A (zh) 2018-06-11 2018-11-13 联想(北京)有限公司 切换方法、装置以及电子设备
TWI675583B (zh) 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
CN109561278B (zh) * 2018-09-21 2020-12-29 中建科技有限公司深圳分公司 一种增强现实的显示系统及方法
CN112740144B (zh) * 2018-09-28 2024-03-12 苹果公司 在增强型现实布景中转移虚拟对象
US11087549B2 (en) * 2018-10-15 2021-08-10 University Of Maryland, College Park Methods and apparatuses for dynamic navigable 360 degree environments
US11062678B2 (en) 2018-12-27 2021-07-13 At&T Intellectual Property I, L.P. Synchronization of environments during extended reality experiences
US10867447B2 (en) * 2019-01-21 2020-12-15 Capital One Services, Llc Overlaying 3D augmented reality content on real-world objects using image segmentation
US10535201B1 (en) * 2019-02-15 2020-01-14 Capital One Services, Llc Utilizing machine learning to generate augmented reality vehicle information for a scale model of a vehicle
CN110033521B (zh) * 2019-04-01 2020-01-14 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
CN110286509B (zh) * 2019-05-08 2024-10-01 江苏集萃有机光电技术研究所有限公司 透明显示装置及透明显示方法
US11107195B1 (en) 2019-08-23 2021-08-31 Lucasfilm Entertainment Company Ltd. Motion blur and depth of field for immersive content production systems
FR3102255B1 (fr) 2019-10-17 2022-01-21 Endel Système de communication pour la maintenance d’un site
CN111415422B (zh) * 2020-04-17 2022-03-18 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质
CN111583415B (zh) * 2020-05-08 2023-11-24 维沃移动通信有限公司 信息处理方法、装置和电子设备
CN112416132A (zh) * 2020-11-27 2021-02-26 上海影创信息科技有限公司 Vr眼镜应用程序启动条件检测的方法和系统及其vr眼镜
CN112365605A (zh) * 2020-11-27 2021-02-12 上海影创信息科技有限公司 场地进入对象的提示方法和系统及其vr眼镜
CN112565252A (zh) * 2020-12-04 2021-03-26 上海影创信息科技有限公司 基于非接触热特征的vr设备安全防护方法和系统及其vr眼镜
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
US12003859B2 (en) * 2021-07-16 2024-06-04 Samsung Electronics Co., Ltd. Brightness adjustment method, and apparatus thereof
GB2612663B (en) * 2022-05-17 2023-12-20 Envisics Ltd Head-up display calibration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521859A (zh) * 2011-10-19 2012-06-27 中兴通讯股份有限公司 基于人工标志的增强现实方法及装置
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4217787B2 (ja) * 2005-06-15 2009-02-04 国立大学法人東京工業大学 信号処理方法及び信号処理装置
JP2007018173A (ja) 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
JP4834116B2 (ja) * 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9336625B2 (en) * 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5563613B2 (ja) * 2012-03-30 2014-07-30 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP6145966B2 (ja) * 2012-05-09 2017-06-14 ソニー株式会社 表示装置
US9398844B2 (en) * 2012-06-18 2016-07-26 Microsoft Technology Licensing, Llc Color vision deficit correction
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
GB201310373D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
JP6488629B2 (ja) 2014-10-15 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN111883032A (zh) 2014-10-15 2020-11-03 精工爱普生株式会社 显示设备、用于控制显示设备的方法和计算机可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521859A (zh) * 2011-10-19 2012-06-27 中兴通讯股份有限公司 基于人工标志的增强现实方法及装置
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法

Also Published As

Publication number Publication date
EP3207542A1 (en) 2017-08-23
US10210670B2 (en) 2019-02-19
KR20170067856A (ko) 2017-06-16
CN111883032A (zh) 2020-11-03
CN106796771A (zh) 2017-05-31
US20190180517A1 (en) 2019-06-13
WO2016059781A1 (en) 2016-04-21
US10643400B2 (en) 2020-05-05
TW201626046A (zh) 2016-07-16
US20170243406A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
CN106796771B (zh) 头戴式显示设备、控制头戴式显示设备的方法和计算机程序
JP6596914B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9557566B2 (en) Head-mounted display device and control method for the head-mounted display device
US9823473B2 (en) Head-mounted display device and control method for head-mounted display device
US10451874B2 (en) Image display device, method of controlling image display device, computer program, and image display system
US10627620B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
CN110068926B (zh) 显示装置
US9547372B2 (en) Image processing device and head mounted display apparatus including the same
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
US10073262B2 (en) Information distribution system, head mounted display, method for controlling head mounted display, and computer program
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10082671B2 (en) Head-mounted display, method of controlling head-mounted display and computer program to measure the distance from a user to a target
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20170092004A1 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US20150168728A1 (en) Head mounted display device
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20160156900A1 (en) Head mounted display device, control method for head mounted display device, and computer program
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6308249B2 (ja) 頭部装着型表示装置および方法
JP2016031373A (ja) 表示装置、表示方法、表示システム、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant