CN104714302A - 头部佩戴型显示装置 - Google Patents

头部佩戴型显示装置 Download PDF

Info

Publication number
CN104714302A
CN104714302A CN201410778855.7A CN201410778855A CN104714302A CN 104714302 A CN104714302 A CN 104714302A CN 201410778855 A CN201410778855 A CN 201410778855A CN 104714302 A CN104714302 A CN 104714302A
Authority
CN
China
Prior art keywords
image
mentioned
display
preview
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410778855.7A
Other languages
English (en)
Inventor
小林伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104714302A publication Critical patent/CN104714302A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本发明提供缓和相机的拍摄图像作为虚像提供时的不协调感并提高便利性的头部佩戴型显示装置。头戴显示器(100)将相机(61)拍摄的拍摄图像(实像(Ri1～Ri5))对应的虚像(Vi3～Vi5)作为相机预览(PrV)进行虚像显示时，经由显示状况设定表，由用户设定显示状况。根据该设定的显示状况，形成将相机预览(PrV)进行虚像显示所需的图像数据(步骤S118～S120)，在已经设定的显示状况下，将该相机预览(PrV)在虚像显示区域(VIR)进行虚像显示。

Description

头部佩戴型显示装置
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
已知有头部佩戴的显示装置即头部佩戴型显示装置(头戴显示器(HeadMounted Display，HMD))。头部佩戴型显示装置例如利用液晶显示器和光源生成表示图像的图像光，将生成的图像光利用投射光学系统和/或导光板等导向用户的眼，从而使用户观看虚像(例如，专利文献1)。该专利文献中，应用了用计算机向现实环境附加呈现信息的扩展现实感(AR，AugmentedReal ity)的实现方法，但是，不限于该AR的应用，在搭载相机的头部佩戴型显示装置中，使用户与外景重叠地观看虚像时，关于相机拍摄的拍摄图像也可以将其作为虚像预览。此外，相机的拍摄图像的预览在头部佩戴型显示装置以外的拍摄装置中是普遍的，例如，也提出了：相机的拍摄模式可以切换为通常模式和情景模式，在情景模式中，预览图像比通常模式缩小显示的方法(例如专利文献2)。
【专利文献1】特开2013-178639号公报
【专利文献2】特开2013-115722号公报
发明内容
不限于上述的专利文献1，在搭载相机的头部佩戴型显示装置中，将相机的拍摄图像作为虚像预览时，如专利文献2提案的那样，作为虚像的相机的拍摄图像也可以缩小预览和/或者在虚像显示区域的整个区域中预览。但是，头部佩戴型显示装置具有使用户与外景重叠地观看预览图像作为虚像的特别功能，因此存在以下的问题。
相机的拍摄图像预览为虚像时，用户一次性观看拍摄图像即虚像的外景和用户亲眼看见的实际的外景这两方。相机的拍摄区域与用户亲眼看见的观看区域未必一致，相机的拍摄方向与用户的视平线方向也未必一致。另外，拍摄图像的图像数据被进行与虚像形成关联的各种数据处理，因此，拍摄图像即虚像的外景被延迟提供。结果，作为虚像提供的外景和实际的外景之间不匹配，会使得用户产生不协调感。而且，仅仅缩小地预览作为虚像的相机的拍摄图像时，上述的不匹配引起的不协调感会变得显著。另外，不同于相机的拍摄图像的图像数据、例如从外部提供或者头部佩戴型显示装置本身具备的动态图像图像数据，作为虚像被用户与外景重叠地观看时，用户原本就自己承认虚像和外景存在差异，因此，上述不协调感不是那么严重的问题。
另外，假定佩戴头部佩戴型显示装置的用户不仅将装置附属的相机用于简单的外景的拍摄还用于多样的用途。例如，有时在横向具有信息的条形码和/或纵横具有信息的QR码(注册商标)的信息读入中采用装置附属的相机。在该情况下，还可能出现用户期望对比实际观看的这样的码和相机的拍摄码(详细地说是作为虚像显示的码)的情况，因此，还存在便利性提高的余地。因此，在搭载相机的头部佩戴型显示装置中，要求缓和相机的拍摄图像作为虚像提供时的不协调感并提高便利性。另外，也期望提高相机的拍摄图像作为虚像提供的结构的通用性和/或降低其成本等。
本发明为解决上述问题的至少一部分而提出，能以以下的形态实现。
(1)根据本发明的一形态，提供头部佩戴型显示装置。该头部佩戴型显示装置可与外景重叠地观看虚像，具备：图像显示部，形成并显示用户观看的上述虚像；虚像形成处理部，执行该图像显示部中的虚像形成处理；可拍摄用户的视野方向的相机；以及预览设定部，设定将该相机拍摄的拍摄图像在上述图像显示部作为预览图像进行虚像显示时的图像显示状况。上述形态的头部佩戴型显示装置的预览设定部可设定不同的显示状况，因此经与各个显示状况相应的由虚像形成处理部进行的虚像形成处理，可以由图像显示部将相机的拍摄图像作为预览图像以多种多样的状况进行虚像显示。例如，可以将作为预览图像进行虚像显示的相机的拍摄图像以尽可能与实际外景匹配的显示状况提供预览图像、将作为预览图像而进行虚像显示的相机的拍摄图像以可与实际的外景对比的显示状况提供预览图像。其结果，根据上述形态的头部佩戴型显示装置，在搭载相机的头部佩戴型显示装置中，可以缓和相机的拍摄图像作为虚像提供时的不协调感，并提高便利性。
(2)上述形态的头部佩戴型显示装置中，上述预览设定部可以将上述预览图像的显示尺寸、在虚像显示区域中的上述预览图像的显示位置和将上述拍摄图像作为上述预览图像时的倍率的至少一个，设定为上述图像显示状况。这样，由图像显示部将相机的拍摄图像作为预览图像进行虚像显示的状况进一步多样化，因此，可以进一步缓和与实际的外景的不匹配引起的不协调感，并提高便利性。
(3)上述的任一形态的头部佩戴型显示装置中，上述预览设定部能够等待用户对上述图像显示状况的设定。这样，经过将相机的拍摄图像以作为虚像显示的预览图像而接受提供的用户自身的设定，可以设定各种图像显示状况，因此，可以进一步缓和与实际外景不匹配引起的不协调感，并进一步提高便利性。
(4)上述的形态的头部佩戴型显示装置中，具有项目设定操作部，显示按上述图像显示状况的多个设定项目，为了选定该显示的设定项目而由用户操作，上述预览设定部能通过上述项目设定操作部的用户操作，设定上述图像显示状况。这样，将相机的拍摄图像以作为虚像显示的预览图像而接受提供的用户自身可以从显示的多个设定项目选定期望的设定项目，设定各种图像显示状况，因此，可以进一步缓和与实际外景不匹配引起的不协调感，并进一步提高便利性。
(5)上述的形态的头部佩戴型显示装置中，具有显示设定操作部，该显示设定操作部确定显示上述预览图像的设定和不显示的设定的任一个时由用户操作，上述预览设定部，在通过上述显示设定操作部的用户操作成为显示上述预览图像的设定时，能通过上述项目设定操作部的用户操作，设定上述图像显示状况。这样，由于经期望进行预览图像的显示的用户自身对显示设定操作部的操作来显示预览图像，因此，有利于不协调感的降低等。
(6)上述的形态的头部佩戴型显示装置中，具有监视用户的头部的举动、在用户产生预定的头部举动时进行显示上述预览图像的设定的显示设定部，上述预览设定部在上述显示设定部进行显示上述预览图像的设定时，能通过上述项目设定操作部的用户操作，设定上述图像显示状况。即使这样，由于经期望进行预览图像的显示的用户自身产生的预定的头部举动来显示预览图像，因此，有利于不协调感的降低等。
(7)上述的形态的头部佩戴型显示装置中，具有由用户将上述相机的拍摄状况切换为静态图像拍摄模式和动态图像拍摄模式的任一个的模式切换部，上述预览设定部在上述模式切换部切换到上述静态图像拍摄模式时，能通过上述项目设定操作部的用户操作，设定上述图像显示状况。用静态图像拍摄模式拍摄的相机图像即使与用户观看的外景不匹配，也是用户自身期望拍摄的静态图像，因此，用户了解与实际外景不匹配引起的不协调感，从而难以感觉到该不协调感。
(8)上述的形态的头部佩戴型显示装置中，上述虚像形成处理部能执行上述虚像形成处理，使得上述图像显示部在预定时间范围显示上述预览图像。这样，即使显示预览图像，其显示时间限定在当初的预定时间，因此，可以限制会感到上述不协调感的时间。
上述本发明的各形态具有的多个构成要素并非全部都是必须的，为了解决上述问题的一部分或全部，或者为了实现本说明书所述的效果的部分或全部，对于上述多个构成要素的部分构成要素，可以适当进行其变更、删除、与新的构成要素的替换、限定内容的部分删除。另外，为了解决上述问题的部分或全部，或者实现本说明书所述的效果的部分或全部，也可以将上述本发明的一形态所包含的技术特征的部分或全部与上述本发明的其他形态所包含的技术特征的部分或全部组合，形成本发明的独立的一个形态。
另外，本发明能以各种形态实现，例如，能以头部佩戴型显示装置的控制方法、头部佩戴型显示系统、用于实现这些方法、装置或系统的功能的计算机程序、记录有该计算机程序的记录介质等的形态实现。
附图说明
图1是表示本发明一实施方式中的头部佩戴型显示装置的概略构成的说明图。
图2是功能性表示头戴显示器100的构成的框图。
图3是表示右显示驱动部22中的图像光生成部出射图像光的情形的说明图。
图4是表示由生成部143和/或预览控制部141等以用户可识别的方式形成的虚像的一例的说明图。
图5是表示用户的视野VR与相机61的拍摄区域CRv及虚像显示区域VIR的关系的概略的说明图。
图6是表示包含与相机61的拍摄图像对应的虚像VI的预览图像的显示尺寸等的设定的情形的说明图。
图7是说明由包含图像处理部160和/或显示控制部190等的控制部10执行的相机预览处理的概要的说明图。
图8是表示不需要相机预览PrV时的显示形态的概略的说明图。
图9是表示进行相机预览PrV时的显示形态的一例的概略说明图。
图10是表示通过用户操作将相机预览PrV的显示位置设定于虚像显示区域VIR的右上区域时的显示形态的概略说明图。
图11是表示通过用户操作将相机预览PrV的显示位置在虚像显示区域VIR的左上区域设定为显示尺寸为960×540时的显示形态的概略说明图。
图12是表示通过用户操作将相机预览PrV的显示位置在虚像显示区域VIR的右上区域设定成显示倍率为2.0倍时的显示形态的概略说明图。
图13是表示变形例中的头戴显示器的外观的构成的说明图。
【符号的说明】
10…控制部(控制器) 12…点亮部 14…触摸板 16…十字键 18…电源开关 20…图像显示部 20a、20b…图像显示部 21…右保持部 22…右显示驱动部 23…左保持部 24…左显示驱动部 26…右光学像显示部 26a、26b…右光学像显示部 28…左光学像显示部 28a、28b…左光学像显示部30…耳机插头 32…右耳机 34…左耳机 40…连接部 42…右缆绳 44…左缆绳 46…连接部件 48…本体缆绳 51…发送部 52…发送部 53…接收部61…相机 100…头戴显示器(头部佩戴型显示装置) 110…输入信息取得部120…存储部 130…电源 132…无线通信部 140…CPU 141…预览控制部143…生成部 160…图像处理部 170…声音处理部 180…接口 190…显示控制部 201…右背光源控制部 202…左背光源控制部 221…右背光源222…左背光源 251…右投射光学系统 252…左投射光学系统 261…右导光板 262…左导光板 PCLK…时钟信号 VSync…垂直同步信号 HSync…水平同步信号 Data…图像数据 Data1…右眼用图像数据 Data2…左眼用图像数据 OA…外部设备 PC…个人计算机 SC…外景 RE…右眼 LE…左眼CG…种 VI…虚像 EL…端部 AP…前端部 ER…端部 VR…视野 VIR…虚像显示区域 Ri1～Ri5…实像 Vi3～Vi5…虚像 CRv…拍摄区域 PrV…相机预览
具体实施方式
A.实施方式：
A-1.头部佩戴型显示装置的构成：
图1是表示本发明一实施方式中的头部佩戴型显示装置的概略构成的说明图。头部佩戴型显示装置100是头部佩戴的显示装置，也称为头戴显示器(Head Mounted Display，以下称为头戴显示器100)。本实施方式的头戴显示器100是用户在观看虚像的同时也可直接观看外景的光学透射型的头部佩戴型显示装置。
头戴显示器100具备：在用户的头部佩戴的状态下使用户观看虚像的图像显示部20；控制图像显示部20的控制部(控制器)10。
图像显示部20是在用户的头部佩戴的佩戴体，本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61。右光学像显示部26及左光学像显示部28分别配置为，在用户佩戴有图像显示部20时位于用户的右及左的眼前。右光学像显示部26的一端和左光学像显示部28的一端，在用户佩戴图像显示部20时的与用户眉间对应的位置相互连接。
右保持部21是从右光学像显示部26的另一端即端部ER到用户佩戴图像显示部20时的与用户的侧头部对应的位置延伸而设置的部件。同样，左保持部23是从左光学像显示部28的另一端即端部EL到用户佩戴图像显示部20时的与用户的侧头部对应的位置延伸而设置的部件。右保持部21及左保持部23像眼镜的腿(镜腿)那样在用户的头部保持图像显示部20。
右显示驱动部22配置在右保持部21的内侧，换言之，配置在用户佩戴图像显示部20时的与用户的头部相对的侧。另外，左显示驱动部24配置在左保持部23的内侧。另外，以下，右保持部21及左保持部23的总称也简称为“保持部”，右显示驱动部22及左显示驱动部24的总称也简称为“显示驱动部”，右光学像显示部26及左光学像显示部28的总称也简称为“光学像显示部”。
左右的显示驱动部包含液晶显示器(Liquid Crystal Display，以下称为“LCD”)241、242和/或投射光学系统251、252等(参照图2)。显示驱动部的构成的详细将后述。作为光学部件的光学像显示部，包含导光板261、262(图2参照)和调光板。导光板261、262由光透射性的树脂材料等形成，将从显示驱动部输出的图像光导入用户的眼。调光板是薄板状的光学元件，以覆盖图像显示部20的表侧(用户的眼侧的相反侧)的方式配置。调光板保护导光板261、262，抑制对导光板261、262的损伤和/或污物的附着等。另外，通过调整调光板的光透射率，可以调整进入用户的眼的外光量，调整虚像的观看的容易度。另外，调光板可省略。
相机61配置在用户佩戴图像显示部20时的图像显示部20的端部ER。相机61将图像显示部20的表侧方向换言之为佩戴头戴显示器100的状态下的用户的视野方向设为拍摄方向，拍摄作为该拍摄方向的用户正面的外景(外部的景色)，取得外景图像。该情况下，佩戴头戴显示器100的用户若上下左右移动自身的头，相应于该移动，用户的视野方向变化，相机61的拍摄方向也变化。相机61是所谓的可见光相机，例如具备CCD(Charge CoupledDevice：电荷耦合器件)和/或CMOS(Complementary Metal-OxideSemiconductor：互补金属氧化物半导体)等的拍摄元件。由该相机61取得的外景图像是由物体放射的可见光表示物体的形状的图像，其拍摄数据向后述的CPU140输出，用于后述的虚像形成处理。本实施方式中的相机61是单眼相机，也可以是立体相机。另外，相机61是可拍摄用户的视野方向的相机即可，例如也可以是能以180度的广角视野拍摄的相机。另外，也可以采用可进行360度的所谓鱼眼拍摄的相机，从鱼眼拍摄图像切取与用户的视野方向一致的区域的图像。相机61的配设位置不限于图像显示部20的端部ER，也可以设为与用户的眉间对应的位置和/或者图像显示部20的端部EL。
图像显示部20还具备用于将图像显示部20与控制部10连接的连接部40。连接部40具备：与控制部10连接的本体缆绳48；本体缆绳48分支为两部分的右缆绳42及左缆绳44；设置在分支点的连接部件46。右缆绳42从右保持部21的延伸方向的前端部AP插入右保持部21的框体内，与右显示驱动部22连接。同样，左缆绳44从左保持部23的延伸方向的前端部AP插入左保持部23的框体内，与左显示驱动部24连接。在连接部件46设置用于连接耳机插头30的插孔。从耳机插头30延伸右耳机32及左耳机34。
图像显示部20和控制部10经由连接部40进行各种信号的传送。在本体缆绳48中的连接部件46的相反侧的端部和控制部10，分别设置了相互嵌合的连接器(图示省略)，通过本体缆绳48的连接器与控制部10的连接器的嵌合/嵌合解除，连接或者分离控制部10与图像显示部20。在右缆绳42、左缆绳44和本体缆绳48，例如可以采用金属缆线和/或光纤。
控制部10是用于控制头戴显示器100的装置。控制部10包含点亮部12、触摸板14、十字键16、电源开关18。点亮部12通过其发光形态通知头戴显示器100的工作状态(例如，电源的ON/OFF等)。点亮部12可以采用例如LED(Light Emitting Diode：发光二极管)。触摸板14检测触摸板14的操作面上的接触操作，输出与检测内容相应的信号。触摸板14可以采用静电式、压力检测式、光学式等的各种触摸板。该触摸板14显示后述的各种开关等，并且输出与该开关的用户操作相应的控制信号。图1中，相机61的拍摄开始开关和/或确定后述的预览显示的要否的开关被进行菜单显示。这些开关显示在装置电源导通等的预定定时、或者用户的预定工作例如触摸板14的单击和/或使控制部10快速上下移动的工作发生时，进行。十字键16检测对于与上下左右方向对应的键的按压操作，输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作，切换头戴显示器100的电源的状态。
图2是表示头戴显示器100的构成的功能性框图。控制部10具备输入信息取得部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180、发送部(Tx)51及52，各部分通过未图示总线相互连接。
输入信息取得部110例如取得与对触摸板14和/或十字键16、电源开关18等的操作输入相应的信号。存储部120由ROM、RAM、DRAM、硬盘等构成。存储部120除了存储包含在后述的虚像VI而显示的图标等的CG(计算机图形)外，还存储将相机拍摄图像作为虚像如后述那样预览显示时的显示状况设定表等。电源130向头戴显示器100的各部供给电力。电源130可以采用例如二次电池。无线通信部132按照无线LAN和/或蓝牙等的预定的无线通信规格，与其他设备进行无线通信。
CPU140通过读出执行在存储部120存储的计算机程序，起到操作系统(ОS)150、图像处理部160、声音处理部170、显示控制部190、预览控制部141、生成部143的功能。
图像处理部160基于经由接口180输入的内容(影像)而生成信号。本实施方式中，相机61拍摄的拍摄图像也设为该内容之一。图像处理部160将生成的信号经由连接部40供给图像显示部20。用于供给到图像显示部20的信号因模拟形式和数字形式的情况而异。为模拟形式时，图像处理部160生成并发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、图像数据Data。具体地说，图像处理部160取得内容所包含的图像信号。取得的图像信号为例如动态图像时，一般地说是由每秒30张的帧图像构成的模拟信号。图像处理部160从取得的图像信号，分离垂直同步信号Vsync和/或水平同步信号HSync等的同步信号，相应于它们的周期，由PLL电路等生成时钟信号PCLK。图像处理部160将分离了同步信号的模拟图像信号用A/D变换电路等变换为数字图像信号。图像处理部160将变换后的数字图像信号作为RGB数据的图像数据Data逐帧存储在存储部120内的DRAM。另一方面，为数字形式时，图像处理部160生成并发送时钟信号PCLK和图像数据Data。具体地说，内容为数字形式时，时钟信号PCLK与图像信号同步输出，因此，垂直同步信号VSync及水平同步信号HSync的生成和模拟图像信号的A/D变换变得不必要。另外，图像处理部160也可以对存储部120存储的图像数据Data执行分辨率变换处理和/或辉度·彩度调整等的各种色调补正处理、梯形补正处理等的图像处理。
图像处理部160经由发送部51、52分别发送所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、存储部120内的DRAM存储的图像数据Data。另外，经由发送部51发送的图像数据Data也称为“右眼用图像数据Data1”，经由发送部52发送的图像数据Data也称为“左眼用图像数据Data2”。发送部51、52作为用于控制部10和图像显示部20之间的串行传送的收发机发挥功能。
显示控制部190生成控制右显示驱动部22及左显示驱动部24的控制信号。具体地说，显示控制部190通过控制信号，分别控制右LCD控制部211对右LCD241的驱动ON/OFF和/或右背光源控制部201对右背光源221的驱动ON/OFF、左LCD控制部212对左LCD242的驱动ON/OFF、和/或左背光源控制部202对左背光源222的驱动ON/OFF等，从而控制右显示驱动部22及左显示驱动部24分别进行的图像光的生成及出射。例如，显示控制部190使右显示驱动部22及左显示驱动部24的两方生成图像光，或者仅仅使一方生成图像光，或者使两方都不生成图像光。另外，显示控制部190经由发送部51及52对右LCD控制部211和左LCD控制部212分别发送控制信号。另外，显示控制部190对右背光源控制部201和左背光源控制部202分别发送控制信号。另外，显示控制部190与图像处理部160和/或预览控制部141、生成部143协作，构建本申请中的“虚像形成处理部”，执行图像显示部20中的虚像形成所需的虚像形成处理。
预览控制部141基于由输入信息取得部110在控制部10的触摸板14显示的显示状况设定表的用户操作，生成后述的预览图像，将该图像信号向生成部143输出。此时，预览控制部141在从相机61输入其的拍摄图像时，对于相机61的拍摄图像，为了进行预览显示，也生成其的预览图像。生成部143基于存储部120已经存储的CG和/或来自预览控制部141的图像信号，形成由后述的图像显示部20显示虚像时的图像数据，将其向图像显示部20输出。这样，生成部143与图像处理部160和/或预览控制部141及显示控制部190协作，构建本申请中的“虚像形成处理部”。
声音处理部170取得内容所包含的声音信号，将取得的声音信号放大，供给与连接部件46连接的右耳机32具备的未图示的扬声器及左耳机34具备的未图示的扬声器。另外，例如，采用Dolby(注册商标)系统时，对声音信号进行处理，从右耳机32及左耳机34分别输出例如频率等改变后的不同的声音。
接口180是用于向控制部10连接成为内容供给源的各种外部设备OA的接口。作为外部设备ОA，例如有个人计算机PC和/或便携电话终端、游戏终端等。接口180可以采用例如USB接口和/或微USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61、9轴传感器66。
9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器66设置在图像显示部20，因此，图像显示部20佩戴在用户的头部时，起到检测用户的头部的移动的移动检测部的功能。这里，头部的移动包含头部的速度、加速度、角速度、朝向、朝向的变化。
右显示驱动部22包含接收部(Rx)53、起到光源功能的右背光源(BL)控制部201及右背光源(BL)221、起到显示元件功能的右LCD控制部211及右LCD241、右投射光学系统251。另外，右背光源控制部201、右LCD控制部211、右背光源221、右LCD241也总称为“图像光生成部”。
接收部53作为用于控制部10和图像显示部20之间的串行传送的接收机发挥功能。右背光源控制部201基于输入的控制信号，驱动右背光源221。右背光源221是例如LED和/或电致发光(EL)等的发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据Data1，驱动右LCD241。右LCD241是多个像素矩阵状配置的透射型液晶面板。
图3是表示由右显示驱动部22中的图像光生成部出射图像光的情形的说明图。右LCD241通过驱动矩阵状配置的各像素位置的液晶，改变透射右LCD241的光的透射率，从而将从右背光源221照射的照明光调制为表示图像的有效图像光。另外，本实施方式采用背光源方式，但是也可以采用前光源方式和/或反射方式来出射图像光。
右投射光学系统251由将右LCD241出射的图像光形成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261将从右投射光学系统251输出的图像光沿预定的光路反射，并导入用户的右眼RE。光学像显示部只要可采用图像光在用户的眼前形成虚像，就可以采用任意的方式，例如，可以采用衍射光栅，也可以采用半透射半反射膜。
左眼LE用的左显示驱动部24具有与右显示驱动部22同样的构成。即，左显示驱动部24包含接收部(Rx)54、起到光源功能的左背光源(BL)控制部202及左背光源(BL)222、起到显示元件功能的左LCD控制部212及左LCD242、左投射光学系统252。右显示驱动部22和左显示驱动部24成对，左显示驱动部24的各部分具有与用右显示驱动部22说明的上述的各部分同样的构成及功能，因此其说明省略。
图4是表示由生成部143和/或预览控制部141等以用户可识别的方式形成的虚像的一例的说明图。如上所述，导入头戴显示器100的用户两眼的图像光通过在用户的视网膜成像，使用户可以观看虚像VI。如图4所示，在头戴显示器100的用户的视野VR内显示虚像VI，该虚像VI包含表示相机61的驱动状况的图标等的各种CG。另外，用户的视野VR中，对于显示虚像VI的部分，用户观看光学像显示部的虚像VI，并在虚像VI的背后透过该虚像VI观看到外景SC。用户的视野VR中，对于显示虚像VI的部分以外的部分，用户可透过光学像显示部直接看见外景SC。本实施方式中，除了上述各种CG外，使表示虚像VI的显示区域即虚像显示区域VIR的框也作为虚像被观看地，进行处理。
这样，用于与外景SC重叠显示虚像VI的图像数据，由通过头戴显示器100的生成部143进行的虚像显示用的图像数据形成而生成。由生成部143生成的图像数据通过右LCD控制部211等通信，使得虚像VI在用户的正面区域显示。图像数据生成时，生成部143为了与外景SC重叠显示虚像VI，生成不同的右眼用图像数据Data1和左眼用图像数据Data2，因此，作为其结果，虚像VI与外景SC重叠显示。
这里，说明拍摄图像显示为虚像VI时的用户的视野VR和相机61的拍摄区域CRv及虚像显示区域VIR的关系。图5是表示用户的视野VR和相机61的拍摄区域CRv及虚像显示区域VIR的关系的概略说明图。如图示，在用户的视野VR中水平等分地并排包含实像Ri1～Ri5时，相机61位于用户佩戴的图像显示部20的端部ER，因此，其拍摄区域CRv成为视野VR的右方侧的一部分区域，相机61拍摄实像Ri3～Ri5。作为该相机61的拍摄图像的虚像VI(虚像Vi3～Vi5)在占据视野VR的大致中央的虚像显示区域VIR的一部分区域中，作为后述的预览图像而提供。包含虚像Vi3～Vi5的预览图像的显示位置可设定成虚像显示区域VIR的左方区域的上下或中央、右方区域的上下或中央、或者中央区域的上下或中央的任一处，如后述，该显示区域通过用户操作设定。另外，该预览图像的显示尺寸也可以多级调整，通过用户操作设定。另外，预览图像的放大、缩小也可设定，其放大率也可以通过用户操作设定。图6是表示包含与相机61的拍摄图像对应的虚像VI的预览图像的显示尺寸等的设定情形的说明图。
控制部10在装置电源导通等的预定定时、或者用户的预定动作例如触摸板14的双击和/或使控制部10快速左右移动的动作发生时，如图6所示，在触摸板14显示显示状况设定表。该显示状况设定表将预览图像的显示尺寸、放大率、虚像显示区域VIR中的显示位置分别以菜单形式包含多个设定项目。因此，用户观看该显示状况设定表后，如所述那样选择设定预览图像的显示尺寸和/或放大率、虚像显示区域VIR中的显示位置。该设定信号向生成部143和/或预览控制部141输出，用于预览图像的显示所需的图像数据处理。这样的预览图像的显示状况经由对触摸板14的显示状况设定表的显示，可随时由用户设定。
用户透过包含由生成部143获得的虚像VI(虚像Vi3～Vi5)的预览图像，观看外景SC。以下，将相机61实际拍摄的拍摄图像在虚像显示区域VIR作为预览图像的虚像VI而显示的图像称为相机预览PrV，说明与该相机预览相关的处理。
A-2.相机预览处理：
图7是说明由包含图像处理部160和/或显示控制部190等的控制部10执行的相机预览处理的概要的说明图，图8是表示不需要相机预览PrV时的显示形态的概略的说明图，图9是表示进行相机预览PrV时的显示形态的一例的概略说明图。该相机预览处理在相机61继续拍摄期间反复执行，控制部10首先判定是否需要进行将相机61拍摄的拍摄图像在虚像显示区域VIR作为虚像VI显示的相机预览PrV(步骤S100)。该情况下，相机61进行的拍摄以触摸板14中的预定操作(拍摄开始开关操作)、和/或佩戴头戴显示器100的用户的头部动作例如连续的上下的头部动作等作为触发而开始。另外，是否需要进行相机预览PrV，具体地说，在需要进行相机预览PrV时，需要触摸板14中的其他预定操作(预览执行操作)和/或用户的其他头部动作例如连续的左右的头部动作等。控制部10等待这些操作和/或头部举动，在步骤S100判定是否需要进行相机预览。更具体地说，控制部10在触摸板14除了拍摄开始开关外还显示预览执行开关，或者在相应开关操作后显示预览执行开关，等待用户进行的该预览执行开关操作。该开关由用户操作后，判定需要进行相机预览显示。另外，控制部10基于来自9轴传感器66的传感器输出，监视用户的头部举动，若用户的头部举动与连续的左右的头部移动一致，则判定需要进行相机预览显示。
控制部10根据上述预览执行操作和/或预定的头部动作的有无，在步骤S100判定是否需要进行相机预览PrV，这里，判定不需要进行相机预览PrV时，向图像显示部20输出表示不需要进行相机预览的含义的控制信号(步骤S105)，暂时结束本例程。在步骤S100判定不需要进行相机预览时，图像显示部20接受表示不需要进行相机预览的含义的控制信号，如图8所示，采取将虚像VI不包含该虚像显示区域VIR而显示的上段的形态或者将虚像显示区域VIR的区域框和各种CG显示为虚像VI的下段的形态的任一种，使这些图像不含相机预览PrV。是否采取上述的任一形态可以由未图示的拨动(dip)开关等规定、由预定的用户操作预先确定。本实施方式中，上述的相机预览的要否通过初始设定而设定为不需要相机预览，因此，相机61由上述用户操作导通而开始拍摄时，若无上述预览执行操作和/或预定的头部动作，则经步骤S100的否定判定，采取图8的任一形态。
另一方面，在步骤S100判定需要相机预览时，控制部10进行相机61的拍摄图像数据的输入(步骤S110)和基于采用了触摸板14中的显示状况设定表(参照图6)的用户操作所进行的预览设定的读入(步骤S118)。本实施方式中，上述的预览图像的显示状况设定如上所述随时由用户进行，因此，图9所示的相机预览PrV的显示状况设定成：其显示位置为虚像显示区域VIR的左上区域；显示尺寸为例如320×240；显示倍率为×0.5。因此，控制部10的生成部143与预览控制部141协作，在这些设定完毕显示状况下，以相机预览PrV在虚像显示区域VIR进行虚像显示的方式，由输入的拍摄图像数据生成用于显示虚像VI的图像数据(虚像图像数据)，将该生成的图像数据向图像显示部20输出(步骤S120)，暂时结束本例程。从而，图像显示部20在用户的视野VR中的虚像显示区域VIR显示将相机61拍摄的拍摄图像作为相机预览PrV包含的虚像VI，使用户观看该虚像VI。显示包含相机61拍摄的拍摄图像的虚像VI、图5所示例中为包含虚像Vi3～Vi5的相机预览PrV时，如图9所示，图像显示部20采取：在虚像显示区域VIR中的上述设定完毕显示位置将包含虚像Vi3～Vi5的相机预览PrV与虚像显示区域VIR的区域框一起显示的上段的形态，或者除了包含虚像Vi3～Vi5的相机预览PrV还将表示相机61的驱动状况的图标等的各种CG与虚像显示区域VIR的区域框一起显示的下段的形态中任一形态。是否采取上述的任一形态，可以由未图示的拨动开关等规定、由预定的用户操作预先确定。这样，显示将相机61拍摄的拍摄图像作为相机预览PrV而包含的虚像VI时，本实施方式中，将该相机预览PrV的显示期间限定在预先确定的预定期间，例如，几秒到十几秒的期间。该情况下，相机预览PrV的显示限定在预定时间或者持续进行，也可以由未图示的拨动开关等规定、由预定的用户操作预先确定。
图10是表示通过用户操作使相机预览PrV的显示位置设定于虚像显示区域VIR的右上区域时的显示形态的概略说明图，图11是表示通过用户操作使相机预览PrV的显示位置为虚像显示区域VIR的左上区域且显示尺寸设定成960×540时的显示形态的概略说明图，图12是表示通过用户操作使相机预览PrV的显示位置为虚像显示区域VIR的右上区域且显示倍率设定成2.0倍时的显示形态的概略说明图。如这些各图所示，控制部10根据步骤S118读入的预览图像的显示状况设定，由生成部143和/或预览控制部141将相机预览PrV包含在虚像显示区域VIR进行虚像显示。在图12的放大显示中，将实像Ri3～Ri5对应的虚像Vi3～Vi5以设定的放大率放大显示，因此，设定完毕的显示尺寸的相机预览PrV中，仅仅放大显示虚像Vi4，放大完毕的虚像Vi3和虚像Vi5从相机预览PrV的显示区域偏离，因此不显示。
具备以上说明的构成的本实施方式的头戴显示器100，由预览控制部141和/或生成部143生成用于使虚像VI与外景SC重叠显示的图像数据，通过该生成的图像数据，以使得虚像VI在用户的正面区域显示的方式，使虚像VI与外景SC重叠地被观看。而且，本实施方式的头戴显示器100将包含相机61拍摄的拍摄图像对应的虚像Vi3～Vi5的相机预览PrV在虚像显示区域VIR进行虚像显示时，根据图6所示的显示状况设定表设定的显示状况(步骤S118)，形成将相机预览PrV进行虚像显示所需的图像数据(步骤S120)，将该相机预览PrV按设定完毕显示状况在虚像显示区域VIR进行虚像显示。本实施方式的头戴显示器100如作为一例的图9～图12所示，可设定不同的显示状况，因此，经与各个显示状况相应的虚像形成用的数据处理，以相机61的拍摄图像作为虚像的相机预览PrV可以通过图像显示部20以多种多样的状况显示。例如，图12所示的相机预览PrV中，可以将实像Ri4对应的虚像Vi4以与作为实际外景的实像Ri4尽可能匹配的显示状况提供、将实像Ri4对应的虚像Vi4与作为实际外景的实像Ri4接近显示并以可将它们进行对比的显示状况提供。例如，实像Ri4若为QR码，则用户可以将亲眼看见的作为实像Ri4的QR码与相机61拍摄并进行虚像显示的虚像Vi4对比，因此，可以提高相机61的码读取精度，并且向QR码进行标准匹配也变得简便。其结果，根据本实施方式的头戴显示器100，在搭载相机61的头戴显示器100中，可以缓和将相机61的拍摄图像作为虚像提供时的不协调感，并提高便利性。
如图6所示，本实施方式的头戴显示器100可设定相机预览PrV的显示尺寸、虚像显示区域VIR中的相机预览PrV的显示位置以及相机预览PrV所包含的图像的倍率(放大率)的任一个。因此，根据本实施方式的头戴显示器100，可以使将相机61的拍摄图像通过图像显示部20作为相机预览PrV进行虚像显示的显示状况进一步多样化，因此，可以进一步缓和与实际的外景不匹配引起的不协调感和/或提高便利性。
本实施方式的头戴显示器100，由图6所示的显示状况设定表的用户操作设定相机预览PrV的显示状况。用户自行进行相机预览PrV的虚像显示所需的预定操作，因此，该用户预先预测相机预览PrV所包含的虚像VI(虚像Vi3～虚像Vi5)与实像Ri3～实像Ri5不匹配等。而且，本实施方式的头戴显示器100，经过将相机61的拍摄图像作为虚像显示的相机预览PrV而接受提供的用户自身的操作，可以设定各种相机预览PrV的显示状况。因此，根据本实施方式的头戴显示器100，经用户操作可以进一步缓和与实际的外景不匹配引起的不协调感、进一步提高便利性。
如上所述，本实施方式的头戴显示器100将实像Ri4对应的虚像Vi4与作为实际外景的实像Ri4接近显示并可对它们进行对比时，不必驱动控制相机61使相机61的光轴与用户的视线一致。因此，根据本实施方式的头戴显示器100，不必特别使用驱动相机光轴的机械结构、和/或对其进行驱动控制的处理器件。因此，根据本实施方式的头戴显示器100，也可以提高将相机61拍摄的拍摄图像作为相机预览PrV进行虚像显示时的通用性，并降低成本。
本实施方式的头戴显示器100在不期望将相机61拍摄的拍摄图像作为相机预览PrV而进行虚像显示时，如图8下段所示，对于各种CG，可将它们在虚像显示区域VIR显示并向用户提供。因此，根据本实施方式的头戴显示器100，用户通过虚像显示区域VIR的显示和/或CG，可认知相机61处于拍摄中，因此，不损害便利性。另外，在该图8下段的形态中，不显示虚像显示区域VIR的区域框，仅仅显示表示相机61的驱动状况的图标等的各种CG或者红色闪烁即可，这样，通过图标显示和/或闪烁显示，也可以认知相机61处于拍摄中，因此不损害便利性。也可以取代红色闪烁或者在红色闪烁的同时，以声音方式向用户报知相机拍摄中这一信息。
B.变形例：
上述实施方式中，由硬件实现的构成的一部分可以置换为软件，反之，由软件实现的构成的一部分也可以用硬件置换。另外，也可以如下变形。
·变形例1：
上述实施方式中，例示了头戴显示器的构成。但是，头戴显示器的构成在不脱离本发明的主旨的范围内可以任意确定，例如，可以进行各构成部的追加、删除、变换等。
上述实施方式中，对控制部和图像显示部的构成要素的分配只是一例，可采用各种形态。例如，也可以采用以下的形态。(i)在控制部搭载CPU和/或存储器等的处理功能，在图像显示部仅仅搭载显示功能的形态，(ii)在控制部和图像显示部的两方都搭载CPU和/或存储器等的处理功能的形态，(iii)使控制部和图像显示部一体化的形态(例如，在图像显示部包含控制部，起到眼镜型的可戴计算机的功能的形态)，(iv)取代控制部而采用智能手机和/或便携型游戏机的形态，(v)采用控制部和图像显示部可无线通信且可无线供电的构成而取消了连接部(缆绳)的形态。
上述实施方式中，为了方便说明，设为控制部具备发送部、图像显示部具备接收部。但是，上述实施方式的发送部及接收部都可以具备可双向通信的功能，起到收发部的功能。另外，例如，图2所示的控制部设为经由有线的信号传送路径与图像显示部连接。但是，控制部和图像显示部也可以通过无线LAN、红外线通信和/或Bluetooth(注册商标)等的无线的信号传送路径而连接。
例如，图2所示的控制部、图像显示部的构成可以任意变更。具体地说，例如，也可以在控制部10具备操作用杆等的其他操作用接口。另外，控制部10也可以采用可连接键盘和/或鼠标等的器件的构成，从键盘和/或鼠标接受输入。另外，例如，除了触摸板和/或十字键进行的操作输入外，也可以取得脚踏开关(由用户的脚操作的开关)进行的操作输入。另外，若是可取得基于脚踏开关和/或视线的操作输入，则即使在用户难以抽出手的作业中，输入信息取得部也可以取得来自用户的操作输入。
例如，头戴显示器是两眼类型的透射型头戴显示器，但是也可以是单眼类型的头戴显示器。
图13是表示变形例中的头戴显示器的外观构成的说明图。为图13(A)的例的情况下，与图1所示的头戴显示器100的差异在于：图像显示部20a取代右光学像显示部26而具备右光学像显示部26a；取代左光学像显示部28而具备左光学像显示部28a。右光学像显示部26a形成得比上述实施方式的光学部件小，配置在头戴显示器佩戴时的用户的右眼的斜上方。同样，左光学像显示部28a形成得比第1实施方式的光学部件小，配置在头戴显示器佩戴时的用户的左眼的斜上方。为图13(B)的例的情况下，与图1所示的头戴显示器100的差异在于：图像显示部20b取代右光学像显示部26而具备右光学像显示部26b；取代左光学像显示部28而具备左光学像显示部28b。右光学像显示部26b形成得比第1实施方式的光学部件小，配置在头戴显示器佩戴时的用户的右眼的斜下方。左光学像显示部28b形成得比第1实施方式的光学部件小，配置在头戴显示器佩戴时的用户的左眼的斜下方。这样，光学像显示部配置在用户的眼的附近即可。另外，形成光学像显示部的光学部件的大小也任意，可以实现为光学像显示部仅仅覆盖用户的眼的一部分的形态，换言之，也可以实现为光学像显示部不完全覆盖用户的眼的形态的头戴显示器。
例如，说明了图像处理部、显示控制部、预览控制部、生成部、声音处理部等的功能部，由CPU通过在RAM展开并执行ROM和/或硬盘所存储的计算机程序而实现的情况。但是，这些功能部也可以采用用于实现相应功能而设计的ASIC(Application Specific Integrated Circuit：专用集成电路)而构成。
例如，上述实施方式中，图像显示部设为如眼镜那样佩戴的头戴显示器，但是，图像显示部也可以设为透射型的平面显示器装置(液晶显示器装置、等离子显示器装置、有机EL显示器装置等)。该情况下，控制部和图像显示部之间的连接可以是经由有线的信号传送路径的连接，也可以是经由无线的信号传送路径的连接。这样，也可以将控制部用作通常的平面显示器装置的遥控器。
另外，作为图像显示部，也可以取代如眼镜那样佩戴的图像显示部，采用例如像帽子那样佩戴的图像显示部之类的其他形状的图像显示部。另外，耳机可以采用耳挂型和/或头戴型，也可以省略。另外，例如，也可以构成为在汽车和/或飞机等的车辆搭载的平视显示器(HUD，Head-UpDisplay)。另外，例如，也可以构成为在头盔等的身体防护具内置的头戴显示器。
例如，上述实施方式中，电源采用二次电池，但是，电源不限于二次电池，可以采用各种电池。例如，也可以采用一次电池和/或燃料电池、太阳能电池、热电池等。
例如，上述实施方式中，图像光生成部采用背光源、背光源控制部、LCD以及LCD控制部构成。但是，上述的形态只是例示。图像光生成部可以与这些构成部一起具备或取代这些构成部而具备用于实现其他方式的构成部。例如，图像光生成部也可以采用：具备有机EL(有机电致发光)的显示器和有机EL控制部的构成。另外，例如，图像生成部也可以取代LCD而采用数字微镜器件等。另外，例如，本发明也可以适用于激光视网膜投影型的头部佩戴型显示装置。
·其他变形例：
在上述头戴显示器100，也可以设置执行用于实现扩展现实感的处理(以下，也称为“扩展现实处理”。)的AR处理部。该扩展现实处理是指进行例如图4所示的虚像显示区域VIR和各种CG的虚像显示时，表示用于扩展用户感知的外景SC的附加呈现用信息的图像数据的生成和采用其的虚像显示。然后，由AR处理部生成的图像数据被通信给右LCD控制部211等，虚像VI在用户的正面区域显示。另外，“扩展外景SC”是指，向用户眼见的现实环境即外景SC使得信息附加、删除、增强、衰减，扩展用户观看的作为现实世界的外景SC。在实现图像数据生成的扩展现实处理时，AR处理部为了向外景SC融合附加呈现用信息，生成不同的右眼用图像数据Data1和左眼用图像数据Data2。“向外景融合附加呈现用信息”是指，对用户实际眼见的外景SC中的离用户预定距离的位置，显示使用户形成存在附加呈现用的信息的感觉的虚像VI。
例如，图4中用户观看的虚像VI设为苹果时，表示该苹果的图像数据通过AR处理部的扩展现实处理生成为重叠在外景SC所包含的现实的道路上的图像数据，基于该生成的图像数据的图像显示为虚像VI。从而，用户可以获得苹果落入好像什么都没有的道路上的感觉，AR处理部通过扩展现实处理，生成用于在现实的外景SC离用户预定的距离地显示图4所示的虚像VI和/或苹果的虚像VI的右眼用、左眼用的上述数据并将其输出。若取代表示上述苹果的图像数据，而对来自外部设备OA的其他内容的图像数据执行扩展现实处理，则生成将基于这些图像数据的内容显示为虚像VI的图像数据，基于该生成的图像数据的图像(内容)显示为虚像VI。从而，用户可以与视野VR所包含的外景重叠观看作为虚像VI的内容，AR处理部通过扩展现实处理生成：用于在现实的外景SC中离用户预定的距离地显示图4所示的虚像VI和/或内容的虚像VI的右眼用、左眼用的上述数据，并与显示控制部190协作将其输出。这样的扩展现实处理不由AR处理部执行时，表示图4所示的虚像VI的显示区域即虚像显示区域VIR的框和该虚像显示区域VIR所包含的表示相机61的驱动状况的图标等的各种CG通过预览控制部141和/或生成部143，如上所述那样，在图像显示部20作为虚像VI向用户显示。
这样的AR处理部，也可以将相机取得的用户正面的外景图像通过像素视差角进行图形匹配，实现扩展现实处理。具体地说，图像显示部采用具备右眼用相机和左眼用相机的构成。右眼用相机是在图像显示部的用户右眼对应的位置配置、可拍摄图像显示部的表侧方向的外景的相机。左眼用相机是在图像显示部的用户左眼对应的位置配置、可拍摄图像显示部的表侧方向的外景的相机。AR处理部也可以求出右眼用相机拍摄的图像所包含的对象物体(成为使附加呈现用信息在附近显示的对象的物体)和左眼用相机拍摄的图像所包含的对象物体之间的偏移量，用该偏移量和像素视差角确定扩展现实处理中作为虚像VI的显示处所的“目标距离”。
AR处理部也可以仅仅在满足预定的条件时执行从外部设备OA提供的内容的上述扩展现实处理。例如，在图像显示部具备可检测用户的视线方向的构成的基础上，AR处理部也可以仅在检测出的视线方向满足以下的条件中的至少任一个时执行上述扩展现实处理。
·在水平约为200°、垂直约为125°(例如，下方向为75°、上方向为50°)的视角的范围内时。
·在信息接纳能力佳的有效视野即水平约为30°、垂直约为20°的范围内时。
·在注视点迅速稳定可见的稳定注视视野即水平为60°～90°、垂直为45°～70°的范围内时。
·在由影像诱发的自运动感觉(相对运动错觉)的诱发开始发生的水平约为20°到自运动感觉饱和的约为110°的范围内时。
本实施方式中，也可以在虚像显示区域VIR的中央由图像显示部20显示例如红色等的水平线。这样显示的水平线可以用于在条形码和/或QR码的信息读入中采用相机61时的位置对齐。因此，在不需要相机预览时的显示形态和/或图11所示的显示尺寸放大的显示形态、图12所示的放大显示形态中，也可以将红色等的水平线作为虚像显示。这样，在将包含相机61拍摄的拍摄图像(该情况下，为条形码和/或QR码)的相机预览PrV不进行虚像显示的原状下，以水平线与条形码和/或QR码一致的方式调整相机位置、以相机预览PrV中水平线与条形码和/或QR码一致的方式调整相机位置，可以由相机61进行可靠的信息读入，提高便利性。
本实施方式中，在图像显示部20安装相机61，但是，相机61也可以与图像显示部20分体设置，由该分体的相机61拍摄用户的视野方向。该情况下，该分体的相机61用USB电缆等的信号线与控制部10连接即可。这样的分体的相机61中，可拍摄用户的视野方向，并且，也可以在与用户的视野方向不同的拍摄方向拍摄。在与用户的视野方向不同的拍摄方向拍摄的相机图像可能与用户观看的实际外景完全不同，因此，上述不匹配引起的不协调感会变得显著。因此，相机61在不同于用户的视野方向的拍摄方向拍摄时，也可以判定为不需要相机预览显示，转变到步骤S105。另外，也可以在用户期望不同于用户的视野方向的拍摄方向的拍摄时，在触摸板14显示某一开关，通过该开关操作，即使相机61在不同于用户的视野方向的拍摄方向拍摄时，也例外地判定为需要相机预览显示。
本实施方式中，在步骤S100，根据触摸板14(参照图1)显示的预览执行开关的用户操作和/或用户的头部举动，判定是否需要相机预览显示，但是不限于此。例如，也可以在触摸板14显示将相机61的拍摄设为静态图像拍摄的静态模式开关和设为动态图像拍摄的动态图像模式开关，通过任一模式开关的用户操作，判定是否需要相机预览显示。具体地说，产生静态模式开关的用户操作时，判定需要相机预览显示，转变到步骤S110。静态模式开关操作后的相机图像为静态图像，因此与用户观看的外景不匹配，但是，由于是用户自身期望的静态图像，因此，用户了解与实际外景不匹配引起的不协调感。因此，即使经静态模式开关的用户操作而进行相机预览显示，用户也容易接受与实际外景不匹配引起的不协调感，不协调感被缓和。若进行静态图像的相机预览PrV的显示，则可以减轻作为虚像VI的数据处理负担。该静态图像的相机预览PrV的显示若采用黑白的图像，则可以进一步减轻数据处理负担。另外，产生动态图像模式开关的用户操作时，判定为不需要相机预览显示，转变到步骤S105，不进行相机预览PrV。一般，在动态图像显示中，对该虚像VI的数据处理需要预定的处理时间，但是，由于动态图像模式中不显示相机预览PrV，因此可以减轻处理负担。
本发明不限于上述实施方式和/或实施例、变形例，在不脱离其精神的范围内可以各种构成实现。例如，发明内容所述的各形态中的技术特征对应的实施方式、实施例、变形例中的技术特征为了解决上述的问题的部分或全部，或者，为了实现上述效果的部分或全部，可以适当进行更换和/或组合。另外，其技术特征在本说明书中若未说明是必须的，则可以适当删除。

Claims (8)

1.一种头部佩戴型显示装置，其特征在于，能与外景重叠地观看虚像，具备：
图像显示部，其形成并显示使用户观看的上述虚像；
虚像形成处理部，其执行该图像显示部中的虚像形成处理；
能拍摄用户的视野方向的相机；以及
预览设定部，其设定将该相机拍摄到的拍摄图像在上述图像显示部作为预览图像进行虚像显示时的图像显示状况。
2.权利要求1所述的头部佩戴型显示装置，其特征在于，
上述预览设定部，将上述预览图像的显示尺寸、在虚像显示区域中的上述预览图像的显示位置和将上述拍摄图像作为上述预览图像时的倍率的至少一个，设定为上述图像显示状况。
3.权利要求1或2所述的头部佩戴型显示装置，其特征在于，
上述预览设定部等待用户对上述图像显示状况的设定。
4.权利要求3所述的头部佩戴型显示装置，其特征在于，
具有项目设定操作部，该项目设定操作部显示按上述图像显示状况的多个设定项目，为了选定该显示出的设定项目而由用户操作，
上述预览设定部通过上述项目设定操作部的用户操作，设定上述图像显示状况。
5.权利要求3所述的头部佩戴型显示装置，其特征在于，
具有：确定显示上述预览图像的设定和不显示的设定的任一个时由用户操作的显示设定操作部，
上述预览设定部，在通过上述显示设定操作部的用户操作进行显示上述预览图像的设定时，通过上述项目设定操作部的用户操作，设定上述图像显示状况。
6.权利要求3所述的头部佩戴型显示装置，其特征在于，
具有：监视用户的头部的举动，在用户产生预定的头部举动时，进行显示上述预览图像的设定的显示设定部，
上述预览设定部在上述显示设定部进行显示上述预览图像的设定时，通过上述项目设定操作部的用户操作，设定上述图像显示状况。
7.权利要求3所述的头部佩戴型显示装置，其特征在于，
具有：由用户将上述相机的拍摄状况切换为静态图像拍摄模式和动态图像拍摄模式的任一个的模式切换部，
上述预览设定部在上述模式切换部切换为上述静态图像拍摄模式时，通过上述项目设定操作部的用户操作，设定上述图像显示状况。
8.权利要求1到7的任一项所述的头部佩戴型显示装置，其特征在于，
上述虚像形成处理部，以使得在上述图像显示部在预定时间范围显示上述预览图像的方式，执行上述虚像形成处理。
CN201410778855.7A 2013-12-17 2014-12-15 头部佩戴型显示装置 Pending CN104714302A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-259740 2013-12-17
JP2013259740A JP6264014B2 (ja) 2013-12-17 2013-12-17 頭部装着型表示装置

Publications (1)

Publication Number Publication Date
CN104714302A true CN104714302A (zh) 2015-06-17

Family

ID=53368217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410778855.7A Pending CN104714302A (zh) 2013-12-17 2014-12-15 头部佩戴型显示装置

Country Status (3)

Country Link
US (1) US20150168729A1 (zh)
JP (1) JP6264014B2 (zh)
CN (1) CN104714302A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979099A (zh) * 2016-06-28 2016-09-28 广东欧珀移动通信有限公司 在预览界面增加景物的方法、装置及拍照设备
CN106488181A (zh) * 2015-08-31 2017-03-08 卡西欧计算机株式会社 显示控制装置以及显示控制方法
CN107407805A (zh) * 2015-12-30 2017-11-28 深圳市柔宇科技有限公司 头戴式显示设备及其控制方法
CN109725717A (zh) * 2018-11-30 2019-05-07 成都理想境界科技有限公司 应用于ar设备的图像处理方法及ar设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3175289A4 (en) 2014-08-03 2018-04-18 Pogotec, Inc. Wearable camera systems and apparatus and method for attaching camera systems or other electronic devices to wearable articles
US9635222B2 (en) * 2014-08-03 2017-04-25 PogoTec, Inc. Wearable camera systems and apparatus for aligning an eyewear camera
EP3238317A4 (en) 2014-12-23 2018-08-08 Pogotec, Inc. Wireless camera system and methods
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
WO2017075405A1 (en) 2015-10-29 2017-05-04 PogoTec, Inc. Hearing aid adapted for wireless power reception
JP6706061B2 (ja) * 2015-12-24 2020-06-03 シャープ株式会社 端末装置
US10181218B1 (en) * 2016-02-17 2019-01-15 Steelcase Inc. Virtual affordance sales tool
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
US10943398B2 (en) * 2016-07-15 2021-03-09 Samsung Electronics Co., Ltd. Augmented reality device and operation thereof
CN106293876A (zh) * 2016-08-04 2017-01-04 腾讯科技（深圳）有限公司 基于虚拟现实场景的信息认证方法和装置
EP3539285A4 (en) 2016-11-08 2020-09-02 Pogotec, Inc. PORTABLE ELECTRONIC DEVICE INTELLIGENT BOX
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11300857B2 (en) 2018-11-13 2022-04-12 Opkix, Inc. Wearable mounts for portable camera
US20200186786A1 (en) * 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
JP2020135306A (ja) * 2019-02-18 2020-08-31 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2006293485A (ja) * 2005-04-06 2006-10-26 Canon Inc 指標表示方法及び画像表示装置
JP2006309314A (ja) * 2005-04-26 2006-11-09 Konica Minolta Photo Imaging Inc 翻訳装置
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103399403A (zh) * 2006-10-16 2013-11-20 索尼株式会社 显示设备、显示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2006293485A (ja) * 2005-04-06 2006-10-26 Canon Inc 指標表示方法及び画像表示装置
JP2006309314A (ja) * 2005-04-26 2006-11-09 Konica Minolta Photo Imaging Inc 翻訳装置
CN103399403A (zh) * 2006-10-16 2013-11-20 索尼株式会社 显示设备、显示方法
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488181A (zh) * 2015-08-31 2017-03-08 卡西欧计算机株式会社 显示控制装置以及显示控制方法
CN106488181B (zh) * 2015-08-31 2020-03-10 卡西欧计算机株式会社 显示控制装置、显示控制方法以及记录介质
CN107407805A (zh) * 2015-12-30 2017-11-28 深圳市柔宇科技有限公司 头戴式显示设备及其控制方法
US10545345B2 (en) 2015-12-30 2020-01-28 Shenzhen Royole Technologies Co., Ltd. Head-mounted display device with function of touch input and touch control method thereof
CN105979099A (zh) * 2016-06-28 2016-09-28 广东欧珀移动通信有限公司 在预览界面增加景物的方法、装置及拍照设备
CN105979099B (zh) * 2016-06-28 2019-06-04 Oppo广东移动通信有限公司 在预览界面增加景物的方法、装置及拍照设备
CN109725717A (zh) * 2018-11-30 2019-05-07 成都理想境界科技有限公司 应用于ar设备的图像处理方法及ar设备

Also Published As

Publication number Publication date
US20150168729A1 (en) 2015-06-18
JP6264014B2 (ja) 2018-01-24
JP2015119237A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
CN104714302A (zh) 头部佩戴型显示装置
US10643400B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
EP3008508B1 (en) Head-mounted display device and control method of head-mounted display device
CN103309034B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104615237B (zh) 图像显示系统、控制其的方法及头部佩戴型显示装置
CN104423045A (zh) 头部佩戴型显示装置
US9064442B2 (en) Head mounted display apparatus and method of controlling head mounted display apparatus
US10529133B2 (en) Head mounted display apparatus and control method therefor, and computer program
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104423046A (zh) 图像处理装置及具有其的头部安装型显示装置
WO2014156033A1 (en) Head-mounted display device, control method of head-mounted display device, and display system
CN104749778A (zh) 图像显示系统、头部佩戴型显示装置及其控制方法
CN105045375A (zh) 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
KR20170031223A (ko) 표시 장치, 표시 장치의 제어 방법 및, 프로그램을 갖는 컴퓨터 판독 가능 기록 매체
CN103926694A (zh) 头戴式显示装置及其控制方法、以及图像显示系统
CN104714300A (zh) 头戴型显示装置及其控制方法
US20160109703A1 (en) Head mounted display, method for controlling head mounted display, and computer program
CN105319716A (zh) 显示装置、显示装置的控制方法及程序
CN107077363A (zh) 信息处理装置、控制信息处理装置的方法、计算机程序
US20150168728A1 (en) Head mounted display device
JP2014068096A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019004471A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150617