CN103995352B - 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 - Google Patents

头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 Download PDF

Info

Publication number
CN103995352B
CN103995352B CN201410048928.7A CN201410048928A CN103995352B CN 103995352 B CN103995352 B CN 103995352B CN 201410048928 A CN201410048928 A CN 201410048928A CN 103995352 B CN103995352 B CN 103995352B
Authority
CN
China
Prior art keywords
image
information
user
head
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410048928.7A
Other languages
English (en)
Other versions
CN103995352A (zh
Inventor
高野正秀
津田敦也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013026222A external-priority patent/JP6299067B2/ja
Priority claimed from JP2013237820A external-priority patent/JP6264855B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to CN201811214129.7A priority Critical patent/CN109270688B/zh
Publication of CN103995352A publication Critical patent/CN103995352A/zh
Application granted granted Critical
Publication of CN103995352B publication Critical patent/CN103995352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

本发明提供一种头部佩戴型显示装置，利用所述头部佩戴型显示装置，使用者不移动视线，就能够同时视觉确认视场方向的物体的实像、和不出现在物体的外观中的信息。该头部佩戴型显示装置是使用者能够视觉确认虚像和外景的头部佩戴型显示装置，具备：图像显示部，其形成使使用者视觉确认的虚像；以及重叠处理部，其使图像显示部形成基于重叠信息的虚像，该重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与外景所包含的物体重叠。

Description

头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
已知有佩戴于头部的显示装置亦即头部佩戴型显示装置（头戴式显示器（HeadMounted Display，HMD））。HMD例如利用液晶显示器和光源生成表示图像的图像光，再利用投影光学系统、导光板等将生成的图像光导入使用者的眼睛，从而使使用者识别虚像。
专利文献1记载有使用了这样的头部佩戴型显示装置的手术用拍摄系统以及手术用机器人。在专利文献1记载的技术中，头部佩戴型显示装置的使用者（手术者）将利用插入患者的体腔内的内视镜观察到的图像作为虚像进行视觉确认，并且操作手术用机械手进行手术。专利文献2记载有医疗用面部佩戴型影像显示装置（头部佩戴型显示装置）。在专利文献2记载的技术中，头部佩戴型显示装置的使用者在视觉确认内视镜图像的情况下，将视线朝向水平方向，观察配置于主体的正面的LCD。另外，在视觉确认外景的情况下将视线朝向垂直方向，观察配置于主体的下方的观察窗。
专利文献1：日本特开2012-223363号公报
专利文献2：日本专利第3599854号公报
在专利文献1、2所述的技术中，头部佩戴型显示装置的使用者能够在手术中视觉确认内视镜图像。但是，在专利文献1所记载的技术中，存在头部佩戴型显示装置的使用者不能直接看到手术部位（患者的身体）的问题。另外，在专利文献2所记载的技术中，存在头部佩戴型显示装置的使用者为了直接看到手术部位，需要使视线朝向垂直方向移动的问题。
此外，这样的问题并不仅存在于内视镜图像，例如是在将CT（ComputedTomography，计算机断层扫描）图像、MRI（Magnetic Resonance Imaging，磁共振成像）图像、X-射线图像等不出现在物体的外观中的信息提供给头部佩戴型显示装置的使用者的情况下共同存在的问题。并且，这样的问题不仅存在于医疗用的头部佩戴型显示装置，在其他的用途中所使用的头部佩戴型显示装置（例如，在建筑工地使用，向使用者提供不出现在建筑物的外观中的信息的头部佩戴型显示装置）中也存在同样的问题。
发明内容
因此，期望一种使用者不移动视线，就能够同时视觉确认视场方向的物体的实像和不出现在物体的外观中的信息的头部佩戴型显示装置。
本发明是为了解决上述的课题的至少一部分而完成的发明，能够作为以下的方式实现。
（1）根据本发明的一方式，提供一种使用者能够视觉确认虚像和外景的头部佩戴型显示装置。该头部佩戴型显示装置具备：图像显示部，其形成使上述使用者视觉确认的上述虚像；以及重叠处理部，其使上述图像显示部形成基于重叠信息的上述虚像，上述重叠信息用于使不出现在上述物体的外观中的信息亦即不可见信息与上述外景所包含的物体重叠。根据该方式的头部佩戴型显示装置，图像显示部使使用者视觉确认基于重叠信息的虚像，上述重叠信息是用于使上述物体的不可见信息与外景所包含的物体重叠的信息。本方式的头部佩戴型显示装置是能够视觉确认虚像和外景的头部佩戴型显示装置。因此，头部佩戴型显示装置的使用者不移动视线，就能够同时视觉确认视场方向的物体，换言之，能够同时视觉确认外景所包含的物体的实像和不出现在物体的外观中的信息（重叠信息）。
（2）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部使上述图像显示部每隔规定的时间反复形成基于与上述外景所包含的物体对应的上述重叠信息的上述虚像。根据该方式的头部佩戴型显示装置，重叠处理部使图像显示部每隔规定的时间反复形成基于与外景所包含的物体对应的重叠信息的虚像，所以能够使使用者视觉确认基于追从使用者的头部的经时的活动的重叠信息的虚像。
（3）在上述方式的头部佩戴型显示装置中，也可以为还具备：存储部，其存储上述不可见信息；以及图像获取部，其获取佩戴了上述头部佩戴型显示装置的状态下的上述使用者的视场方向的外景的图像，上述重叠处理部通过对由上述图像获取部获取的上述视场方向的图像进行图像识别，来提取上述外景所包含的上述物体的特征，并基于提取出的上述特征来修正存储于上述存储部的上述物体的上述不可见信息，从而生成上述重叠信息。根据该方式的头部佩戴型显示装置，重叠处理部能够使用存储于存储部的物体的不可见信息来生成重叠信息。另外，图像获取部所获取的图像是拍摄使用者的视场方向的物体（换言之，外景所包含的物体）的实像而得的图像，重叠处理部从由图像获取部获取的外景的图像提取外景所包含的物体的特征，并基于提取出的特征生成重叠信息。因此，重叠处理部能够生成与使用者的视场方向的物体（外景所包含的物体）的特征匹配的重叠信息。
（4）在上述方式的头部佩戴型显示装置中，上述不可见信息也可以是表示上述物体的结构的图像。根据该方式的头部佩戴型显示装置，不可见信息是表示物体的结构的图像。因此，头部佩戴型显示装置的使用者不移动视线，就能够同时视觉确认视场方向的物体的实像和表示物体的结构的图像。
（5）在上述方式的头部佩戴型显示装置中，上述特征也可以是上述物体的边缘。根据该方式的头部佩戴型显示装置，重叠处理部通过图像识别检测物体的边缘，从而能够提取出外景所包含的物体的轮廓。其结果，重叠处理部能够基于提取出的物体的轮廓来修正物体的不可见信息，从而生成重叠信息。
（6）在上述方式的头部佩戴型显示装置中，上述特征也可以是标注在上述物体上的标记。根据该方式的头部佩戴型显示装置，重叠处理部通过图像识别检测标注在物体上的标记，从而提取出外景所包含的物体的位置。其结果，重叠处理部能够基于提取出的物体的位置来修正物体的不可见信息，从而生成重叠信息
（7）在上述方式的头部佩戴型显示装置中，上述修正也可以是针对表示上述不可见信息的图像进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。根据该方式的头部佩戴型显示装置，重叠处理部通过对存储于存储部的表示物体的不可见信息的图像进行放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个的修正，能够生成重叠信息。
（8）在上述方式的头部佩戴型显示装置中，上述修正也可以是将表示上述不可见信息的图像分割成多个区域，并针对上述多个区域的每一个区域进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。根据该方式的头部佩戴型显示装置，重叠处理部将存储于存储部的表示物体的不可见信息的图像分割成多个区域，并针对多个区域的每一个区域进行放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个修正。这样，重叠处理部将表示不可见信息的图像分割成多个区域，并进行针对各区域的修正，所以能够使不可见信息的修正的精度提高。
（9）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部使用三角测量分别测量上述使用者和上述物体的各部分之间的距离，并根据上述测量的结果进行上述分割。根据该方式的头部佩戴型显示装置，重叠处理部能够使用三角测量来测量使用者和物体的各部分之间的距离，并根据测量的结果，高效且结合实际情况地进行不可见信息的区域的分割。
（10）在上述方式的头部佩戴型显示装置中，上述重叠处理部也可以根据上述使用者的视场内的表示视觉能力的程度的信息接受特性来改变上述修正的精度。根据该方式的头部佩戴型显示装置，重叠处理部根据使用者的视场内的信息接受特性来改变针对不可见信息的修正的精度。其结果，重叠处理部能够高效地进行不可见信息的修正。
（11）在上述方式的头部佩戴型显示装置中，也可以为还具备视线检测部，其检测上述使用者的视线，上述图像显示部分别形成与上述使用者的右眼对应的上述虚像、和与上述使用者的左眼对应的上述虚像，上述重叠处理部还根据由上述视线检测部检测出的上述视线来求出上述使用者和上述使用者注视的注视点之间的距离亦即注视点距离，并生成赋予了与求出的上述注视点距离对应的视差的右眼用的上述重叠信息和左眼用的上述重叠信息。根据该方式的头部佩戴型显示装置，重叠处理部生成赋予了与使用者和使用者注视的注视点之间的距离（注视点距离）对应的视差的右眼用的重叠信息和左眼用的重叠信息，图像显示部使使用者视觉确认基于这些重叠信息的虚像。其结果，使用者能够在与注视点相同的距离的位置处视觉确认重叠信息。
（12）在上述方式的头部佩戴型显示装置中，也可以为还具备上述使用者和上述使用者视觉确认的上述虚像之间的多个距离、与和上述多个距离分别对应的视差被建立对应后的视差信息，上述重叠处理部使用上述视差信息，赋予与上述注视点距离对应的视差。根据该方式的头部佩戴型显示装置，重叠处理部能够使用预先准备的视差信息，简单地生成右眼用的重叠信息和左眼用的重叠信息。
（13）在上述方式的头部佩戴型显示装置中，也可以为具备多个上述视差信息，上述重叠处理部根据上述使用者，从上述多个视差信息选择一上述视差信息。根据该方式的头部佩戴型显示装置，重叠处理部从多个视差信息选择出与使用者对应的一视差信息。因此，重叠处理部通过选择出与使用者的特性（例如视力较佳的眼、眼间距离）匹配的视差信息，能够减少给使用者带来的视觉的不适感。
（14）在上述方式的头部佩戴型显示装置中，也可以为还具备位置检测部，该位置检测部检测上述使用者相对于上述物体的位置，上述存储部存储有针对一上述物体的多个上述不可见信息，上述重叠处理部从存储于上述存储部的上述多个不可见信息选择出与由上述位置检测部检测出的上述位置对应的一不可见信息，并修正选择出的上述不可见信息。根据该方式的头部佩戴型显示装置，重叠处理部能够从存储于存储部的多个不可见信息选择出与使用者相对于物体的位置对应的一不可见信息，并修正选择出的不可见信息。因此，重叠处理部能够基于使用者和物体的位置关系来使用适当的不可见信息，生成重叠信息。
（15）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部生成从由上述图像获取部获取的上述视场方向的图像，提取并放大上述外景所包含的上述物体的至少一部分而得的放大信息，上述图像显示部使使用者视觉确认基于上述重叠信息和上述放大信息的上述虚像。根据该方式的头部佩戴型显示装置，头部佩戴型显示装置的使用者除了能够视觉确认视场方向的物体（换言之，外景所包含的物体）的实像和不出现在物体的外观中的信息（重叠信息）之外，还能够同时视觉确认视场方向的物体的至少一部分的放大信息。
（16）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部根据来自上述使用者的请求，使上述虚像为非显示。根据该方式的头部佩戴型显示装置，头部佩戴型显示装置的使用者能够根据自己的意思使虚像为非显示。因此，能够使头部佩戴型显示装置中的使用者的方便性提高。
（17）在上述方式的头部佩戴型显示装置中，也可以为还具备程序管理部，其生成与对于当前程序，上述使用者应该实施的内容有关的信息亦即程序信息，上述图像显示部使上述使用者视觉确认基于上述重叠信息和上述程序信息的上述虚像。根据该方式的头部佩戴型显示装置，图像显示部使使用者视觉确认基于程序信息的虚像，该程序信息用于表示对于当前程序，使用者应该实施的内容。因此，能够援助使用者进行的作业。
（18）在上述方式的头部佩戴型显示装置中，上述程序信息也可以包含有第三方示范实施上述程序的场面的图像、和表示在个别具体的上述程序中使用者应该实施的内容的图像中的至少其中一方。根据该方式的头部佩戴型显示装置，能够使用图像视觉性地表示使用者应该实施的内容，所以能够更容易明了地援助使用者进行的作业。另外，若在个别具体的程序时使用表示使用者应该实施的内容的图像，则能够更加个别具体地援助使用者进行的作业，能够实现作业的精密化和作业效率的提高。
（19）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部还生成用于辅助上述使用者的作业的附加信息亦即辅助信息，上述图像显示部使使用者视觉确认基于上述重叠信息和上述辅助信息的上述虚像。根据该方式的头部佩戴型显示装置，使使用者视觉确认基于用于辅助使用者的作业的信息的虚像。因此，能够使使用了头部佩戴型显示装置的作业的效率提高。
（20）在上述方式的头部佩戴型显示装置中，上述重叠处理部还可以根据由上述图像获取部获取的上述视场方向的图像，进行用于使生成的上述重叠信息的可视性提高的颜色转换处理。根据该方式的头部佩戴型显示装置，重叠处理部针对重叠信息进行与使用者的视场方向的图像对应的颜色转换处理。因此，能够使头部佩戴型显示装置的使用者对虚像的可视性进一步提高。
（21）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部根据来自上述使用者的请求，使作为上述虚像显示的上述重叠信息向不妨碍上述使用者的视野的位置退避。根据该方式的头部佩戴型显示装置，头部佩戴型显示装置的使用者能够根据自己的意思来使作为虚像显示的重叠信息退避。因此，能够使头部佩戴型显示装置中的使用者的方便性提高。
（22）在上述方式的头部佩戴型显示装置中，也可以为上述重叠处理部针对由上述图像获取部获取的上述图像中的、上述虚像的显示区域和上述图像获取部的获取区域重叠的重叠区域生成上述重叠信息。根据该方式的头部佩戴型显示装置，重叠处理部针对虚像的显示区域和图像获取部的获取区域重叠的重叠区域生成重叠信息。因此，能够减少在透视型的头部佩戴型显示装置中产生的课题，即“使用者在自身的视野中直接看到的像和通过图像显示部视觉确认的虚像之间的偏差”的产生。其结果，在使使用者视觉确认基于重叠信息的虚像的情况下，能够减少给使用者带来的不适感。
（23）在上述方式的头部佩戴型显示装置中，也可以为上述程序管理部针对由上述图像获取部获取的上述图像中的、上述虚像的显示区域和上述图像获取部的获取区域重叠的重叠区域生成上述程序信息。根据该方式的头部佩戴型显示装置，程序管理部针对虚像的显示区域和图像获取部的获取区域重叠的重叠区域生成程序信息。因此，能够减少在透视型的头部佩戴型显示装置中产生的课题，即“使用者在自身的视野中直接看到的像和通过图像显示部视觉确认的虚像之间的偏差”的产生。其结果，在使使用者视觉确认基于程序信息的虚像的情况下，能够使给使用者带来的不适感减少。
在上述的本发明的各方式所具有的多个构成要素中，并不是全部都是必须的，为了解决上述的课题的一部分或者全部，或者为了实现本说明书记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素进行其变更、删除、与新的构成要素的替换、限定内容的部分删除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书记载的效果的一部分或者全部，能够将上述的本发明的一方式所包含的技术特征的一部分或者全部与上述的本发明的另一方式所包含的技术特征的一部分或者全部组合，成为本发明的独立的一方式。
例如，本发明的一方式能够作为具备重叠处理部和图像显示部的两个要素中的一部分或者全部的要素的装置而实现。即，该装置可以具有重叠处理部，也可以不具有重叠处理部。另外，该装置可以具有图像显示部，也可以不具有图像显示部。这样的装置例如能够作为头部佩戴型显示装置实现，但也能够作为头部佩戴型显示装置以外的其他的装置实现。上述的头部佩戴型显示装置的各方式的技术特征的一部分或者全部均能够用于该装置。
此外，本发明能够以各种方式实现，例如，能够以头部佩戴型显示装置以及头部佩戴型显示装置的控制方法、医疗用作业援助装置以及医疗用作业援助装置的控制方法、医疗用作业援助系统、用于实现这些方法、装置或者系统的功能的计算机程序、记录该计算机程序的记录介质等的方式实现。
附图说明
图1是表示本发明的一实施方式中的头部佩戴型显示装置的概要结构的说明图。
图2是功能性地表示头戴式佩戴显示器的结构的框图。
图3是表示由图像光生成部射出图像光的情况的说明图。
图4是表示被使用者识别的虚像的一个例子的说明图。
图5是表示第1实施方式中的重叠信息显示处理的程序的流程图。
图6是表示不可见信息的一个例子的说明图。
图7是表示外观信息的一个例子的说明图。
图8是表示重叠信息生成处理的程序的流程图。
图9是表示通过方法i从外景图像提取出的对象物体的特征（边缘）的说明图。
图10是表示通过方法i从不可见信息提取出的对象物体的特征（边缘）的说明图。
图11是表示修正后的不可见信息的一个例子的说明图。
图12是表示被使用者识别的虚像的其他的例子的说明图。
图13是功能性地表示第2实施方式中的头戴式显示器的结构的框图。
图14是表示程序表的一个例子的说明图。
图15是表示第2实施方式中的重叠信息显示处理的程序的流程图。
图16是表示程序信息的例子的说明图。
图17是表示追加了程序信息的重叠信息的例子的说明图。
图18是表示通过程序e1～e9被使用者视觉确认的虚像的一个例子的说明图。
图19是表示第3实施方式中的头戴式显示器的概要结构的说明图。
图20是功能性地表示第3实施方式中的头戴式显示器的结构的框图。
图21是用于说明视差信息的说明图。
图22是表示第3实施方式中的重叠信息显示处理的程序的流程图。
图23是表示不可见信息的一个例子的说明图。
图24是表示第1重叠信息生成处理的程序的流程图。
图25是用于说明第1重叠信息生成处理的步骤S404的说明图。
图26是表示第2重叠信息生成处理的程序的流程图。
图27是用于说明第2重叠信息生成处理的步骤S504的说明图。
图28是表示变形例中的头戴式显示器的外观的构成的说明图。
具体实施方式
A.第1实施方式：
A－1.头部佩戴型显示装置的构成：
图1是表示本发明的一实施方式中的头部佩戴型显示装置的概要结构的说明图。头部佩戴型显示装置100是佩戴于头部的显示装置，也被称为头戴式显示器（Head MountedDisplay，HMD）。本实施方式的头戴式显示器100是使用者视觉确认虚像的同时也能够直接视觉确认外景的光学透视型的头部佩戴型显示装置。此外，在本实施方式中，例示将影像作为虚像使使用者视觉确认的类型的头戴式显示器100。
头戴式显示器100具备在佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、以及控制图像显示部20的控制部（控制器）10。
图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学影像显示部26、左光学影像显示部28、以及照相机61。右光学影像显示部26以及左光学影像显示部28被配置成在使用者佩戴了图像显示部20时位于使用者的右眼以及左眼的眼前。右光学影像显示部26的一端和左光学影像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间对应的位置处相互连接。
右保持部21是从右光学影像显示部26的另一端亦即端部ER向与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置延伸而设置的部件。同样，左保持部23是从左光学影像显示部28的另一端亦即端部EL向与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置延伸而设置的部件。右保持部21以及左保持部23像眼镜的镜腿（挂耳部分）那样，将图像显示部20保持于使用者的头部。
右显示驱动部22被配置于右保持部21的内侧，换言之，被配置在与使用者佩戴了图像显示部20时的使用者的头部对置的一侧。另外，左显示驱动部24被配置在左保持部23的内侧。此外，以下将右保持部21以及左保持部23仅统称为“保持部”，将右显示驱动部22以及左显示驱动部24仅统称为“显示驱动部”，将右光学影像显示部26以及左光学影像显示部28仅统称为“光学影像显示部”。
显示驱动部包含液晶显示器（Liquid Crystal Display，以下称为“LCD”）241、242、投影光学系统251、252等（参照图2）。后述显示驱动部的构成的详细内容。作为光学部件的光学影像显示部包括导光板261、262（参照图2）和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部输出的图像光导入使用者的眼睛。调光板是薄板状的光学元件，调光板被配置成覆盖图像显示部20的表面侧（与使用者的眼睛侧相反的一侧）。调光板保护导光板261、262，抑制导光板261、262的损伤、污垢的附着等。另外，通过调整调光板的透光率，能够调整进入使用者的眼睛的外光量，进而调整虚像的视觉确认的难易度。此外，可以省略调光板。
照相机61被配置于与使用者佩戴了图像显示部20时的使用者的眉间对应的位置。照相机61拍摄图像显示部20的表侧方向，换言之，拍摄佩戴了头戴式显示器100的状态下的使用者的视场方向的外景（外部的景色），获取外景图像。照相机61是所谓的可见光相机，由照相机61获取的外景图像是由从物体放射出的可见光表示物体的形状的图像。本实施方式中的照相机61是单眼照相机，但也可以设为立体照相机。照相机61相当于权利要求中的“图像获取部”，照相机61所获取的外景图像相当于权利要求中的“使用者的视场方向的图像”。
图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包括与控制部10连接的主体软线48、主体软线48分支成2根亦即右软线42以及左软线44、以及设置于分支点的连结部件46。右软线42从右保持部21的延伸方向的前端部AP插入至右保持部21的筐体内，与右显示驱动部22连接。同样，左软线44从左保持部23的延伸方向的前端部AP插入至左保持部23的筐体内，与左显示驱动部24连接。在连结部件46设置有用于连接耳机插头30的插孔。右耳机32以及左耳机34从耳机插头30延伸。
图像显示部20和控制部10经由连接部40进行各种信号的传输。在主体软线48的与连结部件46相反侧的端部和控制部10分别设置有相互嵌合的连接器（省略图示），通过主体软线48的连接器和控制部10的连接器的嵌合/嵌合解除，使控制部10和图像显示部20连接或者分离。对于右软线42、左软线44、以及主体软线48例如能够采用金属线缆或者光纤。
控制部10是用于控制头戴式显示器100的装置。控制部10包括点亮部12、触摸板14、十字键16、以及电源开关18。点亮部12通过其发光方式来通知头戴式显示器100的动作状态（例如，电源的开/关等）。作为点亮部12，例如能够使用LED（Light Emitting Diode：发光二极管）。触摸板14检测在触摸板14的操作面上的接触操作，输出与检测内容对应的信号。作为触摸板14，能够采用静电式、压力检测式、光学式这类的各种触摸板。十字键16检测对与上下左右方向对应的键的按下操作，输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作，来切换头戴式显示器100的电源的状态。
图2是功能性地表示头戴式显示器100的构成的框图。控制部10具备输入信息获取部110、存储部120、电源130、无线通信部132、CPU140、接口180、发送部（Tx）51以及52，各部通过未图示的总线相互连接。
输入信息获取部110例如获取与针对触摸板14、十字键16、电源开关18等的操作输入对应的信号。此外，输入信息获取部110能够使用各种的方法来获取来自使用者的操作输入。例如，除了可以获取图2所示的基于触摸板14、十字键16的操作输入以外，还可以获取基于脚踏开关（由使用者的脚操作的开关）的操作输入。另外，例如还可以在图像显示部20设置红外线传感器等视线检测部，基于此检测使用者的视线，获取基于与视线的活动建立对应的指令的操作输入。另外，例如，还可以使用照相机61检测使用者的手势，获取基于与手势建立对应的指令的操作输入。在手势检测时，能够将使用者的指尖、戴在使用者的手上的指环、拿在使用者的手中的医疗器具等作为用于活动检测的标记。如果能够获取基于脚踏开关、视线的操作输入，则在使用者难以放开手的作业（例如手术）中，输入信息获取部110也能够获取来自使用者的操作输入。
存储部120由ROM、RAM、DRAM、硬盘等构成。存储部120包括不可见信息存储部122、和外观信息存储部124。不可见信息存储部122是用于预先存储成为重叠信息显示处理的对象的物体的不可见信息的存储区域。所谓“不可见信息”是指不出现在物体的外观中的信息。本实施方式的不可见信息是表示物体的结构的图像。在物体是生物体的情况下，不可见信息例如是CT（Computed Tomography，计算机断层扫描）图像、MRI（Magnetic ResonanceImaging，磁共振成像）图像、X-射线（X射线）图像、透视图像、超声波诊断图像、内视镜图像、热成像图像等。另外，在物体是人工物体的情况下，不可见信息例如是设计图、电路图、X-射线（X射线）图像、透视图像、红外线图像、热成像图像等。
外观信息存储部124是用于预先存储成为重叠信息显示处理的对象的物体的外观信息的存储区域。本实施方式中的所谓“外观信息”是表示从外侧观察物体的情况（外观）的图像，是用可见光相机拍摄的照片等。
电源130向头戴式显示器100的各部供给电力。作为电源130，例如能够使用二次电池。无线通信部132遵循无线LAN、蓝牙这类的规定的无线通信标准来与其他设备之间进行无线通信。
CPU140通过读出并执行储存于存储部120的计算机程序而作为操作系统（ОS）150、图像处理部160、声音处理部170、显示控制部190、重叠处理部142发挥作用。重叠处理部142是执行重叠信息显示处理的应用程序。所谓重叠信息显示处理是使不出现在物体的外观中的信息重叠地显示于使用者的视场方向的物体的实像的处理。
图像处理部160基于经由接口180、无线通信部132输入的内容（影像）来生成信号。而且，图像处理部160将生成的信号经由连接部40供给给图像显示部20。用于供给给图像显示部20的信号在模拟形式和数字形式的情况下不同。在模拟形式的情况下，图像处理部160生成并发送时钟信号PCLK、垂直同步信号Vsync、水平同步信号Hsync、以及图像数据Data。具体而言，图像处理部160获取内容所包含的图像信号。所获取的图像信号例如在为动态图像的情况下，通常是由每秒30张的帧图像构成的模拟信号。图像处理部160从获取的图像信号分离出垂直同步信号Vsync、水平同步信号HSync等同步信号，根据它们的周期，通过PLL电路等生成时钟信号PCLK。图像处理部160使用A/D转换电路等将同步信号被分离而得的模拟图像信号转换为数字图像信号。图像处理部160将切换后的数字图像信号作为RGB数据的图像数据Data，以帧为单位储存于存储部120内的DRAM。另一方面，在数字形式的情况下，图像处理部160生成并发送时钟信号PCLK和图像数据Data。具体而言，在内容是数字形式的情况下，时钟信号PCLK与图像信号同步地输出，所以无需垂直同步信号VSync以及水平同步信号HSync的生成和模拟图像信号的A/D转换。此外，图像处理部160可以对储存于存储部120的图像数据Data执行分辨率切换处理、亮度、彩度的调整这类的各种色调修正处理、梯形修正处理等的图像处理。
图像处理部160经由发送部51、52分别发送生成的时钟信号PCLK、垂直同步信号Vsync、水平同步信号Hsync和储存于存储部120内的DRAM的图像数据Data。此外，也将经由发送部51发送的图像数据Data称为“右眼用图像数据”，也将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为用于控制部10和图像显示部20之间的串行传输的收发器发挥作用。
显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号，利用右LCD控制部211控制右LCD241的驱动开/关、利用右背光源控制部201控制右背光源221的驱动开/关、利用左LCD控制部212控制左LCD242的驱动开/关、利用左背光源控制部202控制左背光源222的驱动开/关等，从而分别利用右显示驱动部22以及左显示驱动部24控制图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24的双方生成图像光，或者仅使一方生成图像光，或者使双方均不生成图像光。另外，显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。
声音处理部170获取内容所包含的声音信号，并对获取的声音信号进行放大，供给给与连结部件46连接的右耳机32内的未图示的扬声器以及左耳机34内的未图示的扬声器。此外，例如在采用Dolby（注册商标）系统的情况下，进行声音信号的处理，分别从右耳机32以及左耳机34输出例如改变了频率等的不同的声音。
接口180是用于使成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备ОA，例如有个人计算机PC、移动电话终端、游戏终端等。作为接口180，例如能够使用USB接口、微型USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学影像显示部26的右导光板261、作为左光学影像显示部28的左导光板262以及照相机61。
右显示驱动部22包括接收部（Rx）53、作为光源发挥作用的右背光源（BL）控制部201以及右背光源（BL）221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、以及右投影光学系统251。此外，也将右背光源控制部201、右LCD控制部211、右背光源221、右LCD241统称为“图像光生成部”。
接收部53作为用于控制部10和图像显示部20之间的串行传输的接收器发挥作用。右背光源控制部201基于输入的控制信号驱动右背光源221。右背光源221例如为LED、电致发光（EL）等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据Data1来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。
右投影光学系统251由用于使从右LCD241射出的图像光成为平行状态的光束的准直透镜构成。作为右光学影像显示部26的右导光板261使从右投影光学系统251输出的图像光沿规定的光路反射，并且导入使用者的右眼RE。只要能够使用图像光在使用者的眼前形成虚像，光学影像显示部能够使用任意的方式，例如可以使用衍射光栅，也可以使用半透过反射膜。
左显示驱动部24具有与右显示驱动部22相同的构成。即，左显示驱动部24包括接收部（Rx）54、作为光源发挥作用的左背光源（BL）控制部202以及左背光源（BL）222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、以及左投影光学系统252。省略详细的说明。
图3是表示由图像光生成部射出图像光的情况的说明图。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，使透过右LCD241的光的透过率变化，从而将从右背光源221照射的照明光IL向成为表示图像的有效的图像光PL进行调制。左侧也相同。此外，如图3所示，在本实施方式中采用背光源方式，但也可以设为使用前光源方式、反射方式来射出图像光的构成。
图4是表示被使用者识别的虚像的一个例子的说明图。图4例示出使用者的视场VR。如上所述，头戴式显示器100的导入使用者的双眼的图像光成像于使用者的网膜，从而使用者视觉确认虚像VI。在图4所示的例子中，虚像VI是患者的手的X-射线图像。另外，使用者透过右光学影像显示部26以及左光学影像显示部28视觉确认外景SC。在图4所示的例子中，外景SC是医师拿着的手术刀的刀尖接触患者的右手小指的第2指关节的情况。像这样，在头戴式显示器100中，不与虚像VI重叠的部分自不必说，使用者对视场VR中与虚像VI重叠的部分，也能够在虚像VI的背后视觉确认外景SC。
此外，本实施方式的头戴式显示器也能够使用并排方式，使使用者视觉确认三维的虚像。在使使用者视觉确认三维的虚像的模式（以下也称为“三维显示模式”）中，将LCD左右等分，将右半部分作为右眼用的显示，将左半部分作为左眼用的显示。此外，也可以替换并排方式，例如通过使用帧封装方式、上下方式等其他的方式来实现三维显示模式。
A－2.重叠信息显示处理：
图5是表示第1实施方式中的重叠信息显示处理的程序的流程图。图5的步骤S102、S104是表示重叠信息显示处理的预处理的程序。图5的步骤S106以后表示重叠信息显示处理的程序。重叠信息显示处理是使不出现在物体的外观中的信息重叠显示于使用者的视场方向的物体的实像的处理。
在重叠信息显示处理中，有通过边缘检测来提取作为重叠信息显示处理的对象的物体（以下也称为“对象物体”。）的特征的方法、和通过标记检测来提取对象物体的特征的方法（后述详细内容）。其中，在采用通过标记检测来提取对象物体的特征的方法的情况下，在步骤S102、S104、S108中，预先给对象物体标注标记。此外，标注于对象物体的标记能够使用各个种类的标记。例如能够使用胶带、贴纸、魔法贴、激光标记、魔法胶带（注册商标）等。另外，能够任意规定标注于对象物体的标记的数量。
在图5的步骤S102中，使用者将作为重叠信息显示处理的对象的物体的不可见信息存储于不可见信息存储部122。具体而言，使用者使用拍摄设备（CT、MRI、X-射线、内视镜、热成像仪等）拍摄作为重叠信息显示处理的对象的物体，获取表示对象物体的结构的图像（不可见信息）。而且，使用者使获取的图像存储于不可见信息存储部122。此外，在步骤S102中拍摄到的不可见信息在步骤S106以后的重叠信息显示处理中，重叠显示于透过右光学影像显示部26以及左光学影像显示部28观察到的外景SC的实像。因此，在重叠信息显示处理的步骤S102中，优选获取与在步骤S106以后的重叠信息显示处理中假定的对象物体的朝向匹配的图像，并存储于不可见信息存储部122。此外，在步骤S102中，也可以替换对象物体的拍摄，将从外部接收到的不可见信息存储于不可见信息存储部122。
图6是表示不可见信息的一个例子的说明图。在图6中例示的不可见信息SI是人的右手的X-射线图像。该情况下，对象物体是“人的右手”。从图6的不可见信息SI可知，被拍摄者的右手的小指的第2指关节因关节风湿病而变形。
在图5的步骤S104中，使用者将作为重叠信息显示处理的对象的物体的外观信息存储于外观信息存储部124。具体而言，使用者使用照相机61、数字照相机等拍摄对象物体，获取表示对象物体的外观的图像。而且，使用者将获取的图像存储于外观信息存储部124。
图7是表示外观信息的一个例子的说明图。在图7中例示的外观信息FI是人的右手的照片图像。对象物体与图6相同。
在图5的步骤S106中，重叠处理部142判定是否有重叠信息显示处理的开始指示。具体而言，重叠处理部142在从输入信息获取部110接收到重叠信息显示处理的开始指示的情况下，判定为有开始指示（步骤S106：是），在未接收到的情况下，判定为没有开始指示（步骤S106：否）。在没有开始指示（步骤S106：否）的情况下，重叠处理部142将处理迁移至步骤S106，等待开始指示的接收。另一方面，在有开始指示（步骤S106：是）的情况下，重叠处理部142通过接下来说明的重叠信息生成处理来生成重叠信息（步骤S108）。
A－2－1.重叠信息生成处理：
图8是表示重叠信息生成处理的程序的流程图。重叠处理部142获取外景图像（步骤S202）。具体而言，重叠处理部142启动照相机61，指示照相机61进行拍摄，并获取由照相机61拍摄的外景图像。
获取外景图像后，重叠处理部142通过对外景图像进行图像识别来提取对象物体的特征（步骤S204）。具体而言，重叠处理部142使用下述的i、ii的图像识别的方法，提取外景图像所包含的对象物体的特征。此外，也可以组合方法i和ii。
方法i）重叠处理部142检测对象物体的边缘。该情况下，检测到的边缘为“对象物体的特征”。
方法ii）重叠处理部142检测标注于对象物体的标记。该情况下，检测到的标记为“对象物体的特征”。
图9表示通过方法i从外景图像提取出的对象物体的特征（边缘）。
在图8的步骤S206中，重叠处理部142通过对不可见信息SI进行图像识别来提取对象物体的特征。具体而言，重叠处理部142从不可见信息存储部122读出与对象物体对应的不可见信息SI。重叠处理部142使用在上述i、ii中说明的图像识别的方法，来提取读出的不可见信息SI所包含的对象物体的特征。此外，为了提高步骤S208中的修正的精度，优选在步骤S204和步骤S206中使用的图像识别的方法统一。
图10表示通过方法i从不可见信息SI提取出的对象物体的特征（边缘）。
在图8的步骤S208中，重叠处理部142以在步骤S204中提取出的外景图像的特征和在步骤S206中提取出的不可见信息SI的特征匹配的方式对不可见信息SI进行修正。具体而言，在步骤S204以及S206中使用方法i的情况下，重叠处理部142以外景图像的特征（即在步骤S204中检测到的边缘）和不可见信息SI的特征（即在步骤S206中检测到的边缘）的轮廓、特征部位匹配的方式，对表示不可见信息SI的图像进行放大、缩小、旋转、反转、剪裁、赋予变形、去噪中的至少一个的加工。此处，在对象物体是生物体的情况下，所谓的特征部位是关节、肢体的前端、血管、骨头等，在对象物体是人工物体的情况下，所谓的特征部位是突起部分、角部。另一方面，在步骤S204以及S206中使用方法ii的情况下，重叠处理部142以外景图像的特征（即在步骤S204中检测到的标记）和不可见信息SI的特征（即在步骤S206中检测到的标记）的位置匹配的方式，对表示不可见信息SI的图像进行放大、缩小、旋转、反转、剪裁、赋予变形、去噪中的至少一个加工。
在图9以及图10的例子中，重叠处理部142以在步骤S204中检测到的边缘（图9）和在步骤S206中检测到的边缘（图10）的手的轮廓、特征部位（关节、指尖、血管、骨头）匹配的方式，进行针对不可见信息SI的修正。
图11是表示修正后的不可见信息SI的一个例子的说明图。在修正后的重叠信息CP1中，不可见信息SI（图6）被剪裁成与外景图像所包含的对象物体（即患者的右手）的范围匹配。同样，在修正后的重叠信息CP1中，不可见信息SI（图6）被缩小到与外景图像所包含的对象物体的大小匹配，不可见信息SI（图6）被旋转以及移动到与外景图像所包含的对象物体的位置匹配。此外，在步骤S208中修正的不可见信息SI相当于权利要求中的“重叠信息”。
这样，在重叠信息生成处理中，重叠处理部142能够使用存储于不可见信息存储部122的物体的不可见信息SI来生成重叠信息。在步骤S202中，照相机61（图像获取部）获取的外景图像是拍摄使用者的视场方向的对象物体（换言之，外景所包含的物体）的实像而得到的图像。重叠处理部142从由照相机61获取的外景图像提取外景所包含的对象物体的边缘、标记（对象物体的特征），并基于提取出的特征生成重叠信息。因此，重叠处理部142能够生成与使用者的视场方向的对象物体（外景所包含的物体）的特征匹配的重叠信息。
另外，根据上述方法i，重叠处理部142能够通过图像识别检测出对象物体的边缘，从而提取出外景所包含的对象物体的轮廓。其结果，重叠处理部142能够基于提取出的对象物体的轮廓来修正该对象物体的不可见信息SI，从而生成重叠信息CP1。
另外，根据上述方法ii，重叠处理部142能够通过图像识别来检测出标注在对象物体上的标记，从而提取出外景所包含的对象物体的位置。其结果，重叠处理部142能够基于提取出的对象物体的位置修正该对象物体的不可见信息SI，从而生成重叠信息CP1。
重叠信息生成处理结束后，在图5的步骤S110中，重叠处理部142使重叠信息CP1显示。具体而言，重叠处理部142将通过重叠信息生成处理生成的重叠信息CP1发送给图像处理部160。接收到重叠信息CP1的图像处理部160对重叠信息CP1执行在图2中说明的显示处理。其结果，如图4所示，在头戴式显示器100的使用者的视场VR中作为虚像VI显示重叠信息CP1。本实施方式中的头戴式显示器100是使用者视觉确认虚像的同时也能够视觉确认外景的光学透视型的头戴式显示器。因此，头戴式显示器100的使用者能够在透过右光学影像显示部26以及左光学影像显示部28观察到的外景SC中的实像（医师拿着的手术刀的刀尖接触患者的右手小指的第2指关节的情况）和作为虚像VI观察到的重叠信息CP1重叠的状态下进行视觉确认。
在图5的步骤S112中，重叠处理部142判定是否有显示的切换指示、以及切换指示的内容。在没有显示的切换指示的情况下，重叠处理部142在待机规定的时间之后，将处理迁移至步骤S108（省略图示）。由此，每隔规定的时间，反复进行外景图像的拍摄、重叠信息CP1的生成以及显示，所以能够将追从使用者的头部的经时的活动的重叠信息CP1显示为虚像VI。此外，可以任意地决定所谓的规定的时间。
重叠处理部142在从输入信息获取部110接收到“图像切换”指示，指示切换当前显示中的重叠信息CP1的显示的主旨的情况下（步骤S112:图像切换），将处理迁移至步骤S114。重叠处理部142生成其他的重叠信息（步骤S114）。具体而言，重叠处理部142再次执行在图8中说明的重叠信息生成处理，生成其他的重叠信息。此时，重叠处理部142替换图8的说明中的“存储于不可见信息存储部122的不可见信息SI”，将“存储于外观信息存储部124的外观信息FI”作为处理对象。因此，所谓的其他的重叠信息成为表示对象物体的外观的信息。在其他的重叠信息生成后，重叠处理部142使其他的重叠信息显示（步骤S116）。具体而言，重叠处理部142向图像处理部160发送其他的重叠信息。接收到其他的重叠信息的图像处理部160对其他的重叠信息执行在图2中说明的显示处理。其结果，在头戴式显示器100的使用者的视场VR中替换重叠信息CP1，作为虚像VI显示其他的重叠信息。之后，重叠处理部142将处理迁移至步骤S112。
这样，根据步骤S114、S116，头戴式显示器100的使用者能够根据使用者自身的意思，切换以表示对象物体的结构的不可见信息SI为基础生成的重叠信息的显示、和以表示对象物体的外观的外观信息FI为基础生成的其他的重叠信息的显示。因此，能够使头戴式显示器100的使用者的方便性提高。
在图5中，重叠处理部142在从输入信息获取部110接收到“非显示”指示，指示使当前显示中的虚像为非显示的情况（步骤S112:非显示）下，使处理迁移至步骤S118迁移。重叠处理部142使当前显示中的虚像VI（重叠信息CP1或者其他的重叠信息）成为非显示（步骤S118）。具体而言，重叠处理部142停止对图像处理部160发送重叠信息CP1或者其他的重叠信息。由此，由于没有了应显示的图像数据，所以能够使虚像VI成为非显示。此外，也可以替换重叠信息CP1或者其他的重叠信息的发送的停止，重叠处理部142向显示控制部190发送使图像为非显示的请求。该情况下，显示控制部190通过发送用于将由LCD控制部控制的LCD的驱动设为关的控制信号、或者用于将由背光源控制部控制的背光源的驱动设为关的控制信号，能够使虚像VI成为非显示。
这样，根据步骤S118，头戴式显示器100的使用者能够根据使用者自身的意思，使当前显示中的虚像VI成为非显示。例如，在欲注视透过光学影像显示部观察的实像的情况下，使用者能够有意图地消除虚像VI。因此，能够使头戴式显示器100中的使用者的方便性提高。
在图5中，重叠处理部142在从输入信息获取部110接收到“放大”指示，指示使视场方向的实像放大显示的主旨的情况下（步骤S112:放大），将处理迁移至步骤S120迁移。重叠处理部142获取外景图像（步骤S120）。具体而言，重叠处理部142启动照相机61，指示照相机61进行拍摄，获取由照相机61拍摄的外景图像。在获取外景图像后，重叠处理部142图像识别在步骤S120中获取的外景图像，在剪裁与放大指示一起指定的以点为中心的规定范围的区域之后，对剪裁之后的图像进行放大处理（步骤S122）。之后，重叠处理部142生成将放大处理后的图像配置在端部，并在其他的部分配置黑色的虚拟数据而得的放大信息。在放大信息生成后，重叠处理部142显示重叠信息CP1和放大信息。具体而言，重叠处理部142向图像处理部160发送重叠信息CP1和放大信息。接收到了重叠信息CP1和放大信息的图像处理部160生成将重叠信息CP1和放大信息作为各图层的合成图像，对生成的合成图像执行在图2中说明的显示处理。
图12是表示被使用者识别的虚像的其他的例子的说明图。图12（A）表示通过图5的步骤S122被使用者识别的虚像。像这样，执行了步骤S120以及S122的结果，在头戴式显示器100的使用者的视场VR作为虚像VI显示重叠信息CP1和放大信息CP2。像这样，通过步骤S120、S122，头戴式显示器100的使用者根据使用者自身的意思，除了能够视觉确认视场方向的对象物体（换言之，外景所包含的物体）的实像和不出现在该对象物体的外观中的信息（重叠信息CP1）之外，还能够同时视觉确认以指定的点为中心的实像的放大信息CP2，即视场方向的物体的至少一部分的放大信息CP2。其结果，能够使头戴式显示器100中的使用者的方便性提高。
如上所述，在第1实施方式的重叠信息显示处理中，图像显示部20使使用者视觉确认基于重叠信息CP1的虚像VI（影像），该重叠信息CP1用于使该对象物体的不可见信息SI（在上述的例子中为人的右手的X-射线图像）与外景SC所包含的对象物体（在上述的例子中为人的右手）重叠。本方式的头戴式显示器100（头部佩戴型显示装置）是能够同时视觉确认虚像VI（影像）和外景SC的头戴式显示器。因此，头戴式显示器100的使用者不移动视线，就能够同时视觉确认视场方向的对象物体（换言之，外景所包含的对象物体）的实像和不出现在该对象物体的外观中的信息（重叠信息CP1）。
并且，在上述实施方式中，存储于不可见信息存储部122的不可见信息SI是表示对象物体的结构的图像。因此，头戴式显示器100（头部佩戴型显示装置）的使用者不移动视线，就能够同时视觉确认视场方向的对象物体的实像和表示对象物体的结构的图像。因此，上述实施方式的头戴式显示器100在微创外科手术中特别有用。此外，所谓微创外科手术是为了使手术带来的患者的疼痛、手术疤痕为最小限而将由手术刀切开的切开部分限定在最小限的手术方法。
A－3.重叠信息显示处理中的附加处理：
此外，在重叠信息显示处理（图5）中，还可以执行以下这样的附加处理。附加处理可以单独附加，也可以组合附加。
A－3－1.附加处理1:
在附加处理1中，重叠处理部142除了使重叠信息CP1显示为虚像VI以外，还使辅助信息CP3显示为虚像VI。所谓的辅助信息CP3只要是用于辅助头戴式显示器100的使用者的作业的附加信息，能够采用任意的信息。辅助信息CP3在医疗用的头戴式显示器100中，例如能够设为以下的信息。
·显示佩戴于患者的医疗用设备（心电图、心率计、血压计、脉动血氧计、血糖值计等）的测量值的信息。
·显示与佩戴于患者的医疗用设备的测量值对应的注意提醒、警告的信息。
图12（B）示出作为辅助信息CP3，显示有患者的心率（HR）、血压（SYS/DIA）、动脉血氧饱和度（SpO2）的辅助信息CP3作为虚像VI显示的例子。在图12（B）的例子中，通过文字表现辅助信息CP3。但是，除了文字以外，也可以采用照片、图案、图形、以及它们的组合来表现辅助信息CP3。此外，优选将辅助信息CP3配置于例如端部，以免与重叠信息CP1重叠。使重叠信息CP1和辅助信息CP3同时显示的方法与步骤S122相同。
此外，在图12（B）中，列举了医疗用的头戴式显示器100中的辅助信息CP3的例子。但是，即使在用于其他的用途的头戴式显示器100中，也能够使辅助信息CP3作为虚像VI显示。例如，也能够将在建筑工地中使用的头戴式显示器100中的辅助信息CP3作为显示建筑物的信息（建筑年数、建筑的地面的信息、施工方法的信息、建造所使用的材料的信息等）的信息。除此以外，能够采用与头戴式显示器100的使用用途对应的各种辅助信息。
这样，根据附加处理1，头戴式显示器100的使用者能够将用于辅助作业的信息亦即辅助信息CP3作为虚像VI（影像）视觉确认。因此，能够使使用了头戴式显示器100的作业的效率提高。
A－3－2.附加处理2:
在附加处理2中，对在步骤S108中生成的重叠信息CP1、在步骤S114中生成的其他的重叠信息、以及在步骤S122中生成的放大信息CP2中的至少一个进行颜色转换处理。优选颜色转换处理是根据在步骤S202中拍摄的外景图像的亮度、对比度、彩度、色相，使通过重叠处理部142生成的各信息（重叠信息CP1、其他的重叠信息、放大信息CP2）的可视性提高的颜色转换处理。例如，能够进行将通过重叠处理部142生成的各信息的色相转换为在步骤S202中拍摄的外景图像的色相的互补色的颜色转换处理。此外，可以在向图像处理部160发送各信息之前，由重叠处理部142执行颜色转换处理，也可以由接收到各信息的图像处理部160执行颜色转换处理。
这样，根据附加处理2，能够使头戴式显示器100的使用者对虚像VI（影像）的可视性进一步提高。
A－3－3.附加处理3:
在附加处理3中，重叠处理部142使作为虚像VI显示的信息（重叠信息CP1、其他的重叠信息、放大信息CP2、辅助信息CP3）向不妨碍使用者的视野的位置退避。以当前显示中的虚像VI为重叠信息CP1的情况为例进行说明。重叠处理部142对重叠信息CP1进行缩小处理。之后，重叠处理部142生成将缩小处理后的图像配置在端部，并在其他的部分配置了黑色的虚拟数据的缩小信息。在缩小信息生成后，重叠处理部142显示缩小信息。具体而言，重叠处理部142向图像处理部160发送缩小信息。接收到缩小信息的图像处理部160对缩小信息执行在图2中说明的显示处理。其结果，替换重叠信息CP1，在头戴式显示器100的使用者的视场VR中作为虚像显示重叠信息CP1被缩小且配置于端部的缩小信息。此外，也可以替换重叠信息显示处理（图5）的步骤S118而执行附加处理3。
这样，根据附加处理3，头戴式显示器100的使用者能够根据使用者自身的意思，使作为虚像VI（影像）显示的信息（重叠信息CP1、其他的重叠信息、放大信息CP2、辅助信息CP3）向不妨碍视野的位置退避。例如，在欲注视透过光学影像显示部观察的实像的情况下，使用者能够有意图地使作为虚像VI（影像）显示的信息退避。因此，能够使头戴式显示器100中的使用者的方便性提高。
并且，根据附加处理3，缩小处理后的各种信息（重叠信息CP1、其他的重叠信息、放大信息CP2、辅助信息CP3）被配置于端部，所以能够提醒头戴式显示器100的使用者存在各种信息。换言之，能够像图标那样使用缩小处理后的各种信息。例如，能够将使用者选择了缩小处理后的重叠信息CP1作为触发要件，使重叠信息CP1返回到原来的位置以及大小。这样，能够使头戴式显示器100中的使用者的方便性进一步提高。
A－3－4.附加处理4:
在附加处理4中，重叠处理部142实现用于抑制使用者的头的小幅偏移带来的虚像VI的摇晃的、所谓的稳定器功能。在重叠信息显示处理（图5）的步骤S112中，重叠处理部142在没有显示的切换指示的情况下，在待机规定的时间之后使处理迁移至步骤S108。由此，每隔规定的时间，反复进行外景图像的拍摄和重叠信息CP1的生成以及显示，所以能够使追从使用者的头部的经时活动的重叠信息CP1显示为虚像VI。但是，重叠信息CP1总是追从使用者的头部的微小的活动或者摇动而变化，反而可能诱发使用者的眼精疲劳、妨碍使用者的集中力。因此，重叠处理部142也可以在重叠信息生成处理（图8）的步骤S202和S204之间执行程序a1、a2所示的处理。
程序a1）计算在步骤S202中拍摄的外景图像、和在上次执行的重叠信息生成处理的步骤S202中拍摄的外景图像之间的、RGB直方图的变化量。
程序a2）在程序a1中计算出的变化量超过规定的阈值的情况下，继续步骤S204以后的处理。在程序a1中计算出的变化量为规定的阈值以下的情况下，将在上次执行的重叠信息生成处理中生成的重叠信息CP1作为当前执行中的重叠信息生成处理的处理结果。
这样，根据附加处理4，重叠处理部142在上次执行的重叠信息生成处理中的外景图像（使用者的视场方向的外景）和当前执行的重叠信息生成处理中的外景图像之间的变化量小的情况下，即，使用者的头部的活动微小的情况下，不生成新的重叠信息CP1，而将在上次执行的重叠信息生成处理中生成的重叠信息CP1作为当前执行中的重叠信息生成处理的处理结果。其结果，能够抑制重叠信息CP1总是追从头戴式显示器100的使用者的头部的微小活动或者摇动而变化的情况，所以能够抑制使用者的眼精疲劳、集中力降低。此外，也可以构成为能够由使用者切换稳定器功能的开/关。
A－3－5.附加处理5:
在附加处理5中，重叠处理部142根据图像显示部20的光学影像显示部26、28和在处在使用者的视场方向内的物体之间的距离，变更放大信息CP2以及辅助信息CP3被显示为虚像VI的大小。具体而言，重叠处理部142能够在重叠信息显示处理（图5）中进行程序b1～b3所示的处理。此外，在实施附加处理5的情况下，构成为在头戴式显示器100还具备测距传感器。测距传感器是用于通过反射光来获取使用者的视场方向上的物体和图像显示部20之间的距离的传感器，例如，能够配置在图1的照相机61的附近。
程序b1）重叠处理部142定期地获取测距传感器的测定值。
程序b2）重叠处理部142在进行重叠信息显示处理（图5）的步骤S122中的放大处理时，根据获取的测距传感器的测定值来变更放大率。
程序b3）重叠处理部142根据测距传感器的测定值，变更附加处理1的辅助信息CP3的大小。
这样，根据附加处理5，重叠处理部142根据位于使用者的视场方向上的物体和图像显示部20之间的距离，来变更放大信息CP2以及辅助信息CP3被显示为虚像的大小。因此，能够使头戴式显示器100中的使用者的方便性提高。
A－3－6.附加处理6:
在附加处理6中，无线通信部132将在上述的处理中获取的外景图像发送给外部的装置。具体而言，所谓的外景图像是在重叠信息生成处理（图8）的步骤S202中获取的外景图像和在重叠信息显示处理（图5）的步骤S120中获取的外景图像。所谓的外部的装置例如是其他的头戴式显示器100、服务器、监视器等。无线通信部132经由无线连接将这些外景图像发送给外部的装置。接收到外景图像的外部的装置能够以各种方式活用接收到的外景图像。例如，也可以使其他的头戴式显示器100、监视器显示接收到的外景图像。另外，也可以存储于服务器，作为手术（作业）的记录加以保存。
在使其显示于其他的头戴式显示器100、监视器的方式中，外部的装置也可以获取观察了所显示的图像的医师（作业者）的建议。该情况下，外部的装置将获取的建议发送给头戴式显示器100。接收到建议的头戴式显示器100的无线通信部132转发接收到的建议。具体而言，无线通信部132在接收到的建议是声音信息的情况下转送给声音处理部170，在是文字信息、图像信息的情况下转送给重叠处理部142。接收了声音信息的声音处理部170将声音信息所包含的声音信号进行放大，供给给内置于右耳机32和左耳机34的扬声器。由此，头戴式显示器100的使用者能够听到基于声音的建议。另一方面，接收了文字信息、图像信息的重叠处理部142除了使重叠信息CP1显示为虚像VI以外，还使接收到的文字信息、图像信息显示为虚像VI。文字信息、图像信息的显示方法与在附加处理1中说明的辅助信息CP3相同。由此，头戴式显示器100的使用者能够将基于文字、图像的建议视觉确认为虚像VI。
这样，根据附加处理6，也能够在外部的装置中阅览在处理过程中获取的外景图像，并且能够保存。另外，根据附加处理6，头戴式显示器100的使用者能够得到来自观察在处理过程中获取的外景图像的人物的建议。因此，能够实现使用头戴式显示器100的作业的效率化和精度的提高。
A－3－7.附加处理7:
在附加处理7中，重叠处理部142进行虚像VI的显示区域和照相机61的拍摄区域的校准。重叠处理部142在重叠信息显示处理（图5）之前，进行以下的程序c1～c7所示的处理。
程序c1）在存储部120中预先存储用于校准的引导图像的图像数据（以下也称为“引导图像数据”。）。引导图像是用于对头戴式显示器100的使用者表示虚像的显示区域的端部的图像。例如，能够将引导图像设为是具有与右LCD241以及左LCD242相同的长宽比的矩形形状，且具有白色一种颜色的背景的图像，且设为在其四角和位于对角线的交点的部分具有圆状的引导标记的图像。
程序c2）重叠处理部142读出储存于存储部120的引导图像数据，将引导图像数据发送给图像处理部160。在接收了引导图像数据的图像处理部160中执行在图2中说明的处理。其结果，在头戴式显示器100的使用者的视场VR中引导图像被显示为虚像VI。
程序c3）重叠处理部142以按顺序指向作为虚像VI显示的引导图像的引导标记的方式引导使用者。作为引导使用者的方法，可以使用使用了对话框等的消息，也可以利用声音进行引导。在不遮挡显示中的引导图像就能够进行引导这一点而言，优选利用声音进行的引导。
程序c4）重叠处理部142使照相机61拍摄外景图像。
程序c5）重叠处理部142对由照相机61拍摄的外景图像进行图像识别，确定出人的指尖的位置。对于各引导标记，重叠处理部142获取指尖位置的坐标，并保存于存储部120。例如，能够将指尖位置的坐标定义为将外景图像的最左上部分的像素设为（0，0）时的X方向、Y方向的移动量。
程序c6）重叠处理部142对于全部的引导标记，反复进行外景图像的获取、指尖位置的坐标获取、坐标的保存的一系列的处理。之后，重叠处理部142使引导图像的显示结束。这样，重叠处理部142预先获取照相机61的拍摄区域与虚像VI的显示区域重叠的区域。此外，也将照相机61的拍摄区域（获取区域）与虚像VI的显示区域重叠的区域称为“重叠区域”。
程序c7）重叠处理部142提取在重叠信息生成处理（图8）的步骤S204中，由照相机61拍摄的外景图像中的重叠区域内的图像所包含的物体的特征。然后，在步骤S208中，生成与重叠区域对应的重叠信息CP1。
这样，根据附加处理7，重叠处理部142能够针对虚像VI（影像）的显示区域和照相机61（图像获取部）的获取区域重叠的重叠区域生成重叠信息CP1。因此，能够使在透视型的头戴式显示器100（头部佩戴型显示装置）中产生的课题亦即“使用者在自身的视野中直接看到的像和通过图像显示部20视觉确认的虚像VI（影像）之间的偏差”的产生减少。其结果，在使使用者视觉确认基于重叠信息CP1的虚像的情况下，能够使给使用者带来的不适感减少。
B.第2实施方式:
在本发明的第2实施方式中，还对头部佩戴型显示装置中，能够援助使用者进行的作业的构成进行说明。以下，仅对具有与第1实施方式不同的构成以及动作的部分进行说明。此外，在图中，对与第1实施方式相同的结构部分标注与之前说明的第1实施方式相同的符号，省略其详细的说明。
B－1.头部佩戴型显示装置的构成:
图13是功能性地表示第2实施方式中的头戴式显示器100a的构成的框图。与图2所示的第1实施方式的不同是替换控制部10而具备控制部10a这一点。控制部10a替换存储部120而具备存储部120a，替换CPU140而具备CPU140a。
存储部120a除了包括图2所示的各存储部之外，还包括程序表126。CPU140a替换图2所示的重叠处理部142而具备重叠处理部142a，另外，除了具备图2所示的各处理部之外，还具备程序管理部144。重叠处理部142a和程序管理部144通过配合来执行第2实施方式中的重叠信息显示处理。
图14是表示程序表126的一个例子的说明图。程序表126是在第2实施方式中的重叠信息显示处理中使用的表。程序表126被预先储存于存储部120a内。程序表126包括作业编号、程序编号、程序名、指示内容以及图像的字段。
在作业编号储存有用于唯一识别作业的标识符。例如，在医疗用的头戴式显示器100的情况下，在作业编号储存表示手术的方法的标识符。标识符由字符串构成，例如能够设为字母数字的组合。
在程序编号以后的各字段储存有与由作业编号确定出的作业所包含的多个程序有关的各种信息。在程序编号储存有用于唯一识别程序的标识符。标识符由字符串构成，例如能够设为字母数字的组合。在图14的例子中，假定作业内的多个程序按照程序编号的升序进行。在程序名储存有该程序的名称。在指示内容储存有表示在该程序中使用者应该实施的内容的字符串。此外，在图14的例子中，用针对使用者的引导文形式的字符串表现指示内容。在图像字段中储存有表示使用者应该实施的内容的图像。图像例如是第三方示范实施该程序的场面的照片等。此外，图像除了是照片以外，还可以是附图（说明图、组装图、配置图、电路图等），也可以是它们的组合。
在图14的例子中，可知程序表126是在医疗用的头戴式显示器100中，储存了医师进行的作业（即手术）的程序的表。另外，可知由作业编号1识别的作业是人工指关节置换手术。并且，可知在由程序编号1识别的程序中使用者应该实施的内容是“准备手术时必需的物品”和“必需的物品是什么”。并且，在程序编号1识别的程序中表示使用者应该实施的内容的图像并未建立对应。
B－2.重叠信息显示处理：
图15是表示第2实施方式中的重叠信息显示处理的程序的流程图。与图5所示的第1实施方式的不同是追加有步骤S302、S304、S306这一点。
在重叠信息显示处理的开始指示后，在步骤S302中，程序管理部144推断当前的程序。具体而言，程序管理部144启动照相机61，指示照相机61进行拍摄，并获取由照相机61拍摄的外景图像。程序管理部144通过图像识别获取的外景图像，从储存于程序表126的多个程序中推断当前程序。这样，程序管理部144能够基于由照相机61（图像获取部）获取的使用者的视场方向的图像（外景图像）自动地推断当前的程序。
推断出当前程序之后，在步骤S108中，重叠处理部142a执行重叠信息生成处理。详细内容与在图8中说明的第1实施方式相同。
在重叠信息生成处理的执行后，在步骤S304中，程序管理部144生成程序信息。具体而言，程序管理部144进行接下来的程序d1～d4所示的处理。
程序d1）程序管理部144检索程序表126，提取与在步骤S302中推断出的当前的程序相关联的记录。
程序d2）程序管理部144判定提取出的记录中，在图像字段是否储存有图像（表示使用者应该实施的内容的图像）。在储存有图像的情况下程序管理部144执行程序d3，在未储存图像的情况下执行程序d4。
程序d3）程序管理部144生成将储存于图像字段的图像配置于上端部，将储存于指示内容字段的字符串配置于下端部，并在其他的部分配置黑色的虚拟数据的程序信息。此外，优选在考虑了外景图像的色相的基础上，将字符串设为可视性高的颜色。
程序d4）程序管理部144生成将储存于指示内容字段的字符串配置于下端部，在其他的部分配置黑色的虚拟数据的程序信息。
此外，能够任意地变更程序d3、d4中的图像和字符串的配置。但是，为了以不过度遮挡使用者的视野的方式将应该实施的内容引导给使用者，优选图像和字符串的配置为程序信息CP4的端部（换言之为四边的附近）。
图16是表示程序信息的例子的说明图。在程序信息CP4中，在下侧的端部配置有表示使用者应该实施的内容的“插入人工指关节”这样的字符串MG4。另外，在右侧上端部配置有表示人工指关节的插入的示范例的图像IM4。
在程序信息CP4的生成后，在步骤S306中，重叠处理部142a以及程序管理部144显示重叠信息CP1和程序信息。具体而言，重叠处理部142a将重叠信息CP1发送给图像处理部160，程序管理部144程序信息CP4发送给图像处理部160。接收到重叠信息CP1和程序信息CP4的图像处理部160生成使重叠信息CP1和程序信息CP4成为各图层的合成图像，对于生成的合成图像执行在图2中说明的显示处理。其结果，在头戴式显示器100a的使用者的视场VR作为虚像VI显示重叠信息CP1和程序信息CP4。
如上所述，在第2实施方式的重叠信息显示处理中，图像显示部20使使用者作为虚像VI（影像）视觉确认表示对于当前的程序，头戴式显示器100a的使用者应该实施的内容的程序信息CP4。因此，除了第1实施方式的效果外，还能够使用图像视觉性地表示使头戴式显示器100a的使用者应该实施的内容。因此，能够更加容易明了地援助使用者进行的作业。
此外，在上述第2实施方式中，以在程序表126的图像字段储存有第三方示范性地实施该程序的场面的照片等的情况为例进行了说明。但是，也可以在程序表126的图像字段储存表示在实际的个别具体的程序中使用者应该实施的内容的图像。具体而言，也可以在程序表126的图像字段例如存储表示实际接受手术的患者的皮肤的切开部位的图像、表示医疗设备（例如医疗螺丝、心脏起搏器、导管、人工关节等）向实际接受手术的患者的体内插入的插入部位的图像。该情况下，程序管理部144替换重叠信息显示处理（图15）的步骤S108、S304、S306，进行以下的程序e1～e9所示的处理。
程序e1）程序管理部144检索程序表126，提取与在步骤S302中推断出的当前的程序相关联的记录。
程序e2）程序管理部144判定在提取出的记录中，在图像字段是否储存有图像。程序管理部144在储存有图像的情况下执行程序e3～e7、e9，在没有储存图像的情况下执行程序e8、e9。
程序e3）重叠处理部142a获取外景图像。详细内容与重叠信息生成处理（图8）的步骤S202相同。
程序e4）重叠处理部142a通过图像识别外景图像提取对象物体的特征。详细内容与重叠信息生成处理的步骤S204相同。
程序e5）重叠处理部142a通过图像识别储存于图像字段的图像提出对象物体的特征。详细内容与重叠信息生成处理的步骤S206相同。但是，将步骤S206的“不可见信息”替换为“储存于图像字段的图像”。
程序e6）重叠处理部142a以在程序e4中提取出的外景图像的特征和在程序e5中提取出的储存于图像字段的图像的特征匹配的方式修正储存于图像字段的图像，生成重叠信息CP5。详细内容与重叠信息生成处理的步骤S208相同。但是，将步骤S208的“不可见信息”替换为“储存于图像字段的图像”。
程序e7）程序管理部144对在程序e6中生成的重叠信息CP5追加表示程序信息的图层。具体而言，程序管理部144将在程序e1中提取出的记录的储存于指示内容字段的字符串配置在重叠信息CP5的下端部。
图17是表示追加了程序信息的重叠信息的例子的说明图。在该重叠信息CP5中，以与使用者的视场方向的对象物体（外景所包含的物体）的特征匹配的角度、位置、大小配置有表示实际接受手术的患者的皮肤的切开部位的图像IM5。另外，在重叠信息CP5中，在下侧的端部配置有表示使用者应该实施的内容的“使用圆刃手术刀切开手术部位的皮肤，使指关节露出”这样的字符串MG5。
程序e8）程序管理部144生成将在程序e1中提取出的记录的储存于指示内容字段的字符串配置在端部，并在其他的部分配置黑色的虚拟数据的程序信息CP4。
程序e9）程序管理部144显示在程序e7中生成的重叠信息CP5或者在程序e8中生成的程序信息CP4。具体而言，程序管理部144向图像处理部160发送生成的重叠信息CP5或者程序信息CP4。接收到重叠信息CP5或者程序信息CP4的图像处理部160执行在图2中说明的显示处理。其结果，在头戴式显示器100a的使用者的视场VR作为虚像VI显示重叠信息CP5或者程序信息CP4。
图18是表示通过程序e1～e9被使用者视觉确认的虚像的一个例子的说明图。如图18所示，在头戴式显示器100a的使用者的视场VR作为虚像VI显示重叠信息CP5。这样，本实施方式中的头戴式显示器100a的使用者能够在透过右光学影像显示部26以及左光学影像显示部28观察的外景SC中的实像（医师拿着的手术刀的刀尖接触患者的右手小指的第2指关节的情况）、和作为虚像VI观察的重叠信息CP5（即，表示实际接受手术的患者的皮肤的切开部分的图像、以及表示使用者应该实施的内容的字符串）重叠的状态进行视觉确认。这样，能够更加个别具体地援助头戴式显示器100a的使用者进行的作业，能够实现作业的精密化和作业效率的提高。
B－3.重叠信息显示处理中的附加处理：
此外，在第2实施方式的重叠信息显示处理（图15）中，还可以执行在“A－3.重叠信息显示处理中的附加处理”中说明的附加处理1～7。可以单独地附加附加处理，也可以组合附加附加处理。此外，也可以为程序管理部144成为主体，针对程序管理部144生成的程序信息执行附加处理7。
C.第3实施方式：
在本发明的第3实施方式中，对能够使第1实施方式的重叠信息显示处理中的“不出现在物体的外观中的信息（重叠信息）”与“作为重叠信息显示处理的对象的物体的实像”的重叠的精度进一步提高的构成进行说明。以下，仅对具有与第1实施方式不同的构成以及动作的部分进行说明。此外，在图中，对与第1实施方式相同的结构部分标注与之前说明的第1实施方式相同的符号，省略其详细的说明。
C－1.头部佩戴型显示装置的构成:
图19是表示第3实施方式中的头戴式显示器100b的概要结构的说明图。图20是功能性地表示第3实施方式中的头戴式显示器100b的构成的框图。与图1、2所示的第1实施方式不同的是替换控制部10而具备控制部10b这一点、和替换图像显示部20而具备图像显示部20b这一点。
如图20所示，控制部10b替换存储部120而具备存储部120b，替换CPU140而具备CPU140b。存储部120b除了具备在第1实施方式中说明的不可见信息存储部122和外观信息存储部124外，还具备视差信息128。
图21是用于说明视差信息128的说明图。本实施方式中的视差信息128是使用者和使用者视觉确认的虚像之间的多个距离Lx、和分别与多个距离Lx对应的视差Px对应而成的表。此外，所谓视差指反映在双眼的视网膜上的像的不同（差）。在图21的例子中，对于使用者和使用者视觉确认的虚像VI1之间的距离L1对应视差2mm。另外，对于使用者和虚像VI2之间的距离L2对应视差6mm，对于使用者和虚像VI3之间的距离L3对应视差10mm。此外，已知人的纵深间隔随着使用者和使用者视觉确认的虚像之间的距离变远而急剧地减少。因此，也可以在视差信息128中准备距离Lx越小纵深间隔就越小的多个数据。
通过测量使用者用双眼视觉确认的虚像的位置（即右眼视觉确认的虚像和左眼视觉确认的虚像成像的成像位置）和使用者的双眼之间的距离，预先作成该对应，作为使右眼用的虚像的显示位置和左眼用的虚像的显示位置偏移的结果。此外，在右眼用的虚像和左眼用的虚像为相同的虚像的情况下，将使用者用双眼视觉确认的虚像的位置定义为“基准面”。该情况下，从使用者观察，作成视差信息128时的成像位置可以在基准面的前面，也可以比基准面靠后。也可以在基准面的前后两方。此外，在前者的情况下，使用者看到虚像突出，在后者的情况下，使用者能看到虚像凹进。
上述的视差2mm、6mm、10mm分别是相当于使用者的辨别视场以及有效视场的虚像的中心部分的视差。因此，为了更加严密，也可以在视差信息128区别存储相当于使用者的注视稳定视场的部分的视差（1.9mm、5mm、9mm）、相当于使用者的引导视场（1.8mm、4mm、8mm）的部分的视差、以及相当于使用者的辅助视场的部分的视差（1.7mm、3mm、7mm）等。此外，图21中的具体的数值只是例示。
此外，所谓辨别视场是指人的视场中，视力、辨色等的视功能优异，并且能够接受高精度的信息的范围。辨别视场通常距中心在几度以内。所谓有效视场是指人的视场中，仅利用眼球运动注视信息，能够瞬时接受特定信息的范围。有效视场通常在左右约15度、上约8度、下约12度以内。所谓注视稳定视场是指人的视场中，在头部运动辅助眼球运动的状态下产生，能够自然地注视的范围。注视稳定视场通常在左右30～45度、上20～30度、下25～40度以内。所谓引导视场是指人的视场中，只有能够判定出示的信息的存在的程度的识别能力，但是影响人的空间坐标感觉的范围。引导视场通常在水平30～100度、垂直20～85度的范围内。所谓辅助视场是指人的视场中，信息接受极度地降低，并进行使强刺激等诱发注视动作的程度的辅助的动作的范围。辅助视场通常在水平100～200度、垂直85～135度的范围内。
图20的CPU140b替换重叠处理部142而具备重叠处理部142b。重叠处理部142b执行的重叠信息显示处理的内容与第1实施方式不同。后述详细内容。
如图20所示，图像显示部20b除了具备在第1实施方式中说明的各部外，还具备瞳孔拍摄用照相机62、63、近红外线受发光部64、65、9轴传感器66、以及深度传感器67。
瞳孔拍摄用照相机62被配置于图像显示部20的端部ER（图1）的附近。瞳孔拍摄用照相机62在图像显示部20的背面方向，拍摄佩戴了头戴式显示器100b的状态下的使用者的右眼RE的瞳孔。同样，瞳孔拍摄用照相机63被配置于图像显示部20的端部EL（图1）的附近。瞳孔拍摄用照相机63拍摄佩戴了头戴式显示器100b的状态下的使用者的左眼LE的瞳孔。
近红外线受发光部64被配置于图像显示部20的端部ER（图1）的附近。近红外线受发光部64在图像显示部20的背面方向，朝向使用者的右眼RE照射红外光，获取反射光。同样，近红外线受发光部65被配置于图像显示部20的端部EL（图1）的附近。近红外线受发光部65在图像显示部20的背面方向，向使用者的左眼LE照射红外光，获取反射光。
瞳孔拍摄用照相机62、63和近红外线受发光部64、65通过配合，作为检测使用者的视线的“视线检测部”发挥作用。此外，也可以省略瞳孔拍摄用照相机62、63和近红外线受发光部64、65的一部分。例如，可以省略近红外线受发光部64、65，也可以省略瞳孔拍摄用照相机63和近红外线受发光部65。
9轴传感器66被配置于使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。9轴传感器66是检测加速度（3轴）、角速度（3轴）、地磁（3轴）的运动传感器。由于9轴传感器66被设置于图像显示部20，所以在图像显示部20被佩戴于使用者的头部时，作为检测使用者的头部的动作的“动作检测部”发挥作用。此处，所谓头部的动作包括头部的速度、加速度、角速度、方向、方向的变化。
深度传感器67被配置于使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。深度传感器67包括红外线照射部和红外线传感器，测定深度传感器67的正面的各点的深度。深度传感器67作为检测使用者相对于作为重叠信息显示处理的对象的物体（对象物体）的位置的“位置检测部”发挥作用。
C－2.重叠信息显示处理：
图22是表示第3实施方式中的重叠信息显示处理的程序的流程图。与图5所示的第1实施方式不同的是替换步骤S102而具备步骤S602、替换步骤S108而具备步骤S604、替换步骤S110而具备步骤S606这几点、和在步骤S110之后还具备步骤S608这一点。此外，以三维显示模式执行第3实施方式的重叠信息显示处理。
在步骤S602中，使用者将作为重叠信息显示处理的对象的一物体的多个不可见信息存储于不可见信息存储部122。此处，与图5的步骤S102相同，所谓的不可见信息是表示使用CT、MRI、X-射线、内视镜、热成像仪等拍摄设备获取的对象物体的结构的图像。在第3实施方式的重叠信息显示处理中，根据对象物体和使用者的位置关系从多个不可见信息选择出一不可见信息。因此，优选在步骤S602中，对于对象物体，从各种角度获取不可见信息，并存储于不可见信息存储部122。
图23是表示不可见信息的一个例子的说明图。如图23所示，在第3实施方式的不可见信息存储部122存储有将患者PA的身体分割为前侧和后侧的任意的平面图像亦即多个冠状面CT图像SI1、将患者PA的身体在与长度方向垂直的平面上进行分割的任意的平面图像亦即多个横剖面CT图像SI2、以及患者PA的手术部分的X-射线图像SI3。此外，图23所示的不可见信息只是一个例子，例如，可以包含矢状面CT图像，也可以替换CT图像而包含MRI图像、内视镜图像。
在图22的步骤S604中，重叠处理部142b通过执行以下说明的“C－2－1.第1重叠信息生成处理”和“C－2－2.第2重叠信息生成处理”中的任意一个处理，来生成重叠信息。第1重叠信息生成处理和第2重叠信息生成处理的不同是重叠处理部142b修正不可见信息时的精度。具体而言，第2重叠信息生成处理与第1重叠信息生成处理比较，进行精度更高的修正。
可以预先决定执行第1重叠信息生成处理和第2重叠信息生成处理的哪一个，也可以由使用者指定。另外，例如还可以根据由9轴传感器检测出的使用者的头部的动作的大小来自动地决定，还可以根据使用头戴式显示器100b实施的手术的种类或者手术方式来自动地决定。
C－2－1.第1重叠信息生成处理：
图24是表示第1重叠信息生成处理的程序的流程图。在步骤S402中，重叠处理部142b获取外景图像。具体而言，重叠处理部142b启动照相机61，指示照相机61进行拍摄，并获取由照相机61拍摄的外景图像。
图25是用于说明第1重叠信息生成处理的步骤S404的说明图。在图24的步骤S404中，重叠处理部142b获取使用者的视线和位置。具体而言，重叠处理部142b从瞳孔拍摄用照相机62、63以及近红外线受发光部64、65的检测值获取使用者的视线。之后，重叠处理部142b根据所获取的使用者的视线，计算使用者和使用者注视的点PP（图25，注视点PP）之间的距离亦即注视点距离。此外，注视点是在使用者的两眼的中央凹（视网膜中视力最高的地方）的延长线上相交的点。并且，重叠处理部142b从深度传感器67的检测值获取使用者相对于对象物体的位置PO1～PO3（图25）。此时，重叠处理部142b例如也可以将对象物体的特征M1～M4（图25，边缘或者标记）部分的深度DP（图25）作为位置获取的基准。
在步骤S406中，重叠处理部142b从存储于不可见信息存储部122的多个不可见信息选择与使用者相对于对象物体的位置对应的一不可见信息。具体而言，重叠处理部142b基于在步骤S404获取的使用者和对象物体的位置关系，选择认为最佳的几个不可见信息。例如，在使用者位于从上俯视图23所示的患者PA（对象物体）的位置的情况下，重叠处理部142b选择多个冠状面CT图像SI1。接下来，重叠处理部142b从选择出的几个不可见信息，选择与在步骤S404中获取的深度对应的一不可见信息。此外，在步骤S406中，重叠处理部142b也可以将选择出的几个不可见信息作为候补提示给使用者，也可以受理来自使用者的不可见信息的选择。
在步骤S408中，重叠处理部142b通过图像识别外景图像来提取对象物体的特征。详细内容与在第1实施方式中说明的图8的步骤S204相同。
在步骤S410中，重叠处理部142b通过图像识别在步骤S406中选择出的不可见信息来提取对象物体的特征。详细内容与在第1实施方式中说明的图8的步骤S206相同。
在步骤S412中，重叠处理部142b以在步骤S408中提取出的外景图像的特征和在步骤S410中提取出的不可见信息的特征匹配的方式，修正在步骤S406中选择出的不可见信息，生成重叠信息。详细内容与在第1实施方式中说明的图8的步骤S208相同。
在步骤S414中，重叠处理部142b赋予重叠信息视差。具体而言，重叠处理部142b将在步骤S404中计算出的注视点距离作为关键词，检索视差信息128，获取视差信息128所规定的视差。重叠处理部142b通过对在步骤S412中生成的重叠信息赋予从视差信息128获取的与注视点距离对应的视差，生成右眼用的重叠信息和左眼用的重叠信息。这样，根据步骤S414，重叠处理部142b能够使用预先准备的视差信息128，容易地生成右眼用的重叠信息和左眼用的重叠信息。
在第1重叠信息生成处理结束后，在图22的步骤S606中，重叠处理部142b显示重叠信息。具体而言，重叠处理部142b将通过重叠信息生成处理生成的右眼用的重叠信息和左眼用的重叠信息发送给图像处理部160。接收到右眼用的重叠信息和左眼用的重叠信息的图像处理部160对接收到的重叠信息分别执行在图2中说明的显示处理。其结果，在头戴式显示器100b的使用者的视场，显示基于重叠信息的虚像。此处，赋予右眼用的重叠信息和左眼用的重叠信息与注视点距离对应的视差。因此，头戴式显示器100b的使用者视觉确认的虚像成为在使用者的注视点的附近成像的三维显示。
在图22的步骤S608中，重叠处理部142b判定是否变更了使用者的视线和位置。能够以与第1重叠信息生成处理（图25）的步骤S404相同的方法获取使用者的视线和位置。在使用者的位置和视线变化超过规定的阈值的情况（步骤S608：是）下，重叠处理部142b将处理迁移至步骤S604，反复进行第1或者第2重叠信息生成处理。在使用者的位置和视线变化未超过规定的阈值的情况（步骤S608：否）下，重叠处理部142b将处理迁移至步骤S112。此外，能够任意地规定所谓的规定的阈值。另外，与位置的变化量有关的阈值和与视线的变化量有关的阈值可以不同。
如上所述，根据第1重叠信息生成处理，重叠处理部142b生成赋予了与使用者和使用者注视的注视点之间的距离（注视点距离）对应的视差的右眼用的重叠信息和左眼用的重叠信息，图像显示部20的图像处理部160使使用者视觉确认基于这些重叠信息的虚像。其结果，使用者能够在与注视点相同距离的位置视觉确认重叠信息。
另外，根据第1重叠信息生成处理，重叠处理部142b能够从存储于存储部120b的不可见信息存储部122的多个不可见信息，选择与使用者相对于对象物体的位置对应的一不可见信息，并修正选择出的不可见信息。因此，重叠处理部142b能够基于使用者和对象物体的位置关系，使用适当的不可见信息，来生成重叠信息。
C－2－2.第2重叠信息生成处理：
图26是表示第2重叠信息生成处理的程序的流程图。与图24所示的第1重叠信息生成处理不同的是替换步骤S404而具备步骤S502、替换步骤S412而具备步骤S504这两点。
在步骤S502中，重叠处理部142b获取使用者的视线、位置、以及头部的角度。使用者的视线和位置与第1重叠信息生成处理（图25）的步骤S404相同。并且，重叠处理部142b从9轴传感器66的检测值获取使用者的头部的角度。
图27是用于说明第2重叠信息生成处理的步骤S504的说明图。在图26的步骤S504中，重叠处理部142b修正不可见信息。具体而言，重叠处理部142b使用以下的程序f1～f3所说明的方法，来修正在步骤S406中选择出的不可见信息。
程序f1）重叠处理部142b将表示不可见信息SI的图像分割为多个区域A1～An（图27）。在该分割时，重叠处理部142b可以使用三角测量来分别测量使用者和对象物体的各部位之间的距离，并根据测量的结果进行表示不可见信息SI的图像的区域的分割。具体而言，例如，重叠处理部142b对对象物体的各部位，按照与被测定的使用者之间的距离进行分组，能够将与分组的各部位对应的不可见信息SI统一为一个区域。此外，在该分组时，也可以对距离设置规定的允许范围（阈值）。这样，重叠处理部142b能够高效且根据实际情况地进行表示不可见信息SI的图像的区域的分割。
程序f2）重叠处理部142b对在程序f1中分割出的多个区域的每一个区域进行放大、缩小、剪裁、赋予变形、去噪中的至少一个的加工，生成重叠信息。在该加工时，重叠处理部142b以在步骤S408以及S410中检测出的外景图像的特征和不可见信息SI的特征匹配的方式进行加工。
程序f3）重叠处理部142b也可以在进行程序f2的加工时，根据使用者的视场内的信息接受特性来改变加工（修正）精度。此处，所谓信息接受特性指视觉能力的程度。按照视场内的信息接受特性优异的顺序，可以将人的视场区分为（1）辨别视场、（2）有效视场、（3）注视稳定视场、（4）引导视场、（5）辅助视场（图21）。因此，重叠处理部142b能够在程序f1中分割出的多个区域中，作为加工对象的区域属于信息接受特性优异的视场（例如上述1、2）的情况下，提高加工的精度，在属于信息接受特性不优异的视场（例如上述4、5）的情况下，降低加工的精度。这是因为在信息接受特性不优异的视场中，存在即便提高了不可见信息SI和对象物体的重叠的精度，从使用者的知觉能力的极限考虑，也是浪费的顾虑。
在第2重叠信息生成处理结束后，在图22的步骤S606中，重叠处理部142b显示重叠信息。其结果，与第1重叠信息生成处理相同，在头戴式显示器100b的使用者的视场显示基于重叠信息的虚像。另外，使用者视觉确认的虚像成为在使用者的注视点的附近成像的三维显示。
如上所述，根据第2重叠信息生成处理，重叠处理部142b在将存储于存储部120b的不可见信息存储部122的表示物体的不可见信息SI的图像分割为多个区域A1～An的基础上，对多个区域A1～An的每一个区域进行放大、缩小、剪裁、赋予变形、以及去噪中的至少一个的修正。像这样，由于重叠处理部142b在将表示不可见信息SI的图像分割为多个区域A1～An的基础上，进行对各区域的修正，所以能够使表示不可见信息SI的图像的修正的精度提高。
并且，根据第2重叠信息生成处理，重叠处理部142b根据使用者的视场内的信息接受特性来改变对不可见信息SI的加工（修正）的精度。其结果，重叠处理部142b能够高效地进行不可见信息SI的修正。
C－3.重叠信息显示处理中的附加处理：
此外，在重叠信息显示处理（图22）中，还可以执行在“A－3.重叠信息显示处理中的附加处理”中说明的附加处理1～7。可以单独地附加附加处理，也可以组合附加附加处理。
D.变形例：
在上述实施方式中，可以将由硬件实现的构成的一部分置换为软件，相反的，也可以将通过软件实现的构成的一部分置换为硬件。除此以外，也能够进行如下的变形。
·变形例1：
在上述实施方式中，例示了头戴式显示器的构成。但是，能够在不脱离本发明的主旨的范围内任意地规定头戴式显示器的构成，例如，能够进行各结构部的追加、删除、转换等。
上述实施方式中的、针对控制部和图像显示部的构成要素的分配只是一个例子，能够采用各种方式。例如，也可以为以下的方式。（i）在控制部安装CPU、存储器等的处理功能，在图像显示部仅安装显示功能的方式，（ii）在控制部和图像显示部的双方安装CPU、存储器等的处理功能的方式，（iii）使控制部和图像显示部一体化的方式（例如，在图像显示部包含有控制部，作为眼镜型的可穿戴式计算机发挥作用的方式），（iv）替换控制部而使用智能手机、便携式游戏机的方式，（v）通过将控制部和图像显示部设为能够无线通信并且无线供电的构成，废气连接部（软线）的方式。
在上述实施方式中，为了便于说明，假设控制部具备发送部，图像显示部具备接收部。但是，上述实施方式的发送部以及接收部均可以具备能够进行双向通信的功能，作为收发部发挥作用。另外，例如假设图2所示的控制部经由有线的信号传输路径与图像显示部连接。但是，控制部和图像显示部也可以通过经由无线LAN、红外线通信、Bluetooth（注册商标）等无线的信号传输路径的连接而连接。
例如，能够任意地变更图2所示的控制部、图像显示部的构成。具体而言，例如，也可以构成为从控制部省略触摸板，仅用十字键操作。另外，也可以在控制部设置操作棒等其他的操作用接口。另外，作为能够连接键盘、鼠标等设备的构成，也可以在控制部设置从键盘、鼠标受理输入的设备。
例如，头戴式显示器为双眼式的透视型头戴式显示器，但是也可以为单眼式的头戴式显示器。另外，也可以构成为在使用者佩戴了头戴式显示器的状态下，遮挡外景的透过的非透视型头戴式显示器。
图28是表示变形例中的头戴式显示器的外观的构成的说明图。在图28（A）的例子的情况下，与图1所示的头戴式显示器100不同的是，图像显示部20c替换右光学影像显示部26而具备右光学影像显示部26c这一点和替换左光学影像显示部28而具备左光学影像显示部28c这一点。与第1实施方式的光学部件相比，右光学影像显示部26c更小地形成，被配置于佩戴头戴式显示器时的使用者的右眼的斜上。同样，与第1实施方式的光学部件相比，左光学影像显示部28c更小地形成，被配置于佩戴头戴式显示器时的使用者的左眼的斜上。在图28（B）的例子的情况下，与图1所示的头戴式显示器100不同的是，图像显示部20d替换右光学影像显示部26而具备右光学影像显示部26d这一点和替换左光学影像显示部28而具备左光学影像显示部28d这一点。与第1实施方式的光学部件相比，右光学影像显示部26d更小地形成，被配置于佩戴显示器时的使用者的右眼的斜下。与第1实施方式的光学部件相比，左光学影像显示部28d更小地形成，被配置于佩戴头戴式显示器时的使用者的左眼的斜下。这样，只要将光学影像显示部配置于使用者的眼睛的附近即可。另外，形成光学影像显示部的光学部件的大小也任意，也能够作为光学影像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学影像显示部不完全覆盖使用者的眼睛的方式的头戴式显示器实现。
例如，记载了图像处理部、显示控制部、重叠处理部、程序管理部、声音处理部等的功能部通过CPU在RAM中展开并执行储存于ROM、硬盘的计算机程序来实现的结构。但是，这些功能部也可以使用为了实现该功能而设计的ASIC（Application Specific IntegratedCircuit：面向特定用途的集成电路）来构成。
例如，在上述实施方式中，将图像显示部设为像眼镜那样佩戴的头戴式显示器，但是也可以将图像显示部设为通常的平面型显示器装置（液晶显示器装置、等离子显示器装置、有机EL显示器装置等）。在这种情况下，控制部和图像显示部之间的连接可以是经由有线的信号传输路径的连接，也可以是经由无线的信号传输路径的连接。这样，也能够将控制部作为通常的平面型显示器装置的遥控器来利用。
另外，作为图像显示部，也可以替换像眼镜那样佩戴的图像显示部，而采用例如像帽子那样佩戴的图像显示部这样的其他的形状的图像显示部。另外，耳机可以采用耳挂式、头带式，也可以省略。另外，例如，也可以作为安装于汽车、飞机等车辆的平视显示器（HUD，Head-Up Display）而构成。另外，例如，也可以作为内置于头盔等身体防护具的头戴式显示器而构成。
例如，在上述实施方式中，作为电源使用了二次电池，但是作为电源并不局限于二次电池，能够使用各种电池。例如，可以使用一次电池、燃料电池、太阳电池、热电池等。
例如，在上述实施方式中，使用背光源、背光源控制部、LCD、以及LCD控制部构成图像光生成部。但是，上述的方式只是例示。图像光生成部也可以在具备这些结构部的同时，具备用于实现其他的方式的结构部，或者替换这些结构部而具备用于实现其他的方式的结构部。例如，图像光生成部可以构成为具备有机EL（有机电致发光，Organic Electro-Luminescence）的显示器和有机EL控制部。另外，例如，图像光生成部也能够替换LCD而使用数字微镜元件等。另外，例如，也能够将本发明应用于激光网膜投影型的头部佩戴型显示装置。
例如，头戴式显示器也可以替换照相机而具备测距传感器、位移传感器。在该情况下，重叠处理部能够使用测距传感器或者位移传感器来提取对象物体的特征，进行与上述实施方式相同的处理。
例如，头戴式显示器也可以具备用于抑制与在不可见信息中被大量使用的色相相同的色相的光的透过的光学滤镜。另外，还可以具备成为在不可见信息中被大量使用的色相的互补色的色相的光学滤镜。这样，能够提高不可见信息的可视性。
例如，也可以省略照相机、瞳孔拍摄用照相机、近红外线受发光部、9轴传感器、以及深度传感器中的其中一个。例如，也可以省略瞳孔拍摄用照相机和近红外线受发光部，通过使用安装于手术室的棚顶的照相机来检测使用者的视线。另外，在不省略上述的各构成的情况下，也可以通过并用安装于手术室的棚顶部的照相机，来使不可见信息的加工的精度提高。
·变形例2：
在上述实施方式中，示出了重叠信息显示处理（图5，图22）的一个例子。但是，图5、图22所示的处理的程序只是一个例子，能够进行各种的变形。例如，可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，可以变更执行的步骤的顺序。
例如，在步骤S102中，使用者将作为重叠信息显示处理的对象的物体的不可见信息存储于不可见信息存储部。假定上述实施方式中的不可见信息是使用拍摄设备（CT、MRI、X-射线、内视镜、热成像仪等）拍摄，且显示为二维的图像。但是，在步骤S102中，也可以存储显示为三维的不可见信息。所谓显示为三维的不可见信息是根据使用拍摄设备拍摄出的多个图像制作出的三维模型。在使用显示为三维的不可见信息的情况下，在重叠信息生成处理（图8）的步骤S202和S204之间，重叠处理部基于在步骤S202中获取的外景图像进行三维模型的渲染。而且，将渲染后的图像作为“不可见信息”，继续以后的处理。这样，能够从各个方向视觉确认不出现在对象物体的外观中的信息。另外，在步骤S102中存储的不可见信息并不局限于静态图像，也可以是动态图像。
例如，在步骤S114、S116中，假设其他的重叠信息是以外观信息为基础生成的。但是，成为其他的重叠信息的基础的信息能够使用各种信息。例如，也可以使用其他的不可见信息，该其他的不可见信息是使用与生成重叠信息CP1时使用的不可见信息不同的拍摄设备拍摄而成的。
例如，可以省略步骤S112以后的处理。
·变形例3：
在上述第2实施方式中，示出了重叠信息显示处理（图15）的一个例子。但是，图15所示的处理的程序只是一个例子，能够进行各种的变形。例如，可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，可以变更执行的步骤的顺序。
例如，程序管理部也可以如以下的例子那样，对程序信息附加用于提醒使用者注意的信息。
·弹出显示在程序中使用者应该特别注意的事项。
·闪烁显示程序信息内的图像、字符串。
·在程序信息内显示表示该程序的重要度、难易度、事故的多少等的消息、图标。
·变形例4：
在上述实施方式中，示出了程序表的一个例子。但是，程序表的详细内容只是一个例子，能够进行各种的变更。例如，能够进行字段的追加、删除、变更。另外，程序表也可以分割为多个表后进行归一化。
·变形例5：
在上述第2实施方式中，对在头戴式显示器设置程序表和程序管理部，无需其他的装置，就能够援助使用者进行的作业的构成进行了说明。但是，即使在具备头戴式显示器和设置于外部的服务器的作业援助系统中，也能够实现同样处理。
例如，构成为头戴式显示器具备程序管理部，服务器具备程序表。在该情况下，头戴式显示器的程序管理部访问存储于服务器内的程序表，参照程序表内的数据。这样，能够将存储于1台服务器的程序表的信息在多台的头戴式显示器上共享。其结果，与在各头戴式显示器具备程序表的构成比较，程序表的更新所需要的工作减少。
·变形例6：
在上述第3实施方式中，示出了第1以及第2重叠信息生成处理（图24、26）的一个例子。但是，图24、26所示的处理的程序只是一个例子，能够进行各种的变形。例如，可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，也可以变更执行的步骤的顺序。
例如，也可以在存储部存储多个视差信息。所谓多个视差信息，例如也可以是在主眼为右眼时的视差信息和在主眼为左眼时的视差信息，也可以是与眼间距离对应的视差信息。该情况下，在第1、2重叠信息生成处理的步骤S414中，也可以根据头戴式显示器的使用者的特性（例如眼间距离、主眼），从存储于存储部的多个视差信息选择出在步骤S414的处理中使用的一视差信息。这样，重叠处理部选择与使用者的特性（例如，主眼或者眼间距离）匹配的视差信息，从而能够减少给使用者带来的视觉的不适感。
例如，在第1以及第2重叠信息生成处理中，也可以并用边缘强调处理、二值化处理，来使不可见信息的修正的精度进一步提高。
·变形例7：
本发明并不局限于上述的实施方式、实施例、变形例，能够在不脱离其主旨的范围内以各种的结构实现。例如，为了解决上述的课题的一部分或者全部，或者为了实现上述的效果的一部分或者全部，能够对与记载在发明的概要栏的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征适当地进行替换、组合。另外，如果其技术特征在本说明书中未作为必要的特征进行说明，则能够适当地删除。
符号说明
10…控制部（控制器）；12…点亮部；14…触摸板；16…十字键；18…电源开关；20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学影像显示部；28…左光学影像显示部；30…耳机插头；32…右耳机；34…左耳机；40…连接部；42…右软线；44…左软线；46…连结部件；48…主体软线；51…发送部；52…发送部；53…接收部；54…接收部；61…照相机（图像获取部）；62…瞳孔拍摄用照相机（视线检测部）；63…瞳孔拍摄用照相机（视线检测部）；64…近红外线受发光部（视线检测部）；65…近红外线受发光部（视线检测部）；66…9轴传感器（动作检测部）；67…深度传感器（位置检测部）；110…输入信息获取部；100…头戴式显示器（头部佩戴型显示装置）；120…存储部；122…不可见信息存储部；124…外观信息存储部；126…程序表；128…视差信息；130…电源；140…CPU；142…重叠处理部；144…程序管理部；160…图像处理部；170…声音处理部；180…接口；190…显示控制部；201…右背光源控制部；202…左背光源控制部；211…右LCD控制部；212…左LCD控制部；221…右背光源；222…左背光源；241…右LCD；242…左LCD；251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data…图像数据；Data1…右眼用图像数据；Data2…左眼用图像数据；OA…外部设备；PC…个人计算机；SC…外景；RE…右眼；VI…虚像；EL…端部；IL…照明光；PL…图像光；AP…前端部；ER…端部；VR…视场；CP1…重叠信息；CP2…放大信息；CP3…辅助信息；CP4…程序信息；CP5…重叠信息；DP…深度；Lx…距离；PP…注视点；Px…视差；SI…不可见信息；SI1…冠状面CT图像；SI2…横剖面CT图像；SI3…X-射线图像。

Claims (23)

1.一种头部佩戴型显示装置，其特征在于，
是使用者能够视觉确认虚像和外景的头部佩戴型显示装置，具备：
重叠信息生成部，其生成重叠信息，所述重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与所述外景所包含的所述物体重叠显示；
程序管理部，对于当前程序，所述程序管理部生成与所述使用者应该实施的内容有关的信息亦即程序信息；
图像显示部，所述图像显示部使所述使用者视觉确认所述重叠信息和所述程序信息作为所述虚像；
图像获取部，其获取佩戴了所述头部佩戴型显示装置的状态下的所述使用者的视场方向的外景的图像；以及
程序表，保存有多个所述使用者进行的作业的程序，
所述程序管理部对由所述图像获取部获取到的所述视场方向的图像进行图像识别，根据所述图像识别的结果从保存在所述程序表中的多个程序中推断所述当前的程序。
2.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部使所述图像显示部每隔规定的时间反复形成基于与所述外景所包含的物体对应的所述重叠信息的所述虚像。
3.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，还具备存储部，所述存储部存储所述不可见信息，
所述重叠信息生成部通过图像识别由所述图像获取部获取的所述视场方向的图像来提取所述外景所包含的所述物体的特征，并通过基于提取出的所述特征对存储于所述存储部的所述物体的所述不可见信息进行修正，来生成所述重叠信息。
4.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述不可见信息是表示所述物体的结构的图像。
5.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述特征是所述物体的边缘。
6.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述特征是标注在所述物体上的标记。
7.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述修正是针对表示所述不可见信息的图像进行的放大、缩小、旋转、反转、剪裁、赋予变形以及去噪中的至少一个。
8.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述修正是将表示所述不可见信息的图像分割成多个区域，针对所述多个区域的每一个区域进行的放大、缩小、剪裁、赋予变形以及去噪中的至少一个。
9.根据权利要求8所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部使用三角测量来分别测量所述使用者和所述物体的各部分之间的距离，根据所述测量的结果进行所述分割。
10.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部根据所述使用者的视场内的表示视觉能力的程度的信息接受特性，来改变所述修正的精度。
11.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
还具备视线检测部，所述视线检测部检测所述使用者的视线，
所述图像显示部分别形成与所述使用者的右眼对应的所述虚像和与所述使用者的左眼对应的所述虚像，
所述重叠信息生成部还根据由所述视线检测部检测出的所述视线来求出所述使用者和所述使用者注视的注视点之间的距离亦即注视点距离，并生成赋予了与求出的所述注视点距离对应的视差的右眼用的所述重叠信息和左眼用的所述重叠信息。
12.根据权利要求11所述的头部佩戴型显示装置，其特征在于，
还具备视差信息，所述视差信息将所述使用者和所述使用者视觉确认的所述虚像之间的多个距离、与和所述多个距离分别对应的视差建立对应，
所述重叠信息生成部使用所述视差信息，来赋予与所述注视点距离对应的视差。
13.根据权利要求12所述的头部佩戴型显示装置，其特征在于，
具备多个所述视差信息，
所述重叠信息生成部根据所述使用者，来从所述多个视差信息选择一所述视差信息。
14.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
还具备位置检测部，所述位置检测部检测所述使用者相对于所述物体的位置，
在所述存储部中存储有针对一所述物体的多个所述不可见信息，
所述重叠信息生成部从存储于所述存储部的所述多个不可见信息，选择与由所述位置检测部检测到的所述位置对应的一不可见信息，并修正选择出的所述不可见信息。
15.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部还生成从由所述图像获取部获取的所述视场方向的图像，提取并放大所述外景所包含的所述物体的至少一部分而得的放大信息，
所述图像显示部使所述使用者视觉确认基于所述重叠信息和所述放大信息的所述虚像。
16.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部根据来自所述使用者的请求，使所述虚像为非显示。
17.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述程序信息包含有第三方示范实施所述程序的场面的图像、和表示在个别具体的所述程序中使用者应该实施的内容的图像中的至少一方。
18.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部还生成用于辅助所述使用者的作业的附加信息亦即辅助信息，
所述图像显示部使所述使用者视觉确认基于所述重叠信息和所述辅助信息的所述虚像。
19.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部还根据由所述图像获取部获取的所述视场方向的图像，进行用于使生成的所述重叠信息的可视性提高的颜色转换处理。
20.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部根据来自所述使用者的请求，使作为所述虚像显示的所述重叠信息向不妨碍所述使用者的视野的位置退避。
21.根据权利要求3所述的头部佩戴型显示装置，其特征在于，
所述重叠信息生成部针对由所述图像获取部获取的所述图像中的、所述虚像的显示区域和所述图像获取部的获取区域重叠的重叠区域，生成所述重叠信息。
22.根据权利要求16～21中任意一项所述的头部佩戴型显示装置，其特征在于，
所述程序管理部针对由所述图像获取部获取的所述图像中的、所述虚像的显示区域和所述图像获取部的获取区域重叠的重叠区域，生成所述程序信息。
23.一种头部佩戴型显示装置的控制方法，其特征在于，
是使用者能够视觉确认虚像和外景的头部佩戴型显示装置的控制方法，具备：
(a)生成重叠信息的工序，其中，所述重叠信息用于使不出现在物体的外观中的信息亦即不可见信息与所述外景所包含的所述物体重叠；
(b)对于当前的程序，生成与所述使用者应该实施的内容相关的信息亦即程序信息；
(c)使所述使用者视觉确认所述重叠信息和所述程序信息作为所述虚像的工序；以及
(d)获取佩戴了所述头部佩戴型显示装置的状态下的所述使用者的视场方向的外景的图像的步骤；
在所述工序(c)中，对在工序(d)中获取到的所述视场方向的图像进行图像识别，根据所述图像识别的结果从保存多个所述使用者进行的程序的程序表中推断所述当前的程序。
CN201410048928.7A 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 Active CN103995352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811214129.7A CN109270688B (zh) 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-026222 2013-02-14
JP2013026222A JP6299067B2 (ja) 2013-02-14 2013-02-14 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013-237820 2013-11-18
JP2013237820A JP6264855B2 (ja) 2013-11-18 2013-11-18 頭部装着型表示装置および頭部装着型表示装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811214129.7A Division CN109270688B (zh) 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Publications (2)

Publication Number Publication Date
CN103995352A CN103995352A (zh) 2014-08-20
CN103995352B true CN103995352B (zh) 2018-11-16

Family

ID=50729746

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410048928.7A Active CN103995352B (zh) 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN201811214129.7A Active CN109270688B (zh) 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811214129.7A Active CN109270688B (zh) 2013-02-14 2014-02-12 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Country Status (8)

Country Link
US (2) US9916691B2 (zh)
EP (1) EP2956814A1 (zh)
KR (1) KR101811817B1 (zh)
CN (2) CN103995352B (zh)
BR (1) BR112015019674A2 (zh)
RU (1) RU2621488C2 (zh)
TW (1) TW201432312A (zh)
WO (1) WO2014125789A1 (zh)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9724562B2 (en) * 2015-05-28 2017-08-08 Nike, Inc. Wearable USB device assembly
CN106681488A (zh) * 2015-07-20 2017-05-17 谢培树 头操作的数字眼镜
WO2017058710A1 (en) 2015-09-28 2017-04-06 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3d surface images
CN105425951A (zh) * 2015-11-04 2016-03-23 深圳维爱特科技有限公司 应用交互控制方法和装置
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
JP6644530B2 (ja) * 2015-11-30 2020-02-12 オリンパス株式会社 内視鏡業務支援システム
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
IL243422B (en) 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
EP3213673A1 (en) * 2016-03-01 2017-09-06 Shanghai Xiaoyi Technology Co., Ltd. Smart sports eyewear
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US9798385B1 (en) 2016-05-31 2017-10-24 Paypal, Inc. User physical attribute based device and content management system
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
US10902796B1 (en) * 2016-09-12 2021-01-26 Apple Inc. Multi-user display system
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
JP6812193B2 (ja) * 2016-10-07 2021-01-13 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
US10203505B2 (en) * 2016-11-16 2019-02-12 Seiko Epson Corporation Feature balancing
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
JP6617686B2 (ja) 2016-11-25 2019-12-11 株式会社デンソー 無線給電システム及び送受電監視プログラム
US20190335115A1 (en) * 2016-11-29 2019-10-31 Sharp Kabushiki Kaisha Display control device, head-mounted display, and control program
US10152815B2 (en) * 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
WO2018134140A1 (en) * 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
JP6828465B2 (ja) 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
US10610179B2 (en) * 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
CN111065952B (zh) * 2017-06-14 2022-04-05 惠普发展公司，有限责任合伙企业 显示器、用于调整显示器的方法和可读介质
JP2019022084A (ja) * 2017-07-18 2019-02-07 オリンパス株式会社 ウェアラブルデバイス及びウェアラブルデバイスの制御方法
CN107275904A (zh) 2017-07-19 2017-10-20 北京小米移动软件有限公司 虚拟现实眼镜的数据连接线
RU176382U1 (ru) * 2017-08-28 2018-01-17 Общество с ограниченной ответственностью "ТрансИнжКом" Блок сбора информации для устройства совмещенной реальности
RU2669228C1 (ru) * 2017-09-20 2018-10-09 Галина Александровна Купцова Сферопериметр
CN111213111B (zh) * 2017-10-20 2021-06-22 华为技术有限公司 一种可穿戴式设备及其中的方法
JP7036572B2 (ja) 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
CZ2017777A3 (cs) * 2017-12-05 2019-07-03 Radalytica s.r.o. Způsob nedestruktivního zobrazování vnitřní struktury a zařízení k provádění tohoto způsobu
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US10832423B1 (en) * 2018-01-08 2020-11-10 Brainlab Ag Optimizing an atlas
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
DE102018109463C5 (de) * 2018-04-19 2023-10-05 Voraus Robotik Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019235298A1 (ja) 2018-06-07 2019-12-12 富士フイルム株式会社 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
TWI671707B (zh) * 2018-06-15 2019-09-11 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
GB2575651B (en) * 2018-07-17 2020-12-16 Envisics Ltd Image projector
CN109308741B (zh) * 2018-08-08 2023-04-07 长春理工大学 一种基于Meta2的自然交互工艺品创意设计系统
WO2020102665A1 (en) * 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
CN109729347B (zh) * 2019-01-23 2020-11-24 歌尔光学科技有限公司 虚像倍率测试方法、装置及虚拟显示设备
WO2020174538A1 (ja) * 2019-02-25 2020-09-03 オリンパス株式会社 集中制御装置
CN110222639B (zh) * 2019-06-05 2020-03-31 清华大学 人体应激反应测试方法与系统
JP2021009270A (ja) 2019-07-03 2021-01-28 セイコーエプソン株式会社 表示装置および表示方法
IT201900013164A1 (it) * 2019-07-29 2021-01-29 Eye Tech Lab S R L Occhiali di ingrandimento a realta’ aumentata
JP2021057737A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 表示システム、表示制御方法、および、プログラム
US10702224B1 (en) * 2019-10-24 2020-07-07 Jonathan Ross Vanhooser Positioning guidance system For X-ray exams
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP2023511407A (ja) 2020-01-22 2023-03-17 フォトニック メディカル インク． 開放視野マルチモード深度検知校正デジタルルーペ
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
CN111563879B (zh) * 2020-03-27 2023-09-26 北京视博云信息技术有限公司 一种应用画面显示质量的检测方法及装置
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
RU2757991C2 (ru) * 2020-07-06 2021-10-25 Общество с ограниченной ответственностью "Толикети" Способ автоматизированного управления роботизированным операционным экзоскопом
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
TWI782885B (zh) * 2022-04-25 2022-11-01 國立臺灣海洋大學 類風濕性關節炎的復建姿勢與攝食關聯檢測系統
TWI820780B (zh) * 2022-07-01 2023-11-01 亞東學校財團法人亞東科技大學 頭戴式醫療雙向溝通輔助器

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888815A (ja) * 1994-09-19 1996-04-02 Olympus Optical Co Ltd 映像表示システム
JP3625906B2 (ja) 1995-08-23 2005-03-02 オリンパス株式会社 手術用顕微鏡装置
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
JPH10221637A (ja) 1997-02-10 1998-08-21 Olympus Optical Co Ltd 頭部装着型画像表示装置
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2001111991A (ja) 1999-10-08 2001-04-20 Olympus Optical Co Ltd 顔面装着型映像表示装置
AU2002361572A1 (en) * 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
US20070015999A1 (en) * 2005-07-15 2007-01-18 Heldreth Mark A System and method for providing orthopaedic surgical information to a surgeon
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP4961914B2 (ja) 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
US7855743B2 (en) 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US7831076B2 (en) * 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition
JP4455609B2 (ja) 2007-03-27 2010-04-21 株式会社東芝 画像表示装置および画像表示方法
US7898504B2 (en) 2007-04-06 2011-03-01 Sony Corporation Personal theater display
JP5335201B2 (ja) * 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
US8165808B2 (en) * 2007-07-17 2012-04-24 Yahoo! Inc. Techniques for representing location information
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2009116663A1 (ja) 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
US20090281452A1 (en) 2008-05-02 2009-11-12 Marcus Pfister System and method for a medical procedure using computed tomography
JP2009279193A (ja) * 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
PL2430396T3 (pl) * 2009-05-16 2020-11-16 Rapiscan Systems, Inc. Systemy i sposoby automatycznego, szybkiego wykrywania materiałów o dużej liczbie atomowej
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
EP2482727B1 (en) * 2009-09-29 2013-01-23 Koninklijke Philips Electronics N.V. Live registration for vessel treatment
WO2011041842A1 (en) * 2009-10-09 2011-04-14 National Ict Australia Limited Vision enhancement for a vision impaired user
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8781246B2 (en) 2009-12-24 2014-07-15 Bae Systems Plc Image enhancement
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US20120200601A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
FR2957000B1 (fr) * 2010-03-02 2012-03-02 Commissariat Energie Atomique Procede et systeme d'aide a la manipulation d'engins robotises en environnement encombre
MY183362A (en) 2010-03-30 2021-02-18 Ns Solutions Corp Information processing apparatus, information processing method, and program
JP4934228B2 (ja) 2010-06-17 2012-05-16 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
US8194956B2 (en) * 2010-03-31 2012-06-05 MyLife Global, Inc. Medical imaging system and related methods
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5725953B2 (ja) * 2011-04-13 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法、並びに情報処理装置
JP2012223363A (ja) 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
JP5011455B1 (ja) 2011-06-30 2012-08-29 医療法人社団神▲崎▼循環器クリニック Ｘ線診断装置
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
CN102609849A (zh) 2012-02-03 2012-07-25 纽海信息技术（上海）有限公司 商品全景展示系统及展示方法

Also Published As

Publication number Publication date
CN103995352A (zh) 2014-08-20
US10169925B2 (en) 2019-01-01
EP2956814A1 (en) 2015-12-23
CN109270688A (zh) 2019-01-25
US20180197344A1 (en) 2018-07-12
RU2015138973A (ru) 2017-03-17
RU2621488C2 (ru) 2017-06-06
CN109270688B (zh) 2021-06-15
TW201432312A (zh) 2014-08-16
WO2014125789A1 (en) 2014-08-21
BR112015019674A2 (pt) 2017-07-18
US9916691B2 (en) 2018-03-13
KR101811817B1 (ko) 2018-01-25
US20150363979A1 (en) 2015-12-17
KR20150116892A (ko) 2015-10-16

Similar Documents

Publication Publication Date Title
CN103995352B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US11054650B2 (en) Head-mounted display device, control method of head-mounted display device, and display system
US9898662B2 (en) Information processing apparatus, information processing method, and information processing system
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10627620B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
RU2642941C2 (ru) Устройство обработки информации, способ обработки информации и система обработки информации
WO2016063504A1 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6369005B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP2014192550A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP2017067876A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP2017016599A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017134575A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6409927B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019004471A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2023102500A1 (en) Methods for controlling performance of extended reality display systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant