CN108693647A - 头戴式显示器 - Google Patents

头戴式显示器 Download PDF

Info

Publication number
CN108693647A
CN108693647A CN201810227175.4A CN201810227175A CN108693647A CN 108693647 A CN108693647 A CN 108693647A CN 201810227175 A CN201810227175 A CN 201810227175A CN 108693647 A CN108693647 A CN 108693647A
Authority
CN
China
Prior art keywords
image
information
head
spectral
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810227175.4A
Other languages
English (en)
Inventor
西村晃幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN108693647A publication Critical patent/CN108693647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

一种头戴式显示器，能够佩戴于用户的头部，其特征在于，具备：瞳孔检测部，在佩戴上述头戴式显示器的状态下检测上述用户的瞳孔位置；视线确定部，基于上述瞳孔位置确定上述用户的视线方向；分光测定部，获取佩戴上述头戴式显示器的状态下上述用户的视野内的景色中的至少一部分上述景色的分光测定信息；对象物信息获取部，基于上述分光测定信息，获取关于上述视线方向的第一对象物的对象物信息；以及显示部，将上述对象物信息显示于上述景色的上述第一对象物所对应的位置。

Description

头戴式显示器
技术领域
本发明涉及头戴式显示器。
背景技术
以往，已知一种佩戴于用户的头部的头戴式显示器(例如，参照专利文献1)。
专利文献1的头戴式显示器在用户的视野上(眼镜镜片的配置位置)重叠地显示视野方向的景色的外界光和显示的图像的影像光。
具体而言，该头戴式显示器具有拍摄视野方向的景色的物质传感器，该物质传感器例如通过标准具等波长可变干涉滤波器将入射光分光，进而检测分光后的光的受光量。然后，头戴式显示器使显示部显示基于通过物质传感器获得的各分光波长的受光量分析出的各种信息，进行增强现实显示(AR：Augmented Reality)。
专利文献1：日本特开2015-177397号公报
在上述专利文献1所记载的头戴式显示器中，使能够进行AR显示的整个显示部显示通过物质传感器获取的分光信息、基于分光信息的各种信息。
然而，在该情况下，涉及伴随着分光信息的解析、显示的各种处理的处理负荷。另外，不仅是显示用户的作业目标，而且有时还显示对应于该作业目标周围的对象的各种信息，不易看见对应于作业目标的各种信息。因此，期望一种能够将对应于用户的作业对象的各种信息迅速且适当地进行AR显示的头戴式显示器。
发明内容
本发明的一方面提供一种能够迅速且适当地将对应于用户的作业对象的各种信息进行AR显示的头戴式显示器。
根据本发明的一应用例的头戴式显示器其特征在于，能够佩戴于用户的头部，并具备：瞳孔检测部，在佩戴上述头戴式显示器的状态下检测上述用户的瞳孔位置；视线确定部，基于上述瞳孔位置确定上述用户的视线方向；分光测定部，获取佩戴上述头戴式显示器的状态下上述用户的视野内的景色中的至少一部分上述景色的分光测定信息；对象物信息获取部，基于上述分光测定信息，获取关于上述景色中的第一对象物的第一对象物信息；以及显示部，将上述第一对象物信息显示于上述景色的上述第一对象物所对应的位置。
在本应用例中，头戴式显示器通过瞳孔位置检测部检测用户的瞳孔位置，并通过视线确定部确定基于用户的瞳孔位置的视线方向。另外，头戴式显示器通过分光测定部将用户的视野中的一部分范围的外界光分光而获取分光测定信息。于是，对象物信息获取部从获得的分光测定信息中获取关于用户的视野内的景色中的第一对象物的第一对象物信息，显示部使第一对象物信息与用户的视野内的外界光的景色中的第一对象物重叠地进行显示。换句话说，在本应用例中，使用户的视野中的位于用户的视线方向上的第一对象物(用户的作业对象)的对象物信息进行AR显示，关于其周围的对象物则不进行AR显示。
在这种情况下，AR显示的对象物为第一对象物，对象物信息获取部从分光测定信息解析第一对象物的分光测定信息而获取对象物信息即可。由此，无需获取配置于其周围的对象物的对象物信息，能够减轻处理负荷，能够进行迅速的AR显示处理。
另外，显示部由于对用户视野内的位于视线方向上的第一对象物进行AR显示，因此易于看见与作为作业对象的第一对象物相关的对象物信息，能够使用户适当地确认对象物信息。
综上，在本应用例中，能够迅速且适当地使用户的作业对象所对应的各种信息进行AR显示。
在本应用例的头戴式显示器中，优选的是，上述分光测定部获取上述景色的规定范围的分光测定信息，上述对象物信息获取部获取关于上述规定范围内包含的第二对象物的第二对象物信息，上述显示部在将上述第一对象物信息显示于上述第一对象物所对应的位置之后，根据时间的流逝，将上述第二对象物信息显示于上述景色的上述第二对象物所对应的位置。
在本应用例中，对象物信息获取部获取视线方向的规定范围的对象物信息。于是，显示部最先使位于视线方向上的第一对象物相关的第一对象物信息进行显示，之后，根据时间的流逝，使位于第一对象物周围的上述规定范围内的其它对象物相关的对象物信息进行显示。
由此，用户也能够确认第一对象物(作业对象)周围的其它对象物所对应的对象物信息，能够进一步提高用户的作业效率。另外，即使在用户的视线方向与作业对象发生偏移的情况下，也会随着时间的流逝而显示关于作业对象的对象物信息，能够适当地显示用户所需的对应于作业对象的对象物信息。
在本应用例的头戴式显示器中，优选的是，上述分光测定部具有：分光元件，对入射光进行分光，并能够变更分光波长；以及摄像部，拍摄经上述分光元件分光后的光并获得分光图像作为上述分光测定信息，并且，上述头戴式显示器具备：偏移检测部，检测通过上述分光元件依次切换上述分光波长时的拍摄位置的偏移量；以及分光图像校正部，校正多个波长的上述分光图像中的上述偏移量。
在头戴式显示器中，在分光测定部依次切换多个分光波长来拍摄各分光后的光的情况下，分光图像的获取时机产生时间差。此时，若佩戴头戴式显示器的用户的头部摇晃或移动，则各分光图像的拍摄范围会成为分别不同的范围(产生位置偏移)。与此相对地，在本应用例中，通过偏移检测部检测各分光图像的位置偏移量，并通过分光图像校正部校正各分光图像的位置偏移。由此，在本应用例中，用户的视野内的景色中的第一对象物在各分光图像中不会发生偏移，能够获得对应于第一对象物的适当的分光测定信息。
在本应用例的头戴式显示器中，优选的是，具备拍摄上述景色的RGB相机，上述偏移检测部根据在获取到上述分光图像的时机由上述RGB相机拍摄到的RGB图像的特征点的位置检测上述偏移量。
在本应用例中，通过RGB相机拍摄基于来自用户的视野的外界光的景色，并根据其拍摄图像(RGB图像)的特征点的位置检测偏移量。作为特征点，例如能够列举RGB图像中相邻的像素的亮度值有规定值以上的变动的边缘部等。这里，在仅使用分光图像来提取分光图像内的特征点的情况下，例如有在红色图像中检测出的边缘部(特征点)在蓝色图像中不被检测出的情况。与此相对地，在基于RGB图像检测特征点的情况下，能够在可见波长区域的宽波长区域内检测特征点。由此，例如先检测多个特征点，如果检测出各分光图像的对应的特征点，则能够容易地检测出各分光图像的偏移量。
在本应用例的头戴式显示器中，优选的是，具备检测该头戴式显示器的位置的位移的位移检测传感器，上述偏移检测部基于由上述位移检测传感器检测出的位移量来检测上述偏移量。
在本应用例中，通过设于头戴式显示器的位移检测传感器来检测头戴式显示器的位置的位移量。在该情况下，通过检测各分光图像的获取时机时的头戴式显示器的位置的位移量，从而能够容易地算出分光图像的位置偏移量。
附图说明
图1是表示第一实施方式涉及的头戴式显示器的立体图。
图2是表示第一实施方式的头戴式显示器的概略构成的框图。
图3是表示第一实施方式的分光相机的概略构成的图。
图4是表示第一实施方式的AR显示处理的流程的流程图。
图5是表示进行第一实施方式的AR显示的范围的一个例子的图。
图6是表示在第一实施方式的AR显示处理中显示的图像的一个例子的图。
图7是表示在第一实施方式的AR显示处理中显示的图像的一个例子的图。
附图标记说明
1…HMD(头戴式显示器)，10…控制部，11…操作部，20…图像显示部，22…右显示驱动部，24…左显示驱动部，26…右光学像显示部，28…左光学像显示部，61…RGB相机，62…分光相机，63…瞳孔检测传感器，64…9轴传感器，110…输入信息获取部，120…存储部，130…电源，132…无线通信部，134…GPS模块，135…操作部，140…CPU，161…视线确定部，162…图像判定部，163…偏移检测部，164…分光图像校正部，165…对象物信息获取部，166…图像位置控制部，167…朝向判定部，168…显示控制部，169…摄像控制部，180…接口，201…右BL控制部，202…左BL控制部，211…右LCD控制部，212…左LCD控制部，221…右BL，222…左BL，241…右LCD，242…左LCD，251…右投射光学系统，252…左投射光学系统，261…右导光板，262…左导光板，621…入射光学系统，622…分光元件，623…摄像部，624，625…反射膜，626…间隙变更部，D1…视线方向，O1…第一对象物，O2…第二对象物，OA…外部设备，P1…第一AR信息，P2…第二AR信息，R1…拍摄范围，R2…扩展范围，RE…右眼。
具体实施方式
第一实施方式
以下，对第一实施方式进行说明。
头戴式显示器的概略构成
图1是表示第一实施方式涉及的头戴式显示器的立体图。图2是表示头戴式显示器的概略构成的框图。
如图1所示，本实施方式涉及的头戴式显示器(之后简称为HMD1)是能够佩戴于用户的头部、头盔等佩戴部位(详细地说，与包括前额部以及侧头部在内的头部的上部分相应的位置)的头部佩戴型显示装置。该HMD1是以用户能够视觉辨认的方式显示虚像并使外界光透过而能观察外界景色(外景)的透视型的头部佩戴型显示装置。
此外，在之后的说明中，也方便地将用户通过HMD1视觉辨认的虚像称作“显示图像”。另外，也将射出基于图像信息生成的图像光称作“显示图像”。
HMD1具备在佩戴于用户的头部的状态下使用户视觉辨认虚像的图像显示部20、以及控制图像显示部20的控制部10。
图像显示部20的构成
图像显示部20是佩戴于用户头部的佩戴体，在本实施方式中具有眼镜形状。佩戴于用户的头部包括经由头盔等佩戴于用户的头部。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、RGB相机61、分光相机62、瞳孔检测传感器63以及9轴传感器64。
右光学像显示部26以及左光学像显示部28分别配置为，在用户佩戴图像显示部20时位于用户的右以及左的眼前。右光学像显示部26的一端与左光学像显示部28的一端在用户佩戴图像显示部20时对应于用户的眉间的位置相互连接。
需要注意的是，之后，也将右保持部21以及左保持部23简单统称为“保持部”，也将右显示驱动部22以及左显示驱动部24简单统称为“显示驱动部”，也将右光学像显示部26以及左光学像显示部28简单统称为“光学像显示部”。
右保持部21是从作为右光学像显示部26的另一端的端部ER延伸设置至用户佩戴图像显示部20时对应于用户的侧头部的位置的部件。同样，左保持部23是从作为左光学像显示部28的另一端的端部EL延伸设置至用户佩戴图像显示部20时对应于用户的侧头部的位置的部件。右保持部21以及左保持部23例如像眼镜的镜腿那样将图像显示部20保持于用户的头部。
显示驱动部22、24配置为在用户佩戴图像显示部20时与用户的头部相对。如图2所示，显示驱动部22、24包括液晶显示器(LCD241、242)、投射光学系统251、252等。
更具体而言，如图2所示，右显示驱动部22包括接收部(Rx53)、作为光源发挥功能的右背光控制部(右BL控制部201)和右背光(右BL221)、作为显示元件发挥功能的右LCD控制部211和右LCD241、以及右投射光学系统251。
右BL控制部201与右BL221作为光源发挥功能。右LCD控制部211与右LCD241作为显示元件发挥功能。需要注意的是，也将右BL控制部201、右LCD控制部211、右BL221和右LCD241统称为“图像光生成部”。
Rx53作为用于控制部10与图像显示部20之间的串行传输的接收器发挥功能。右BL控制部201基于输入的控制信号驱动右BL221。右BL221例如是LED、电致发光(EL)等发光体。右LCD控制部211基于经由Rx53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像信息驱动右LCD241。右LCD241是以矩阵状配置有多个像素的透射式液晶面板。
右投射光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投射光学系统251输出的图像光沿规定的光路反射并导向用户的右眼RE。需要注意的是，也将右投射光学系统251与右导光板261统称为“导光部”。
左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包括接收部(Rx54)、作为光源发挥功能的左背光控制部(左BL控制部202)和左背光(左BL222)、作为显示元件发挥功能的左LCD控制部212和左LCD242、以及左投射光学系统252。左BL控制部202与左BL222作为光源发挥功能。左LCD控制部212与左LCD242作为显示元件发挥功能。需要注意的是，也将左BL控制部202、左LCD控制部212、左BL222和左LCD242统称为“图像光生成部”。另外，左投射光学系统252由使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投射光学系统252输出的图像光沿规定的光路反射并导向用户的左眼LE。需要注意的是，也将左投射光学系统252与左导光板262统称为“导光部”。
光学像显示部26、28包括导光板261、262(参照图2)与调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导向用户的眼睛。调光板是薄板状的光学元件，配置成覆盖与用户的眼睛侧相反的一侧、即图像显示部20的表侧。调光板保护导光板261、262，抑制导光板261、262的损伤、污垢的附着等。另外，通过调整调光板的透光率，能够调整进入用户的眼睛的外部光量而调整视觉辨认虚像的容易程度。需要注意的是，调光板能够省略。
RGB相机61例如配置于在用户佩戴图像显示部20时对应于用户的眉间的位置。因此，RGB相机61在用户将图像显示部20佩戴于头部的状态下，拍摄作为用户的视野内的景色的外景而获取外景图像。
该RGB相机61是接收红色光的R受光元件、接收绿色光的G受光元件以及接收蓝色光的B受光元件以例如拜耳阵列配置的摄像装置，例如能够使用CCD、CMOS等图像传感器。
此外，图1所示的RGB相机61是单目相机，但也可以是立体相机。
分光相机62获取包括用户的视野内的至少一部分的分光图像。需要注意的是，在本实施方式中，分光图像的获取区域为与RGB相机61同样的范围内，获取对于用户的视野内的外景的分光图像。
图3是表示分光相机62的概略构成的图。
如图3所示，分光相机62具备外界光所入射的入射光学系统621、将入射光分光的分光元件622、以及拍摄通过分光元件分光后的光的摄像部623而构成。
入射光学系统621例如由远心光学系统等构成，以光轴与主光线平行或者大致平行的方式将入射光导向分光元件622以及摄像部623。
如图3所示，分光元件622是具备彼此相对的一对反射膜624、625以及能够变更这些反射膜624、625之间的距离的间隙变更部626(例如静电致动器)而构成的波长可变干涉滤波器(所谓的标准具)。在该分光元件622中，通过控制施加于间隙变更部626的电压而能够变更透过反射膜624、625的光的波长(分光波长)。
摄像部623是拍摄透过分光元件622的图像光的装置，例如由CCD、CMOS等图像传感器构成。
需要说明的是，在本实施方式中，示出了分光相机62为设于保持部21、23的立体相机的例子，但也可以是单目相机。在采用单目相机的情况下，优选例如配置于光学像显示部26、28之间(与RGB相机61大致相同的位置)。
该分光相机62相当于分光测定部，依次切换由分光元件622分光的光的分光波长并利用摄像部623拍摄分光图像。即，分光相机62将与多个分光波长对应的多个分光图像作为分光测定信息向控制部10输出。
瞳孔检测传感器63相当于瞳孔检测部，例如在光学像显示部26、28中设于与用户相对的一侧。该瞳孔检测传感器63具有例如CCD等图像传感器，拍摄用户的眼睛并检测用户瞳孔的位置。
作为瞳孔位置的检测，例如，对用户的眼睛照射红外线，检测在角膜反射的红外线的位置以及对应于红外线的反射位置的瞳孔(亮度值最小的位置)。需要注意的是，作为瞳孔位置的检测，并不局限于此，例如也可以检测用户的眼睛的拍摄图像中相对于规定位置(例如眼睑、眉毛、眼角、眼梢等)的瞳孔、虹膜的位置。
9轴传感器64相当于位移检测传感器，是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器64由于设于图像显示部20，因此在图像显示部20被佩戴于用户的头部时检测用户的头部的活动。根据检测出的用户的头部的活动来确定图像显示部20的朝向。
另外，图像显示部20具有用于将图像显示部20连接于控制部10的连接部40。连接部40包括连接于控制部10的主体线48、右线42、左线44以及连结部件46。右线42与左线44是主体线48分支成两条而成的线。右线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内而连接于右显示驱动部22。同样，左线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内而连接于左显示驱动部24。连结部件46设于主体线48与右线42和左线44的分支点，具有用于连接耳机插头30的插口。右耳机32以及左耳机34从耳机插头30延伸。
图像显示部20与控制部10经由连接部40进行各种信号的传送。在主体线48中的与连结部件46相反一侧的端部和控制部10各自上设有相互嵌合的连接器(省略图示)。通过主体线48的连接器与控制部10的连接器的嵌合/解除嵌合，使控制部10与图像显示部20连接或分离。例如能够采用金属线缆、光纤作为右线42、左线44及主体线48。
需要说明的是，在本实施方式中，示出通过有线将图像显示部20与控制部10连接的例子，但也可以采用使用例如无线LAN、蓝牙(注册商标)等的无线连接。
控制部10的构成
控制部10是用于控制HMD1的装置。控制部10例如具有包括触控板11A、方向键11B、电源开关11C等的操作部11。
另外，如图2所示，控制部10具有输入信息获取部110、存储部120、电源130、操作部11、CPU140、接口180、发送部(Tx51、Tx52)、以及GPS模块134。
输入信息获取部110获取与用户对操作部11的操作输入相应的信号。
存储部120存储有各种计算机程序。存储部120由ROM、RAM等构成。
GPS模块134通过接收来自GPS卫星的信号，确定图像显示部20的当前位置，并生成表示位置的信息。由于图像显示部20的当前位置被确定，从而HMD1的用户的当前位置被确定。
接口180是用于将作为内容的供给源的各种外部设备OA连接于控制部10的接口。作为外部设备OA，例如有个人计算机(PC)、移动电话终端、游戏终端等。作为接口180，例如能够使用USB接口、微型USB接口、存储卡用接口等。
CPU140通过读出并执行存储于存储部120的计算机程序，从而作为操作系统(OS150)、视线确定部161、图像判定部162、偏移检测部163、分光图像校正部164、对象物信息获取部165、图像位置控制部166、朝向判定部167、显示控制部168以及摄像控制部169发挥功能。
视线确定部161基于通过瞳孔检测传感器63检测出的用户的左右眼的瞳孔位置(瞳孔的位置)，确定用户的视线方向D1(参照图5)。
图像判定部162通过模板匹配来判定外景图像中是否包括例如与预先存储于存储部120的特定对象物的图像信息相同的特定对象物。另外，图像判定部162在外景图像中包括特定对象物的情况下，判定该特定对象物是否位于视线方向上。即，图像判定部162将位于视线方向上的特定对象物判定为第一对象物O1(参照图6、图7)。
偏移检测部163检测各分光图像间的拍摄位置(像素位置)的偏移量。
在本实施方式中，由于依次切换分光波长来拍摄分光图像，因此在各分光图像的拍摄时机存在佩戴HMD1的用户的头部位置发生变化的情况，各分光图像的拍摄范围R1(参照图5～图7)分别成为不同的范围。于是，偏移检测部163检测各分光图像的拍摄范围R1的偏移量。
这里，在本实施方式中，在用分光相机62拍摄各波长的分光图像的时机，用RGB相机61拍摄外景图像。于是，偏移检测部163基于与分光图像同时拍摄到的外景图像，检测各分光图像的偏移量。
另外，偏移检测部163也可以算出由RGB相机61拍摄的外景图像与如上述那样拍摄的各分光图像的位置偏移量。换句话说，检测当前拍摄的外景图像中的特征点，将该特征点与拍摄到各分光图像的时机时的外景图像的特征点进行比较，从而算出各分光图像与当前拍摄的外景图像的偏移量。
分光图像校正部164基于算出的各分光图像的位置偏移量，校正各分光图像的像素位置。换句话说，以使各分光图像的特征点一致的方式调整各分光图像的像素位置。
对象物信息获取部165基于通过分光相机62获得的分光测定信息(对应多个波长的分光图像)，获取对象物的解析信息(对象物信息)。该对象物信息获取部165能够获取对应于用户所选择的项目的对象物信息。例如，在用户选择了显示对象物(食品等)的糖度的主旨的情况下，对象物信息获取部165解析外景图像内包含的对象物所对应的分光测定信息，并将对象物所含的糖度作为对象物信息而算出。另外，例如在用户选择了使规定波长的分光图像重叠于对象物的主旨的情况下，对象物信息获取部165从各分光图像中提取与外景图像内包含的对象物所对应的像素区域相同的像素区域作为对象物信息。
此时，对象物信息获取部165首先获取对应于由图像判定部162确定的第一对象物O1的对象物信息，接着，获取以视线方向D1为中心的、预先设定的规定范围(扩展范围R2：参照图5～图7)内的对象物信息。
图像位置控制部166在外景图像中包括特定对象物的情况下，使图像显示部20显示示出对应于特定对象物的对象物信息的图像信息。例如，从外景图像中确定位于视线方向D1上的第一对象物O1的位置坐标，在与该第一对象物O1重叠的位置或者第一对象物O1的附近重叠显示表示对象物信息的图像信息。
另外，图像位置控制部166也可以根据外景图像的颜色(RGB值)创建使RGB值发生了变化的图像信息、或根据外景图像的亮度使图像显示部20的亮度变化，从而基于同一图像信息生成不同的图像。例如，图像位置控制部166创建从用户至特定对象物的距离越近则使图像信息中包含的字符越大的图像信息、或者外景图像的亮度越低则将图像显示部20的亮度设定得越小。
朝向判定部167判定后述的9轴传感器64检测出的图像显示部20的朝向、活动、位置的位移量(移动量)。朝向判定部167通过判定图像显示部20的朝向，从而推断用户的头部的朝向。
显示控制部168生成控制右显示驱动部22以及左显示驱动部24的控制信号，例如使图像信息显示于由图像位置控制部166设定的位置。具体而言，显示控制部168通过控制信号，单独控制右LCD控制部211对右LCD241的驱动开/关、右BL控制部201对右BL221的驱动开/关、左LCD控制部212对左LCD242的驱动开/关、左BL控制部202对左BL222的驱动开/关等。由此，显示控制部168控制通过右显示驱动部22和左显示驱动部24各自进行的图像光的生成及射出。例如，显示控制部168使右显示驱动部22以及左显示驱动部24双方生成图像光、或仅使一方生成图像光、或使双方都不生成图像光。
此时，显示控制部168将对于右LCD控制部211与左LCD控制部212的控制信号分别经由Tx51、Tx52向图像显示部20发送。另外，显示控制部168分别发送对于右BL控制部201与左BL控制部202的控制信号。
摄像控制部169控制RGB相机61以及分光相机62而获取拍摄图像。换句话说，摄像控制部169使RGB相机61起动，使其拍摄外景图像。另外，摄像控制部169向分光相机62的分光元件622(间隙变更部626)施加与规定的分光波长对应的电压，使该分光波长的光分光。然后，控制摄像部623，使其拍摄该分光波长的光而获取分光图像。
HMD1的图像显示处理
接下来，对上述那样的HMD1中的AR显示处理进行说明。
图4是表示AR显示处理的流程的流程图。图5是表示进行本实施方式中的AR显示的范围的一个例子的图。另外，图6以及图7是在本实施方式中的AR显示处理中显示的图像的一个例子。
在本实施方式的HMD1中，通过用户预先操作控制部10的操作部11，从而能够选择是否实施关于对象物信息的AR显示，另外，能够选择作为对象物信息显示的图像。于是，在用户选择了实施AR显示、且选择了显示的对象物信息的类型的情况下，实施以下的AR显示处理。需要注意的是，这里，采用用户选择了旨在显示作为对象物信息的关于对象物的糖度的例子进行说明。
在实施AR显示处理时，HMD1首先将表示分光波长的变量i初始化(i＝1)(步骤S1)。需要注意的是，变量i与测定对象的分光波长相关联。例如，在将分光波长λ1～分光波长λN的N个分光波长的光的分光图像作为分光测定信息进行拍摄的情况下，与变量i对应的分光波长为λi。
接下来，摄像控制部169通过RGB相机61以及分光相机62获取拍摄图像(步骤S2)。换句话说，摄像控制部169控制RGB相机61以及分光相机62，通过RGB相机61拍摄外景图像，通过分光相机62拍摄分光波长λi的分光图像。
这里，在相同的拍摄时机、或者以拍摄时机的时间差小于预先设定的时间阈值的方式拍摄外景图像与分光图像。另外，在步骤S2中拍摄的外景图像以及分光图像如图5所示，为同一拍摄范围R1。在步骤S2中获取到的拍摄图像存储于存储部120。
接下来，摄像控制部169在变量i上加“1”(步骤S3)，并判定变量i是否超过N(步骤S4)。在步骤S4中判定为否的情况下，返回步骤S2，拍摄与变量i对应的分光波长λi的分光图像和外景图像。
在步骤S4中判定为是的情况下，意味着获取了作为测定对象的全部分光波长所对应的分光图像。在该情况下，偏移检测部163检测获取到的各分光图像的像素位置的偏移量(步骤S5)。
具体而言，偏移检测部163读出与分光图像同时拍摄的外景图像，检测该外景图像的特征点(例如，在相邻的像素间亮度值有规定值以上的不同的边缘部等)。这里，在本实施方式中，通过RGB相机61拍摄的外景图像的拍摄范围R1与通过分光相机62拍摄的分光图像的拍摄范围R1为同一范围。由此，通过RGB相机61拍摄到的外景图像的特征点的位置(像素位置)能够视为与分光图像中的特征点的像素位置一致。
因此，偏移检测部163将在各分光图像的拍摄时机拍摄到的各外景图像中的特征点彼此的位置之差作为位置偏移量而检测出。例如，假设在与波长λ1的分光图像同时拍摄到的外景图像中于(x1，y1)检测出特征点，并在与波长λ2的分光图像同时拍摄到的外景图像中于(x2，y2)检测出特征点。在该情况下，波长λ1的分光图像与波长λ2的分光图像的位置偏移量作为{(x2－x1)2+(y2－y1)2}1/2而算出。
需要说明的是，作为偏移量的基准的图像使用在步骤S2中获取的哪个外景图像均可。例如，也可以将拍摄到对应于变量i＝1的分光图像和外景图像时的外景图像作为基准图像，算出各分光图像的偏移量，还可以将最后拍摄到的对应于变量i＝N的外景图像作为基准图像。另外，并不限定于在步骤S2中获取到的外景图像，例如也可以将当前(在步骤S1～S4之后的时机)通过RGB相机61拍摄的外景图像作为基准图像来计算偏移量。换句话说，也可以实时地算出各分光图像相对于当前的外景图像的偏移量。
然后，分光图像校正部164基于在步骤S5中检测出(算出)的偏移量，校正各分光图像的位置偏移(步骤S6)。换句话说，分光图像校正部164以使各分光图像中特征点一致的方式校正分光图像的像素位置。
接下来，视线确定部161获取通过瞳孔检测传感器63检测的用户的左右眼中的瞳孔位置(瞳孔位置)(步骤S7)，基于瞳孔位置，确定用户的视线方向D1(步骤S8)。
例如，在瞳孔检测传感器63中，在向用户的眼睛照射红外线来检测对应于角膜上的红外线的反射位置的瞳孔位置的情况下，如以下那样确定视线方向D1(参照图5以及图6)。换句话说，在从瞳孔检测传感器63照射的红外线的位置例如为眼球的角膜上的中心点的情况下，视线确定部161将在法线方向(眼球内侧)上距该红外线的反射位置例如为23mm～24mm(平均的眼球的直径尺寸)的点假定为视网膜上的基准点。然后，将从基准点朝向瞳孔位置的方向确定为视线方向D1。
另外，在确定了视线方向D1之后，如图5、图6所示，也可以使图像显示部20显示表示视线方向D1的标记图像。这种情况下，通过用户观看视线方向D1，从而用户也能够变更视线，以使视线方向D1对准希望的对象物。
之后，图像判定部162判定在步骤S8中确定的视线方向D1上是否存在能够显示的对象物(步骤S9)。
在步骤S9中，例如图像判定部162通过RGB相机61拍摄外景图像，对该外景图像中的视线方向D1上的图像实施模板匹配。需要注意的是，作为图像判定部162中的图像判定方法，并不限定于模板匹配。例如，也可以检测包围与视线方向D1对应的像素的边缘部，将被该边缘部包围的对象物确定为第一对象物O1(参照图5～7)。这种情况下，在外景图像中的与视线方向D1对应的像素的周围(预先设定的扩展范围R2内)不存在包围该像素的边缘部的情况下，判定视线方向D1上不存在对象物(在步骤S9中为否)。
例如，在图5～图7所示的例子中，用户视觉辨认了透过图像显示部20的光学像显示部26、28的外景SC。外景SC中，在视线方向D1上包括第一对象物O1(在本例中是葡萄)。在该情况下，图像判定部162从通过RGB相机61拍摄的外景图像中对位于视线方向D1的对象物进行上述那样的模板匹配、边缘检测等，识别第一对象物O1。
在步骤S9中判定为是的情况下，对象物信息获取部165从分光图像中确定与确定出的第一对象物O1的像素位置对应的各分光波长的像素位置，基于该分光图像的像素位置的灰度值，获取对应于第一对象物O1的对象物信息(步骤S10)。
例如，在显示作为对象物信息的对应于第一对象物O1的糖度的情况下，对象物信息获取部165基于各分光图像中与糖的吸收光谱对应的分光波长的分光图像，算出第一对象物O1的像素位置上的吸光度，基于该吸光度算出糖度。然后，对象物信息获取部165生成示出所算出的糖度的图像信息(第一AR信息P1)，并存储于存储部120。
之后，图像位置控制部166在外景图像中与视线方向D1对应的像素位置设定示出在步骤S10中生成的对象物信息的第一AR信息P1的位置，显示控制部168使图像显示(AR显示)于所设定的位置(步骤S11)。例如，如图6所示，图像位置控制部166使图像显示部20在与视线方向D1对应的像素位置或者视线方向D1的附近显示表示第一对象物O1(葡萄)的糖度的数值作为字符图像的第一AR信息P1。此时，图像位置控制部166也可以根据用户的当前位置和距第一对象物O1的位置的距离，例如距离越近则将第一AR信息P1显示得越大、或越发提高显示的第一AR信息P1的亮度。
另外，在步骤S9中判定为否的情况下、或者在步骤S11中显示了示出对应于第一对象物O1的对象物信息的图像之后，图像判定部162判定以视线方向D1为中心的预先设定的规定的扩展范围R2内是否有对象物(第二对象物O2)(步骤S12)。需要注意的是，作为对象物有无的判定，进行与步骤S9同样的处理。
在步骤S12中判定为是的情况下，对象物信息获取部165与步骤S10同样地获取对应于检测出的第二对象物O2的对象物信息(步骤S13)。步骤S13进行与步骤S10同样的处理，获取对应于第二对象物O2的对象物信息，生成其图像信息(第二AR信息P2)。
然后，图像位置控制部166以及显示控制部168判定显示第一AR信息P1起的经过时间是否经过了预先设定的待机时间(步骤S14)。
在步骤S14中判定为否的情况下，待机至经过待机时间为止(重复步骤S14的处理)。在步骤S14中判定为是的情况下，图像位置控制部166在外景图像中与第二对象物O2对应的像素位置设定在步骤S13中生成的第二AR信息P2的位置，显示控制部168使第二AR信息P2显示于所设定的位置(步骤S15)。
由此，从图6所示的仅显示对应于第一对象物O1的第一AR信息P1的状态起，在经过规定的待机时间后将AR显示的区域扩大至扩展范围R2，如图7所示，显示对应于位于第一对象物O1周围的第二对象物O2的第二AR信息P2。
另外，在步骤S15之后、或者在步骤S12中判定为否的情况下，结束AR显示处理。
本实施方式的作用效果
在本实施方式的HMD1中，在图像显示部20设有检测用户的眼睛的瞳孔位置的瞳孔检测传感器63，视线确定部161基于检测出的瞳孔位置确定视线方向D1。于是，对象物信息获取部165使用通过分光相机62拍摄到的各分光波长的分光图像，获取视线方向D1上的第一对象物O1所对应的对象物信息，图像位置控制部166以及显示控制部168使图像显示部20在对应于第一对象物O1的位置显示示出获取到的对象物信息的图像信息(第一AR信息P1)。
由此，在本实施方式中，能够使进入用户视野的外景SC中位于用户的视线方向D1上的第一对象物O1、也就是用户当前注视的对象物的对象物信息AR显示，关于其周围的对象物则不进行AR显示。因此，例如与一次性地AR显示拍摄范围R1内的所有对象物所对应的对象物信息的情况相比，易于确认对应于用户所注视的对象物(第一对象物O1)的对象物信息，能够适当地向用户提供所需的信息。
另外，对象物信息获取部165仅解析各分光图像中与视线方向D1上的第一对象物O1对应的部分来获取对象物信息即可。因此，与获取拍摄范围R1内包含的所有对象物所对应的对象物信息的情况相比，能够容易地获取对象物信息。
例如，在上述实施方式中，显示对象物的糖度，但为了进行拍摄范围R1内的所有对象物所对应的糖度的显示，需要检测拍摄范围R1内的全部对象物，并基于与各个对象物对应的像素位置的分光图像的像素值，计算各个对象物所对应的糖度。这种情况下，处理负荷增大，到显示对象物信息时的时间也变长。与此相对地，在本实施方式中，只要获取视线方向D1上的第一对象物O1的对象物信息即可，能够减轻处理负荷，对用户注视的对象物进行迅速的AR显示。
另外，在本实施方式中，对象物信息获取部165在显示视线方向D1上的第一对象物O1的对象物信息之后，根据时间的流逝，获取以视线方向D1为中心的规定的扩展范围R2内包含的第二对象物O2的对象物信息，并使图像显示部20进行显示。
即使在这种情况下，在显示第一对象物O1的对象物信息时也不获取第二对象物O2的对象物信息，因此显示对应于第一对象物O1的对象物信息时的处理负荷的增大得以抑制、且容易看到对应于第一对象物O1的对象物信息，对于用户来说能够提高便利性。
另外，若在显示第一对象物O1的对象物信息之后经过规定的经过时间(待机时间)，则也显示第一对象物O1周围的第二对象物O2的对象物信息。由此，能够显示扩展范围R2内的多个对象物所对应的对象物信息。此时，由于先显示位于视线方向D1上的第一对象物O1的对象物信息，因此不会导致难以视觉辨认用户最关注的第一对象物O1所对应的对象物信息的显示位置。
在本实施方式中，边依次切换分光波长，边依次获取多个分光波长所对应的分光图像。这种情况下，在各分光图像的拍摄时机，若用户的头部位置发生了移动，则分光图像的与对象物对应的像素位置会偏移。与此相对地，在本实施方式中，与分光图像的拍摄时机同时地用RGB相机61拍摄外景图像，检测该外景图像的特征点，进而检测在各分光图像的拍摄时机像素的偏移量。于是，基于检测出的偏移量，校正各分光图像，以使各分光图像的像素位置一致。
由此，能够准确地检测对应于对象物的各分光波长的光的受光量，通过对象物信息获取部165，能够高精度地算出对象物信息的糖度。
另外，作为偏移量的检测，也可以分别提取各分光图像的特征点，以使这些特征点彼此一致的方式进行校正。然而，在分光图像中，取决于分光波长，包括能够检测的特征点和不能检测(或者检测精度低)的特征点。因此，在从分光图像提取特征点来进行校正的情况下，校正精度降低。与此相对地，在基于与分光图像同时拍摄的外景图像来提取特征点的情况下，能够以大致相同的检测精度提取各时机时的各外景图像的特征点。因此，通过基于外景图像的特征点检测偏移量，从而在校正分光图像的位置偏移时能够进行高精度的校正。
第二实施方式
在上述第一实施方式中，偏移检测部163基于与分光图像同时拍摄的外景图像检测出各分光图像的偏移量。与此相对地，在第二实施方式中，通过偏移检测部进行的偏移量检测的方法与第一实施方式不同。
此外，在以下的说明中，对已说明的事项标注相同的附图标记，并省略或简化其说明。
第二实施方式的HMD1具有与第一实施方式大致相同的构成，CPU140通过读出并执行程序来发挥功能，偏移检测部163的处理与第一实施方式不同。
本实施方式的偏移检测部163基于来自9轴传感器64的检测信号，检测各分光图像的偏移量。因此，在本实施方式中，无需在分光图像的拍摄时机用RGB相机61拍摄外景图像。换句话说，在本实施方式中，在图4的步骤S2中，取代RGB相机61的外景图像拍摄处理而获取来自9轴传感器64的检测信号。
然后，在图4的步骤S5中，偏移检测部163基于9轴传感器64的检测信号，将拍摄到各分光图像的时机时图像显示部20的位置的位移量作为偏移量而检测出。例如，基于拍摄到分光波长λ1的分光图像时的9轴传感器64的检测信号与拍摄到分光波长λ2的分光图像时的9轴传感器64的检测信号，将图像显示部20的位移量作为偏移量而算出。
其它构成以及图像处理方法与上述第一实施方式相同，基于由偏移检测部163检测出的偏移量校正了各分光图像的像素位置之后，显示存在于视线方向D1以及扩展范围R2内的对象物的对象物信息。
第二实施方式的作用效果
在本实施方式中，在检测各分光图像的像素位置的偏移量时，偏移检测部163基于从9轴传感器64输出的检测信号，算出用户的头部(图像显示部20)的位置的位移量。
这种情况下，无需在分光图像的拍摄时机拍摄外景图像，能够减轻摄像处理相关的处理负荷、且能高精度地检测偏移量。换句话说，在基于图像的特征点检测偏移量的情况下，算出各图像的像素间的亮度值的差分等特征点检测涉及到处理负荷，并且在特征点的检测精度低的情况下，偏移量的检测精度也会降低。与此相对地，在本实施方式中，由于利用9轴传感器64检测图像显示部20的实际的位移量，因此偏移量的检测精度高，也能够减轻图像处理所涉及的处理负荷。
变形例
需要说明的是，本发明并不限定于前述实施方式，能够达到本发明目的的范围内的变形、改进等也包含在本发明之中。
在上述第一实施方式中，也可以在步骤S5中实时检测各分光图像相对于当前拍摄的外景图像的偏移量。这种情况下，在步骤S6的偏移校正处理中，也能够实时地使各分光图像的像素位置与当前拍摄的外景图像匹配。这时，分光图像中的第一对象物O1的位置也实时地更新，能够更准确地显示位于视线方向D1上的第一对象物所对应的对象物信息。
示出了在步骤S9中通过图像判定部162检测第一对象物O1的例子，但并不限定于此。
例如，也可以无关于图像判定部162对是否有对象物的判定如何，均基于在步骤S2中获取的分光图像来解析与视线方向D1一致的像素上的糖度。这时，在能够从该像素解析出糖度的情况下，判定存在包含糖分的物质、即存在第一对象物O1，并使示出糖度的对象物信息(第一AR信息P1)显示于与该视线方向D1对应的像素位置(例如与视线方向D1重叠的位置、距视线方向D1在规定像素范围内的附近位置)。另一方面，在不能从分光图像解析出与视线方向D1对应的糖度的情况下，例如判定为视线方向D1上不存在第一对象物O1。
在这样的处理中，能够省略对外景图像检测对象物的处理，能够更迅速地显示对象物信息的图像信息。
在第一实施方式中，示出了在步骤S12～步骤S15的处理中当经过规定的待机时间之后显示第二对象物O2的对象物信息的例子，但并不限定于此。
例如，也可以在显示第一对象物O1的第一AR信息P1之后，根据经过时间，进行按照距第一对象物O1的距离由近到远的顺序依次显示第二对象物O2的第二AR信息P2的处理。
这时，在具有多个第二对象物O2的情况下等，并非一次显示全部第二对象物O2的对象物信息，因此例如能够抑制用户看丢第一对象物O1的第一AR信息P1的不良情况等。
在上述第一实施方式中，作为对象物信息，例示了表示对象物的糖度的信息，但并不局限于此，也能够显示各种信息作为对象物信息。例如，也可以基于分光图像算出蛋白质、脂质、水分量等各种成分并将其作为对象物信息进行显示。另外，作为获取的分光图像，并不限定于可见光区～红外区，也可以包括紫外区等，在这种情况下，也能够显示对应于紫外区的成分分析结果。
另外，作为对象物信息，也可以将对象物的规定的分光波长所对应的分光图像与对象物重叠地进行显示。在这种情况下，更佳的是，使分光图像为3D显示(右眼用图像与左眼用图像间具有视差的图像显示)，在右眼、左眼各自中以对象物与分光图像重叠的方式进行显示。
进而，作为对象物信息，也可以一并显示例如经由网络等获取的各种信息、例如对象物的名称等，还可以一并显示利用GPS模块134获取的对象物的位置等。换句话说，作为对象物信息，也可以一并显示基于分光测定信息以外的信息的信息。
在上述第一实施方式中，示出了利用分光相机62拍摄拍摄范围R1的分光图像的例子，但并不限定于此。
例如，分光相机62也可以采用拍摄包括视线方向D1的规定范围(例如扩展范围R2)的分光图像的构成。在这种情况下，由于不获取不实施AR显示的范围(拍摄范围R1内的扩展范围R2以外的范围)所对应的分光图像，因此能够缩小各分光图像的图像尺寸。另外，在对象物信息获取部165解析各分光图像而获取对象物信息时，读出的分光图像的图像尺寸小、且对象物的检测范围也变小，因此能够减轻对象物信息的获取处理所涉及的处理负荷。
除此之外，本发明实施时的具体结构在能够达到本发明目的的范围内能够适当变更为其它结构等。

Claims (6)

1.一种头戴式显示器，其特征在于，具备：
瞳孔检测部，检测用户的瞳孔位置；
视线确定部，基于所述瞳孔位置，确定所述用户的视线方向；
分光测定部，获取基于所述视线方向的所述用户的视野内的景色中的第一对象物的分光测定信息；
对象物信息获取部，基于所述分光测定信息获取关于所述第一对象物的第一对象物信息；以及
显示部，在所述景色的所述第一对象物所对应的位置显示所述第一对象物信息。
2.根据权利要求1所述的头戴式显示器，其特征在于，
所述分光测定部获取所述景色的规定范围的所述分光测定信息，
所述对象物信息获取部获取关于所述规定范围内的第二对象物的第二对象物信息，
所述显示部在将所述第一对象物信息显示于所述第一对象物所对应的位置之后，根据时间的流逝，将所述第二对象物信息显示于所述景色的所述第二对象物所对应的位置。
3.根据权利要求1或2所述的头戴式显示器，其特征在于，
所述分光测定部具有：
分光元件，对入射光进行分光，并能够变更分光波长；以及
摄像部，拍摄经所述分光元件分光后的光并获得分光图像作为所述分光测定信息，
所述头戴式显示器具备：
偏移检测部，检测通过所述分光元件变更所述分光波长时的拍摄位置的偏移量；以及
分光图像校正部，校正多个波长的所述分光图像中的所述偏移量。
4.根据权利要求3所述的头戴式显示器，其特征在于，
所述摄像部包括相机，
所述偏移检测部根据在获取到所述多个波长的所述分光图像中的任一分光图像的时机由所述相机拍摄到的所述景色的图像的特征点的位置检测所述偏移量。
5.根据权利要求4所述的头戴式显示器，其特征在于，
所述相机是RGB相机。
6.根据权利要求3所述的头戴式显示器，其特征在于，
所述头戴式显示器具备位移检测传感器，所述位移检测传感器检测所述头戴式显示器的位置的位移，
所述偏移检测部基于通过所述位移检测传感器检测出的位移量，检测所述偏移量。
CN201810227175.4A 2017-03-29 2018-03-19 头戴式显示器 Pending CN108693647A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017064544A JP6903998B2 (ja) 2017-03-29 2017-03-29 ヘッドマウントディスプレイ
JP2017-064544 2017-03-29

Publications (1)

Publication Number Publication Date
CN108693647A true CN108693647A (zh) 2018-10-23

Family

ID=63669656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810227175.4A Pending CN108693647A (zh) 2017-03-29 2018-03-19 头戴式显示器

Country Status (3)

Country Link
US (1) US20180285642A1 (zh)
JP (1) JP6903998B2 (zh)
CN (1) CN108693647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698496A (zh) * 2019-03-11 2020-09-22 株式会社三丰 测定结果显示装置及存储介质
CN112019682A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 显示方法、显示装置以及信息系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110270A1 (ja) * 2018-11-29 2020-06-04 マクセル株式会社 映像表示装置および方法
JP7238390B2 (ja) * 2018-12-21 2023-03-14 セイコーエプソン株式会社 情報システムおよび特定方法
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2023031728A (ja) * 2021-08-25 2023-03-09 トヨタ自動車株式会社 表示制御装置、表示システム、表示方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343288A (ja) * 2003-05-14 2004-12-02 Hitachi Ltd 携帯端末、情報配信装置、通信システム、及び携帯端末を利用したユーザへの情報提示方法
JP4426918B2 (ja) * 2004-07-20 2010-03-03 オリンパス株式会社 情報表示システム
US8982665B2 (en) * 2008-10-08 2015-03-17 Westerngeco L.L.C. Dithered slip sweep vibroseis acquisition system and technique
JP6123360B2 (ja) * 2013-03-07 2017-05-10 セイコーエプソン株式会社 分光測定装置
US20150077381A1 (en) * 2013-09-19 2015-03-19 Qualcomm Incorporated Method and apparatus for controlling display of region in mobile device
JP2015177397A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 ヘッドマウントディスプレイおよび農作業補助システム
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US20170287219A1 (en) * 2016-03-31 2017-10-05 Adam G. Poulos Electromagnetic tracking of objects for mixed reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698496A (zh) * 2019-03-11 2020-09-22 株式会社三丰 测定结果显示装置及存储介质
CN112019682A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 显示方法、显示装置以及信息系统

Also Published As

Publication number Publication date
JP6903998B2 (ja) 2021-07-14
US20180285642A1 (en) 2018-10-04
JP2018170554A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
CN108693647A (zh) 头戴式显示器
US11202043B1 (en) Self-testing display device
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
CN103930818B (zh) 具有虚拟图像对比度控制的光学显示系统和方法
US11854171B2 (en) Compensation for deformation in head mounted display systems
KR102599889B1 (ko) 가상 포커스 피드백
US20130194244A1 (en) Methods and apparatuses of eye adaptation support
TW201626046A (zh) 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及電腦程式
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
CN106019588A (zh) 一种可以自动测量瞳距的近眼显示装置及方法
CN103309037A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN105549203A (zh) 显示装置以及显示装置的控制方法
CN105739095A (zh) 显示装置以及显示装置的控制方法
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP2014130204A (ja) 表示装置、表示システム、および、表示装置の制御方法
KR20160041265A (ko) 웨어러블 디스플레이장치
KR101874861B1 (ko) 명암을 이용한 안구운동장치 및 방법
CN110840721B (zh) 一种基于近眼显示的视力防控、训练方法及近眼显示设备
US20180268779A1 (en) Image display apparatus, image display method, and storage medium
CN112748573B (zh) 头部佩戴型显示装置和显示方法
TWI740083B (zh) 低光源環境顯示結構
US20220373802A1 (en) Systems and methods for calibrating and evaluating a wearable heads-up display with integrated corrective prescription
US10991343B2 (en) Automatic image alignment with head mounted display optics
EP4302152A1 (en) Method and system for calibrating a wearable heads-up display including integrated prescription lenses to produce aligned and color corrected images
US20210041697A1 (en) Automatic position determination of head mounted display optics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181023

WD01 Invention patent application deemed withdrawn after publication