CN105549203A - 显示装置以及显示装置的控制方法 - Google Patents

显示装置以及显示装置的控制方法 Download PDF

Info

Publication number
CN105549203A
CN105549203A CN201510690853.7A CN201510690853A CN105549203A CN 105549203 A CN105549203 A CN 105549203A CN 201510690853 A CN201510690853 A CN 201510690853A CN 105549203 A CN105549203 A CN 105549203A
Authority
CN
China
Prior art keywords
image
user
display
eyes
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510690853.7A
Other languages
English (en)
Inventor
佐藤慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN105549203A publication Critical patent/CN105549203A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Abstract

本发明提供一种使用者佩戴的显示装置,其能够不增加使用者的负担且能够以优选状态来观察图像。该显示装置具备:构成为供使用者佩戴的佩戴部;被设置在佩戴部且具有使表示图像的图像光在佩戴部被使用者佩戴的情况下向使用者的眼睛射入的右导光板(261)、左导光板(262)的图像显示部(20);相机(61);在佩戴部被使用者佩戴了的情况下基于相机(61)的拍摄图像来检测使用者的眼睛与右导光板(261)、左导光板(262)的对应状态的图像解析部(182);以及基于图像解析部(182)检测出的对应状态来调整图像显示部(20)或者右导光板(261)、左导光板(262)的调整控制部(183)。

Description

显示装置以及显示装置的控制方法
技术领域
本发明涉及显示装置以及显示装置的控制方法。
背景技术
以往,已知有使用者佩戴于头部来使用的、被称为头戴式显示器(HeadMountedDisplay:HMD)的显示装置。这种显示装置存在若佩戴位置从标准位置偏移则难以视觉识别所显示的图像的这一问题。因此,以往,提出了一种用相机拍摄使用者的内眼角和眼球,测量内眼角、外眼角相对于显示器的位置,由此检测显示器的位置偏移的方法(例如,参照专利文献1)。另外,提出了在HMD粘贴标记,使用者正对着镜子从而HMD对镜像进行摄影,基于摄影图像内的标记,来调整图像的显示位置的方法(例如,参照专利文献2)。
专利文献1:日本专利第5414946号公报
专利文献2:国际公开WO2013/145147号
在上述以往的方法中,需要设置拍摄使用者的内眼角和眼球的相机或者粘贴于HMD的标记等用于进行位置的检测的装配。因此,存在导致装置构成的复杂化、用于进行位置的检测的使用者的作业负荷高之类的问题。
发明内容
本发明是鉴于上述情况而完成的,其目的在于在使用者佩戴显示装置来观察图像的情况下,能够不增加使用者的负担,且使用者能够以优选状态来观察图像。
为了达成上述目的,本发明的显示装置的特征在于,具备:佩戴部,其构成为供使用者佩戴;显示部,其被设置于上述佩戴部,具有使表示图像的图像光在上述使用者佩戴了上述佩戴部的情况下射入至上述使用者的眼睛的光学元件;拍摄部,其被设置于上述佩戴部;处理部,其在上述使用者佩戴了上述佩戴部的情况下,基于上述拍摄部的拍摄图像,检测上述使用者的眼睛与上述光学元件的对应状态;调整控制部,其基于上述处理部检测出的对应状态,来调整上述显示部或者上述光学元件。
根据本发明,在使用者佩戴了显示装置的情况下,检测使用者的眼睛与光学元件的对应状态来进行调整,由此使用者能够以优选状态视觉识别图像。
另外,本发明的特征在于,在上述显示装置中,上述处理部基于上述拍摄部的拍摄图像,来检测上述光学元件与上述眼睛的相对位置,上述调整控制部基于上述处理部检测出的上述光学元件与上述眼睛的相对位置,来调整上述显示部或者上述光学元件以使得使上述图像的位置处于与上述眼睛对应的位置。
根据本发明,基于使用者的眼睛与光学元件的相对位置来进行调整,所以即使显示装置的佩戴位置、角度不是最佳,使用者也能够以优选状态视觉识别图像。
另外,本发明的特征在于,在上述显示装置中,上述显示部具备将图像光向上述光学元件射出的光射出部,上述光学元件具有将从上述光射出部射入的图像光朝向上述使用者的眼睛反射的反射面,上述处理部检测上述使用者的眼睛的位置与上述反射面的位置的对应状态。
根据本发明,由于检测光学元件所具有的反射面与使用者的眼睛的位置的对应状态,所以能够将向使用者的眼睛射入的图像光的位置调整至适当的位置。
另外,本发明的特征在于,在上述显示装置中,上述拍摄部在上述使用者佩戴了上述佩戴部的情况下对上述使用者的视线方向进行拍摄,上述处理部通过从上述拍摄部的拍摄图像检测映在位于上述使用者的视线方向上的光反射体上的上述使用者的像以及上述显示部或上述光学元件的像,来检测上述使用者的眼睛与上述光学元件的对应状态。
根据本发明,由于利用在调整以外的目的下能够使用的拍摄部,所以能够避免以调整为目的的装置构成的复杂化。
另外,本发明的特征在于,在上述显示装置中,上述处理部从映在上述光反射体上的上述使用者的像检测上述使用者的眼睛的像以及上述光学元件的像,检测上述使用者的眼睛的位置与上述光学元件的位置的对应状态。
根据本发明,能够利用映在光反射体上的像,更加适当地进行调整。
另外,为了达成上述目的,本发明的显示装置的控制方法的特征在于,控制在构成为供使用者佩戴的佩戴部设置有具有使表示图像的图像光在上述使用者佩戴了上述佩戴部的情况下射入至上述使用者的眼睛的光学元件的显示部和拍摄部的显示装置,从而在上述使用者佩戴了上述佩戴部的情况下基于上述拍摄部的拍摄图像来检测上述使用者的眼睛与上述光学元件的对应状态,基于检测出的对应状态,调整上述显示部或者上述光学元件。
根据本发明,在使用者佩戴了显示装置的情况下,检测使用者的眼睛与光学元件的对应状态来进行调整,由此使用者能够以优选状态视觉识别图像。
附图说明
图1是表示头部佩戴型显示装置的外观构成的说明图。
图2是表示图像显示部的光学系统的构成的图。
图3是构成头部佩戴型显示装置的各部的功能框图。
图4是以俯视表示使用者的眼睛与显示图像的相对位置的图。
图5是以侧视表示使用者的眼睛与对象物的相对位置的图。
图6是表示调整处理中的头部佩戴型显示装置的动作的流程图。
图7是表示调整处理中的使用者的状态的一个例子的图。
图8是以主视表示使用者的眼睛与半透镜的相对位置的例子的图。
具体实施方式
图1是表示应用了本发明的实施方式所涉及的头部佩戴型显示装置100(显示装置)的外观构成的说明图。
头部佩戴型显示装置100具备在佩戴于使用者的头部的状态下供使用者视觉识别虚像的图像显示部20和控制图像显示部20的控制装置10。控制装置10也作为使用者操作头部佩戴型显示装置100的控制器发挥作用。
图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼睛形状。图像显示部20具备右保持部21、右显示驱动部22(光射出部)、左保持部23、左显示驱动部24(光射出部)、右光学图像显示部26、左光学图像显示部28、相机61(拍摄部)、麦克风63。右光学图像显示部26以及左光学图像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右以及左的眼睛前的位置。右光学图像显示部26的一端与左光学图像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间对应的位置处相互连结。
右保持部21是从作为右光学图像显示部26的另一端的端部ER到与使用者佩戴了图像显示部20时的使用者的颞颥部对应的位置延伸设置的部件。同样地,左保持部23是从作为左光学图像显示部28的另一端的端部EL到与使用者佩戴了图像显示部20时的使用者的颞颥部对应位置延伸设置的部件。右保持部21以及左保持部23形成为如眼镜的眼镜腿(挂耳),将图像显示部20保持于使用者的头部。
右显示驱动部22和左显示驱动部24被配置于与使用者佩戴了图像显示部20时的使用者的头部对置侧。此外,也将右显示驱动部22以及左显示驱动部24总称而简称为“显示驱动部”,也将右光学图像显示部26以及左光学图像显示部28总称而简称为“光学图像显示部”。
显示驱动部22、24包括液晶显示器241、242(LiquidCrystalDisplay,以下称为“LCD241、242”)、参照图3后述的投影光学系统251、252等。
右光学图像显示部26以及左光学图像显示部28具备导光板261、262(图2)和调光板20A。导光板261、262由透光性的树脂等形成,将显示驱动部22、24输出的图像光向使用者的眼睛引导。调光板20A是薄板状的光学元件,被配置成覆盖与使用者的眼睛侧相反侧的图像显示部20的表侧。调光板20A能够使用几乎没有透光性的调光板、接近于透明的调光板、使光量衰减并使透光的调光板、使特定波长的光衰减或反射的调光板等各种调光板。通过适当选择调光板20A的光学特性(透光率等),能够调整从外部向右光学图像显示部26以及左光学图像显示部28射入的外部光量,从而能够调整虚像的视觉识别的容易度。在本实施方式中,对使用至少具有佩戴了头部佩戴型显示装置100的使用者能够视觉识别外面景色的程度的透光性的调光板20A的情况进行说明。调光板20A保护右导光板261以及左导光板262,抑制右导光板261以及左导光板262的损伤、污垢的附着等。
调光板20A可以相对于右光学图像显示部26以及左光学图像显示部28能够拆装,能够更换多种调光板20A来佩戴,也可以省略。
相机61被配置在右光学图像显示部26与左光学图像显示部28的分界线部分。在使用者佩戴了图像显示部20的状态下,相机61的位置在水平方向上位于使用者的两眼的大致中间,在竖直方向上位于比使用者的两眼靠上。相机61是具备CCD、CMOS等拍摄元件以及拍摄透镜等的数码相机,可以是单眼相机也可以是立体相机。
相机61拍摄头部佩戴型显示装置100的表侧方向、换言之佩戴了头部佩戴型显示装置100的状态下的使用者的视野方向的至少一部分的外景。能够适当设定相机61的视角的广度,但优选相机61的拍摄范围是包括使用者通过右光学图像显示部26、左光学图像显示部28来进行视觉识别的外界的范围。并且,更加优选设定相机61的拍摄范围以使得能够拍摄通过调光板20A的使用者的视野的整体。
相机61根据控制部140具备的拍摄处理部161(图3)的控制来执行拍摄,将拍摄图像数据向拍摄处理部161输出。
图2是表示图像显示部20具备的光学系统的构成的要部俯视图。在图2中为了进行说明而图示使用者的左眼LE以及右眼RE。
左显示驱动部24具备左投影光学系统252,该左投影光学系统252具备具有LED等光源和漫射板的左背光灯222、配置在从左背光灯222的漫射板射出的光的光路上的透过型的左LCD242、以及对透过了左LCD242的图像光L进行引导的透镜组等。左LCD242是将多个像素配置成矩阵状的透过型液晶面板。
左投影光学系统252具有使从左LCD242射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L向左导光板262(光学元件)射入。左导光板262是形成有对图像光L进行反射的多个反射面的棱镜,图像光L在左导光板262的内部经过多次反射而被引导至左眼LE侧。在左导光板262中,形成有位于左眼LE的眼睛前的半透镜262A(反射面)。
在半透镜262A反射的图像光L从左光学图像显示部28朝向左眼LE射出,该图像光L在左眼LE的视网膜成像,供使用者视觉识别图像。
右显示驱动部22与左显示驱动部24左右对称地构成。右显示驱动部22具备右投影光学系统251,该右投影光学系统251具备具有LED等光源和漫射板的右背光灯221、配置在从右背光灯221的漫射板射出的光的光路上的透过型的右LCD241、以及对透过了右LCD241的图像光L进行引导的透镜组等。右LCD241是将多个像素配置成矩阵状的透过型液晶面板。
右投影光学系统251具有使从右LCD241射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L向右导光板261(光学元件)射入。右导光板261是形成有对图像光L进行反射的多个反射面的棱镜,图像光L在右导光板261的内部经过多次的反射而被引导至右眼RE侧。在右导光板261形成有位于右眼RE的眼睛前的半透镜261A(反射面)。
在半透镜261A反射的图像光L从右光学图像显示部26朝向右眼RE射出,该图像光L在右眼RE的视网膜成像,供使用者视觉识别图像。
在半透镜261A反射的图像光L和透过调光板20A的外部光OL射入至使用者的右眼RE。在半透镜262A反射的图像光L和透过调光板20A的外部光OL射入至左眼LE。像这样,头部佩戴型显示装置100使在内部处理后的图像的图像光L与外部光OL重叠并向使用者的眼睛射入,对使用者而言,透过调光板20A能够看见外景,与该外景重叠,基于图像光L的图像被视觉识别。像这样,头部佩戴型显示装置100作为穿透式的显示装置发挥作用。
此外,也将左投影光学系统252和左导光板262总称为“左导光部”,也将右投影光学系统251和右导光板261总称为“右导光部”。右导光部以及左导光部的构成并不限定于上述的例子,只要是使用图像光在使用者的眼睛前形成虚像即可,能够使用任意的方式,例如也可以使用衍射光栅,也可以使用半透过反射膜。
图像显示部20经由连接部40与控制装置10连接。连接部40具备与控制装置10连接的主体软线48、右软线42、左软线44以及连结部件46。右软线42以及左软线44是主体软线48分支成2根而得的软线。右软线42从右保持部21的延伸方向的前端部AP插入至右保持部21的框体内,与右显示驱动部22连接。同样地,左软线44从左保持部23的延伸方向的前端部AP插入至左保持部23的框体内,与左显示驱动部24连接。
连结部件46设置在主体软线48与右软线42及左软线44的分支点,具有用于连接耳机插头30的插口。右耳机32以及左耳机34从耳机插头30延伸。在耳机插头30的附近设置有麦克风63。从耳机插头30至麦克风63汇集为一根软线,软线从麦克风63分支,分别与右耳机32和左耳机34连接。
例如如图1所示,麦克风63被配置成麦克风63的集音部朝向使用者的视线方向,来收集声音并将声音信号向声音处理部187(图3)输出。麦克风63例如可以是单声道麦克风也可以是立体声麦克风,可以是具有指向性的麦克风,也可以是无指向性的麦克风。
右软线42、左软线44以及主体软线48只要是能够传输数字数据的线即可,例如能够由金属电缆、光纤构成。另外,也可以构成为将右软线42和左软线44汇集成一根软线。
图像显示部20和控制装置10经由连接部40传输各种信号。在主体软线48的与连结部件46相反侧的端部以及控制装置10设置有相互嵌合的连接器(省略图示)。通过将主体软线48的连接器与控制装置10的连接器嵌合或者解除该嵌合,能够将控制装置10和图像显示部20连接和分离。
控制装置10控制头部佩戴型显示装置100。控制装置10具备决定键11、点灯部12、显示切换键13、亮度切换键15、方向键16、菜单键17以及包括电源开关18的开关类。另外,控制装置10具备使用者用手指进行操作的触控板14。
决定键11检测押下操作,输出决定在控制装置10被操作的内容的信号。点灯部12具备LED(LightEmittingDiode:发光二极管)等光源,根据光源的点灯状态,通知头部佩戴型显示装置100的动作状态(例如电源的接通/断开)。显示切换键13根据押下操作,例如输出指示图像的显示模式的切换的信号。
触控板14具有检测接触操作的操作面,根据对操作面的操作而输出操作信号。操作面中的检测方式并不限定,能够采用静电式、压力检测式、光学式等。亮度切换键15根据押下操作输出指示图像显示部20的亮度的增减的信号。方向键16根据向与上下左右方向对应的键的押下操作而输出操作信号。电源开关18是对头部佩戴型显示装置100的电源接通/断开进行切换的开关。
图3是构成头部佩戴型显示装置100的各部的功能框图。
头部佩戴型显示装置100具备连接作为内容的供给源的各种外部设备OA的接口125。接口125例如能够使用USB接口、微型USB接口、存储卡用接口等与有线连接对应的接口,也可以由无线通信接口构成。外部设备OA是向头部佩戴型显示装置100供给图像的图像供给装置,能够使用个人计算机(PC)、便携式电话终端、便携式游戏机等。
控制装置10具有控制部140、输入信息取得部110、存储部120、发送部(Tx)51以及发送部(Tx)52。
输入信息取得部110与操作部111连接。操作部111包括上述的触控板14、方向键16、电源开关18等,输入信息取得部110基于从操作部111输入的信号来取得输入内容。另外,控制装置10具备电源部(省略图示),向控制装置10以及图像显示部20的各部供给电源。
存储部120是非易失性的存储装置,存储各种计算机程序以及与这些程序有关的数据。另外,存储部120也可以存储显示于图像显示部20的静止图像、动态图像的数据。
存储部120存储设定数据121。设定数据121包括后述的图像解析部182以及调整控制部183使用的各种的设定值。设定数据121包括的设定值可以是预先通过操作部111的操作而被输入的值,也可以经由通信部117或者接口125从外部设备OA或者其他的装置(省略图示)接收设定值并存储。
在控制部140连接有3轴传感器113、GPS115、通信部117以及声音识别部114。3轴传感器113是3轴的加速度传感器,控制部140取得3轴传感器113的检测值。GPS115具备天线(省略图示),接收GPS(GlobalPositioningSystem:全球定位系统)信号,计算控制装置10的当前位置。GPS115将基于GPS信号求出的当前位置、当前时刻向控制部140输出。另外,GPS115也可以具备基于GPS信号所包含的信息取得当前时刻,使控制部140计时的时刻修正的功能。
通信部117执行遵循无线LAN(WiFi(注册商标))、Miracast(注册商标)、Bluetooth(注册商标)等标准的无线数据通信。
在外部设备OA与通信部117无线连接的情况下,控制部140通过通信部117取得内容数据,使图像显示部20显示图像。另一方面,在外部设备OA与接口125有线连接的情况下,控制部140通过接口125取得内容数据,使图像显示部20显示图像。通信部117以及接口125作为从外部设备OA取得内容数据的数据取得部DA发挥作用。
控制部140具备执行程序的CPU(省略图示)、暂时储存CPU执行的程序、数据的RAM(省略图示)、以及非易失性地存储CPU执行的基本控制程序、数据的ROM(省略图示)。控制部140读出存储部120存储的计算机程序并执行,作为操作系统(OS)150、图像处理部160、显示控制部170、拍摄处理部181、图像解析部182(处理部)、调整控制部183以及声音处理部187发挥作用。
图像处理部160取得内容所包含的图像信号。图像处理部160从取得到的图像信号分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外,图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期,利用PLL(PhaseLockedLoop:锁相环)电路等(省略图示)生成时钟信号PCLK。图像处理部160利用A/D转换电路等(省略图示)将同步信号被分离后的模拟图像信号转换成数字图像信号。图像处理部160将转换后的数字图像信号作为对象图像的图像数据(图中为Data)按每1帧储存于控制部140的RAM。该图像数据例如是RGB数据。
此外,图像处理部160也可以根据需要进行将图像数据的分辨率转换成适于右显示驱动部22以及左显示驱动部24的分辨率的分辨率转换处理。另外,图像处理部160也可以执行调整图像数据的亮度、饱和度的图像调整处理、根据3D图像数据制作2D图像数据或者根据2D图像数据生成3D图像数据的2D/3D转换处理等。
图像处理部160经由发送部51、52分别发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、储存于RAM的图像数据Data。发送部51、52作为收发器发挥作用,执行控制装置10与图像显示部20之间的串行传输。此外,将经由发送部51发送的图像数据Data称为“右眼用图像数据”,将经由发送部52发送的图像数据Data称为“左眼用图像数据”。
显示控制部170生成控制右显示驱动部22以及左显示驱动部24的控制信号,根据该控制信号,控制分别由右显示驱动部22以及左显示驱动部24进行的图像光的生成以及射出。具体而言,控制由右LCD控制部211进行的右LCD241的驱动开启/关闭、由右背光灯控制部201进行的右背光灯221的驱动开启/关闭。另外,显示控制部170控制由左LCD控制部212进行的左LCD242的驱动开启/关闭、由左背光灯控制部202进行的左背光灯222的驱动开启/关闭。
图像处理部160以及显示控制部170具有根据后述的调整控制部183的控制来变更右LCD241以及左LCD242中的图像的显示位置的功能。具体而言,在调整控制部183生成了表示使显示位置位移的位移量以及位移方向的控制数据的情况下,根据该控制数据,图像处理部160使图像数据位移。另外,显示控制部170根据调整控制部183生成的控制数据,控制右LCD控制部211以及左LCD控制部212,使右LCD241以及左LCD242中的图像的显示位置位移。
并且,图像处理部160以及显示控制部170具有根据后述的调整控制部183的控制,变更右LCD241以及左LCD242中的图像的显示大小的功能。具体而言,在调整控制部183生成了指定显示大小的控制数据的情况下,根据该控制数据,图像处理部160放大或缩小图像数据。另外,显示控制部170根据调整控制部183生成的控制数据,控制右LCD控制部211以及左LCD控制部212,放大或缩小右LCD241以及左LCD242中的图像的显示大小。
也可以图像处理部160以及显示控制部170中的任意一方进行上述处理来变更显示位置。另外,也可以在两方进行上述处理,该情况下,调整控制部183生成分别与图像处理部160和显示控制部170对应的控制数据。
声音处理部187取得内容所包含的声音信号,放大取得到的声音信号,来向右耳机32以及左耳机34输出。另外,声音处理部187取得由麦克风63收集的声音并转换成数字声音数据。声音处理部187也可以对数字声音数据进行预先设定的处理。
图像显示部20具备接口25、右显示驱动部22、左显示驱动部24、作为右光学图像显示部26的右导光板261、作为左光学图像显示部28的左导光板262、相机61、振动传感器65、9轴传感器66。
振动传感器65利用加速度传感器而构成,例如如图1所示,在右保持部21中内置于右光学图像显示部26的端部ER的附近。振动传感器65在使用者进行了敲打端部ER的操作(轻敲操作)的情况下,检测基于该操作的振动,并将检测结果向控制部140输出。根据该振动传感器65的检测结果,控制部140检测使用者的轻敲操作。
9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。控制部140在图像显示部20被佩戴于使用者的头部时,能够基于9轴传感器66的检测值检测使用者的头部的运动。例如,控制部140能够基于9轴传感器66的检测值,推定图像显示部20的倾斜的大小和倾斜的方向。
接口25具备连接右软线42和左软线44的连接器。接口25将从发送部51发送的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、图像数据Data向对应的接收部(Rx)53、54输出。另外,接口25将从显示控制部170发送的控制信号向对应的接收部53、54、右背光灯控制部201或者左背光灯控制部202输出。
另外,接口25是将相机61、振动传感器65以及9轴传感器66连接的接口。振动传感器65的振动的检测结果、9轴传感器66的加速度(3轴)、角速度(3轴)、地磁(3轴)的检测结果经由接口25发送至控制部140。
右显示驱动部22具备上述的右背光灯221、右LCD241以及右投影光学系统251。另外,右显示驱动部22具备接收部53、控制右背光灯(BL)221的右背光灯(BL)控制部201以及驱动右LCD241的右LCD控制部211。
接收部53作为与发送部51对应的接收器来工作,执行控制装置10与图像显示部20之间的串行传输。右背光灯控制部201基于所输入的控制信号驱动右背光灯221。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据Data驱动右LCD241。
左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24具备上述的左背光灯222、左LCD242以及左投影光学系统252。另外,左显示驱动部24具备接收部54、驱动左背光灯222的左背光灯控制部202以及驱动左LCD242的左LCD控制部212。
接收部54作为与发送部52对应的接收器动作,执行控制装置10与图像显示部20之间的串行传输。左背光灯控制部202基于所输入的控制信号驱动左背光灯222。左LCD控制部212基于经由接收部54输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据Data驱动左LCD242。
此外,也将背光灯控制部201、右LCD控制部211、右背光灯221、右LCD241总称为右“图像光生成部”。同样地,也将左背光灯控制部202、左LCD控制部212、左背光灯222、左LCD242总称为左“图像光生成部”。
另外,在使用者佩戴头部佩戴型显示装置100来观察图像的情况下,若使用者的眼睛的位置与使右导光板261以及左导光板262向使用者的眼睛射入的图像光L的位置不对应,则对使用者的图像的观察方式产生影响。
图4的(A)以及(B)是以俯视表示使用者的眼睛与图像显示部20的相对位置的说明图。图4尤其示出使用者的两眼的左右方向上的位置的影响。
在图4的(A)以及(B)中,示出使用者将图像显示部20佩戴于头部,视觉识别位于使用者的前方的对象物O的例子。图像显示部20供使用者视觉识别起到AR(AugmentedReality:增强现实)效果的图像(以下称为AR图像)。使用者隔着右导光板261、左导光板262以及调光板20A视觉识别实际上位于使用者的前方的对象物O,视觉识别AR图像。而且,通过能够将AR图像与对象物O重叠来进行观察,能够得到AR效果。
图像显示部20通过利用右导光板261、左导光板262使图像光L向使用者的眼睛射入来使AR图像视觉识别。此时使用者视觉识别的AR图像并不是形成在右导光板261上的实像,而是图像光L在眼内形成的虚像。在图4的(A)以及(B)中,用附图标记P表示将图像显示部20生成的虚像看成实像的情况下的显示位置。换言之,若在图像显示位置P显示图像(实像),则能够将该图像看成与图像显示部20生成的虚像等价。
图像显示位置P是连结使用者的两眼与对象物O的假想轴线上的位置,由半透镜261A、262A的位置决定,所以图4的(A)以及(B)中的图像显示位置P相同。
如图4的(A)所示,在使用者视觉识别对象物O的情况下,从对象物O分别向右眼RE和左眼LE射入外部光OL。这时,在右眼RE,显示在图像显示位置P的图像之中的位于位置RP的AR图像与对象物O重叠而被视觉识别。另外,在左眼LE,显示在图像显示位置P的图像之中的位于位置LP的AR图像与对象物O重叠而被视觉识别。
因此,头部佩戴型显示装置100若在位置RP、LP显示AR图像,则AR图像与对象物O重叠,能够充分地得到AR效果。
将与图4(A)的例子相比,使用者的右眼RE与左眼LE之间的间隔较大的例子示于图4的(B)。使用者的右眼RE与左眼LE之间的间隔根据使用者的骨骼等而存在个体差异。在右眼RE与左眼LE之间的间隔大的人使用头部佩戴型显示装置100的情况下,成为图4的(B)所例示的状态。在图4的(B)的例子中,在向使用者显示为AR图像与对象物O重叠而被视觉识别的情况下,图像的显示位置为位置LP′、RP′。
像这样,关于使用者的两眼在排列方向上的位置,能够得到以下的见解。即,为了使AR图像与对象物O重叠来进行视觉识别,即使对象物O、使用者以及使用者佩戴的图像显示部20的位置相同,在右眼RE以及左眼LE的位置变化了的情况下,也想要使AR图像的显示位置变化。若采用其他的表现,即希望相对于使用者的两眼左右方向上的AR图像的显示位置位于与右眼RE以及左眼LE对应的位置。
图5的(A)以及(B)是以侧视表示使用者的眼睛与对象物O的相对位置的说明图。图5尤其示出对象物O与右眼RE以及左眼LE之间的距离的影响。在图5的(A)以及(B)中,示出与图4的(A)以及(B)同样地使AR图像与位于使用者的前方的对象物O重叠而进行视觉识别的例子。另外,用附图标记P表示代替图像显示部20实际形成的虚像而将该虚像置换成等价的实像的情况下的图像显示位置。此外,图5的(A)以及(B)表示侧视,所以虽然图示了使用者的左眼LE,但那个认为使用者的右眼RE中的观察方式也相同。
在这些例子中,使用者将AR图像与对象物O重叠来进行视觉识别。即,感觉AR图像在深度方向上位于与对象物O相同位置。因此,若比较与图像显示部20显示的AR图像对应的、对象物O的位置处的大小,则图5的(A)的例子中的图像的大小S比图5的(B)的例子中的图像的大小S′小。
对象物O的位置处的图像的大小S、S′的不同受左眼LE与图像显示位置P之间的距离D1与像显示位置P与对象物O之间的距离D2之比影响。例如,如图5的(A)以及(B)所示,距离D1的大小(长度)不同的情况下,对象物O处的AR图像的大小不同。
在能够与对象物O重叠地观察AR图像的情况下,具有向使用者提供实际的景色所没有的信息、或者以与实际的景色不同的观察方式视觉识别对象物O的效果。因此,希望使AR图像被视觉识别的大小与对象物O的实际的大小对应。因此,希望头部佩戴型显示装置100结合左眼LE与图像显示位置P之间的距离D1以及图像显示位置P与对象物O之间的距离D2,来调整AR图像的显示大小。这里,图像显示位置P与左眼LE之间的距离D1根据图像显示部20的形状、式样而大致恒定。因此,通过至少结合图像显示位置P与对象物O之间的距离D2来进行调整,能够期待使使用者以适当状态视觉识别AR图像的效果。
因此,头部佩戴型显示装置100在使用者佩戴头部佩戴型显示装置100并显示AR图像的情况下,求出使用者的右眼RE及左眼LE与图像显示部20的相对位置,调整AR图像的显示位置。该功能通过控制部140执行的调整处理来实现。
图6是表示调整处理中的头部佩戴型显示装置的动作的流程图。
使用者佩戴头部佩戴型显示装置100(步骤S11),对操作部111进行操作。控制部140与通过操作部111的操作而指示调整处理的开始这一情况对应地读出并启动存储于存储部120的调整应用程序(步骤S12)。根据该调整应用程序的功能,拍摄处理部181、图像解析部182以及调整控制部183开始调整处理。
调整控制部183对显示控制部170输出引导用的图像数据,使对使用者引导用于进行调整的站立位置的图像显示于图像显示部20(步骤S13)。
图7是表示调整处理中的使用者的状态的一个例子的图。如该图7所示,在头部佩戴型显示装置100的调整处理中,使用者站立在镜子M之前。优选使用者站在镜子M的正面以使得相机61能够拍摄映在镜子M上的使用者的镜像。
控制部140如后述那样从相机61的拍摄图像检测使用者的右眼RE以及左眼LE的位置。因此,优选使用者的视线从正面注视镜子M。为了支援使用者,也可以在镜子M标记表示使用者注视的位置的记号M1。也可以在镜子M中,按照与使用者的右眼RE以及左眼LE的高度位置对应的方式在多个高度位置标记记号M1。
调整控制部183对显示控制部170输出引导用的图像数据,使对使用者引导镜子M中注视的位置的图像显示于图像显示部20(步骤S14)。例如,调整控制部183使将图7的记号M1指定为注视位置的图像显示。另外,也可以在通过操作部111输入了使用者的身高的情况下,调整控制部183根据所输入的身高计算适合于调整的注视点的高度,使指定与所算出的高度对应的记号M1的图像显示。这里,优选注视点的高度是使用者的右眼RE以及左眼LE的高度,但也可以是相机61的高度。
接下来,拍摄处理部181控制相机61使其执行拍摄,生成拍摄图像数据(步骤S15)。图像解析部182对拍摄处理部181生成的拍摄图像数据进行解析,从拍摄图像数据抽出使用者以及头部佩戴型显示装置100的镜像(步骤S16)。
图像解析部182基于抽出的图像,取得与头部佩戴型显示装置100的佩戴状态有关的数据(步骤S17)。即,图像解析部182根据抽出的图像数据,计算将图像显示部20的右保持部21(图1)与左保持部23(图1)连结的直线和表示使用者的头部的左右方向的直线,取得计算出的2条直线所成的角度的数据。
调整控制部183判定图像解析部182取得到的数据是否是预先设定的适当范围内的值(步骤S18)。表示适当范围的数据作为设定数据121被预先存储于存储部120。
在与佩戴状态有关的数据不在适当范围内的情况下(步骤S18;否),能够看成使用者的头部的倾斜和图像显示部20的倾斜不合适,即,图像显示部20的佩戴状态不是适当的状态。
该情况下,调整控制部183对显示控制部170输出引导用的图像数据,使对使用者引导改正头部佩戴型显示装置100的佩戴状态的图像显示于图像显示部20(步骤S19)。之后,控制部140返回至步骤S15进行拍摄。
在与佩戴状态有关的数据在适当范围内的情况下(步骤S18;是),调整控制部183取得图像显示部20具备的传感器的检测值(步骤S20),基于取得到的检测值计算或取得与使用者的姿势有关的数据(步骤S21)。调整控制部183例如基于9轴传感器66检测的加速度的检测值,计算表示相对于铅垂方向的使用者的头部的倾斜的数据。
调整控制部183判定图像解析部182取得到的数据是否是预先设定的适当范围内的值(步骤S22)。表示适当范围的数据作为设定数据121预先存储于存储部120。
在与佩戴状态有关的数据不在适当范围内的情况下(步骤S22;否),能够看成图像显示部20的倾斜、即使用者的姿势不是适当的状态。
该情况下,调整控制部183对显示控制部170输出引导用的图像数据,使对使用者引导改正姿势的图像显示于图像显示部20(步骤S23)。之后,控制部140返回至步骤S20进行姿势的检测。
此外,也可以在步骤S20以及S21中,调整控制部183基于相机61的拍摄图像数据,检测姿势,取得与姿势有关的数据。该情况下,图像解析部182解析拍摄图像数据,检测使用者的头部的倾斜或者图像显示部20的倾斜。例如,也可以从拍摄图像数据抽出使用者的头部或者图像显示部20的镜像计算倾斜,也可以从拍摄图像数据检测镜子M的边缘,计算相对于镜子M的高度方向的相机61的倾斜。
在使用该方法的情况下,控制部140在步骤S23之后,返回至步骤S15,再次执行由相机61进行的拍摄。
在与佩戴状态有关的数据在适当范围内的情况下(步骤S22;是),调整控制部183执行图像的显示位置以及/或者大小的调整。
图像解析部182解析从拍摄图像数据抽出的图像显示部20的镜像,解析半透镜261A、262A与使用者的右眼RE、左眼LE的相对位置(步骤S24)。
图8是以主视表示使用者的眼睛与半透镜261A、262A的相对位置的例子的图。
图像解析部182根据从拍摄图像数据抽出的图像显示部20的镜像分别确定半透镜261A、262A的中心位置。接下来,图像解析部182根据从相同的拍摄图像数据提取出的像来确定右眼RE的中心位置和左眼LE的中心位置。这里,图像解析部182也可以用拍摄图像数据中的坐标计算确定出的位置。
图像解析部182基于确定出的位置,解析半透镜261A与右眼RE的相对位置、以及半透镜262A与左眼LE的相对位置。
这里,图像解析部182也可以从拍摄图像数据提取出图像显示部20的镜像,根据该图像显示部20的镜像的边缘推定并计算半透镜261A、262A的中心位置。右导光板261、左导光板262被固定地设置在图像显示部20的右保持部21、左保持部23,而被定位。因此,基于图像显示部20的规格,已知图像显示部20的外缘与半透镜261A、262A的中心位置之间的位置关系。因此,不需要从拍摄图像数据抽出半透镜261A、262A的镜像。由此,能够不受右导光板261、左导光板262以及半透镜261A、262A的光学特性的影响地求得半透镜261A、262A的位置。
另外,为了避免在使用者眨眼了的情况下以及使用者的眼睛进行称为眼跳动(连续运动或者微型眼跳动)的眼球运动的情况下的影响,也可以拍摄处理部181使相机61在不同时刻进行多次拍摄。该情况下,也可以图像解析部182分别基于拍摄处理部181生成的多个拍摄图像数据求出右眼RE的位置以及左眼LE的位置,将从各拍摄图像数据求出的位置的平均值作为右眼RE的位置以及左眼LE的位置。
接下来,图像解析部182基于从拍摄图像数据抽出的图像显示部20的镜像的大小,计算图像显示部20与镜子M之间的距离(步骤S25)。能够利用图像显示部20离镜子M越远,拍摄图像数据中的图像显示部20的像越小的情况,来计算距离。另外,图像显示部20也可以具备与相机61的拍摄方向大致相同方向的深度(Depth)传感器、测距仪。该情况下,也可以图像解析部182基于深度传感器、测距仪的检测值,计算到镜子M的距离。作为深度传感器、测距仪,例如能够采用使用可见光、红外光、激光等光的方式、使用超声波等的方式的仪器。
这里,存储部120将表示成人的平均的眼睛(瞳孔)的宽度(或者直径)的数据例如作为设定值预先存储于存储部120。图像解析部182基于从拍摄图像数据抽出的使用者的瞳孔的宽度和存储于存储部120的该数据表示的宽度,计算使用者的瞳孔与镜子M之间的距离。该使用者的瞳孔与镜子M之间的距离能够通过使用为了求得该距离的推定值而预先设定的运算式进行运算,从而导出。然后,图像解析部182求出使用者的瞳孔与镜子M之间的距离与在步骤S25中计算出的距离之差。该差与图5的(A)以及(B)的距离D1对应。
另外,也可以在存储部120中,代替表示成人的眼睛的平均宽度的数据,而存储表示按每个使用者测定出的瞳孔的宽度的数据。另外,也可以代替瞳孔的宽度而存储部120存储与平均的脸的大小(纵长度、横宽度)有关的数据,基于该平均的脸的大小的数据和与从拍摄图像数据抽出的使用者的脸的大小有关的数据,求出距离D1。
图像解析部182基于在上述处理中计算出的数据,生成与右显示驱动部22以及左显示驱动部24显示的图像的位置或者大小有关的数据(步骤S26)。调整控制部183基于图像解析部182生成的数据,决定显示位置以及/或者大小(步骤S27),生成调整显示位置以及/或者大小的控制数据,并向图像处理部160以及/或者显示控制部170输出(步骤S28)。由此,右LCD241、左LCD242中的图像的显示位置、显示大小被调整。另外,也可以调整控制部183对显示控制部170输出引导用的图像数据,通知进行了图像的显示位置、显示大小的调整。该情况下,也可以能够通过操作部111输入使用者是否允许调整后的图像的显示位置、显示大小,能够输入调整的结束的指示、调整的重新进行的指示。之后,控制部140结束调整应用程序(步骤S29)。
如上述所述,在本实施方式中,调整控制部183基于瞳孔与图像显示部20之间的距离D1和图像显示部20与镜子M之间的距离来调整图像的大小。也可以代替这样的构成,省略推定(导出)距离D1的处理。该情况下,调整控制部183能够仅基于图像显示部20与镜子M之间的距离,调整图像的显示位置以及/或者大小。该情况下,能够根据需要,图像的大小由使用者例如通过操作部111的操作手动地进一步进行调整。此外,除了距离D1的推定的省略,也可以省略图像显示部20与镜子M之间的距离的推定。在省略了这些推定的情况下,也能够相对于右眼RE的位置以及左眼LE的位置,适当地调整右显示驱动部22以及左显示驱动部24显示的图像的位置的相对位置。
如以上说明那样,应用了本发明的实施方式的头部佩戴型显示装置100具备:佩戴部,其构成为供使用者佩戴;图像显示部20,其被设置于佩戴部,具有使表示图像的图像光L在使用者佩戴了佩戴部的情况下向使用者的眼睛射入的右导光板261、左导光板262;相机61;图像解析部182,其在使用者佩戴了佩戴部的情况下基于相机61的拍摄图像检测使用者的眼睛与右导光板261、左导光板262的对应状态;调整控制部183,其基于图像解析部182检测出的对应状态,调整图像显示部20或者右导光板261、左导光板262。
这里,佩戴部只要是供使用者佩戴的部分即可,例如能够列举与使用者的身体直接接触的右保持部21以及左保持部23,但也可以使固定地设置于右保持部21以及/或者左保持部23的其他构成部包含于佩戴部。另外,在被佩戴这一点上,不与使用者的身体接触的构成部也相当于佩戴部,例如右导光板261、左导光板262间接地固定或者保持于使用者的身体,所以相当于佩戴部。因此,除了控制系(接收部53、54、右背光灯控制部201、左背光灯控制部202、右LCD控制部211以及左LCD控制部212)以外的所有构成部分独立地或者与其他的构成部分一起相当于佩戴部。作为狭义的佩戴部,与使用者的身体接触的构造物或者构造物的一部分相当于佩戴部。
根据该构成,在使用者佩戴了头部佩戴型显示装置100的情况下,检测使用者的眼睛与右导光板261、左导光板262的对应状态并进行调整,由此使用者能够以优选状态视觉识别图像。
另外,图像解析部182基于相机61的拍摄图像,检测右导光板261、左导光板262与使用者的眼睛的相对位置,调整控制部183基于图像解析部182检测出的右导光板261、左导光板262与眼睛的相对位置,调整图像显示部20或者右导光板261、左导光板262以使得使图像的位置位于与眼睛对应的位置。由此,即使头部佩戴型显示装置100的佩戴位置、角度不是最佳,使用者也能够以优选状态视觉识别图像。
另外,图像显示部20具备将图像光L向右导光板261、左导光板262射出的右显示驱动部22、左显示驱动部24,右导光板261、左导光板262具有将从右显示驱动部22、左显示驱动部24射入的图像光L朝向使用者的眼睛反射的半透镜261A、262A,图像解析部182检测使用者的眼睛的位置与半透镜261A、262A的位置的对应状态,所以能够将向使用者的眼睛射入的图像光L的位置调整至适当的位置。
另外,相机61在使用者佩戴了佩戴部的情况下拍摄使用者的视线方向,图像解析部182通过从相机61的拍摄图像检测映在位于使用者的视线方向上的光反射体(例如镜子M)上的使用者的像以及图像显示部20或者右导光板261、左导光板262的像,来检测使用者的眼睛与右导光板261、左导光板262的对应状态。例如,相机61能够以检测并识别位于使用者的视线方向上的对象物O为目的来使用,在显示与该对象物O对应的AR图像的情况下使用。因此,利用在调整以外的目的下能够使用的相机61,所以能够避免以调整为目的的装置构成的复杂化。
另外,图像解析部182从映在光反射体上的使用者的像检测使用者的眼睛的像以及右导光板261、左导光板262的像,检测使用者的眼睛的位置与右导光板261、左导光板262的位置的对应状态,所以能够利用映在光反射体上的像更加适当地进行调整。
此外,本发明并不局限于上述实施方式的构成,在不脱离其要旨的范围内能够以各种方式实施。
另外,例如,也可以代替图像显示部20,而采用例如如帽子那样进行佩戴的图像显示部等其他方式的图像显示部,只要具备与使用者的左眼对应地显示图像的显示部和与使用者的右眼对应地显示图像的显示部即可。另外,本发明的显示装置例如也可以构成为搭载于汽车、飞机等车辆的头戴式显示器。另外,例如,也可以构成为内置于头盔等身体防护具的头戴式显示器。该情况下,能够将对相对于使用者的身体的位置进行定位的部分以及相对于该部分被定位的部分作为佩戴部。
并且,在上述实施方式中,列举图像显示部20与控制装置10分离,经由连接部40连接的构成为例来进行了说明,但是也可以将控制装置10和图像显示部20一体地构成,形成佩戴于使用者的头部的构成。
另外,作为控制装置10,也可以使用笔记本型计算机、平板型计算机或者台式计算机。另外,作为控制装置10,也可以使用包括游戏机、便携式电话、智能手机、便携式媒体播放器的便携式电子设备、其他的专用设备等。另外,也可以构成为:控制装置10与图像显示部20以分离的方式构成,在控制装置10与图像显示部20之间通过无线通信接收发送各种信号。
另外,例如,在图像显示部20中作为生成图像光的构成,也可以是具备有机EL(有机电致发光、OrganicElectro-Luminescence)的显示器和有机EL控制部的构成。另外,作为生成图像光的构成,也能够使用LCOS(Liquidcrystalonsilicon,LCoS为注册商标)、数字微镜器件等。
另外,作为将图像光向使用者的眼睛引导的光学系统,能够采用具备使从外部朝向装置射入的外部透光的光学部件,并与图像光一起向使用者的眼睛射入的构成。另外,也可以使用位于使用者的眼睛的前方且与使用者的视野的一部分或者全部重叠的光学部件。并且,也可以采用扫描激光等来形成图像光的扫描方式的光学系统。另外,不局限于在光学部件的内部使图像光导光,也可以仅具有朝向使用者的眼睛使图像光折射以及/或者反射来进行引导的功能。
例如,也可以对激光视网膜投影型的头戴式显示器应用本发明。即,也可以采用以下构成:光射出部具备激光源、将激光源向使用者的眼睛引导的光学系统,通过使激光向使用者的眼睛射入并在视网膜上扫描并在视网膜成像,由此使使用者视觉识别图像。
另外,也能够将本发明应用于采用使用了MEMS镜的扫描光学系统、利用了MEMS显示器技术的显示装置。即,也可以具备信号光形成部、具有对信号光形成部射出的光进行扫描的MEMS镜的扫描光学系统、通过由扫描光学系统扫描的光形成虚像的光学部件来作为光射出部。在该构成中,信号光形成部射出的光被MEMS镜反射并向光学部件射入,在光学部件中被引导,到达虚像形成面。通过MEMS镜扫描光,在虚像形成面形成虚像,通过使用者用眼睛捕捉该虚像,来识别图像。该情况下的光学部件可以是例如上述实施方式的右导光板261以及左导光板262那样经由多次反射来引导光的部件,也可以利用半透镜面。
并且,本发明的光学元件并不限定于具有半透镜261A、262A的右导光板261、左导光板262,只要是使图像光射入使用者的眼睛的光学部件即可,具体而言,也可以使用衍射光栅、棱镜、全息显示部。
另外,图3所示的各功能块之中的至少一部分可以由硬件实现,也可以是通过硬件与软件协作来实现的构成,并不限定于如图3所示那样配置独立的硬件资源的构成。另外,控制部140执行的程序可以存储于存储部120或者控制装置10内的存储装置,也可以是经由通信部117或者接口125取得存储于外部的装置的程序来执行的构成。另外,也可以在控制装置10中形成的构成之中,仅操作部111作为单独的使用者接口(UI)而形成。另外,也可以将形成在控制装置10的构成重复地形成于图像显示部20。例如,可以将图3所示的控制部140形成在控制装置10和图像显示部20这两方,也可以构成为形成在控制装置10的控制部140和形成在图像显示部20的CPU进行的功能分别分开。
附图标记说明:10…控制装置;20…图像显示部(显示部);21…右保持部;22…右显示驱动部(光射出部);23…左保持部;24…左显示驱动部(光射出部);25…接口;26…右光学图像显示部;28…左光学图像显示部;61…相机(拍摄部);63…麦克风;100…头部佩戴型显示装置(显示装置);117…通信部;120…存储部;125…接口;140…控制部;150…操作系统;160…图像处理部;170…显示控制部;181…拍摄处理部;182…图像解析部(处理部);183…调整控制部;187…声音处理部;201…右背光灯控制部;202…左背光灯控制部;211…右LCD控制部;212…左LCD控制部;221…右背光灯;222…左背光灯;241…右LCD;242…左LCD;251…右投影光学系统;252…左投影光学系统;261…右导光板(光学元件);262…左导光板(光学元件);261A;262A…半透镜(反射面)。

Claims (6)

1.一种显示装置,其特征在于,具备:
佩戴部,其构成为供使用者佩戴;
显示部,其被设置于所述佩戴部,并具有使表示图像的图像光在所述佩戴部被所述使用者佩戴的情况下向所述使用者的眼睛射入的光学元件;
拍摄部,其被设置于所述佩戴部;
处理部,其在所述佩戴部被所述使用者佩戴的情况下,基于所述拍摄部的拍摄图像来检测所述使用者的眼睛与所述光学元件的对应状态;
调整控制部,其基于所述处理部检测出的对应状态,来调整所述显示部或者所述光学元件。
2.根据权利要求1所述的显示装置,其特征在于,
所述处理部基于所述拍摄部的拍摄图像来检测所述光学元件与所述眼睛的相对位置,
所述调整控制部基于所述处理部检测出的所述光学元件与所述眼睛的相对位置,来调整所述显示部或者所述光学元件以使所述图像的位置位于与所述眼睛对应的位置。
3.根据权利要求2所述的显示装置,其特征在于,
所述显示部具备将图像光向所述光学元件射出的光射出部,
所述光学元件具有将从所述光射出部射入的图像光朝向所述使用者的眼睛反射的反射面,
所述处理部检测所述使用者的眼睛的位置与所述反射面的位置的对应状态。
4.根据权利要求1至3中任意一项所述的显示装置,其特征在于,
所述拍摄部在所述使用者佩戴了所述佩戴部的情况下拍摄所述使用者的视线方向,
所述处理部通过从所述拍摄部的拍摄图像检测映在位于所述使用者的视线方向上的光反射体上的所述使用者的像、以及所述显示部或者所述光学元件的像,来检测所述使用者的眼睛与所述光学元件的对应状态。
5.根据权利要求4所述的显示装置,其特征在于,
所述处理部从映在所述光反射体上的所述使用者的像检测所述使用者的眼睛的像以及所述光学元件的像,并检测所述使用者的眼睛的位置与所述光学元件的位置的对应状态。
6.一种显示装置的控制方法,其特征在于,
所述显示装置包括:
佩戴部,其构成为供使用者佩戴;
显示部,其被设置于所述佩戴部,并具有使表示图像的图像光在所述佩戴部被所述使用者佩戴的情况下向所述使用者的眼睛射入的光学元件;以及
拍摄部,其被设置于所述佩戴部,
所述控制方法包括:
在所述佩戴部被所述使用者佩戴的情况下,基于所述拍摄部的拍摄图像来检测所述使用者的眼睛与所述光学元件的对应状态,并且
基于检测出的对应状态,来调整所述显示部或者所述光学元件。
CN201510690853.7A 2014-10-27 2015-10-22 显示装置以及显示装置的控制方法 Pending CN105549203A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014218236A JP6492531B2 (ja) 2014-10-27 2014-10-27 表示装置、及び、表示装置の制御方法
JP2014-218236 2014-10-27

Publications (1)

Publication Number Publication Date
CN105549203A true CN105549203A (zh) 2016-05-04

Family

ID=55791873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690853.7A Pending CN105549203A (zh) 2014-10-27 2015-10-22 显示装置以及显示装置的控制方法

Country Status (3)

Country Link
US (1) US20160116741A1 (zh)
JP (1) JP6492531B2 (zh)
CN (1) CN105549203A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107872659A (zh) * 2016-09-23 2018-04-03 卡西欧计算机株式会社 投影装置以及投影方法
CN114341703A (zh) * 2019-09-25 2022-04-12 Jvc建伍株式会社 显示装置、显示系统、显示调整方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594839B1 (ko) * 2014-09-12 2016-02-17 고려대학교 산학협력단 전두엽 활성 게임 제공 방법 및 장치
EP3249934A4 (en) * 2015-01-21 2018-12-05 Sony Corporation Information processing apparatus, communication system, information processing method and program
US9703374B1 (en) * 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
US10488653B2 (en) * 2017-11-17 2019-11-26 Microsoft Technology Licensing, Llc Display alignment tracking in display systems
DE102018105917A1 (de) * 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
CN108732764A (zh) 2018-06-06 2018-11-02 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
JP2021047227A (ja) * 2019-09-17 2021-03-25 セイコーエプソン株式会社 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム
US11719942B2 (en) * 2021-06-25 2023-08-08 Meta Platforms Technologies, Llc Offsetting image light aberration due to waveguide movement in display assemblies using information from piezoelectric movement sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN104049365A (zh) * 2013-03-13 2014-09-17 精工爱普生株式会社 虚像显示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2939135B1 (fr) * 2008-12-02 2010-12-03 Galderma Res & Dev Nouveaux composes 4-(azacycloalkyl)-benzene-1,3-diol comme inhibiteurs de la tyrosinase, leur procede de preparation et leur utilisation en medecine humaine ainsi qu'en cosmetique
JP2010262232A (ja) * 2009-05-11 2010-11-18 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US9835864B2 (en) * 2012-07-24 2017-12-05 Sony Corporation Image display apparatus and method for displaying image
CN104603717A (zh) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 显示装置、显示方法以及程序
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN104049365A (zh) * 2013-03-13 2014-09-17 精工爱普生株式会社 虚像显示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107872659A (zh) * 2016-09-23 2018-04-03 卡西欧计算机株式会社 投影装置以及投影方法
CN107872659B (zh) * 2016-09-23 2019-11-05 卡西欧计算机株式会社 投影装置以及投影方法
CN114341703A (zh) * 2019-09-25 2022-04-12 Jvc建伍株式会社 显示装置、显示系统、显示调整方法
CN114341703B (zh) * 2019-09-25 2024-02-02 Jvc建伍株式会社 显示装置、显示系统、显示调整方法

Also Published As

Publication number Publication date
JP2016085350A (ja) 2016-05-19
US20160116741A1 (en) 2016-04-28
JP6492531B2 (ja) 2019-04-03

Similar Documents

Publication Publication Date Title
CN105549203A (zh) 显示装置以及显示装置的控制方法
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
CN105739095B (zh) 显示装置以及显示装置的控制方法
CN104423045A (zh) 头部佩戴型显示装置
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
JP2013178639A (ja) 頭部装着型表示装置および画像表示システム
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6903998B2 (ja) ヘッドマウントディスプレイ
JP6707809B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
CN105319716A (zh) 显示装置、显示装置的控制方法及程序
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017092628A (ja) 表示装置、及び、表示装置の制御方法
US9866823B2 (en) Head mounted display device, control method for head mounted display device, and computer program
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160504