CN116520570A - 虚像显示装置 - Google Patents

Abstract

提供虚像显示装置，在维持第1图像的显示精度的同时，灵活运用在来自信息终端的图像中未使用的区域。虚像显示装置(100)具有：第1取得部(8a)，其从信息终端取得第1图像；第2取得部(8b)，其取得与第1图像不同的第2图像；校正部(8c)，其使第1图像发生畸变；生成部(8d)，其生成包含第2图像和畸变后的第1图像的第3图像或第4图像；以及显示元件(11)，其显示第3图像或第4图像。

Description

虚像显示装置

技术领域

本发明涉及能够观察虚像的虚像显示装置。

背景技术

公开了如下的图像显示装置，在该图像显示装置中，进行变形校正来作为数据处理，并使进行了变形处理的图像显示于图像显示元件，在变形校正中，对显示于图像显示元件的输入图像，赋予与由用于观察显示于图像显示元件的图像的光学系统产生的畸变相反方向的变形(专利文献1)。

专利文献1：日本特开2008-058703号公报

在上述专利文献1的装置中，在图像显示元件中显示的变形校正后的图像的轮廓形状与图像显示元件的显示面的轮廓形状不同，在显示面中产生未使用于图像显示的区域。这样的未使用于显示的区域尽管是在所投射的图像上能够显示的区域，但却被浪费。

发明内容

本发明一个方面的虚像显示装置具有：第1取得部，其从信息终端取得第1图像；第2取得部，其取得与第1图像不同的第2图像；校正部，其使第1图像发生畸变；生成部，其生成包含第2图像和畸变后的第1图像的第3图像；以及显示元件，其显示第3图像。

附图说明

图1是说明第1实施方式的虚像显示装置的佩戴状态的外观立体图。

图2是说明虚像显示装置的内部构造的侧剖视图。

图3是说明虚像显示装置的电路结构的框图。

图4是说明显示像的畸变校正的概念图。

图5是说明虚像显示装置中的图像处理所使用的图像以及显示图像的概念图。

图6是说明由虚像显示装置投射的虚像的概念图。

图7是说明虚像显示装置的显示图像以及与该显示图像对应的虚像的概念图。

图8是说明虚像显示装置中的图像处理的流程图。

图9是说明畸变后的第1图像的变形例的图。

图10是说明第2实施方式的虚像显示装置中的图像处理的流程图。

图11是说明第2实施方式的虚像显示装置的显示图像以及与该显示图像对应的虚像的概念图。

图12是说明第3实施方式的虚像显示装置的俯视图。

标号说明

AX：光轴；DA0：显示像；DA1：修正显示像；DN1～DN5：辅助区域；DR：图像显示区域；EY：眼睛；IG0：畸变像；IG1：投射像；IM0：初始图像；IM1：修正图像；IM2：追加图像；IM3：合成图像；IMb：修正显示像；IMr：修正显示像；IP：虚像；IP1：显示像；IP2：信息显示；ML：图像光；NN：附近；NR：非显示区域；OL：外界光；OR：外框区域；OS：离轴光学系统；PP：瞳孔位置；PR：初始区域；US：佩戴者；8a：第1取得部；8b：第2取得部；8c：校正部；8d：生成部；11：显示元件；11a：显示面；12：投射光学系统；20：成像光学系统；21：投射透镜；22：棱镜反射镜；23：透视反射镜；25：导光体；28：楔形光学元件；51：壳体；61：支承板；70：电路系统；71：导光部件；72：透光部件；81：微处理器；81a：运算处理装置；81c：数据通信接口；81m：存储装置；83：显示用控制器；83m：存储器；85：附属电路；88：显示控制装置；90：用户终端；91：用户终端电路；91a：主控制装置；91c：数据通信接口；91i：用户界面装置；91m：存储装置；91t：移动体用无线通信装置；100：虚像显示装置；100A：第1显示装置；100B：第2显示装置；100C：支承装置；102：显示驱动部；103：外观部件；920：成像光学系统。

具体实施方式

[第1实施方式]

以下，参照图1～图3等对本发明第1实施方式的虚像显示装置进行说明。

图1是说明头戴式显示器(以下也称为HMD。)200的佩戴状态的图，HMD 200使佩戴该头戴式显示器的观察者或者佩戴者US识别作为虚像的影像。在图1等中，X、Y以及Z是正交坐标系，+X方向与佩戴HMD 200或者虚像显示装置100的观察者或者佩戴者US的双眼EY排列的横向对应，+Y方向相当于与对于佩戴者US而言的双眼EY排列的横向垂直的上方，+Z方向相当于对于佩戴者US而言的前方或者正面方向。±Y方向与铅直轴或铅直方向平行。

HMD 200具有右眼用的第1显示装置100A、左眼用的第2显示装置100B、支承显示装置100A、100B的镜腿状的一对支承装置100C以及作为信息终端的用户终端90。第1显示装置100A由配置于上部的显示驱动部102和以眼镜镜片状覆盖眼前的外观部件103构成。第2显示装置100B也同样地由配置于上部的显示驱动部102和以眼镜镜片状覆盖眼前的外观部件103构成。支承装置100C经由显示驱动部102支承外观部件103的上端侧。第1显示装置100A和第2显示装置100B在光学上左右反转，因此关于第2显示装置100B，省略详细的说明。

图2是说明第1显示装置100A的光学构造的侧剖视图。第1显示装置100A具有显示元件11、成像光学系统20和显示控制装置88。成像光学系统20具有投射透镜21、棱镜反射镜22、楔形光学元件28和透视反射镜23。在成像光学系统20中，投射透镜21、棱镜反射镜22和楔形光学元件28对应于入射与后述的第3或第4图像的合成图像对应的图像光ML的光学部件，透视反射镜23对应于使从上述光学部件射出的图像光ML朝向眼睛EY或瞳孔位置PP反射的反射部件。另外，成像光学系统20中的投射透镜21、棱镜反射镜22和楔形光学元件28与图1所示的显示驱动部102对应，透视反射镜23与图1所示的外观部件103对应。将显示元件11、投射透镜21、棱镜反射镜22以及楔形光学元件28组合而成的结构称为投射光学系统12，它们以相互对准的状态固定于壳体51内。壳体51由遮光性的材料形成，支承使显示元件11动作的显示控制装置88。壳体51具有开口51a，楔形光学元件28嵌入并固定于开口51a的周围。开口51a能够使投射光学系统12朝向外部射出图像光ML。

显示元件11是自发光型的显示设备。显示元件11例如是有机EL(有机电致发光，Organic Electro-Luminescence)显示器，在二维的显示面11a形成彩色的静态图像或动态图像。显示元件11沿着相对于XY面绕X轴稍微旋转而倾斜的xy面配置。显示元件11被显示控制装置88驱动而进行显示动作。

显示元件11不限于有机EL显示器，也可以置换为使用无机EL、有机LED、LED阵列、激光器阵列、量子点发光型元件等的显示设备。显示元件11不限于自发光型的图像光生成装置，也可以由LCD等光调制元件构成，通过利用背光源这样的光源对该光调制元件进行照明来形成图像。作为显示元件11，也可以代替LCD而使用LCOS(Liquid crystal onsilicon：硅基液晶，LCoS是注册商标)、数字微镜器件等。

成像光学系统20中的投射透镜21包含第1透镜21p和第2透镜21q。第1透镜21p具有入射面21a和射出面21b，第2透镜21q具有入射面21c和射出面21d。投射透镜21接受从显示元件11射出的图像光ML，并使其入射到棱镜反射镜22。投射透镜21将从显示元件11射出的图像光ML会聚为接近平行光束的状态。棱镜反射镜22具有入射面22a、内反射面22b和射出面22c。棱镜反射镜22使从前方入射的图像光ML以朝相对于使入射方向反转的方向(从棱镜反射镜22观察到的光源的方向)倾斜的方向折回的方式射出。楔形光学元件28具有第1面28a和第2面28b，使从棱镜反射镜22射出并朝向透视反射镜23的图像光ML通过。透视反射镜23具有反射面23a和外侧面23o。透视反射镜23将形成于棱镜反射镜22的光射出侧的中间像放大。

成像光学系统20由于透视反射镜23是凹面镜等而成为离轴光学系统OS。在本实施方式的情况下，投射透镜21、棱镜反射镜22以及透视反射镜23非轴对称地配置，具有非轴对称的光学面。成像光学系统20是离轴光学系统OS是指，在构成成像光学系统20的光学要素21、22、28、23中，在光线向多个反射面或折射面入射的前后，光路整体弯折。在该成像光学系统20即离轴光学系统OS中，以光轴AX沿着与纸面对应的离轴面(与YZ面平行的面)延伸的方式进行光轴AX的弯折。在该成像光学系统20中，通过在与YZ面平行的离轴面内进行光轴AX的弯折，沿着该离轴面排列光学要素21、22、28、23。成像光学系统20的光轴AX包含沿着在纵向上延伸的基准面即离轴面(与YZ面平行的面)配置且在反射面的前后相互倾斜的光轴部分AX1、AX2、AX3。作为整体的光轴AX沿着从显示元件11的中心射出的主光线的光路延伸，通过相当于眼点的射出光瞳ER或瞳孔的中心。光轴AX在以与YZ面平行的横截面观察的情况下，由多个光轴部分AX1、AX2、AX3形成了Z字状的配置。即，在与YZ面平行的离轴面中，从投射透镜21到内反射面22b的光路P1、从内反射面22b到透视反射镜23的光路P2、以及从透视反射镜23到瞳孔位置PP的光路P3成为以Z字状分两个阶段地折返的配置。成像光学系统20为纵向排列。与其对应地，作为基准面的离轴面(与YZ面平行的面)与纵向的Y方向平行地延伸。在该情况下，构成第1显示装置100A的光学要素21、22、28、23在纵向上改变高度位置地排列，能够防止第1显示装置100A的横向宽度的增大。

成像光学系统20中的从投射透镜21到内反射面22b的光路P1朝向后方而向斜上方延伸。即，在光路P1中，光轴部分AX1向接近-Z方向与+Y方向的中间的方向延伸。从内反射面22b到透视反射镜23的光路P2朝向前方向斜下方延伸。即，在光路P2中，光轴部分AX2向接近+Z方向与-Y方向的中间的方向延伸。但是，在以水平面方向(XZ面)为基准的情况下，光路P2的倾斜比光路P1的倾斜大。从透视反射镜23到瞳孔位置PP的光路P3成为与Z方向接近平行的状态，但在图示的例子中，光轴部分AX3以朝+Z方向的向下为负时，为-10°左右。即，将光轴部分AX3延长后的射出光轴EX相对于与前方的+Z方向平行的中心轴HX向下倾斜10°左右而延伸。这是因为，人的视线在比水平方向朝下侧倾斜约10°的、眼睛稍微朝下的状态下是稳定的。另外，相对于瞳孔位置PP在水平方向上延伸的中心轴HX是设想佩戴了第1显示装置100A的佩戴者US以直立姿势放松地朝向正面注视水平方向或水平线的情况的中心轴。

构成投射透镜21的第1透镜21p的入射面21a和射出面21b在与YZ面平行且与光轴AX交叉的纵向上隔着光轴AX具有不对称性，在横向或X方向上隔着光轴AX具有对称性。构成投射透镜21的第2透镜21q的入射面21c和射出面21d在与YZ面平行且与光轴AX交叉的纵向上隔着光轴AX具有不对称性，在横向或X方向上隔着光轴AX具有对称性。第1透镜21p和第2透镜21q例如由树脂形成，但也可以为玻璃制。第1透镜21p的入射面21a和射出面21b例如是自由曲面。入射面21a和射出面21b不限于自由曲面，也可以是非球面。第2透镜21q的入射面21c和射出面21d例如是自由曲面。入射面21c和射出面21d不限于自由曲面，也可以是非球面。通过将入射面21a、21c或射出面21b、21d设为自由曲面或非球面，能够实现像差降低，特别是在使用了自由曲面的情况下，容易提高偏心系统的光学性能，因此容易降低作为非共轴的离轴光学系统OS的成像光学系统20的像差。虽省略详细的图示，但在入射面21a、21c及射出面21b、21d上形成有防反射膜。

棱镜反射镜22是具有使反射镜和透镜复合的功能的折射反射光学部件，使来自投射透镜21的图像光ML折射并反射。棱镜反射镜22是第1反射光学部件，使图像光ML经由入射面22a入射到内部，使入射的图像光ML通过内反射面22b向非正面方向全反射，并使入射的图像光ML经由射出面22c向外部射出。入射面22a和射出面22c是由曲面构成的光学面，与仅反射面的情况或将它们设为平面的情况相比，有助于分辨率提高。构成棱镜反射镜22的光学面即入射面22a、内反射面22b和射出面22c在与YZ面平行且与光轴AX交叉的纵向上隔着光轴AX具有不对称性，在横向或X方向上隔着光轴AX具有对称性。棱镜反射镜22例如由树脂形成，但也可以为玻璃制。棱镜反射镜22的主体的折射率被设定为还参考图像光ML的反射角来实现内表面的全反射的值。棱镜反射镜22的光学面(即入射面22a、内反射面22b和射出面22c)例如是自由曲面。入射面22a、内反射面22b和射出面22c不限于自由曲面，也可以是非球面。在棱镜反射镜22中，通过使光学面22a、22b、22c为自由曲面或非球面，能够实现像差降低，特别是在使用自由曲面的情况下，容易提高偏心系统的光学性能。关于内反射面22b，不限于通过全反射来反射图像光ML，也可以是由金属膜或电介质多层膜构成的反射面。在该情况下，在内反射面22b上，通过蒸镀等形成由例如Al、Ag那样的金属形成的单层膜或多层膜所构成的反射膜，或者粘贴由金属形成的片状的反射膜。虽省略详细的图示，但在入射面22a和射出面22c上形成有防反射膜。

楔形光学元件28配置在棱镜反射镜22与透视反射镜23之间，具有透光性。楔形光学元件28具有改善成像状态的作用。设置于楔形光学元件28的入射侧的第1面28a平坦但为自由曲面，在与YZ面平行的纵向上隔着光轴AX具有不对称性，在与YZ面垂直的X方向即横向上隔着光轴AX具有对称性。在第1面28a形成有防反射膜。设置于楔形光学元件28的射出侧的第2面28b为平面，形成有防反射膜。楔形光学元件28的厚度在作为前侧的+Z侧增加。由此，能够抑制由棱镜反射镜22等引起的畸变像差的产生。楔形光学元件28的折射率与棱镜反射镜22的折射率不同。由此，能够在楔形光学元件28与棱镜反射镜22等之间调整折射、分散的程度，例如容易实现消色差。

透视反射镜23是作为凹的表面镜发挥功能的弯曲的板状的光学部件，反射来自棱镜反射镜22的图像光ML。即，透视反射镜23将来自配置于投射光学系统12的射出区域的楔形光学元件28的图像光ML朝向瞳孔位置PP反射。透视反射镜23覆盖眼睛EY或瞳孔所配置的瞳孔位置PP，并且朝向瞳孔位置PP具有凹形，朝向外界具有凸形。透视反射镜23是覆盖视野中的画面的有效区域整体的凹面透射镜。透视反射镜23是具有会聚功能的准直器，使从显示面11a的各点射出的图像光ML的主光线、即在投射光学系统12的楔形光学元件28的射出侧附近通过成像而暂时扩展的图像光ML的主光线会聚到瞳孔位置PP。透视反射镜23是具有在板状体23b的正面或反面上形成镜膜23c的构造的镜板，镜膜23c具有透射性。透视反射镜23的反射面23a在与YZ面平行且与光轴AX交叉的纵向上隔着光轴AX具有不对称性，在横向或X方向上隔着光轴AX具有对称性。透视反射镜23的反射面23a例如是自由曲面。反射面23a不限于自由曲面，也可以是非球面。通过将透视反射镜23设为自由曲面或非球面，能够实现像差降低，特别是在使用自由曲面的情况下，容易降低作为离轴光学系统OS或非共轴光学系统的成像光学系统20的像差。

透视反射镜23是在反射时使一部分光透过的透射型的反射元件，透视反射镜23的反射面23a或镜膜23c由具有半透射性的反射层形成。由此，外界光OL通过透视反射镜23，因此能够进行外界的透视，能够使虚像与外界像重叠。此时，若支承镜膜23c的板状体23b薄至几mm左右以下，则能够将外界像的倍率变化抑制得较小。从确保图像光ML的亮度、容易通过透视来观察外界像的观点出发，镜膜23c相对于图像光ML、外界光OL的反射率在设想的图像光ML的入射角范围内设为10％以上且50％以下。作为透视反射镜23的基材的板状体23b例如由树脂形成，但也可以为玻璃制。板状体23b由与从周围对该板状体23b进行支承的支承板61相同的材料形成，具有与支承板61相同的厚度。镜膜23c例如由电介质多层膜形成，该电介质多层膜由调整了膜厚的多个电介质层构成。镜膜23c也可以是调整了膜厚的Al、Ag等金属的单层膜或多层膜。镜膜23c例如能够通过层叠来形成，但也能够通过粘贴片状的反射膜来形成。在板状体23b的外侧面23o形成有防反射膜。

对光路进行说明，来自显示元件11的图像光ML入射到投射透镜21并以大致准直的状态从投射透镜21射出。通过了投射透镜21的图像光ML入射到棱镜反射镜22，在被折射的同时通过入射面22a，被内反射面22b以接近100％的高反射率反射，并再次在射出面22c折射。来自棱镜反射镜22的图像光ML经由楔形光学元件28入射到透视反射镜23，被反射面23a以50％左右以下的反射率反射。被透视反射镜23反射后的图像光ML入射到佩戴者US的眼睛EY或者瞳孔所配置的瞳孔位置PP。通过了透视反射镜23或其周围的支承板61的外界光OL也入射到瞳孔位置PP。即，佩戴了第1显示装置100A的佩戴者US能够与外界像重叠地观察基于图像光ML的虚像。

参照图3，对HMD 200即虚像显示装置100的电路系统70进行说明。HMD 200包含微处理器81、一对显示用控制器83、一对显示元件11以及用户终端电路91作为电路系统70。一个显示元件11和一个显示用控制器83组装于第1显示装置100A，另一个显示元件11和另一个显示用控制器83组装于第2显示装置100B。在图示的例子中，微处理器81表现为组装于第1显示装置100A，但也可以独立于第1显示装置100A和第2显示装置100B。此外，将第1显示装置100A和第2显示装置100B中的一方与微处理器81组合而成的装置也称为虚像显示装置100，显示单眼用的虚像。

微处理器81对一对显示用控制器83输出图像数据。显示用控制器83将从微处理器81输入的图像数据存储在存储器83m中以输出到显示元件11。从微处理器81向一对显示用控制器83输出的图像数据可以相同也可以不同。以下，对一方的第1显示装置100A中的处理进行说明。

显示用控制器83具有存储器83m等，使显示元件11进行显示动作。显示元件11在显示面11a的周边包含内置有扫描驱动器、数据驱动器的附属电路85。显示用控制器83在各帧图像的显示时，将与存储于存储器83m的图像数据对应的数据信号与定时信号等一起以扫描线单位输出到附属电路85，附属电路85根据从显示用控制器83输入的数据信号等，对显示面11a的显示状态进行改写。

微处理器81也可以是微型计算机，具有运算处理装置81a、存储装置81m以及数据通信接口81c。

在存储装置81m中存储有使第1显示装置100A以及第2显示装置100B进行显示动作的程序。另外，在存储装置81m中存储有从作为信息终端的用户终端90取得的图像、由微处理器81或运算处理装置81a生成的图像等。

微处理器81经由数据通信接口81c从用户终端电路91接收与图像数据对应的显示数据。微处理器81对从用户终端电路91取得的显示数据或图像数据实施变形校正处理，并且针对变形校正处理后的显示数据，在其显示区域外对信息显示用的追加图像数据进行合成处理。微处理器81经由数据通信接口81c向显示用控制器83输出作为处理后的显示数据的图像数据。

图2所示的成像光学系统20是离轴光学系统OS，如后所述，具有畸变像差即失真。为了补偿该失真，需要在显示面11a上形成畸变校正后的非矩形轮廓的图像。微处理器81进行包含变形校正或畸变校正的运算处理在内的各种图像处理，使得与来自图3所示的用户终端电路91的输入信号对应的矩形轮廓的图像成为应显示于显示面11a的非矩形轮廓的图像。

运算处理装置81a利用显示面11a的中央的主要区域来显示变形校正后的虚像，并且利用显示面11a的周边空白来显示追加信息的虚像，因此作为第1取得部8a、第2取得部8b、校正部8c以及生成部8d发挥功能。

第1取得部8a从用户终端90取得第1图像，并存储于存储装置81m。第1图像是由虚像显示装置100显示的主显示图像，具体而言是后述的图5所示的初始图像IM0。第2取得部8b取得从用户终端90取得到的第2图像、由微处理器81或运算处理装置81a生成的第2图像，并存储于存储装置81m。第2图像是与第1图像不同的图像，具体而言是后述的图5所示的追加图像IM2。

作为图像处理，校正部8c进行使作为第1图像的初始图像IM0发生畸变的校正处理，并将图5所示的畸变后的修正图像IM1(以下，也称为畸变后的初始图像IM0)存储于存储装置81m。校正部8c以与在图2所示的成像光学系统20等中产生的畸变反转的方式，使初始图像IM0发生畸变来进行校正。即，校正部8c以相对于初始图像IM0抵消光学系统的畸变的方式进行校正。另外，校正部8c进行使作为第2图像的追加图像IM2发生畸变的校正处理，将畸变后的追加图像IM2存储于存储装置81m。

生成部8d生成包含畸变后的初始图像IM0和追加图像IM2的第3图像或第4图像即合成图像IM3，并将合成图像IM3存储于存储装置81m。另外，在本实施方式中，特别是将包含畸变后的初始图像IM0和畸变后的追加图像IM2的合成图像IM3设为第4图像。通过生成第4图像，对于作为第2图像的追加图像IM2也能够维持显示精度，能够提高第4图像整体的影像品质。

用户终端电路91组装于用户终端90，具有主控制装置91a、存储装置91m、数据通信接口91c、移动体用无线通信装置91t以及用户界面装置91i。用户终端电路91能够通过移动体用无线通信装置91t，经由未图示的通信网络与外部的服务器等各种装置进行通信。存储装置91m存储有使用户终端电路91动作的基本的程序，作为在该基本的程序上动作的应用软件，例如存储有包含动态图像再现用的查看器、网页浏览器等的多个应用软件。用户终端电路91根据来自用户操作的用户界面装置91i的请求进行动作，以规定的格式对微处理器81输出在存储装置91m中与应用软件相关联地保管的动态图像、静态图像，或者经由移动体用无线通信装置91t取得与各种内容对应的动态图像、静态图像，并以规定的格式对微处理器81输出所取得的显示数据。以上，由微处理器81对从用户终端电路91输入的显示数据实施了变形校正处理，但也可以由用户终端电路91对显示数据实施变形校正处理，并且针对变形校正处理后的显示数据，对追加图像数据进行合成处理。

由于在图2所示的第1显示装置100A中，成像光学系统20是离轴光学系统OS，因此如图4所示，在想要投射矩形轮廓的显示像DA0时，在显示元件11的显示面11a显示具有畸变像差即失真的非矩形轮廓的畸变像IG0。在此，在成像光学系统20自身中不容易取得畸变像IG0的梯形变形那样的失真。因此，为了补偿该失真，将形成于显示元件11的显示面11a的显示像设为预先具有梯形变形那样的变形的修正显示像DA1。这样，通过使显示于显示元件11的图像具有对由投射透镜21、棱镜反射镜22、楔形光学元件28以及透视反射镜23形成的变形进行抵消的相反的变形，能够使经由成像光学系统20而在瞳孔位置PP处观察到的虚像的投射像IG1的像素排列成为与原来的显示像DA0对应的格子图案，能够使轮廓为矩形。即，显示于显示元件11的修正显示像DA1对由投射透镜21、棱镜反射镜22、楔形光学元件28以及透视反射镜23形成的失真进行校正。其结果是，能够容许在透视反射镜23等中产生的失真，并且作为包含显示元件11在内的整体能够抑制像差。由此，棱镜反射镜22等光学要素的配置、尺寸的自由度提高，能够在实现第1显示装置100A的小型化的同时容易地确保第1显示装置100A的光学性能。

在显示元件11的显示面11a上，取代原来的显示像DA0而显示修正显示像DA1，因此在修正显示像DA1的外侧产生未使用于图像显示或影像显示的辅助区域DN1～DN5。在图示的例子中，在显示面11a的+y方向的一个端部中央附近存在第1辅助区域DN1，在+y方向的一个端部两端附近存在第2和第3辅助区域DN2、DN3，在-y方向的另一个端部两端附近存在第4和第5辅助区域DN4、DN5。未使用于图像显示的第1～第5辅助区域DN1～DN5被灵活运用于信息显示，详细内容将后述。由此，能够有效利用显示未使用区域，能够降低在显示元件11中未被使用的区域的比例。其结果，能够增加向佩戴者US提示的信息量。

图5是对虚像显示装置100中的图像处理所使用的图像以及显示于显示元件11的显示面11a的图像进行说明的图。在图5中，区域AR1表示初始图像IM0，区域AR2表示修正图像IM1，区域AR3表示追加图像IM2，区域AR4表示合成图像IM3。

初始图像IM0是畸变校正前的原来的显示像，与图4所示的矩形轮廓的显示像DA0对应。初始图像IM0与第1图像对应。

修正图像IM1是畸变校正后的显示像，与图4所示的非矩形轮廓的修正显示像DA1对应。另外，在修正图像IM1中，修正显示像DA1的轮廓与图像显示区域DR的轮廓一致。修正图像IM1与畸变后的第1图像对应。修正图像IM1是以在眼睛EY侧形成的虚像中成为矩形的方式校正了在光学系统中产生的畸变的图像。在修正图像IM1中，由于变形校正而使显示初始图像IM0的初始区域PR中的一部分成为在图像显示中不使用的区域、即外框区域OR。因此，通过以下说明的追加图像IM2，将外框区域OR的一部分、即辅助区域DN1～DN5用作信息显示。另外，变形形状根据光学系统而不同，因此变形校正的形状以及图像显示中不使用的区域不限于图示的形状。

追加图像IM2是包含与作为信息终端的用户终端90或者虚像显示装置100相关的信息的图像。由此，追加图像IM2能够进行与初始图像IM0协作或者独立于初始图像IM0的信息显示。追加图像IM2是与初始图像IM0或修正图像IM1不同的简易的显示图像。追加图像IM2与第2图像对应。追加图像IM2例如能够以图案、字符等显示连接设备的工作状况、电池余量、指示器或警报等信息。在图示的例子中，作为信息显示，列举了圆M1、星星M2以及箭头M3等图案。追加图像IM2配置在初始区域PR中的辅助区域DN1～DN5内。图5所示的追加图像IM2是以使成像光学系统20的畸变像差不明显的方式发生畸变后的图像。追加图像IM2优选为与规定波段对应的图像、即单色的图像。通过将追加图像IM2设为单色显示，能够简化合成图像IM3的生成处理。作为规定波段，例如可举出绿色，但也可以是红色、蓝色等。在追加图像IM2中显示的图案等可以全部被校正，也可以一部分被校正。对于校正追加图像IM2的情况，也可以不像初始图像IM0那样严格。

合成图像IM3包含作为畸变后的第1图像的修正图像IM1和作为畸变后的第2图像的追加图像IM2。合成图像IM3与第3图像或第4图像对应。在合成图像IM3中，追加图像IM2配置在修正图像IM1的外侧。由此，能够在不妨碍初始图像IM0或修正图像IM1的显示的情况下，有效灵活运用在初始图像IM0或修正图像IM1中未被使用的区域。合成图像IM3在修正图像IM1与追加图像IM2之间包含非显示区域NR。由此，与修正图像IM1对应的像素和与追加图像IM2对应的像素分离，能够明确修正图像IM1与追加图像IM2的边界。非显示区域NR是包围图像显示区域DR的周围的带状的像，使得修正图像IM1相对于追加图像IM2突出。另外，非显示区域NR既可以是黑显示，也可以是能够区别修正图像IM1与追加图像IM2的边界的颜色显示。

如图6所示，合成图像IM3的虚像IP是对初始图像IM0以及追加图像IM2进行校正、从而消除了变形的像。

图7表示校正了追加图像IM2的情况下的合成图像IM3及其虚像IP的一例。在图7中，区域BR1表示合成图像IM3，区域BR2表示虚像IP。在图7的合成图像IM3中，示出了追加图像IM2以抵消变形的方式调整了信息显示的图案倾斜度的例子。另外，在图示的例子中，还进行了图案的移位调整以抵消变形，但也可以仅调整图案的倾斜度。在合成图像IM3的虚像IP中，追加图像IM2的校正结果是，以大致消除了信息显示IP2的图案变形的状态进行显示。例如，在箭头M3等图案的情况下，进行仅赋予倾斜，而使虚像IP中的方向对齐的校正。通过使图案以角度θ倾斜，所观察的虚像IP中的倾斜度降低，能够看到接近期望方向的图案。此时，优选将附近NN的修正图像IM1的图像显示区域DR中的纵线或者横线的斜率作为基准线NL，使长度方向的某个箭头M3的倾斜方向以及倾斜量与基准线NL一致。这是因为，基本上在图像显示区域DR的紧外侧，在光学系统中产生的变形也接近。由于有在图像显示区域DR的外侧变形更强的趋势，因此更优选比附近NN的图像显示区域DR中的纵线或横线的斜率稍大地倾斜。此外，修正图像IM1的图像显示区域DR中的纵线以及横线分别与初始图像IM0的初始区域PR的纵格子线以及横格子线对应。在图示的例子中，箭头M3的斜率为与图像显示区域DR中的纵线或横线的斜率大致相同量的斜率。此外，对于字符显示等的情况，若与图像显示区域DR同样地以在虚像IP中消除变形的方式进行校正，则能够进一步降低观看时的不协调感。

另外，在通过校正部8c而发生畸变后的追加图像IM2的对应部位，第1方向即纵向的y方向上的一端侧的与第1方向交叉的横向的第2方向即x方向上的大小d1也可以与第1方向上的另一端侧的第2方向上的大小d2不同。追加图像IM2的对应部位是指，在信息显示的一对图案MP中应投射为相同的大小处，根据畸变像差而使大小变形的部分。具体而言，上部的图案MP的横向宽度与下部的图案MP的横向宽度不同。由此，在追加图像IM2中，能够提高在第2方向上具有宽度的显示的影像品质。例如，在信息显示的图案MP为椭圆M4、长方形等的情况下，能够进行调整虚像IP中的长度d1、d2的校正。

以下，参照图8，对显示于显示元件11的显示面11a的图像处理进行说明。

首先，在图3所示的微处理器81中，运算处理装置81a作为第1取得部8a，经由数据通信接口81c从用户终端90取得作为显示数据的第1图像即初始图像IM0，并存储于存储装置81m(步骤S11)。第1取得部8a针对用户终端90的用户终端电路91，请求显示于显示元件11的初始图像IM0的显示数据。用户终端电路91经由用户界面装置91i根据上述请求进行动作，将在存储装置91m中保管的动态图像、静态图像以规定的格式输出到微处理器81，或者将经由移动体用无线通信装置91t取得的动态图像、静态图像以规定的格式输出到微处理器81。

接着，在微处理器81中，运算处理装置81a作为校正部8c对初始图像IM0进行变形校正(步骤S12)。校正部8c为了消除光学系统的畸变像差，对初始图像IM0进行坐标转换、颜色和灰度的调整等各种图像处理，生成修正图像IM1。

接着，在微处理器81中，运算处理装置81a作为校正部8c，对通过步骤S12的变形校正而成为未使用于图像显示的区域的外框区域OR进行背景设定(步骤S13)。校正部8c例如针对修正图像IM1定义外框区域OR的范围，将该范围设定为背景的黑显示。其成为合成用的修正图像IM1。

接着，在微处理器81中，运算处理装置81a作为第2取得部8b，经由数据通信接口81c从用户终端90取得作为显示数据的第2图像即追加图像IM2，并存储于存储装置81m(步骤S14)。另外，追加图像IM2也可以从微处理器81的存储装置81m所存储的显示数据中取得。

接着，在微处理器81中，运算处理装置81a作为校正部8c对追加图像IM2进行变形校正(步骤S15)。校正部8c例如根据修正图像IM1的校正结果来修正附加信息的图案的方位、大小。追加图像IM2被生成为配置在辅助区域DN1～DN5中。通过步骤S12的初始图像IM0的变形校正，在追加图像IM2的配置被配置在修正图像IM1的显示像内、即辅助区域DN1～DN5以外的情况下，校正部8c能够调整追加图像IM2的配置，以使其配置在辅助区域DN1～DN5内。

最后，在微处理器81中，运算处理装置81a作为生成部8d，对在步骤S13中生成的修正图像IM1和在步骤S15中校正后的追加图像IM2进行合成，将所生成的第4图像即合成图像IM3存储于存储装置81m(步骤S16)。由此，对修正图像IM1进行作为附加信息的追加图像IM2的覆盖。

如以上那样，将修正图像IM1与追加图像IM2合成后的第4图像成为图5所示的合成图像IM3，并显示于显示元件11的显示面11a。显示于显示元件11的合成图像IM3在经由成像光学系统20而形成的图6所示的虚像IP中，显示像IP1被校正而成为矩形，能够在其外侧看到信息显示IP2。本实施方式的光学系统在中间形成中间像，因此虚像IP相对于初始图像IM0上下左右反转。

另外，如图9所示，在色像差较大的情况下，校正部8c能够在初始图像IM0中使畸变的倍率在与第1波段对应的图像和与比第1波段长的第2波段对应的图像中不同。此时，优选还进行与第1或第2波段对应的图像的移位调整。通过针对每个波段改变校正量，能够提高彩色图像的显示精度。例如，与作为第2波段的红色对应的图像相比与作为第1波段的蓝色对应的图像作为虚像被较小地投射，因此在畸变后的修正图像IM1中，将红色的修正显示像IMr形成得比蓝色的修正显示像IMb稍大，使红色的修正显示像IMr比蓝色的修正显示像IMb向纵向的+y方向稍微移位。另外，对于与绿色对应的图像也能够同样地进行校正。

在以上说明的第1实施方式的虚像显示装置100中，具有：第1取得部8a，其从信息终端取得第1图像；第2取得部8b，其取得与第1图像不同的第2图像；校正部8c，其使第1图像发生畸变；生成部8d，其生成包含第2图像和畸变后的第1图像的第3图像或第4图像；以及显示元件11，其显示第3图像或第4图像。

在上述虚像显示装置100中，显示元件11显示包含使来自信息终端的第1图像发生畸变后的图像和与第1图像不同的第2图像的第3图像或第4图像。由此，能够在维持第1图像的显示精度的同时，有效灵活运用在来自信息终端的图像中不被使用的区域，能够降低在显示元件11中不被使用的区域的比例。

[第2实施方式]

以下，说明本发明第2实施方式的虚像显示装置。另外，第2实施方式的虚像显示装置是部分地变更了第1实施方式的虚像显示装置的装置，因此省略对共同部分的说明。

本实施方式中，在微处理器81中，生成部8d生成包含畸变后的第1图像和未畸变的第2图像的合成图像作为第3图像。即，在不校正图5所示的追加图像IM2的状态下生成合成图像IM3。

如图10所示，关于使显示元件11的显示面11a显示的图像处理，在不进行图8所示的步骤S15的变形校正的情况下，在步骤S16中生成作为第3图像的合成图像IM3。

图11表示未校正追加图像IM2的合成图像IM3及其虚像IP的一例。在图11的合成图像IM3中，与光学系统的变形相应地，在虚像IP中，追加图像IM2的信息显示IP2的图案被变形地显示。在如箭头M3的图案那样朝向变得重要的信息的情况下，有时会产生不良情况，但在如圆M1的图案那样朝向不太重要的情况下，影响较小，因此也可以不对追加图像IM2加入校正。

[第3实施方式]

以下，说明本发明第3实施方式的虚像显示装置。另外，第3实施方式的虚像显示装置是部分地变更了第1实施方式的虚像显示装置的装置，因此省略对共同部分的说明。

参照图12，对第3实施方式的虚像显示装置100进行说明。虚像显示装置100具有显示元件11和成像光学系统920。成像光学系统920是离轴光学系统，但与第1实施方式的情况不同，成为在反射的同时在横向上延伸的光路。成像光学系统920是导光光学装置，具有投射透镜21和导光体25。导光体25是经由粘接层CC将导光部件71与透光部件72接合而成的。导光部件71、透光部件72由在可见区域表现出高透光性的树脂材料形成。导光部件71具有第1～第5面S11～S15，其中的第1和第3面S11、S13是相互平行的平面，第2、第4和第5面S12、S14、S15作为整体是凸的光学面，例如由自由曲面构成。透光部件72具有第1～第3透射面S21～S23，其中，第1和第3透射面S21、S23是相互平行的平面，第2透射面S22作为整体是凹的光学面，例如由自由曲面构成。导光部件71的第2面S12和透光部件72的第2透射面S22具有使凹凸反转的相同形状，在两者中的一个的表面上形成有部分反射面MC。

以下，对图像光ML的光路进行概要说明。导光部件71通过在第1～第5面S11～S15处的反射等，将从投射透镜21射出的图像光ML朝向观察者的眼睛引导。具体而言，来自投射透镜21的图像光ML首先入射到第4面S14而被反射膜RM的内表面即第5面S15反射，从内侧再次入射到第4面S14而被全反射，再入射到第3面S13而被全反射，进而入射到第1面S11而被全反射。在第1面S11全反射的图像光ML入射到第2面S12，部分地透过设置于第2面S12的部分反射面MC并且被该部分反射面MC部分反射而再次入射到第1面S11并通过。通过了第1面S11的图像光ML作为大致平行光束入射到观察者的眼睛EY所配置的瞳孔位置PP。即，观察者通过作为虚像的图像光ML观察到图像。

导光体25通过导光部件71使观察者看到图像光ML，并且在组合了导光部件71和透光部件72的状态下，使观察者观察到变形少的外界像。此时，通过使第3面S13和第1面S11成为相互大致平行的平面(屈光度大致为0)，对于外界光OL，几乎不产生像差等。另外，第3透射面S23和第1透射面S21成为相互大致平行的平面。并且，第3透射面S23和第1面S11成为相互大致平行的平面，从而几乎不产生像差等。由此，观察者隔着导光部件71和透光部件72观察到没有变形的外界像。

在本实施方式的虚像显示装置100的情况下，由于包含在横向上不对称的成像光学系统920，所以变形校正在横向即X方向上不对称。

[其他变形例]

以上，根据实施方式对本发明进行了说明，但本发明并不限定于上述的实施方式，在不脱离其主旨的范围内能够以各种方式实施，例如也能够进行如下变形。

以上，采用了将第1取得部8a以及第2取得部8b设置于微处理器81内的结构，但也可以采用设置于用户终端电路91的结构。此外，也可以采用将第1取得部8a、第2取得部8b、校正部8c以及生成部8d设置于用户终端电路91的结构，还可以在用户终端90中实施至第3图像或第4图像的生成为止。

以上，设成像光学系统20为包含棱镜反射镜22和透视反射镜23的2反射镜光学系统，但只要通过显示抵消了光学系统的变形，则也能够应用于其他光学系统。

关于追加图像IM2，如果仅在特定的位置显示特定的图案等、决定了在信息显示中使用的区域，则也可以构成为用遮光金属板覆盖在显示中不使用的区域。例如，通过对修正图像IM1和追加图像IM2中不使用的区域进行遮光来排除其以外的部分的影响。通过对由于变形校正而未使用于修正图像IM1的显示像的区域进行遮光，能够抑制由不需要的光引起的重影、泛黑，提高影像品质。

在透视反射镜23的外界侧，能够安装通过限制透视反射镜23的透射光来进行调光的调光设备。调光设备例如电动地调整透射率。作为调光设备，能够使用镜面液晶、电子遮光罩等。调光设备也可以根据外部光照度来调整透射率。

以上，以虚像显示装置100佩戴于头部来使用为前提，但上述虚像显示装置100也能够作为不佩戴于头部而如双目镜那样观看的手持显示器来使用。即，在本发明中，头戴式显示器也包含手持显示器。另外，上述虚像显示装置100例如也能够用作使像投射于汽车的挡风玻璃的平视显示器(Head-Up Display)。

具体的方式中的虚像显示装置具有：第1取得部，其从信息终端取得第1图像；第2取得部，其取得与第1图像不同的第2图像；校正部，其使第1图像发生畸变；生成部，其生成包含第2图像和畸变后的第1图像的第3图像；以及显示元件，其显示第3图像。

在上述虚像显示装置中，显示元件显示包含使来自信息终端的第1图像畸变后的图像和与第1图像不同的第2图像的第3图像。由此，能够在维持第1图像的显示精度的同时，灵活运用在来自信息终端的图像中未使用的区域，能够增加向观察者提示的信息量。

在具体的方面中，第2图像是包含与信息终端或者虚像显示装置相关的信息的图像。在该情况下，能够进行与第1图像协作或者独立于第1图像的信息显示。

在具体的方面中，在第3图像中，第2图像配置在比畸变后的第1图像靠外侧处。在该情况下，能够在不妨碍第1图像的显示的情况下，有效灵活运用在第1图像中未使用的区域。

在具体的方面中，校正部使第2图像发生畸变，生成部生成包含畸变后的第1图像和畸变后的第2图像的第4图像，显示元件显示第4图像。在该情况下，对于第2图像也能够维持显示精度，能够提高第4图像整体的影像品质。

在具体的方面中，在通过校正部而发生畸变后的第2图像的对应部位，第1方向上的一端侧在与第1方向交叉的第2方向上的大小与第1方向上的另一端侧在第2方向上的大小不同。该情况下，在第2图像中，能够提高在第2方向上具有宽度的显示的影像品质。

在具体的方面中，具有：光学部件，与第3图像或第4图像对应的图像光入射到所述光学部件；以及反射部件，其使从光学部件射出的图像光朝向瞳孔反射，校正部以与由光学部件和反射部件产生的畸变反转的方式，使第1图像发生畸变来进行校正。

在具体的方面中，校正部在第1图像中，使畸变的倍率在与第1波段对应的图像和与波长比第1波段长的第2波段对应的图像中不同。在该情况下，通过按每个波段改变校正量，能够提高彩色图像的显示精度。

在具体的方面中，第2图像是与规定波段对应的图像。该情况下，通过将第2图像设为单色显示，能够简化第3或第4图像的生成处理。

在具体的方面中，第3图像或第4图像在畸变后的第1图像与第2图像之间包含非显示区域。在该情况下，与第1图像对应的像素和与第2图像对应的像素分离，能够明确第1图像与第2图像的边界。

Claims (9)

1.一种虚像显示装置，其中，该虚像显示装置具有：

第1取得部，其从信息终端取得第1图像；

第2取得部，其取得与所述第1图像不同的第2图像；

校正部，其使所述第1图像发生畸变；

生成部，其生成包含所述第2图像和畸变后的所述第1图像的第3图像；以及

显示元件，其显示所述第3图像。

2.根据权利要求1所述的虚像显示装置，其中，

所述第2图像是包含与所述信息终端或者所述虚像显示装置相关的信息的图像。

3.根据权利要求1或2所述的虚像显示装置，其中，

在所述第3图像中，所述第2图像配置在比畸变后的所述第1图像靠外侧处。

4.根据权利要求1或2所述的虚像显示装置，其中，

所述校正部使所述第2图像发生畸变，

所述生成部生成包含畸变后的所述第1图像和畸变后的所述第2图像的第4图像，

所述显示元件显示所述第4图像。

5.根据权利要求4所述的虚像显示装置，其中，

在通过所述校正部而发生畸变后的所述第2图像的对应部位，第1方向上的一端侧在与所述第1方向交叉的第2方向上的大小与所述第1方向上的另一端侧在所述第2方向上的大小不同。

6.根据权利要求4所述的虚像显示装置，其中，该虚像显示装置具有：

光学部件，与所述第3图像或所述第4图像对应的图像光入射到所述光学部件；以及

反射部件，其使从所述光学部件射出的所述图像光朝向瞳孔反射，

所述校正部以与由所述光学部件和所述反射部件产生的畸变反转的方式，使所述第1图像发生畸变来进行校正。

7.根据权利要求1或2所述的虚像显示装置，其中，

所述校正部在所述第1图像中，使畸变的倍率在与第1波段对应的图像和与波长比所述第1波段长的第2波段对应的图像中不同。

8.根据权利要求7所述的虚像显示装置，其中，

所述第2图像是与规定波段对应的图像。

9.根据权利要求4所述的虚像显示装置，其中，

所述第3图像或所述第4图像在畸变后的所述第1图像与所述第2图像之间包含非显示区域。