CN104115491A - 显示装置、图像处理装置和图像处理方法、以及计算机程序 - Google Patents

Abstract

通过经由图像校正移除在接目镜光学系统中所包括的透镜失真的影响来以宽视角显示清晰的图像。实现了表格尺寸的减小而无需在虚像平面内发生的失真关于光轴旋转对称的前提。具体地，在显示单元(203)的显示表面上离散地设置代表性像素，并且仅保存在代表性像素的位置处所获得的位移向量。通过周围代表性像素的一个或更多个位移向量对除了这些代表性像素之外的像素位置进行插值，以便获得在所有像素位置处的位移向量。

Description

显示装置、图像处理装置和图像处理方法、以及计算机程序

技术领域

本说明书中所公开的技术涉及一种穿戴在用户头上以用于观看图像的显示装置、图象处理装置和图像处理方法、以及计算机程序。

背景技术

穿戴在头上以用于观看图像的显示装置，换言之，头戴式显示器(HMD)，已经广为人知。这种头戴式显示器配置成具有各自用于左眼和右眼的光学单元，并且配置成能够还通过使用耳机控制视觉和听觉。如果这样的装置配置成当穿戴在头上时完全地隔绝外界，则增加了观看期间的虚拟现实感。另外，因为头戴式显示器还可以将不同的图像投影到左眼和右眼，所以当针对左眼和右眼显示具有视差的图像时，可以呈现3D图像。

对于用于左眼和右眼的头戴式显示器的显示单元，可以使用包括例如液晶或有机EL(电致发光)元件等的高清晰度图像显示元件。另外，如果通过采用接目镜光学系统放大并且投影图像显示元件来设置宽视角，并且通过使用耳机实现多通道，则可以再现置身于电影院中观看和收听的丰富感受。

已知光学透镜具有失真。例如，如果视角取自头戴式显示器，则在所观察的图像中生成由于在接目镜光学系统中所使用的透镜的失真所导致的复杂失真和颜色偏差，以及因此存在质量劣化的担忧。

如果为了确保宽视角而增加构成接目镜光学系统透镜的数量，则头戴式显示器的重量增加，使得更多的负担被施加给穿戴有头戴式显示器的用户。在此，如果出于减轻重量而减少透镜的数量，则在每个透镜中所生成的失真被放大并且损失了用于校正失真的系统。作为结果，难以获得宽视角。

已知用于通过信号处理校正在接目镜光学系统中所生成的失真的方法。例如，提出了一种显示装置，在该显示装置中，要显示在图像显示元件上的图像尺寸针对每个波长发生变化，使得预先消除在光学系统中所生成的放大率色差，因此可以仿佛没有放大率色差地对所观察的图像进行观察(例如，参见专利文献1)。

该显示装置对正透镜系统中的下述现象进行补偿：因为光线波长越长，则折射率越小；而光线波长越短，则折射率越大，所以观察到具有长波长的红色图像较小，而观察到具有短波长的蓝色图像较大。简言之，在此显示装置中，针对每个颜色具有不同尺寸的图像通过具有放大率色差的光学系统，使得在接目镜光学系统的情况下在眼球上的入射位置处各个颜色的光通量彼此近似一致，并且使得在投影光学系统的情况下在屏幕等的入射位置处各个颜色的光通量彼此近似一致，因此可以仿佛没有放大率色差地对所观察的图像进行观察。

然而，当通过接目镜光学系统时在图像中所生成的失真不限于由于依赖于波长的折射力的差异所引起的简单的失真。简单地针对每个波长使得图像的尺寸(显示比例)发生变化(长波长的颜色被显示为小于短波长的颜色)不可以消除由于诸如透镜失真的复杂现象所引起的图像失真。

用于校正在接目镜光学系统中所生成的失真的另一信号处理方法的示例包括地址转换。换言之，基于由理想光学系统所获得的图像位置与受实际像差所影响的图像位置之间的对应关系，将失真的图像移动到理想图像位置。在此，在图像尺寸较大或需要高转换精度的情况下，存储对应关系与转换之后的坐标的校正表格的尺寸不利地变得臃肿。例如，提出了一种方法，在该方法中，通过使用光学系统中的失真关于图像点对称(关于光轴旋转对称)的特征，不是用于整个图像的校正数据，而是用于图像的一半或四分之一区域的校正数据还被用于其他对称区域(例如，参见专利文献2和3)。然而，根据显示图像失真关于光轴旋转对称的假定可以减小校正表格的尺寸。换言之，这不可以应用到不关于光轴旋转对称的失真。

此外，提出了一种图像显示系统，该图像显示系统包括：图像显示装置，具有接目镜光学系统；以及控制装置，将包含与由于接目镜光学系统在图像中所生成的光学失真相反的失真的图像信号输出到图像显示装置，其中，控制装置侧存储作为根据设计值等所计算出的代表性校正数据的参考数据，图像显示装置侧存储作为与光学系统的各个差异相对应的校正数据的差异数据，并且控制装置使用参考数据和差异数据生成包含相反失真的图像信号(例如，参见专利文献4)。根据此图像显示系统，可以减少分别地存储在控制装置和图像显示装置中的校正数据的量，并且可以减少对于控制装置从图像显示装置读出校正数据的时间。然而，保持保存用于整个图像的校正数据。

引用列表

专利文献

专利文献1:JP 3212762B

专利文献2:JP H5-176216A

专利文献3:JP H8-205181A

专利文献4:JP 2008-258802A

发明内容

技术问题

在本说明书中所公开的技术的目的是提供一种穿戴在用户头上以用于观看图像并且可以通过使用接目镜光学系统进行放大和投影来以宽视角显示清晰图像的优秀的显示装置、图像处理装置和图像处理方法、以及计算机程序。

在本说明书中所公开的技术的另一目的是提供一种可以通过消除在接目镜光学系统中所涉及的透镜失真的影响来以宽视角显示清晰的图像的优秀的显示装置、图像处理装置和图像处理方法、以及计算机程序。

问题的解决方案

本申请考虑了上述问题。根据权利要求1，提供了一种显示装置，包括：图像显示单元，配置成采用布置在显示平面上的多个像素来显示图像；接目镜光学单元，配置成以获得预定视角的方式投影图像显示单元的显示表面；以及图像校正单元，配置成基于由于接目镜光学单元所生成的失真，在离散地位于显示表面上的代表性像素中的每个代表性像素的位置处，对显示表面上的显示图像进行校正。

根据在本申请的权利要求2中所陈述的技术，根据权利要求1所述的显示装置的图像校正单元包括：运动向量保存部，配置成对在代表性像素的位置处的、表示由于接目镜光学单元所生成的失真的运动向量进行保存；向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了代表性像素之外的每个像素的位置处的运动向量进行插值；以及像素校正部，配置成通过使用运动向量，对在显示表面上的每个像素提供在与由于接目镜光学单元所生成的失真相反方向上的失真，并且配置成对像素进行校正。

根据在本申请的权利要求3中所陈述的技术，根据权利要求2所述的显示装置还包括：光学模拟器，配置成追踪图像显示单元中的显示图像的通过接目镜光学单元的光线；以及向量生成部，配置成基于由光学模拟器所获得的光线追踪数据，生成在代表性像素的位置处的运动向量。

根据在本申请的权利要求4中所陈述的技术，根据权利要求2所述的显示装置还包括：向量生成部，通过当代表性像素被使得点亮时实际地拍摄由接目镜光学单元所投影的虚像，生成在代表性像素的位置处的运动向量。

根据在本申请的权利要求5中所陈述的技术，在根据权利要求1所述的显示装置中，图像显示单元具有与显示图像的宽高比相比垂直地更长的显示表面，接目镜光学单元生成基本上枕型的失真，以及图像校正单元以在水平端处的视角不改变的方式对显示图像进行校正。

根据在本申请的权利要求6中所陈述的技术，根据权利要求2所述的显示装置的像素校正部分离在垂直方向上的像素校正和在水平方向上的像素校正，并且针对每个方向顺序地执行像素校正处理。

根据在本申请的权利要求7中所陈述的技术，根据权利要求2所述的显示装置的像素校正部，针对每行移动在同一垂直行中的像素以执行在垂直方向上的校正，并且然后，随后针对每行移动在同一水平行中的像素以执行在水平方向上的校正。

根据在本申请的权利要求8中所陈述的技术，根据权利要求7所述的显示装置的像素校正部，求得在垂直方向上移动了运动向量的量的位置处在水平方向上的运动向量。

根据在本申请的权利要求9中所陈述的技术，根据权利要求2所述的显示装置还包括：调制部，配置成以低频对所述显示图像的位置进行移位。图像校正单元对经受了由调制部进行的调制处理的显示图像进行校正，而同时对像素位置与运动向量的对应关系进行移位。图像显示单元具有对显示位置进行移位以防止烧毁的功能。使得图像校正单元的移位和图像显示单元的移位彼此协调地进行操作。

根据在本申请的权利要求10中所陈述的技术，根据权利要求1所述的显示装置还包括：缩放部，配置成依照图像显示单元的显示表面的像素数量对显示图像进行缩放。图像校正单元对在行存储器上的显示图像进行校正。图像显示单元以使得行存储器的尺寸最小的定时进行驱动。

根据在本申请的权利要求11中所陈述的技术，提供了一种图像处理装置，包括：运动向量保存部，配置成对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了代表性像素之外的每个像素的位置处的运动向量进行插值；以及像素校正部，配置成通过使用运动向量，对在显示表面上的每个像素提供在与由于接目镜光学单元所生成的失真相反方向上的失真，并且配置成对像素进行校正。

根据在本申请的权利要求12中所陈述的技术，提供了一种图像处理方法，包括：运动向量保存步骤，对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；向量插值步骤，基于邻近的一个或更多个代表性像素的运动向量，对在除了代表性像素之外的每个像素的位置处的运动向量进行插值；以及像素校正步骤，通过使用运动向量，对在显示表面上的每个像素提供在与由于接目镜光学单元所生成的失真相反方向上的失真，并且配置成对像素进行校正。

根据在本申请的权利要求13中所陈述的技术，提供了一种以计算机可读形式所描述的计算机程序，该计算机程序使得计算机用作：图像显示单元，配置成采用布置在显示平面上的多个像素来显示图像；接目镜光学单元，配置成以获得预定视角的方式投影图像显示单元的显示表面；以及图像校正单元，配置成基于由于接目镜光学单元所生成的失真，对在离散地位于显示表面上的代表性像素中的每个代表性像素的位置处的显示表面上的显示图像进行校正。

根据本申请的权利要求13所述的计算机程序定义了一种以计算机可读形式所描述的计算机程序，使得在计算机上实现预定的处理。换言之，通过将根据本申请的权利要求13所述的计算机程序安装在计算机中来在计算机上发挥协同操作，以便能够获得与根据本申请的权利要求1所述的显示装置类似的操作效果。

发明的有利效果

根据在本说明书中所公开的技术，可以提供一种穿戴在用户头上以用于观看图像并且可以通过使用接目镜光学系统进行放大和投影来以宽视角显示清晰图像的优秀的显示装置、图像处理装置和图像处理方法、以及计算机程序。

根据在本说明书中所公开的技术，可以提供一种可以通过基于较少的校正数据、校正由于接目镜光学系统等在显示图像中所生成的失真来以宽视角显示清晰的图像的优秀的显示装置、图像处理装置和图像处理方法、以及计算机程序。

通过基于稍后描述的本说明书的实施例以及附图进行的详细描述，本说明书的其他目的、特征以及优点将变得更加明显。

附图说明

图1是示意性地示出了包括头戴式显示器的图像显示系统的配置的示意图。

图2是示出了通过对在头戴式显示器的接目镜系统的投影图像中所生成的失真的信号处理进行的校正的功能框图。

图3是示出了由于接目镜光学系统在所呈现的图像中所生成的枕型失真的图。

图4是示出了使所呈现的图像失真为桶型的示例性信号处理的图。

图5是示出了由于接目镜光学系统在所呈现的图像中所生成的桶型失真的图。

图6是示出了使所呈现的图像失真为枕型的示例性信号处理的图。

图7是示意地示出了图像校正单元202的校正模型的示意图。

图8是用于说明用于校正在头戴式显示器中所呈现的图像的处理过程的图。

图9A是用于说明用于生成运动向量的方法的图。

图9B是用于说明用于生成运动向量的方法的图。

图10是示出了图像校正单元202的示例性配置的图。

图11是示出了针对在覆盖显示单元203的显示画面上的稀疏网格中的每个格点获得运动向量的状态的图。

图12是示出了通过双线性插值根据四个近邻求得要被插值的像素的变形向量的状态的图。

图13是示出了基于运动向量校正像素数据的状态的图。

图14是示意性地示出了包括运动向量生成的头戴式显示器的概述的示意图。

图15是用于说明用于确定显示比例的方法的图。

图16A是示出了在设计接目镜光学系统204使得生成枕型失真的情况下的虚像的图。

图16B是示出了对具有图16A所示的枕型失真的显示图像进行校正的结果的图。

图17是示出了针对每行在同一垂直行上移动像素以通过使用垂直方向滤波器执行垂直方向上的校正的图。

图18是示出了针对每行在同一水平行上移动像素以通过使用水平方向滤波器执行水平方向上的校正的图。

图19是示出了在其中对垂直方向和水平方向上的FIR滤波器进行组合以执行像素插值处理的像素插值单元1003的示例性配置的图。

图20是用于说明基于在每个格点处的运动向量对像素值进行插值的机理的图。

图21是示出了当通过分离垂直方向和水平方向的方式由像素插值单元1003执行插值处理时所使用的一维滤波器的示例性配置的图。

图22是用于说明由像素插值单元1003彼此独立地在垂直方向和水平方向上执行的一维插值处理的图。

图23是示出了用于当通过分离垂直方向和水平方向上的方式执行插值处理时获取在垂直方向上的运动向量和在水平方向上的运动向量的方法的图。

图24示出了用于当通过分离垂直方向和水平方向上的方式执行插值处理时预先校正在垂直方向上的运动向量的方法的图。

图25是示出了防止烧毁的原理图的图。

图26是示出了用于应用了图25所示的原理的防止烧毁的示例性配置的图。

图27是示出了与图26等价的示例性实施的图。

图28是示出了通过在接目镜光学系统204的投影图像中所生成的失真的信号处理进行的校正的功能框图。

图29是用于说明图像校正单元202需要具有的行存储器1902的容量的估计的图。

图30是用于说明图像校正单元202需要具有的行存储器1902的容量的估计的图。

图31是用于说明图像校正单元202需要具有的行存储器1902的容量的估计的图。

具体实施方式

在下文中，将参照附图对本说明书的优选实施例进行详细的描述。注意，在本说明书和附图中，采用相同的附图标记标示基本上具有相同的功能和结构的元件，并且省略重复的说明。

图1示意性地示出了包括头戴式显示器的图像显示系统的配置。附图所示的系统由用作观看内容源的蓝光盘再现装置20、对从蓝光盘再现装置20所输出的AV信号进行处理的前端盒子40、作为蓝光盘再现装置20的再现内容的输出目的地的头戴类型显示装置(头戴单元)10、以及作为蓝光盘再现装置20的另一输出目的地的高画质显示器(例如，HDMI兼容电视)30构成。一个头戴式显示器由头戴单元10和前端盒子40构成。

例如，前端盒子40对应于HDMI中继器，当接收到AV信号的HDMI输入时，其对从蓝光盘再现装置20所输出的AV信号进行处理并且将信号输出到HDMI端口。另外，前端盒子40是双输出切换器，其将蓝光盘再现装置20的输出目的地切换至头戴单元10或高画质显示器30中的任一个。在附图的示例中，前端盒子40具有两个输出，但是可以具有三个或更多个输出。然而，前端盒子40具有排他性的AV信号输出目的地，并且对到头戴单元10的输出给予优先。

注意，HDMI(高清晰度多媒体接口)是针对主要用于基于DVI(数字视频接口)、在物理层中使用TMDS(最小化差分信号传输)传输声音和视频的数字化家用电器的接口标准。例如，本系统基于HDMI 1.4规格。

蓝光盘再现装置20与前端盒子40，以及前端盒子40与高画质显示器30，分别地通过HDMI线缆彼此连接。前端盒子40与头戴单元10还可以配置成通过HDMI线缆连接，但是可以使用其他规格的线缆在其之间串行地传送AV信号。然而，AV信号和电力可以设置为被提供给连接前端盒子40与头戴单元10的一个线缆，从而头戴单元10可以经由该线缆获得驱动电力。

头戴单元10具有用于左眼和右眼的独立显示单元。例如，显示单元中的每个使用有机EL元件。另外，左显示单元和右显示单元中的每个装备有导致低失真并且具有宽视角的高清晰度接目镜光学系统。如果通过采用接目镜光学系统放大并且投影图像显示元件来设置宽视角，并且通过使用耳机实现多通道，则可以再现置身于电影院中观看和收听的丰富感受。

在此，存在由在接目镜光学系统中所使用的透镜的失真所导致的、在所观察的图像中生成失真的担忧。作为典型的示例性所观察的图像，可以引用“枕型失真”，在其中如图3所示画面的四个角向外地失真；以及可以引用“桶型失真”，在其中如图5所示画面的四个角扩展。

在枕型失真的情况下，如图3所示，视角为b'/b。如在以下等式(1)中所示，因为满足D_b>0，所以视角变宽。

[数学等式1]

$D_b=100\×\frac{b^{\′}-b}{b}$

$\frac{b^{\′}}{b}=1+\frac{D_b}{100}\·\·\·\left(1\right)$

另一方面，在桶型失真的情况下，如图5所示，视角为a'/a。如在以下等式(2)中所示，因为满足D_a>0，所以视角变窄。

[数学等式2]

$D_a=100\×\frac{a^{\′}-a}{a}$

$\frac{a^{\′}}{a}=1+\frac{D_a}{100}\·\·\·\left(2\right)$

如图3或图5所示的所观察的图像失真可以由光学系统进行校正。然而，根据这种方法，存在关于要被施加到穿戴有因为添加用于失真校正的透镜而增加其重量的头戴单元10的用户的负担的担忧。因此，本实施例采用用于通过信号处理来校正在接目镜光学系统中所生成的失真的方法。

在此所使用的信号处理对应于将与在接目镜光学系统的投影图像中所生成的失真相反方向上的失真给予所呈现的图像的处理。图2示出了下述功能框图：该功能框图示出了通过在头戴式显示器的接目镜光学系统的投影图像中所生成的失真的信号处理进行的校正。HDMI接收单元201接收来自诸如蓝光盘再现装置120的图像源的所呈现的图像。图像校正单元202将与在接目镜光学系统204中所生成的失真相反方向上的失真给予所呈现的图像。显示单元203包括有机EL元件等，并且将由图像校正单元202采用在相反方向上的失真所校正的所呈现的图像显示在画面上。画面上的显示图像通过接目镜光学系统204被投影在观察者的眼睛的视网膜上。当显示图像的光通过接目镜光学系统204时，生成失真，对于显示图像给予在与失真相反方向上的失真，因此，在视网膜上形成没有失真的正常虚像。

图像校正单元202可以布置在头戴单元10或前端盒子40中。通过考虑基于由头戴单元10中的接目镜光学系统204所保存的失真参数校正图像失真，如果图像校正单元202布置在头戴单元10中，则前端盒子40侧可以与哪个头戴单元10为输出目的地无关地输出图像信号。

例如，当在接目镜光学系统中生成如图3所示的枕型失真的情况下，图像校正单元202执行给出在与枕型失真相反方向上的失真的信号处理，即，如图4所示，图像校正单元202放大在视场中心处的所呈现图像并且使得所呈现的图像朝向端缩减，以失真为桶型并且显示，从而可以消除来自接目镜光学系统的投影图像的枕型失真。在视场中心处，执行b'/b(参见以上等式(1))倍的放大。在图4中，根据校正后视场中的点r₃得到在显示画面上的点r₂处所显示的像素(参见以下等式(3))。结合视场的放大(参见以下等式(4))，校正后视场中的点r₃对应于原始图像上的点r₁。另外，根据原始图像上的点r₁得到在显示画面上的点r₂处所显示的像素(参照以下等式(5))。在此，根据视场的放大，在点r₂处的失真率为D_r。

[数学等式3]

$r_3=(1+\frac{D_r}{100})r_2\·\·\·\left(3\right)$

[数学等式4]

$r_3=(1+\frac{D_b}{100})r_1\·\·\·\left(4\right)$

[数学等式5]

$r_1=\frac{100+D_r}{100+D_b}{r}_2\·\·\·\left(5\right)$

当在接目镜光学系统中生成如图5所示的桶型失真的情况下，图像校正单元202可以执行给出与桶形失真相反的失真的信号处理。即，如图6所示，图像校正单元202通过将原始图像的四个角设置为固定点，使得所呈现的图像朝向视场中心缩减以使得所呈现的图像失真为要显示的枕型，从而可以消除来自接目镜光学系统的投影图像的桶型失真。在视场中心，执行a'/a倍的缩减(参见以上等式(2))。在图6中，根据校正后的视场中的点r₃得到在显示画面上的点r₂处所显示的像素(参见以下等式(6))。结合放大，校正后视场中的点r₃对应于原始图像视场上的点r₁(参见以下等式(7))。根据在原始图像上的点r₁，得到在显示画面上的点r₂处所显示的像素(参见以下等式(8))。在此根据视场放大，在点r₂处的失真率为D_r。

[数学等式6]

$r_3=(1+\frac{D_r}{100})r_2\·\·\·\left(6\right)$

[数学等式7]

$r_3=(1+\frac{D_b}{100})r_1\·\·\·\left(7\right)$

[数学等式8]

$r_1=\frac{100+D_r}{100+D_b}{r}_2\·\·\·\left(8\right)$

图7示意性地示出了图像校正单元202的校正模型。以下假定：输入到HDMI接收单元201的所呈现的图像的输入信号坐标为p'(x'，y')，并且在显示单元203的画面上的显示图像的显示像素坐标为p(x，y)。使用透镜作为基准、在显示单元203的画面上的物理坐标为P(X，Y)，并且使用透镜作为基准、在通过由接目镜光学系统204投影显示单元203所形成的虚像的表面上的物理坐标为P'(X'，Y')。

使用接目镜光学系统204的透镜作为基准、在显示单元203的画面上的显示图像的显示像素坐标p(x，y)与显示单元203的画面上的物理坐标P(X，Y)之间，存在像素间距差异，以及当将显示单元202固定在头戴单元10的特定部位处时存在位置间隙。在显示单元203的画面上的物理坐标P(X，Y)与在与其相对应的虚像表面上的物理图像P'(X'，Y')之间，包括在接目镜光学系统204中所生成的失真。

图8示出了用于对在根据实施例的头戴式显示器中所呈现的图像进行校正的处理过程。

例如，HDMI接收单元201接收来自诸如蓝光盘再现装置20的图像源的1024×576像素尺寸的所呈现的图像。

所呈现的图像的每个像素通过接目镜光学系统204，从而导致了生成失真。图像校正单元202将在相反方向上的失真给予所呈现的图像的每个像素，以执行运动补偿(MC)，即，对由于失真所生成的每个像素的位移进行补偿以生成经受了预先相反失真的显示图像。被给予像素的在相反方向上的失真被称为运动向量(MV)。运动向量具有在所呈现的图像上的像素位置处的起始点，并且具有在与起始点相对应的显示图像上的像素位置处的终止点。

假定经受了预先相反失真的显示图像具有1024×576+α的像素尺寸。图像校正单元202通过考虑显示单元203的画面的像素间距对具有1024×576+α的像素尺寸的显示图像的尺寸进行转换，以便显示在画面上。显示图像由接目镜光学系统204形成在虚像表面上。因为显示在显示单元203中的画面上的显示图像经受了预先相反失真，所以类似于原始所呈现的图像，虚像是不具有失真的图像。

凭借追踪作为通过接目镜光学系统204并且达到虚像表面的光学单元203的画面上所显示的光的光线，可以求得以上所述的运动向量MV。

所呈现的图像与虚像同位相似(homothetic)。如果求得同位相似系数(即，求得虚像表面的像素间距)，则可以求得运动向量。

图像包括多个色度信号分量，诸如RGB。图像校正单元202根据所呈现的图像的颜色分量执行分离，以针对每个颜色分量执行以上的预先相反失真处理，使得可以同时校正在通过接目镜光学系统204时所生成的失真和色差。

参照图9对用于生成运动向量的方法给出说明。

如图9A所示，假定在显示单元203的画面的显示表面上的图像坐标为p(x，y)(单位：像素)，并且在显示单元203的画面上的物理坐标为P(X，Y)(单位：毫米)。在此，假定在显示图像上的光轴的位置为p_a(x_a，y_a)，则与图像坐标上的位置p(x，y)相对应的物理坐标的位置P(X，Y)被表示为以下等式(9)。在此，d_p为显示单元203的画面的像素间距(毫米/像素)。

[数学等式9]

$P=\left[\begin{array}{c}X\\ Y\end{array}\right]=d_p\left[\begin{array}{c}x-x_a\\ y_a-y\end{array}\right]\·\·\·\left(9\right)$

另一方面，如图9B所示，假定通过接目镜光学系统投影显示单元203的画面所形成的虚像的输入信号表面上的图像坐标为p'(x'，y')(单位：像素)，并且在虚像表面上的物理坐标为P'(X'，Y')(单位：毫米)。在此，假定在输入图像上的光轴的位置为p'_a(x'_a，y'_a)，则在与输入图像上的坐标位置p'(x'，y')相对应的画面上的物理坐标的位置P'(X'，Y')被表示为以下等式(10)。在此，d_v为虚像上的像素间距(毫米/像素)。

[数学等式10]

$P^{\′}=\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\end{array}\right]=d_v\left[\begin{array}{c}{x}^{\′}-x_a^{\′}\\ y_a^{\′}-y^{\′}\end{array}\right]\·\·\·\left(10\right)$

在此，以下等式(11)表示：在显示单元203的画面上的物理坐标P(X，Y)向在虚像表面上的物理坐标P'(X'，Y')移位了由于接目镜光学系统204所生成的失真f。在此，f还包含色差。

[数学等式11]

$P=\left[\begin{array}{c}X\\ Y\end{array}\right]\underset{f}{\→}{P}^{\′}=\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\end{array}\right]=f\left(P\right)\·\·\·\left(11\right)$

通过使用失真f，使用在显示表面上相对应的图像坐标位置p(x，y)、在显示图像上的光轴的位置p_a(x_a,y_a)，以及在输入图像上的光轴的位置p'_a(x'_a，y'_a),在输入图像上的坐标位置p'(x'，y')可以被表示为以下等式(12)。在此，p为变量，并且p_a和p'_a为诸如设计值的常数。

[数学等式12]

$p^{\′}=\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{c}{x}_a^{\′}\\ y_a^{\′}\end{array}\right]-\frac{1}{d_v}\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]f\left(\left[\begin{array}{c}x-x_a\\ y_a-y\end{array}\right]\right)\·\·\·\left(12\right)$

因此，可以获得下述运动向量MV_(x，y)，其在显示表面上任意图像坐标位置p(x，y)处给出在与失真f相反方向上的失真。

[数学等式13]

${\mathrm{MV}}_{(x,y)}=\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]-\left[\begin{array}{c}x\\ y\end{array}\right]\·\·\·\left(13\right)$

作为用于求得由于目镜光学系统204所生成的失真f的方法的示例，可以引用通过计算用于构成接目镜光学系统204的镜头设计的光学模拟器的方式进行的方法，以及通过使用所生产的实际接目镜光学系统204的实际测量的方式进行的方法。在后一种方法中，使得在显示单元203的显示画面上的特定像素P(X，Y)被点亮，其虚像由摄像装置所拍摄(即，经由接目镜光学系统204拍摄图像)以求得发光点的位置P'(X'，Y')。

通过上述方法中的任一个的方式，可以在显示单元203的画面上的所有像素位置p(x，y)处获得运动向量MV_(x，y)。将要保存的像素位置p(x，y)的各个运动向量MV_(x，y)制成表格能够使得图像校正单元202参考表格中每个像素位置p(x，y)来获得运动向量MV_(x，y)，以便对显示图像给予在相反方向上的失真。

然而，如果保存在显示单元203的画面上的所有像素位置p(x，y)处的运动向量MV_(x，y)，则表格随着图像尺寸变得臃肿。

已知存在下述方法：在该方法中，通过使用光学系统中的失真关于图像点对称(关于光轴旋转对称)的特征，用于图像的一半或者四分之一区域的校正数据还被用于对称区域(如上所述)。然而，这种约简方法不可以校正具有关于由于接目镜光学系统204所引起的非点对称失真的高精度图像。另外，呈现在虚像表面上的失真不一定是由接目镜光学系统204的透镜所导致的。例如，由将显示单元202固定在头戴单元10中的特定部位时的位置间隙所导致的图像失真不关于光轴旋转对称。

因此，在不假定在虚像表面所生成的失真关于光轴的旋转对称的情况下，实施例实现了表格尺寸的减少。具体地，在显示单元203的显示表面上离散地设置代表性像素，并且保存仅在代表性像素位置处所获得的运动向量。然后，在除了代表性像素之外的像素位置处，采用围绕代表性像素的一个或更多个运动向量进行的插值使得能够获得在所有像素位置处的运动向量。

图10示出了使用用于每个代表性像素的运动向量对显示图像给予相反失真的图像校正单元202的示例性配置。

运动向量保存部1001保存在代表性像素中的每个代表性像素的位置处所获得的运动向量，代表性像素离散地设置在显示单元203的显示表面上。典型的示例性代表性像素是在稀疏网格覆盖显示单元203的显示画面的情况下的每个格点。与在显示画面(即，接目镜光学系统204的入射侧)上的每个格点相对应的输入信号表面(即，接目镜光学系统的虚像侧)上的位置被保存为表格中的运动向量数据。图11示出了针对覆盖在显示单元203的显示画面上的稀疏网格的每个格点获得运动向量的状态。

向量插值部1002在除了代表性像素之外的像素的位置处、采用围绕代表性像素的一个或更多个运动向量执行插值，以计算运动向量。例如，如图12所示，通过双线性插值、根据在四个近邻处的运动向量(即，近邻的四个格点)计算要插值的像素的变形向量。替选地，可以通过三次样条插值根据在16个近邻处的格点，对除了代表性像素之外的像素的运动向量进行插值。

像素校正部1003基于在运动向量保存部1001中所保存的运动向量或由向量插值部1002所插值的运动向量，针对每个像素给出与在接目镜光学系统204中所生成的失真相反方向上的失真。图13示出了基于运动向量在像素校正部1003中校正像素数据的状态。如图所示，要显示在显示单元203的显示画面上的运动向量的视点的位置处的像素数据取自在信号表面上的运动向量的终止点的位置。此时，如果所参考的部分(即，运动向量的终止点的位置)位于像素之间，则采用邻近的像素值的加权和执行插值。

图14示意性地示出了包括运动向量生成的头戴式显示器的概述。

可以基于由用于透镜设计的光学模拟器1401进行的多次模拟的结果来求得用于构成接目镜光学系统204的透镜的设计数据。然后，基于所获得的设计数据制造透镜以生产构成接目镜光学系统204的透镜。

此外，可以由光学模拟器1401(如上所述)来计算由于接目镜光学系统204所生成的失真f。具体地，使用由光学模拟器1401进行的光线追踪，求得与在显示单元203的显示画面上的特定像素P(X，Y)相对应的虚像上的像素发光点P'(X'，Y')的位置。在稀疏网格覆盖显示单元203的显示画面的情况下，向量生成部1402基于这样的光线追踪数据生成在每个格点处的运动向量。

由向量生成部1402所生成的运动向量存储在运动向量保存部1001中。然后，向量插值部1002在除了代表性像素之外的像素位置处、采用围绕代表性像素的一个或更多个运动向量执行插值以计算运动向量。像素校正部1003基于在运动向量保存部1001中所保存的运动向量或由向量插值部1002所插值的运动向量、针对每个像素给出在与接目镜光学系统204中所生成的失真相反方向上的失真。

所呈现的图像显示在由图像校正单元202采用在相反方向上的失真进行了校正的画面上。画面上的显示图像通过接目镜光学系统被投影到观察者的眼睛的视网膜上。当显示图像的光通过接目镜光学系统时，生成失真，对于显示图像给出在与该失真相反方向上的失真，因此，在视网膜上形成没有失真的正常的虚像。

为了创建运动向量以用于图像校正，需要确定在虚像表面上的输入图像的尺寸(比例)。例如，显示比例可以表示为在虚像表面上的像素间距。

在可接受的输入图像范围中，显示比例优选地尽可能为最大。在图6所示的示例中，可接受的输入图像范围由虚线示出。在内接于指示可接受范围的圆圈、具有期望宽高比的矩形中，最大的一个作为显示比例。根据RGB中的每个颜色执行分离，并且遵从最窄的一个。存在下述情况：在该情况中，显示单元203的显示画面的像素范围具有与所呈现的图像相同的宽高比，并且与所呈现的图像相比垂直地更长。如果显示单元203具有用于显示画面的防止烧毁功能(轨道(orbit)操作)，则在某些情况下I/F有效范围会窄于像素范围。

参照图15对用于确定显示比例的方法给出了描述。首先，描述了由于显示画面的像素所导致的比例限制。如以下等式(14)所示，在输入图像的图像帧上的像素p_b'移动到显示图像上的相对应的点p_b的情况下，求得满足以下等式(15)所表示的条件的最大d_v。

[数学等式14]

${p_b}^{\′}=\left[\begin{array}{c}{x_b}^{\′}\\ {y_b}^{\′}\end{array}\right]\→p_b=\left[\begin{array}{c}{x}_b\\ y_b\end{array}\right]\·\·\·\left(14\right)$

[数学等式15]

x_min≤x_b≤x_max

y_min≤y_b≤y_max  ···(15)

随后，描述了由于像圈(image circle)所导致的比例限制。如以下等式(16)所示，在输入图像的图像帧上的像素p_b'移动到在显示画面上的相对应的点p_b的情况下，求得满足以下等式(17)所表示的条件的最大d_v。在此，R_im是光学系统的像圈的半径。

[数学等式16]

${p_b}^{\′}=\left[\begin{array}{c}{x_b}^{\′}\\ {y_b}^{\′}\end{array}\right]\→P_b=\left[\begin{array}{c}{X}_b\\ Y_b\end{array}\right]\·\·\·\left(16\right)$

[数学等式17]

$\sqrt{X_b^2+Y_b^2}\≤R_{\mathrm{im}}\·\·\·\left(17\right)$

当具有宽高比为16:9的图像显示在具有宽高比为4:3的显示画面上时，在显示图像的上部和下部剩余有像素，但是优选地防止在由图像校正单元202进行的校正中损失视场。

在透镜设计时，在水平端测量视角。在校正中，理论上仅可以缩小显示范围。如果水平端被用作用于校正的固定点，则保持了透镜设计时的视角。因此，显示单元203的画面被设置为与要呈现的图像的宽高比相比垂直地较长，以及进行镜头设计使得接目镜光学系统204生成基本上枕型失真。然后，确定所呈现的范围使得水平端相接触(由于图像校正，在水平端处的视角可以不改变)。

图16A示出了在用于接目镜光学系统204以便生成枕型失真的透镜设计的情况下的虚像。当具有为16：9的宽高比的失真为枕型的图像以水平方向匹配的方式显示在具有为4：3的宽高比的画面上时，如图所示，具有为16：9的宽高比的失真为枕型的图像垂直地突出。

图16B示出了对图16A所示的枕型失真显示图像执行失真为桶型的校正的结果。如上所述，水平端被用作用于校正的固定点。图像被显示为朝向画面的端缩减。生成垂直突出的部分，这不会导致问题，因为图像的宽高比为4：3。

像素校正部1003采用针对每个方向顺序地执行的、在垂直方向和水平方向上分离的处理执行图像校正。换言之，当按照从垂直方向到水平方向的顺序执行校正时，计算用于每个像素的运动向量。

首先，如图17所示，像素校正部103针对每行移动在同一垂直行上的像素，以执行在垂直方向上的校正。之后，如图18所示，像素校正部103随后针对每行移动在同一水平行上的像素，以执行在水平方向上的校正。以这种方式，在垂直方向和水平方向上的处理的分离有利地能够使得通过一维滤波器实现在每个方向上的处理，并且减少了滤波器的和积的次数。例如，假定垂直方向滤波器的抽头数量是K，并且水平方向滤波器的抽头数量是L，则和积的次数为(K+L)×M×N(在此，M是垂直方向上的像素数量，N是水平方向上的像素数量)。相反，如果使用在垂直方向和水平方向上具有相同抽头数量的二维滤波器，则和积的次数将大至K×L×M×N。随着抽头数量的增加，增强了源自和积次数的减少的效果，其归因于在垂直方向和水平方向上的分离处理。

图19示出了像素插值单元1003的示例性配置，其中，对在垂直方向和水平方向上的FIR(有限脉冲响应)滤波器进行组合以执行像素插值处理。

双缓冲器1901将输入数据写入一个缓冲器，并且当该缓冲器写满时压缩另一缓冲器来执行以在水平方向上的16个像素为单位的压缩处理。压缩行存储器1902储存以在水平方向上的16个像素为单位压缩的数据，并且可以以该单位随机地存取所压缩的数据。

从压缩行存储器1902所读出的数据经受扩展处理，此后，被保存在解压缩存储器窗口1903中以用于卷积处理。然而，预先读出并且解压接下来要处理的部分。在垂直方向上的FIR滤波器1904在水平方向上扫描解压存储器窗口1903。在每个插值位置处，用于每个插值相位的抽头系数从系数表格1905读出，并且被设置到FIR滤波器1904的每个抽头。

FIR滤波器1904的输出被写入水平缓冲器1906的相对应的水平位置中。水平缓冲器1906具有水平校正量+抽头长度的尺寸。

在水平方向上的FIR滤波器1907扫描水平缓冲器1906。在每个插值位置处，用于每个插值相位的抽头系数从系数表格1908读出，并且被设置到FIR滤波器1907的每个抽头。FIR滤波器1907的输出被设置为在显示单元203的显示画面中相对应的像素位置处的像素值。

图20示出了基于在每个格点处的运动向量对像素值进行插值的机理。

运动向量保存部1001具有在其中所描述的输入位置P11、P12、P21以及P22作为在显示画面上的格点p11、p12、p21以及p22的运动向量，对于格点p11、p12、p21以及p22中的每个显示输入位置中的每个。

向量插值部1002根据以下等式(18)计算由在四角上的格点p11、p12、p21以及p22所围绕的像素p＝(x，y)的运动向量，即，针对显示坐标p(x，y)所显示的输入位置P＝(X，Y)。

[数学等式18]

t＝x-x1；

s＝y-y1；

X＝(1-s)(1-t)X11+(1-s)tX12+s(1-t)X21+stX22；  ···(18)

Y＝(1-s)(1-t)Y11+(1-s)tY12+s(1-t)Y21+stY22；

如果运动向量的终止点位置P＝(X，Y)位于像素之间，则像素校正部1003采用近邻的像素值的加权和执行插值(参见图13)。

图21示出了当由像素插值单元1003通过分离垂直方向和水平方向的方式执行插值处理时所使用的一维滤波器的示例性配置。在图中，示出了在水平方向上所使用的FIR滤波器，并且计算使得显示位置X介于其间的六个像素的地址，以通过水平六抽头滤波器对X进行插值。每个插值位置被划分为八个相位，并且以八分之一为单位对显示位置X进行四舍五入。系数表格将用于每个插值相位的八种滤波系数存储在其中。

图22示出了由像素插值单元1003彼此独立地在垂直方向和水平方向上执行的一维插值处理。像素插值单元1003通过八相多相滤波器进行过采样。然后，在低通滤波器中，通过八种系数获取以八分之一像素为单位的运动量。在图19所示的示例中，在垂直方向上存在四个抽头并且在水平方向上存在六个抽头，但是相位划分数量和抽头数量仅为示例。相位划分数量和抽头数量是基于图像评估以及电路规模而确定的。理想的低通滤波器是脉冲响应无限连续的正弦窗口。因为以有限抽头数量执行间断，所以正弦窗口被用于滤波，但是可以使用Lanczos窗口。

当通过分离垂直方向和水平方向的方式由像素插值单元1003执行插值处理时，需要根据运动向量求得用于垂直方向和水平方向中的每个的运动量。当执行二维插值处理时，可以在与运动向量相反方向上求得像素的显示位置。相反，当通过分离垂直方向和水平方向的方式执行插值处理时，首先，在运动向量的垂直方向上求得显示位置，并且随后在水平方向上求得显示位置，但是不能够使得进行通过显示画面上的格点的方式进行的简单评估。换言之，需要在移动了之前使其动作的方向的运动向量的量的位置处，求得使其稍后动作的运动向量。图23示出当通过分离垂直方向和水平方向的方式执行插值处理时，用于获取在垂直方向上的运动向量和在水平方向上的运动向量的方法。

图24示出当通过分离垂直方向和水平方向的方式执行插值处理时，用于预先校正在垂直方向上的运动向量的方法。可以从运动向量保存部1001读出用于格点A的运动向量MV(A)。在此，向量产生部1402通过光线求得满足A＝B+MV_x(B)的格点B。在此，MV_x(B)是运动向量MV(B)的水平分量。然后，将在格点A处的运动向量MV(A)的垂直分量预先校正为MV'_y(A)＝MV_y(B)。

如已经描述地，显示单元203的显示面板使用液晶或有机EL元件等，但是这些显示元件在工业界中被认为很可能在具有较大亮度差异的区域引起烧毁现象。已知，在其中显示图像周期性地移动(以超低频率摆动)的轨道操作对于防止烧毁现象是有效的。然而，如果显示图像移动，则由于接目镜光学系统204而在像素中所生成的失真，不对应于通过校正而给予像素的相反方向上的失真，并且因此，不利地未消除失真。

然后，在实施例中，运动向量保存部1001具有下述配置：在该配置中，输出像素与运动向量之间的对应关系可以在水平方向和垂直方向上移位，以及包括在其后级(图像校正之后)用于使图像的显示位置移位的装置。此外，使得输出像素与运动向量之间的对应关系的移位和用于防止烧毁的显示位置的移位彼此协调地进行操作，以能够使得轨道操作被应用至用于失真消除的图像校正。

图25示出了防止烧毁的原理图。调制部2501使所呈现的图像的显示位置偏移来以超低频率摆动输入图像。图像校正单元202使用在运动向量保存部1001中所保存的运动向量，以将与在接目镜光学系统204中所生成的失真相反方向上的失真给予以超低频率摆动的输入图像。

图26示出了应用了图25所示的原理的防止烧毁的示例性配置。调制部2601使得所呈现的图像的显示位置偏移来以超低频率摆动输入图像。图像校正单元202使用在运动向量保存部1001中所保存的运动向量，以将与在接目镜光学系统204中所生成的失真相反方向上的失真给予以超低频率摆动的输入图像。之后，反调制部2602在与调制部2601的方向相反的方向上执行调制处理，以从输入图像中剪裁出显示图像，并且经由XGA接口2603输出到显示单元203。显示单元203使得显示位置(以超低频率)移位以用于显示面板的防止烧毁的轨道功能。

图27示出了等价于图26的示例性实现。在图中，调制部2701以超低频率摆动(运动向量保存部1001中的)运动向量而非所呈现的图像。另外，XGA接口2703在可接受范围内确定显示比例。当调制显示图像位置p_a(x_a，y_a)时，运动向量以相对应的量发生改变，求得满足以下等式(19)的最大d_v。

[数学等式19]

x_min′≤x_b≤x_max′

y_min′≤y_b≤y_max′  ···(19)

图2示出了描述了通过在接目镜光学系统204的投影图像中所生成的失真的信号处理进行的校正的功能框图。图19示出了下述示例性配置：在该示例性配置中，图像校正单元202不具有帧存储器，并且仅通过行存储器1902执行图像校正。考虑到装置成本，期望将行存储器1902的容量限制为低。因此，如图28所示，HDMI接收单元201包括缩放部2801，该缩放部2801依照显示单元203的显示画面的像素数量对外部输入图像执行缩放处理。显示单元203以使得行存储器1902的尺寸最小的定时进行驱动。

参照图29至图31，对图像校正单元202需要具有的行存储器1902的容量的估计给出描述。

除非所有图像信号的输入结束，否则不可以显示由图29中的C所指示的行。因此，在垂直方向上给出了为C-D的量的相位差。

在图29中，由A所指示的初始输入行显示由B所指示的行，并且被显示。因此，在垂直方向上需要为A-B的量的行存储器1902容量。

如图30所示，如果由HDMI接收单元201所接收到的图像信号由缩放部2801进行缩减，并且直到由图30中由E所指示的时间为止一直空白，则仅需要为E-B的量的行存储器1902容量。

此外，如图31所示，如果用于从行存储器1902将图像读出到显示单元203的定时改变，并且从由图31中的F所指示的时间开始输出，则仅要求为A-F的量的行存储器1902容量。

此外，本技术还可以如下配置。

(1)一种显示装置，包括：

图像显示单元，配置成采用布置在显示表面上的多个像素来显示图像；

接目镜光学单元，配置成以获得预定视角的方式投影所述图像显示单元的显示表面；以及

图像校正单元，配置成基于由于所述接目镜光学单元所生成的失真，在离散地位于所述显示表面上的代表性像素中的每个代表性像素的位置处，对所述显示表面上的显示图像进行校正。

(2)根据(1)所述的显示装置，其中

所述图像校正单元包括

运动向量保存部，配置成对在所述代表性像素的位置处的、表示由于所述接目镜光学单元所生成的失真的运动向量进行保存，

向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值，以及

像素校正部，配置成通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

(3)根据(2)所述的显示装置，还包括：

光学模拟器，配置成追踪所述图像显示单元中的显示图像的通过所述接目镜光学单元的光线；以及

向量生成部，配置成基于由所述光学模拟器所获得的光线追踪数据，生成在所述代表性像素的位置处的运动向量。

(4)根据(2)所述的显示装置，还包括：

向量生成部，通过当所述代表性像素被使得点亮时实际地拍摄由所述接目镜光学单元所投影的虚像，生成在所述代表性像素的位置处的运动向量。

(5)根据(1)所述的显示装置，其中

所述图像显示单元具有与所述显示图像的宽高比相比垂直地更长的显示表面，

所述接目镜光学单元生成基本上枕型的失真，以及

所述图像校正单元以在水平端处的视角不改变的方式对所述显示图像进行校正。

(6)根据(2)所述的显示装置，其中

所述像素校正部分离在垂直方向上的像素校正和在水平方向上的像素校正，并且针对每个方向顺序地执行像素校正处理。

(7)根据(2)所述的显示装置，其中

所述像素校正部，针对每行移动在同一垂直行中的像素以执行在垂直方向上的校正，然后，随后针对每行移动在同一水平行中的像素以执行在水平方向上的校正。

(8)根据(7)所述的显示装置，其中

所述像素校正部，求得在垂直方向上移动了运动向量的量的位置处在水平方向上的运动向量。

(9)根据(2)所述的显示装置，还包括：

调制部，配置成以低频对所述显示图像的位置进行移位，

其中

所述图像校正单元对经受了由所述调制部进行的调制处理的显示图像进行校正，而同时对像素位置与运动向量的对应关系进行移位，

所述图像显示单元具有对显示位置进行移位以防止烧毁的功能，以及

使得所述图像校正单元的移位和所述图像显示单元的移位彼此协调地进行操作。

(10)根据(1)所述的显示装置，还包括：

缩放部，配置成依照所述图像显示单元的显示表面的像素数量对所述显示图像进行缩放，

其中

所述图像校正单元对在行存储器上的显示图像进行校正，以及

所述图像显示单元以使得所述行存储器的尺寸最小的定时进行驱动。

(11)一种图像处理装置，包括：

运动向量保存部，配置成对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；

向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值；以及

像素校正部，配置成通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

(12)一种图像处理方法，包括：

运动向量保存步骤，对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；

向量插值步骤，基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值；以及

像素校正步骤，通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

(13)一种以计算机可读形式所描述的计算机程序，所述计算机程序使得计算机用作：

图像显示单元，配置成采用布置在显示表面上的多个像素来显示图像；

接目镜光学单元，配置成以获得预定视角的方式投影所述图像显示单元的显示表面；以及

图像校正单元，配置成基于由于所述接目镜光学单元所生成的失真，在离散地位于所述显示表面上的代表性像素中的每个代表性像素的位置处，对所述显示表面上的显示图像进行校正。

工业适用性

在上文中，参照具体的实施例对在本说明书中所公开的技术进行了详细地描述。然而，明显地本领域内技术人员可以发现在所附的权利要求的范围中的各种替换和修改。

在本说明书中，尽管主要地描述了在本公开中所公开的技术被用应用到头戴式显示器的实施例，但是，在本说明书中所公开的技术的范围不限于具体的头戴式显示器的配置。在本说明书中所公开的技术可以以相同的方式被应用到各种类型的显示系统，其中，所显示的图像通过接目镜光学系统被呈现给用户。

简言之，以示例的形式描述了在本说明书中所公开的技术，其不限于本说明书所公开的内容的解释。当确定在本说明书中所公开的技术的主旨时，应当考虑其权利要求。

参考标记列表

10  头戴单元

20  蓝光盘再现设备

30  高画质显示器

40  前端盒子

201  HDMI接收单元

202  图像校正单元

203  显示单元

204  接目镜光学系统

1001  运动向量保存部

1002  向量插值部

1003  像素校正部

1401  光学模拟器

1402  向量生成部

Claims (13)

1.一种显示装置，包括：

图像显示单元，配置成采用布置在显示表面上的多个像素来显示图像；

接目镜光学单元，配置成以获得预定视角的方式投影所述图像显示单元的显示表面；以及

图像校正单元，配置成基于由于所述接目镜光学单元所生成的失真，在离散地位于所述显示表面上的代表性像素中的每个代表性像素的位置处，对所述显示表面上的显示图像进行校正。

2.根据权利要求1所述的显示装置，其中

所述图像校正单元包括

运动向量保存部，配置成对在所述代表性像素的位置处的、表示由于所述接目镜光学单元所生成的失真的运动向量进行保存，

向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值，以及

像素校正部，配置成通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

3.根据权利要求2所述的显示装置，还包括：

光学模拟器，配置成追踪所述图像显示单元中的显示图像的通过所述接目镜光学单元的光线；以及

向量生成部，配置成基于由所述光学模拟器所获得的光线追踪数据，生成在所述代表性像素的位置处的运动向量。

4.根据权利要求2所述的显示装置，还包括：

向量生成部，通过当所述代表性像素被使得点亮时实际地拍摄由所述接目镜光学单元所投影的虚像，生成在所述代表性像素的位置处的运动向量。

5.根据权利要求1所述的显示装置，其中

所述图像显示单元具有与所述显示图像的宽高比相比垂直地更长的显示表面，

所述接目镜光学单元生成基本上枕型的失真，以及

所述图像校正单元以在水平端处的视角不改变的方式对所述显示图像进行校正。

6.根据权利要求2所述的显示装置，其中

所述像素校正部分离在垂直方向上的像素校正和在水平方向上的像素校正，并且针对每个方向顺序地执行像素校正处理。

7.根据权利要求2所述的显示装置，其中

所述像素校正部，针对每行移动在同一垂直行中的像素以执行在垂直方向上的校正，然后，随后针对每行移动在同一水平行中的像素以执行在水平方向上的校正。

8.根据权利要求7所述的显示装置，其中

所述像素校正部，求得在垂直方向上移动了运动向量的量的位置处在水平方向上的运动向量。

9.根据权利要求2所述的显示装置，还包括：

调制部，配置成以低频对所述显示图像的位置进行移位，

其中

所述图像校正单元对经受了由所述调制部进行的调制处理的显示图像进行校正，而同时对像素位置与运动向量的对应关系进行移位，

所述图像显示单元具有对显示位置进行移位以防止烧毁的功能，以及

使得所述图像校正单元的移位和所述图像显示单元的移位彼此协调地进行操作。

10.根据权利要求1所述的显示装置，还包括：

缩放部，配置成依照所述图像显示单元的显示表面的像素数量对所述显示图像进行缩放，

其中

所述图像校正单元对在行存储器上的显示图像进行校正，以及

所述图像显示单元以使得所述行存储器的尺寸最小的定时进行驱动。

11.一种图像处理装置，包括：

运动向量保存部，配置成对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；

向量插值部，配置成基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值；以及

像素校正部，配置成通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

12.一种图像处理方法，包括：

运动向量保存步骤，对在离散地位于在其上布置有多个像素的显示表面上的代表性像素中的每个代表性像素的位置处的、表示当接目镜光学单元以获得预定视角的方式投影显示表面时所生成的失真的运动向量进行保存；

向量插值步骤，基于邻近的一个或更多个代表性像素的运动向量，对在除了所述代表性像素之外的每个像素的位置处的运动向量进行插值；以及

像素校正步骤，通过使用所述运动向量，对在所述显示表面上的每个像素提供在与由于所述接目镜光学单元所生成的失真相反方向上的失真，并且配置成对所述像素进行校正。

13.一种以计算机可读形式所描述的计算机程序，所述计算机程序使得计算机用作：

图像显示单元，配置成采用布置在显示表面上的多个像素来显示图像；

接目镜光学单元，配置成以获得预定视角的方式投影所述图像显示单元的显示表面；以及

图像校正单元，配置成基于由于所述接目镜光学单元所生成的失真，在离散地位于所述显示表面上的代表性像素中的每个代表性像素的位置处，对所述显示表面上的显示图像进行校正。