CN101726854A - 图像处理装置、图像处理方法及图像处理系统 - Google Patents

图像处理装置、图像处理方法及图像处理系统 Download PDF

Info

Publication number
CN101726854A
CN101726854A CN200910206546.1A CN200910206546A CN101726854A CN 101726854 A CN101726854 A CN 101726854A CN 200910206546 A CN200910206546 A CN 200910206546A CN 101726854 A CN101726854 A CN 101726854A
Authority
CN
China
Prior art keywords
image
aberration
hmd
display
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910206546.1A
Other languages
English (en)
Other versions
CN101726854B (zh
Inventor
大山贤司
辻本卓哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101726854A publication Critical patent/CN101726854A/zh
Application granted granted Critical
Publication of CN101726854B publication Critical patent/CN101726854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种图像处理装置、图像处理方法及图像处理系统。布置分别获取关于显示光学系统产生的像差的信息和关于由观察者使用的视力校正光学系统产生的像差的信息的单元。基于这两个像差执行像差校正。能够针对各观察者适当地校正所述显示光学系统和所述观察者使用的所述视力校正光学系统的组合产生的像差。

Description

图像处理装置、图像处理方法及图像处理系统
技术领域
本发明涉及一种图像处理装置、图像处理方法及图像处理系统。特别地，本发明适用于针对各观察者校正在具有放大在显示设备上形成的图像并允许观察者观察放大的图像的显示光学系统的图像显示装置(例如HMD或EVF)中产生的像差(aberration)。
背景技术
已经提出了许多技术，来通过数字方法校正由光学透镜产生的像差所引起的图像失真和色偏(color misregistration)(渗色(bleeding))。用于消除像差的透镜新需要对失真和色偏进行光学校正，从而使光学系统的尺寸增大。设计用来防止这些像差的具有良好光学特性的透镜通常很昂贵。代替这种透镜，通常使用图像处理通过数字像差校正技术来校正光学系统产生的像差。这种技术可以减小光学系统的尺寸(减少透镜的数量)并采用便宜的透镜。
近来，具有更小型、重量更轻、成本更低的主体的诸如数字照相机的摄像装置需要减小摄像透镜的尺寸并降低成本。此外，诸如数字照相机的摄像装置通常具有变焦和聚焦功能。出现了对在透镜参数变化时不管像差的变化而保持高的图像拍摄质量的校正技术的需求。日本特开2006-135805号公报(下文中称为专利文献1)公开了一种像差校正技术，其即使在包括变焦、聚焦以及光圈的透镜参数改变为各种值时拍摄图像的情况下，也能够基于透镜参数消除由倍率色像差(chromatic aberration ofmagnification)引起的图像模糊。在专利文献1中公开的技术能够通过校正摄像装置(诸如数字照相机)中的透镜参数变化时摄像透镜产生的色像差来防止图像拍摄质量的劣化(即图像模糊)。
近来许多数字照相机包括电子取景器(electronic view finder，称为EVF)。已知EVF作为一种使得在拍摄图像之前经由取景器确认的图像与拍摄的图像真正匹配的技术。EVF采用使用数字图像传感器以去除单透镜反射照相机所必需的反射镜(已知为反射器)的配置。EVF被配置为在小型显示设备上实时显示数字图像传感器感测的图像，经由显示透镜放大在显示设备上形成的图像，并允许观察者进行观察。
即使在经由透镜放大在小型显示设备上形成的图像并允许观察者进行观察的显示光学系统(如EVF)中，也会出现与上述摄像透镜的像差相同的像差。该显示光学系统也需要校正由失真和色偏(渗色)引起的显示图像质量劣化的像差校正技术。
头盔式显示器(head mounted display，称为HMD)是放大在小型显示设备上形成的图像并允许观察者进行观察的图像显示装置的另一示例。针对将数字像差校正技术应用到HMD或EVF中以防止由显示装置的光学系统产生的像差引起的图像显示质量的劣化的技术，已经作出了许多提议。
然而，这些传统技术存在以下问题。
除了HMD或EVF的显示光学系统之外，在光路上还可能存在另一光学系统，当观察者通过HMD或EVF观察图像时，在显示设备上形成的图像的光通过该光路到达观察者的瞳孔。
例如，在仅对HMD或EVF的显示光学系统产生的像差进行校正的像差校正中，针对视力好、能够使用裸眼进行观察的观察者适当地校正像差(色偏)。观察者可能观察到显示图像保持质量。然而，当使用强效的视力校正光学系统的观察者观察相同的校正后的图像时，即使在校正后的图像上，他也会观察到色偏。这意味着适当的像差校正量根据观察者是否使用视力校正光学系统和视力校正程度的差异而改变。
也就是说，在通过HMD或EVF观察时，需要根据HMD或EVF的显示光学系统和观察者使用的视力校正光学系统的组合来校正产生的像差。然而，传统技术无法满足这种要求。
观察者所使用的视力校正光学系统的校正程度针对各观察者改变。如上所述，当对由显示光学系统和视力校正光学系统的组合产生的像差进行校正时，需要针对各观察者选择或生成适当的像差校正量。
HMD或EVF观察者使用的光学系统包括视力校正光学系统(眼镜片(spectacle lenses)和隐形眼镜(contact lenses))。视力校正的程度根据各观察者的视力而不同。已知许多测量视力校正光学系统(主要是眼镜片)的光学特性(例如折射率、像差、以及它们的空间分布)的方法，包括例如眼科临床或眼镜店所使用的医学透镜检查仪。例如，日本特开平06-018363号公报(称为专利文献2)公开了一种能够仅使用一个透镜检查仪来测量眼镜片和隐形眼镜二者的折射率的技术。这种技术采用在测量眼镜片和测量隐形眼镜时沿着光轴移动测试透镜的移动单元。日本特开2002-228545号公报(称为专利文献3)公开了一种使用数字照相机来拍摄通过透镜观察到的光学特性模式的模式图像并对其进行测量作为框架连接的眼镜片的光学特性的技术。
然而，难以直接将上述传统技术应用到诸如HMD或EVF的小型装置中，用来获得包括视力校正光学系统的像差的光学特性。因此，需要通过适当地校正由允许观察者观察在显示设备上形成的图像的光学系统和观察者所使用的视力校正光学系统的组合产生的像差，来呈现对于各观察者最佳的显示图像。
发明内容
作出本发明来解决至少一个传统问题。本发明的实施例提供一种能够执行适合于各观察者的像差校正并且在图像显示装置中呈现像差(色偏)减小的显示图像的像差校正方法、图像处理装置以及图像处理系统，该图像显示装置具有放大在显示设备上形成的图像并允许观察者进行观察的显示光学系统。
根据本发明的一个方面，提供了一种图像处理装置，其用于确定用于校正光学系统所产生的像差的特定观察者像差校正数据，所述光学系统允许观察者观察在显示器上形成的显示图像，该图像处理装置包括：
接收单元，用于接收关于所述观察者的视力校正光学系统的像差信息；
确定单元，用于利用预先准备的像差校正数据以及所述接收单元接收的所述像差信息，来确定特定观察者像差校正数据。
根据本发明的另一方面，提供了一种确定用于校正光学系统产生的像差的特定观察者像差校正数据的方法，所述光学系统允许观察者观察在显示器上形成的显示图像，该方法包括以下步骤：
接收关于所述观察者的视力校正光学系统的像差信息；
利用预先准备的像差校正数据以及所接收的像差信息，来确定特定观察者校正数据。
根据本发明的另一方面，提供了一种图像处理装置，其用于校正允许观察者观察在显示器上形成的显示图像的光学系统产生的像差，该图像处理装置包括：
存储单元，其存储针对所述观察者的视力光学校正系统产生的像差进行校正的像差校正数据；以及
校正单元，其利用所存储的像差校正数据来校正显示的图像。
根据本发明的另一方面，提供了一种用于校正允许观察者观察在显示器上形成的显示图像的光学系统产生的像差的方法，所述图像处理方法包括以下步骤：
取出所存储的针对所述观察者佩戴的视力光学校正系统产生的像差进行校正的像差校正数据；以及
利用所取出的像差校正数据来校正显示的图像。
根据本发明的另一方面，提供了一种图像处理系统，该图像处理系统包括：图像显示装置，其允许观察者经由光学系统观察在显示器上显示的显示图像；以及图像处理装置，其对所述光学系统产生的像差进行校正，所述图像处理装置包括：
存储单元，其被配置为存储预先准备的用来校正所述光学系统产生的所述像差的校正数据；
获得单元，其被配置为获得代表由观察所述显示图像的所述观察者使用的视力校正光学系统产生的像差的像差信息；
确定单元，其被配置为基于预先准备的所述校正数据和所述像差信息，确定用来校正存在于从所述显示器延伸到所述观察者的光路中的像差的特定观察者校正数据；以及
校正单元，其被配置为基于所述确定单元确定的所述特定观察者校正数据，校正其它显示图像上的像差，
其中所述图像显示装置输入所述校正单元校正的其它显示图像，并在所述显示器上显示所述显示图像。
通过下面参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。
附图说明
图1是例示第一实施例中的使用HMD的图像处理系统的装置配置的图；
图2是例示第一实施例中的使用HMD的图像处理系统的功能配置的框图；
图3是例示第一实施例中的HMD的显示光学系统的图；
图4是例示第一实施例中的适用于图像处理装置的计算机的硬件配置的框图；
图5是例示第一实施例中的HMD的硬件配置的框图；
图6A至图6C是用于说明第一实施例中的失真和倍率色像差的示意图；
图7是示出第一实施例中的HMD的处理序列的主流程图；
图8A至图8C是用于说明第一实施例中的HMD显示模式的示意图；
图9是示出第一实施例中的安装调整处理的流程图；
图10A至图10D是用于说明第一实施例中的在进行安装调整时显示的模式图像的示意图；
图11是示出第一实施例中的色偏量获得处理的流程图；
图12A至图12C是用于说明第一实施例中的在获得色偏量时显示的模式图像的示意图；
图13A和图13B是用于说明第一实施例中的用来获得色偏量的用户操作和确定的示意图；
图14是示出第一实施例中的像差校正处理的流程图；
图15A和图15B是用于说明第一实施例中的像差校正的插值计算处理的示意图；
图16是示出第一实施例中的微调处理的流程图；
图17A是示出第二实施例中的像差校正处理的流程图；
图17B是用于说明第二实施例中的像差校正方法的示意图；
图18是例示第三实施例中的HMD的功能配置的框图；
图19是示出第三实施例中的总体处理序列的主流程图；
图20是示出第三实施例中的像差校正表选择处理的流程图；
图21是示出第四实施例中的总体处理序列的主流程图；
图22是例示第五实施例中的HMD的功能配置的框图；以及
图23是用于说明第五实施例中的像差测量方法的示意图。
具体实施方式
下面将参照附图描述本发明的优选实施例。
(第一实施例)
图1是例示第一实施例中的使用HMD的图像处理系统的配置的图。第一实施例中的图像处理系统可以是手持显示装置(如双眼望远镜)，本发明的应用不局限于头盔式显示器。
本发明适用于各自具有将在显示设备上形成的显示图像放大(作为虚拟图像)并允许观察者进行观察的放大光学系统的所有显示装置。这些显示装置的示例是连接到数字照相机等的EVF。
在向观察者提供图像的全浸入感和高临场感时，使用HMD作为图像显示装置的的图像处理系统优于使用普通显示器的图像处理系统。近年来，已知作为使用HMD的图像处理系统的示例的所谓的混合现实(mixedreality，称为MR)技术。这种技术实时地无缝混合实际世界与虚拟世界。
MR系统的示例使用配备有用于拍摄几乎与从HMD用户的瞳孔位置观察到的视野相匹配的空间的视频照相机的视频透视(video see-through)HMD。将计算机图形(computer graphics，称为CG)图像叠加到视频照相机拍摄的图像上。HMD用户可以体验像通过CG绘制的对象(虚拟对象)存在于实际世界中一样的MR空间。
在头部佩戴的HMD优选具有小的尺寸和轻的重量。为了校正由摄像系统和显示光学系统产生的像差，光学方法需要校正透镜，因此通常使尺寸和重量增大。代替光学方法，通过使用信号处理的数字方法来进行像差校正。在这种情况下，HMD可以采用便宜的透镜，减少透镜的数量，并且实现较小的尺寸和较轻的重量。
根据第一实施例的MR系统包括HMD 101、HMD控制器102(称为控制器102)以及图像处理装置103。
HMD 101包括向HMD用户提供来自图像处理装置103的输出图像的图像显示单元。当在MR系统中HMD 101是视频透视HMD时，HMD 101包括拍摄HMD用户观察到的场景的摄像单元。HMD 101显示拍摄的场景图像或通过将CG图像叠加在来自图像处理装置103的场景图像上而获得的合成图像。
HMD 101具有与控制器102进行通信的功能。HMD 101可以由控制器102或电池提供的电压驱动。
连接到控制器102的图像处理装置103包括图像生成单元和/或回放视频内容的图像回放单元，将参照图2进行描述。在MR系统中，图像处理装置103具有通过图像生成单元绘制CG图像的CG绘制功能以及将HMD101拍摄的实际空间图像与CG图像组合的图像合成功能。
图像处理装置103经由控制器102与HMD 101进行通信。当从图像处理装置103接收到图像时，HMD 101在图像显示单元上将图像显示给HMD用户。控制器102具有进行各种图像处理(例如图像分辨率转换、颜色空间转换以及作为本实施例的特征的光学系统的像差校正)和传输格式转换的功能。
在图1中，图像处理装置103和控制器102由独立的硬件结构构成。然而，控制器102和图像处理装置103的功能均可以包含在专用图像处理装置中。
在图1中，HMD 101和控制器102由独立的硬件结构构成。然而，可以将HMD 101和控制器102的功能一体化。从功能的观点，将HMD 101和控制器102的功能的组合作为HMD来进行说明。
在图1中，通过线缆来连接各装置，但是可以无线地连接这些装置中的部分或全部。
图2是用来说明本发明的特征的第一实施例中的图像处理系统的功能框图。
HMD 201用作具有像差校正功能的图像显示装置，并且通过将控制器102合并到图1中的HMD 101中而构成。HMD 201包括：
·图像接收I/F 203，其从作为外部装置的图像处理装置103接收图像；
·图像存储器204，其用作存储图像数据的缓冲器；
·颜色分离单元205，其将图像数据分离为RGB颜色分量；
·插值单元206，其由插值单元206R、206G和206B构成，插值单元206R、206G和206B在进行坐标变换时基于校正值计算新的颜色；
·颜色组合单元207，其根据分离的RGB颜色图像重构一个图像数据；
·图像调整单元208，其对显示图像执行分辨率转换和图像移位(移动图像显示位置)；以及
·图像显示单元209，其显示显示图像。
HMD 201还包括：
·操作信号接收I/F 210，其从作为外部装置的操作装置202(稍后描述)接收信号；
·操作确定单元211，其分析接收到的操作信号的内容并基于接收到的操作信号的操作内容来控制HMD的各单元；
·像差计算单元212，其计算置于从显示设备延伸到观察者的光路中的光学系统产生的像差并选择校正值；
·显示模式设置单元213，其设置HMD的显示模式；
·坐标变换单元214，其基于校正值计算各颜色的变换后的坐标；
·像差校正值存储单元215，其存储校正值；
·更新存储器216，其创建新的校正表；
·模式图像生成单元217，其生成用于确认色偏的预定模式图像；以及
·校正值调整单元218，其将图像调整单元208的调整量反映到校正表中。
操作装置202接受HMD用户(观察者)输入到HMD 201的操作。操作装置202包括：操作单元219，其由按钮、触摸屏等构成；以及操作信号发送I/F 220，其将操作信号从操作单元219发送到HMD 201。可以将操作装置202的功能集合、一体化到HMD 201或图像处理装置103中。
图像处理装置103将图像输出到HMD 201以在HMD 201上进行显示。图像处理装置103包括：图像生成单元221，其生成图像；图像回放单元222，其回放存储在外部介质或内部存储设备(均未示出)中的视频内容；以及图像发送I/F 223，其向作为外部装置的HMD 201输出图像。图像处理装置103通常是具有高级运算处理功能和图形显示功能的装置(例如个人计算机或工作站)。
下面将描述HMD 201的功能块。
图像接收I/F 203是用于接收从图像处理装置103输出的图像的接口。图像接收I/F 203用作与图像处理装置103的图像发送I/F 223一起在HMD201与图像处理装置103之间进行数据通信的接口。图像接收I/F 203优选采用具有大的数据传输容量的通信标准，使得能够进行实时图像显示。数据通信方法可以是有线方法(例如USB、IEEE1394、或光传输)或无线方法(例如UWB(超宽带，Ultra Wide Band)、无线LAN或毫米波通信)。
图像存储器204用作临时存储从作为外部装置的图像处理装置103接收到的、由具有RGB颜色分量的像素构成的图像数据的缓冲器。
颜色分离单元205从图像存储器204读出任意坐标(地址)处的像素值，并将其分离为RGB颜色分量。当输入亮度信号和色差信号时，颜色分离单元205执行预处理以将像素重新配置为各颜色分量。
插值单元206R、206G和206B基于像素的各颜色的原始值和变换后的坐标计算插值位置处的新的颜色值。插值单元206R计算红色(称为R)的新值，插值单元206G计算绿色(称为G)的新值，插值单元206B计算蓝色(称为B)的新值。插值单元206计算的像素值是在显示设备上实际显示的像素值。
颜色组合单元207基于插值单元206R、206G和206B计算的插值位置处的新的颜色值组合显示像素处的多个颜色信息。例如，当针对每个颜色输入8位的数据时，颜色组合单元207根据针对每个颜色的8位的输入数据，组合变换后的像素值，以输出总共24位的像素数据。
图像调整单元208执行用于最终进行显示图像调整的各种图像处理，包括对显示图像的分辨率转换和图像移位(移动图像显示位置)、通过滤波而进行的加强处理以及色调校正。
图像显示单元209向HMD用户呈现显示图像。图像显示单元209包括针对右眼和左眼的两组显示设备和显示光学系统。例如，显示设备可以是小型液晶显示器、有机EL面板或使用MEMS(微机电系统，Micro ElectroMechanical System)的视网膜扫描设备(RID：Retinal Imaging Display，视网膜摄像显示器)。稍后将描述显示光学系统的配置。
操作信号接收I/F 210是用于从外部操作装置202接收操作信号的接口。操作信号接收I/F 210与操作装置202的操作信号发送I/F 220一起用作在HMD 201与操作装置202之间进行数据通信的接口。数据通信方法可以是有线或无线方法。
操作确定单元211分析从操作装置202接收到的操作信号并确定操作信号的操作内容。基于确定的操作内容，图像调整单元208、像差计算单元212、显示模式设置单元213以及模式图像生成单元217执行相应的功能。
像差计算单元212基于操作单元219的操作量计算色偏量，并基于计算结果选择或计算各颜色的校正值。稍后将描述色偏量的计算。例如，像差计算单元212确定要显示的像素的参照点，并从用作参照表的像差校正表224读出(或计算)参照点要变换成的坐标。
显示模式设置单元213设置符合使用HMD的图像处理系统的应用或HMD用户的意图的HMD显示模式。注意，使用HMD的图像处理系统的应用是指HMD的应用目的，其包括例如仅欣赏电影和伴随实际工作的MR系统的使用。
HMD显示模式表示依赖于在色像差校正中形成图像的R、G、B三原色中的基准色(R或B)的设置的图像表现的差异。校正后的图像的放大率在像差小的R基准色与像差大的B基准色之间不同。因此，可以通过改变基准色来改变图像表现。例如，当将R设置为基准色时，可以以使校正后的整个图像适合显示设备的整个屏幕的方式，来显示整个图像。当显示校正后的整个图像时，在显示设备上显示逆校正的整个图像以形成显示图像。这在显示设备上产生了不显示图像的区域。相反地，当将B设置为基准色时，可以进行使观察目标的大小优先的显示。在这种情况下，使用具有高放大率的校正后的图像，并且有效地使用显示设备的显示区域，以避免在显示设备上产生不显示图像的区域。然而，在显示设备上避免不显示图像的区域优先于使逆校正后的整个图像适合显示设备。由此，图像的一部分可能延伸到显示设备的显示区域之外，而丢失。一般的失真校正通常使用G作为像差校正的基准色。然而，本实施例关注图像表现的差异并使用R或B作为基准色。注意，像差校正的基准色并不局限于R或B。稍后将描述基准色设置的细节。
坐标变换单元214基于像差计算单元212选择的校正值和显示模式设置单元213设置的HMD显示模式来计算各颜色的变换后的坐标。为了减小所需的存储器容量，假设像差校正表存储特定颜色的变换后的坐标以及其余颜色(除了特定颜色以外)与特定颜色的差。坐标变换单元214根据特定颜色(基准色)的坐标和差值来获得其余颜色的变换后的坐标。
像差校正值存储单元215存储像差校正值。在本实施例中，像差校正值存储单元215存储预先准备的、保持不同的校正量的多个像差校正表(像差校正表224)。更具体地说，像差校正表224保持预先准备的用于校正HMD 201的光学系统产生的像差的多种类型的校正数据。代替像差校正表，可以存储多项式参数表，并且像差计算单元212根据近似多项式来执行校正。
在本实施例中，HMD 201包括像差校正值存储单元215。然而，图像处理装置103可以包含像差校正值存储单元215，只要可以从外部装置读取像差校正表即可。当HMD 201具有针对外部存储器和介质(例如CD、DVD、和
Figure G2009102065461D0000112
存储卡)的读/写单元时，外部存储器或介质可以用作像差校正值存储单元215。
更新存储器216存储像差计算单元212基于预先准备的校正值计算的新的校正值。在本实施例中，像差计算单元212根据按预定选择标准(稍后描述)选择的两个或更多个校正表来计算新的校正值。更新存储器216存储计算的值。
模式图像生成单元217生成要在图像显示单元209上显示的预定模式图像。模式图像生成单元217生成的预定模式图像是使HMD用户能够观察并确认色偏的尖锐(sharp)模式图像。“尖锐”图像是指高对比度图像，例如白色像素被黑色像素包围的黑色背景上的、宽度最多为几个像素的白线。
校正值调整单元218将图像调整单元208的调整内容反映到调整后的校正值中。校正值调整单元218基于调整处理(例如图像调整单元208执行的分辨率转换和图像移位(移动图像显示位置))的结果(调整值)来调整当前校正值。
描述了HMD 201的功能块。在又一实施例中，HMD可以包括图像显示单元209，而图像处理装置103包括HMD 201的其余所有功能单元，如图2所示。因而，图像处理装置103具有像差校正功能。在这种情况下，HMD将包括用于从图像处理装置103接收校正后的图像的图像接收接口。相应地，图像处理装置103将具有用于向HMD发送图像调整单元208输出的校正后的图像的图像发送接口。接下来，将描述操作装置202。
操作单元219接受HMD用户操作HMD 201的各种输入。操作单元219优选包括能够在屏幕上执行指示器操作的小型操作设备，例如四路或二路操作按钮、触摸屏、跟踪球或跟踪垫。操作单元219可以具有允许通过语音命令进行操作的语音输入功能。操作单元219还可以具有检测HMD用户的手部动作、以接受通过用户的动作发出的操作指令的功能。
操作信号发送I/F 220将操作信号从操作单元219发送到HMD 201。数据通信方法可以是有线或无线方法。
描述了操作装置202的功能块。现在描述图像处理装置103。
图像生成单元221生成要在HMD 201上显示的图像。在MR系统中，图像生成单元221实时地生成HMD用户观察的CG图像。当使用视频透视HMD时，图像生成单元221执行图像合成以将生成的虚拟空间图像(CG)叠加在HMD拍摄的实际空间图像上。
图像回放单元222读取并回放记录在外部存储器、外部介质(例如DVD)或内部存储设备(例如HDD)(均未示出)上的视频内容。
图像发送I/F 223是用于将图像生成单元221或图像回放单元222生成的图像发送到HMD 201的接口。如上所述，数据通信方法可以是有线或无线方法。
具有上述配置的图像处理系统能够根据HMD 201的用户来执行像差校正，并且获得适合于各用户的经过像差校正的显示图像。现在详细描述第一实施例中的像差校正。
图3是例示HMD的图像显示单元209的显示光学系统的图。
显示设备301是例如液晶或有机EL设备。当显示设备301是液晶设备时，使用由用作光源的背光(未示出)发出的光经由各颜色的滤波器进行照射。当显示设备301是有机EL设备时，由于自身发光，因此不需要背光。在面板上形成要呈现给操作者的彩色图像。显示设备可以是用于形成图像的使用MEMS设备的图像形成装置。
具有曲线表面的棱镜302放大来自显示设备301的光线，并将其导向瞳孔。与简单的透镜相比，自由曲率棱镜302可以实现平整、紧凑的结构。
通过显示设备形成图像形成点303。通过将瞳孔304调整到该位置，观察者可以看到通过在显示设备301上放大图像而获得的大的显示图像。以这种方式，自由曲率棱镜302用作用于放大在显示设备301上形成的显示图像并允许观察者进行观察的放大光学系统。
通常，通过多个透镜组来防止光学系统产生的各种像差的影响。为了实现小型HMD，简化光学系统并减小其尺寸和重量是很重要的。为此，设计通过数字方法校正部分像差(例如失真和色像差)的协作系统是很有效的。
图4是示出诸如图像处理装置103的计算机的硬件配置的框图。
CPU 401使用存储在RAM 402和ROM 403中的程序和数据来控制整个计算机。另外，CPU 401执行由应用该计算机的图像处理装置103执行的处理。
RAM 402具有临时存储从外部存储设备406加载的程序和数据、图像生成单元221生成的图像、图像回放单元222回放的图像数据等的区域。RAM 402还具有CPU 401执行各种处理时所使用的工作区。必要时，RAM402可以为各种处理提供各种区域。
ROM 403存储计算机的设置数据、引导程序等。
操作单元404包括键盘和鼠标。计算机的操作者可以操作操作单元404以向CPU 401输入各种指令。
显示单元405由CRT、液晶屏等构成。显示单元405能够以图像和文本的方式向操作者显示CPU 401和图形板(graphics board)(未示出)的处理结果。
外部存储设备406是以硬盘驱动器为代表的大容量信息存储设备。外部存储设备406存储OS(操作系统，Operating System)、以及使CPU 401执行图像处理装置103执行的处理的程序和数据。必要时，在CPU 401的控制下将这些程序和数据加载到RAM 402，并由CPU 401进行处理。
I/F 407对应于图2所示的图像发送I/F 223。I/F 407主要用作向HMD201发送显示图像以与HMD 201进行数据通信的接口。
总线408将上述单元相互连接。
图5是示出HMD 201的硬件配置的框图。
显示单元501对应于图像显示单元209。
RAM 502具有CPU 505执行各种处理时使用的工作区、以及用于临时存储经由图像接收I/F 203从外部图像处理装置103接收的数据的区域。
ROM 503存储使CPU 505执行HMD 201执行的处理(稍后描述)的程序、关于HMD 201的显示设置和像差校正值的数据、以及对应于校正值的个人认证数据。
操作单元504对应于HMD 201的操作装置202。
CPU 505执行包括HMD 201的初始设置的控制各种设备的程序。
I/F 506对应于图2所示的图像接收I/F 203。
像差校正LSI(大规模集成，large-scale integration)电路507执行第一实施例中的像差校正功能。假设像差校正LSI电路507是ASIC(专用集成电路，Application Specific Integrated Circuit)。可选地，DSP(数字信号处理器，Digital Signal Processor)可以通过软件来描述并实现该功能。稍后将描述处理内容的细节。
总线508将上述单元相互连接。
当在MR系统中HMD是视频透视HMD时，可以将三维位置姿势传感器(未示出)连接到总线508以获得HMD用户的位置和姿势信息。三维位置姿势传感器使用磁传感器或陀螺仪(加速度或角速度)。一些设备仅根据内部照相机拍摄的图像来获得位置和姿势信息，因此三维位置姿势传感器不是必不可少的。
图6A至图6C是用于说明失真和倍率色像差的图。显示与在透镜上产生的像差相对的方向上失真的逆校正后的图像，以抵消透镜的像差并显示正常图像。
图6A是示出未失真图形601(即显示的原始图像)的图。图6B是示出由于显示光学系统的失真导致的筒状方式的失真的G图像602的图。图6C是示出失真以及倍率色像差的图。
在图6C中，在R、G、B三原色中，实线表示G(G图像602)，虚线表示B(B图像603)，点划线表示R(R图像604)。图6C示出了显示倍率在显示图像的各颜色分量之间不同。
形成图像的R、G、B三原色具有不同的光波长。通过显示光学系统的折射率在这些颜色之间不同。结果，这些颜色的图像形成位置彼此偏移，并且在显示图像上出现色偏(显示倍率差)。通常，波长短的光线以比波长长的光线小的角度折射。因此，B光线的折射比R光线大。相反地，R光线的折射比B光线小。
关注原始图像上的一个点。放大并显示在显示设备上形成的图像的光学系统形成R、G和B点，使得它们相对于形成原始图像的白色点以R、G、B的顺序(R更接近于光学原点)向外偏移，由此通常表现为散射现象。
结果，R图像604形成在G图像602内，而B图像603形成在G图像602外。这种现象即使在黑白被摄体的图像边缘也产生色偏(渗色)。此外，这种现象即使在彩色图像被摄体的边缘(例如颜色改变的边界区域)也产生类似的色偏。色偏从显示图像的中心向外围(外部)增大。
在经由实际透镜的图像形成中，当形成图6A中的图形601时，图像如图6C所示失真，并且图像形成位置(倍率)根据颜色而改变。将前面单色的现象称为失真，将依赖于色差的倍率差称为倍率色像差。当由于显示光学系统的像差而导致显示图像产生筒状失真时，例如图6C的示例，应用数字处理，以在显示设备上形成逆向失真的图像，由此抵消显示光学系统的像差。
第一实施例还在对上述像差的数字像差校正方法中执行与观察者(的光学系统)相对应的像差校正。下面将描述该处理的整体序列。
图7是示出第一实施例中的整体序列的主流程图。在开始使用HMD201时，执行该序列。然而，该流程图的处理并不局限于开始使用HMD 201，即使在使用HMD 201期间，也可以按照需要任意调用该流程图的处理。
在步骤S701中，HMD 201检查之前是否使用过HMD 201以及是否存在那时存储在像差校正值存储单元215中的像差校正数据。如果存在过去存储的像差校正数据，则HMD 201提示HMD用户确定是否使用这些数据。作为提示HMD用户进行确定的方法，例如，HMD 201的图像显示单元209显示特定图像(例如“您想使用先前的设置吗？”的消息)，或者使用语音询问(例如“您想使用先前的设置吗？”的消息)来进行确定。
如果过去已存储了像差校正数据并且HMD用户指示HMD 201使用这些数据，则处理从步骤S701转移到步骤S702。如果不存在过去存储的数据或者HMD用户指示HMD 201新创建像差校正数据，则处理从步骤S701转移到步骤S703。
在步骤S702中，HMD 201提示HMD用户从存储的像差校正数据中选择要使用的数据。作为提示HMD用户进行选择的方法，例如，将存储的数据的列表作为具有按组等进行分类的分层结构的列表来进行显示，或者输出语音消息(诸如“您的姓名？”)。
在特定实施例中，HMD用户通过经由操作单元219在图像显示单元209上的显示图像上操作指示器，来输入选择。其它选择输入方法有：在HMD 201具有视线检测功能时通过输入视线进行指示器操作，基于HMD201的用户的手部动作进行指示器操作，以及语音答复。此外，HMD 201可以被配置为具有个人认证功能(例如脸部识别、视网膜扫描、或静脉认证功能)，HMD 201通过该个人认证功能自动对HMD用户进行认证，并选择要使用的校正数据。
在步骤S703中，HMD 201提示HMD用户选择HMD显示模式。如上所述，HMD显示模式的差异是进行像差校正时使用的基准色的差异。将参照图8A至图8C来描述依赖于HMD显示模式的显示图像的差异。
在步骤S704中，HMD 201调整HMD的安装。在进行安装调整时，调整显示设备上的图像显示位置。作出连接光学系统的光学原点与观察者的瞳孔位置的光轴，用于在步骤S705中获得像差信息(色偏量)之前匹配图像显示位置。稍后将参照图9描述该处理的细节。
在步骤S705中，HMD 201获得通过HMD用户的瞳孔确认的色偏量，稍后将参照图11描述其细节。
在步骤S706中，HMD 201基于在步骤S705中获得的色偏量来执行像差校正，确定最终像差校正数据，稍后将参照图14描述其细节。
通过该处理，确定了针对HMD用户使用的像差校正数据。
在步骤S707中，HMD 201在图像显示单元209上显示特定模式图像，并提示HMD用户确认像差校正是否正确。
在步骤S708中，HMD 201提示HMD用户确定是否因色偏落在容许范围内而适当地校正了色偏，或者确定是否需要进行微调。通过上述指示器操作、语音输入等，HMD用户指定是否需要进行微调。
如果HMD用户输入需要进行微调，则处理转移到步骤S709。如果不需要进行微调，则处理转移到步骤S710。
在步骤S709中，HMD 201对像差校正进行微调，稍后将参照图16描述其细节。
通过该处理，生成经过了适合HMD用户的校正的像差校正数据。
在步骤S710中，HMD 201确定在之前的步骤中生成的像差校正数据是否与读取的过去存储的数据一致。如果读取并使用过去存储的像差校正数据并且不需要进行微调，则不需要再次在像差校正值存储单元215中存储生成的像差校正数据。由此，HMD 201结束针对用户的像差校正处理，并转移到正常操作。
正常操作是指HMD 201从图像处理装置103接收图像(图像生成单元221生成或图像回放单元222回放的图像)、显示图像、并将内容呈现给HMD用户的操作。
在步骤S711中，HMD 201提示HMD用户确定是否存储通过之前的处理确定或新生成的像差校正数据。如果HMD用户指示HMD 201存储像差校正数据，则处理转移到步骤S712。如果HMD用户指示HMD 201不存储像差校正数据，则HMD 201结束该序列的处理并转移到正常操作。
在步骤S712中，HMD 201将像差校正数据存储在像差校正值存储单元215中。此时，与能够指定个人的信息相对应地将像差校正数据存储在像差校正值存储单元215中，使得可以在下次使用HMD时读取像差校正数据。能够指定个人的信息包括例如个人的姓名、编号、以及用于进行视网膜认证、静脉认证或声纹(voiceprint)认证的数据。
在步骤S712结束之后，HMD 201结束该序列的处理，并转移到正常操作。
在第一实施例中，确定在HMD 201进行正常操作期间用户不变，并且原则上使用根据图7的流程图确定的一个校正值(校正表)。更具体地说，进行控制，使得在用户持续进行观察时，使用以前述方式确定的校正数据的一个信息。必要时，即使HMD 201在使用中时，也可以调用该序列以改变使用的校正表。
图8A至图8C是用于说明HMD显示模式的图。
在第一实施例中，可以选择符合使用HMD 201的图像处理系统的应用或符合HMD用户的意图的HMD 201的HMD显示模式。本实施例中的HMD显示模式是指依赖于像差校正的基准色的差异的、图像表现的差异(图像放大率)。在本实施例的示例中，假设基于在使用R(红色)作为基准时使显示整个图像优先的显示模式以及在使用B(蓝色)作为基准时使观察目标的实际尺寸优先的显示模式，设置了两个图像表现。在此前提下，在进行基于B的像差校正时，光学设计使显示的图像(拍摄的图像)的尺寸几乎与实际被摄体匹配。
图8A是示出依赖于像差校正的基准色的差异的差异的示意图。图8B是示出当R是像差校正的基准色时HMD上的显示图像的示意图。图8C是示出当B是像差校正的基准色时HMD上的显示图像的示意图。
如上面参照图6A至图6C所描述的，放大并显示在显示设备上形成的图像的光学系统形成R、G和B点，使得它们相对于形成原始图像的白色点以R、G、B的顺序(R更接近于光学原点)向外偏移。在由R、G、B三原色形成的原始图像上，B图像的放大率最高。如果使用具有最高放大率的B图像形成位置作为校正像差的基准，则显示高放大率的校正后的图像。相反，如果使用具有低放大率的R图像形成位置作为校正像差的基准，则显示低放大率的校正后的图像。
图8A示出了在显示设备的最大显示区域801中的、将R设置为像差校正的基准色时的显示图像802以及将B设置为基准色时的显示图像803。图8A示出了依赖于基准色的差异的、校正后的显示图像之间的差异。
图8B是示出使显示整个图像优先的显示模式下的显示图像的图。在该显示模式下，在使用R作为像差校正的基准色来校正像差的情况下，优先于观察目标的实际尺寸，显示整个校正后的图像。通过使逆校正后的整个图像适合显示设备来形成显示图像。这在显示设备上在801与802之间产生了不显示图像的区域。
图8C是示出使观察目标的实际尺寸优先的显示模式下的显示图像的图。在该显示模式下，在使用B作为像差校正的基准色来校正像差的情况下，以实际尺寸再现观察目标，而不显示整个校正后的图像。为了有效地利用显示设备的整个显示区域，逆校正后的图像的一部分延伸到显示设备的显示区域之外，一部分(外围的)图像丢失。因此，显示的图像能够使用非矩形的显示设备的所有像素。
图8C所示的实际尺寸优先的显示模式对于使用视频透视HMD的MR系统尤其有效。在依赖于应用的MR空间中，MR系统有时伴随有HMD用户的工作。在整个显示优先的显示模式下，经由视频透视HMD观察的HMD用户的手部动作与HMD用户的运动感不匹配，结果，HMD用户可能会感觉奇怪。通常，当人进行伸手可及的工作时，他注视对象，而几乎不注意他的视域的外围，因此几乎不需要看到对象周围的全部场景。通过使用人的这种感知，再现实际尺寸的显示可以消除运动感与视力之间的不匹配。
如上所述，根据本实施例的HMD能够通过基于MR系统的应用和HMD用户的意图选择显示模式，来呈现与状况相对应的图像显示。
注意，在本实施例中，光学设计在使用B作为基准时，再现实际尺寸，但是也可以被配置为在使用R或G作为基准时，再现实际尺寸。当将B设置为基准时，可以有效地利用显示设备以显示整个放大的图像。在选择显示模式之前，设置是否有效地利用面板的像素很重要。
图9是示出图7的步骤S704中的安装调整的详细序列的流程图。通过数字方法来调整图像显示位置，以使其尽量与连接光学原点和瞳孔位置的光轴匹配。
第一实施例中的安装调整是在正确安装HMD 201的前提下、相对于显示设备的显示区域、通过数字方法调整图像显示位置的处理。“正确安装”是指以安装手册等中描述的方式安装HMD 201。“正确安装”还指当HMD201包括瞳孔距离调整机构时适当地调整瞳孔距离。
在一些情况下，当正确安装了HMD 201时，光学原点和瞳孔位置也可能与光轴不匹配。在这种情况下，即使在显示画面的中心附近，也可能出现色偏。为了防止在显示的中心处产生色偏，需要将显示图像的中心设置在连接光学原点和瞳孔位置的轴上。
在步骤S901中，模式图像生成单元217生成用于进行安装调整的模式图像，图像显示单元209针对一只眼显示该模式图像。此时，针对另一只眼不显示图像，针对各眼执行安装调整。将参照图10A至图10D来描述显示的模式图像。
在步骤S902中，HMD 201提示HMD用户观察所显示的模式图像，并确定显示图像是否有色偏，即是否需要进行调整。通过使用上述指示器操作或语音，HMD用户输入是否需要进行调整的指令。如果用户输入需要进行调整的指令，则处理转移到步骤S903；如果用户输入不需要进行调整的指令，则处理转移到步骤S905。
在步骤S903中，图像调整单元208基于HMD用户对操作单元219输入的指令，在显示表面上移动图像显示位置(称为图像移位处理)。
在步骤S904中，HMD 201提示MD用户确定通过其瞳孔观察到的色偏是否落在其容许的范围内。如果色偏落在容许范围内，则图像移位处理结束，处理转移到步骤S905。如果色偏没有落在容许范围内，则重复图像移位处理(步骤S903)以使色偏落在容许范围内。
在步骤S905中，HMD 201确定是否针对双眼执行了安装调整。如果针对双眼的处理结束，则安装调整处理结束。如果仅针对一只眼执行了调整，则处理返回到步骤S901，针对另一只眼执行安装调整。在步骤S906中，在图像调整单元208中设置通过之前的处理调整的图像显示位置。校正值调整单元218存储图像显示位置的移位量。需要将在进行安装调整时调整的图像显示位置的移位量反映到像差校正表224的校正中心位置，并用作像差校正的先决条件(稍后描述)。
通过上述处理，在显示设备的显示区域中通过数字方法移动显示图像。这能够防止在显示图像的中心产生色偏。
设计为在光学系统的光学原点附近不产生像差，并假设几乎不出现色偏。因此，除了不提供瞳孔距离调整机构的情况以外，该调整的调整量落在最多几个像素的范围内。
图10A至图10D是用于说明在进行安装调整时、显示的模式图像和HMD用户进行的确定的示意图。
在图10A中，在光学原点位置处显示模式图像，但是图像显示位置与连接光学系统的光学原点和观察者的瞳孔的光轴不匹配。因此，HMD用户确认色偏并分开观察形成白色的R、G和B。在第一实施例中，在进行安装调整时显示的模式是宽度最多为几个像素的十字形白色细线(背景色为黑色)。只要能够确认色偏的产生，模式图像并不局限于十字形，还可以是四边形或三角形。注意，模式图像优选是包含所有R、G、B三原色的白色。
在图10B中，图像显示位置与连接光学系统的光学原点和观察者的瞳孔的光轴匹配，因此显示图像的中心被定位在没有色偏的位置。HMD 201提示HMD用户操作操作单元219，使得HMD用户能够观察到如图10B显示的清晰的模式图像。图像调整单元208基于HMD用户对操作单元219的操作移动图像显示位置。结果，将HMD用户的瞳孔观察到的图像从图10A中的图像调整为图10B中的图像。因此，如图10A和图10B的箭头所示，将图像的中心位置从光学原点位置调整到无色偏位置。
此时，HMD用户的瞳孔观察到通过将分开观察到的R、G和B叠加而形成的白线。据此，HMD用户确定产生的色偏是否被抵消或落在容许范围内。色偏落在容许范围内是指通过将显示图像的中心调整到连接瞳孔和光学原点的光轴上来正确地安装HMD 201，从而正确地观察图像。
注意，在图10A和图10B中显示十字形的模式图像，但是模式图像并不局限于此。例如，当操作装置202的操作单元219允许进行仅在一维方向上移动图像的操作时，可以逐一显示如图10C和图10D所示的单个白色细线的模式图像，来执行安装调整。在这种情况下，通过使用图10C中的垂直线调整水平色偏，然后使用图10D中的水平线调整垂直色偏，来依次执行调整。
图11是示出第一实施例中的图7的步骤S705中的色偏量获得处理的详细序列的流程图。
在第一实施例中，获得色偏量以获得HMD用户的瞳孔观察到的色偏量。也就是说，获得HMD的显示光学系统和HMD用户所使用的视力校正光学系统的组合产生的色偏量。假设HMD 201预先具有用于校正HMD201的显示光学系统产生的色偏的像差校正表。
在步骤S1101中，HMD 201从显示模式设置单元213中获得在步骤S703中设置的HMD显示模式，并将其反映到坐标变换单元214中。如上所述，HMD显示模式是失真校正中的基准色的设置。
在步骤S1102中，HMD 201使模式图像生成单元217生成用于获得色偏量的模式图像。HMD 201在图像显示单元209上在与一只眼相对应的指定位置(例如显示区域的外围位置)处显示模式图像。此时，针对另一只眼不显示图像，针对各眼获得色偏量。将参照图12A至图12C来描述所显示的用于获得色偏量的模式图像。
在步骤S1103中，HMD 201提示HMD用户指示显示图像是否有色偏，即是否需要进行调整。通过上述指示器操作、语音等，HMD用户指定是否需要进行微调。如果需要进行调整，则处理转移到步骤S1104；如果不需要进行调整，则处理转移到步骤S1106。
在步骤S1104中，图像调整单元208基于HMD用户对操作单元219输入的指令，移动模式图像的图像显示位置(图像移位处理)。在步骤S1104中的图像移位处理中，图像调整单元208移动形成模式图像的颜色分离图像中的除基准色以外的颜色的颜色分离图像。
对除基准色以外的两个颜色的颜色分离图像重复执行步骤S1104和S1105。
例如，当将R设置为像差校正的基准色(即显示模式)时，HMD 201提示HMD用户操作显示与R的色偏程度接近的色偏程度的G模式图像(G颜色分离图像)，然后操作B模式图像(B颜色分离图像)。当将B设置为基准色时，HMD 201提示HMD用户操作G模式图像(G颜色分离图像)，然后操作R模式图像(R颜色分离图像)。结果，消除了色偏。
更具体地说，当将R设置为基准色时，HMD 201提示HMD用户将图像移位，使得G模式图像与R模式图像交迭。当这两个模式图像相互交迭时，HMD用户观察到黄色(称为Y)。然后，HMD 201提示HMD用户将图像移位，使得B模式图像与Y模式图像交迭。当Y模式图像和B模式图像相互交迭时，HMD用户观察到白色(称为W)。此时，像差计算单元212获得图像移位量。
在步骤S1105中，HMD 201提示HMD用户确定其瞳孔观察到的色偏是否落在其容许的范围内。如果HMD用户向操作单元219输入色偏落在容许范围内的指令，则图像移位处理结束，处理转移到步骤S1106。如果HMD用户向操作单元219输入色偏没有落在容许范围内的指令，则HMD201重复执行步骤S1104中的图像移位处理。
将参照图12A至图12C来描述所显示的模式图像。当存在多个色偏量获得位置时，在各获得位置处重复执行步骤S1104和S1105。
通过该处理，HMD用户将模式图像移位，直到消除色偏为止，或者实际上，是降低到容许等级为止。移位量表示HMD用户观察到的色偏量。
在步骤S1106中，像差计算单元212根据以前述方式的HMD用户的模式图像移位量来获得色偏量，并将其存储在HMD 201的RAM 502中。
在步骤S1107中，HMD 201确定是否针对双眼执行了调整。如果针对双眼获得了色偏量，则处理结束。如果仅针对一只眼执行了调整，则处理返回到步骤S1102，获得针对另一只眼的色偏量。
通过该处理，针对双眼获得了HMD的显示光学系统和HMD用户所使用的视力校正光学系统的组合所产生的色偏的量。
图12A至图12C是用于说明如上所述获得色偏量时显示的模式图像的示例的示意图。
图12A例示了在四个点处获得色偏量时的模式图像。图12B例示了在两个点处获得色偏量时的模式图像。图12C例示了在一个点处获得色偏量时的模式图像。
所显示的模式图像可以是容易观察到色偏的图案。在第一实施例中，模式图像是宽度最多为几个像素的十字形白色细线(背景色为黑色)，但是并不局限于此。例如，模式图像可以是四边形、三角形或沿着显示区域的角的弧形。注意，模式图像优选是包含所有R、G、B三原色的白色。
通常，在光轴附近的中心不出现像差，而在诸如HMD的显示光学系统或视力校正光学系统(主要是眼镜片)的观察光学系统的外围出现像差。由于该原因，如图12A至图12C所示，从外围获得色偏量。
图12A示出了在显示区域的外围的四个点处获得色偏量时的模式图像。通过在四个或更多个位置获得色偏量，可以获得精确的色偏量，甚至对于复杂的显示光学系统和视力校正光学系统的组合获得光学系统的像差特性。
注意，在四个点处不必同时显示模式图像，而优选针对各点逐一显示模式图像。在获得色偏量之后，模式图像移位到下一点并向HMD用户显示。显示顺序为例如图12A中的标号和箭头所示的1、2、3和4。逐一显示模式图像能够防止出现当在四个点处同时显示模式图像时、HMD用户遗漏当前操作的模式图像的情况。当在四个点处同时显示模式图像时，色偏出现的方向可能在各位置之间不同，并且对一个点的色偏的调整(降低)可能会反映为例如使另一个点的色偏放大。在这种情况下，HMD用户可能无法确定操作目标。通过逐一显示模式图像还可以避免这种情况。因此，可以将HMD用户的注意力导向一个点的操作。
图12B示出了在显示区域的外围的两个点处获得色偏量时的模式图像。当光学系统(显示光学系统和视力校正光学系统的组合)具有关于通过光学原点的垂直轴或水平轴对称或几乎对称的光学特性时，可以通过在两个点处获得色偏量，来以高精度计算像差量。在实施本发明时，在两个点处获得色偏量可以简化获得色偏量的操作。
图12C示出了在显示区域的外围的一个点处获得色偏量时的模式图像。当光学系统(显示光学系统和视力校正光学系统的组合)具有关于通过光学原点的光轴旋转对称的光学特性时，可以通过在一个点处获得色偏量，来令人满意地计算光学系统的像差特性。在一个点处获得色偏量对于简单的光学系统是有效的。与在两个点处获得色偏量相比，这可以进一步简化获得色偏量的工作。
图13A和图13B是用于说明在获得色偏量时将R设置为基准的情况下、在步骤S1103至S1105中HMD用户进行的操作和确定的示意图。
图13A示出了在获得色偏量中显示模式图像时在显示图像中产生的色偏。图13B示出了HMD用户通过将除基准色之外的各颜色的图像移位并叠加各颜色的图像而进行的色偏的消除。
在图12A至图12C中，在第一实施例中显示白色十字形模式图像，以获得色偏量。这是因为十字形图案具有良好的可操作性，并且允许HMD用户立刻观察到两个方向上的色偏量。在图13A和图13B中，显示垂直延伸的细线，以便于获得显示表面上的水平色偏量。类似于水平色偏量，本领域技术人员容易想到还可以使用水平延伸的细线来获得垂直色偏量。
如果针对HMD 201的显示光学系统和HMD用户的视力校正光学系统的组合没有有效地校正色像差，则HMD用户的瞳孔观察到如图13A所示的色偏。
本说明假设将R设置为HMD显示模式，即像差校正的基准色。
HMD用户相对于图13A所示的观察到的色偏，将除基准色以外的颜色(本说明中为G和B)的图像移位，使得如图13B所示，各颜色的图像彼此交迭，并且HMD用户可以观察到作为白色细线的各颜色的图像。
首先，HMD 201显示R基准色的颜色分离图像和G颜色分离图像，并提示用户执行图像移位操作以相对于R颜色分离图像移动G颜色分离图像。然后，HMD 201显示B颜色分离图像，并提示用户执行图像移位操作以叠加R颜色分离图像和B颜色分离图像。
更具体地说，HMD用户执行图像移位操作以将G图像叠加在R图像上。当这些图像相互交迭时，HMD用户能够观察到Y。HMD用户经由操作装置202输入G图像和R图像相互交迭的确认。接下来，HMD 201显示B图像，HMD用户执行图像移位操作以将B图像叠加在Y图像上。当这些图像相互交迭时，HMD用户能够观察到如图13B所示的W图像。尽管在本示例中首先移位G颜色分离图像，但是可以任意设置先移位除基准色之外的两个颜色的图像中的哪一个。
像差计算单元212确定此时的各颜色分离图像的图像移位量，根据确定的移位量来计算模式图像显示位置处的各颜色的色偏量。
图14是示出第一实施例中的图7的步骤S706中的像差校正的详细序列的流程图。
在步骤S1401中，HMD 201参照在图11的步骤S1106中由像差计算单元212获得的、并存储在RAM 502中的色偏量。该序列针对除基准色之外的两个颜色重复执行处理。
在步骤S1402中，像差计算单元212从在像差校正值存储单元215中预先准备的像差校正表224中选择保持与在步骤S705中获得的色偏量最接近的校正的色偏量(校正量)的校正表。
在步骤S1403中，坐标变换单元214基于在步骤S1402中选择的校正表执行坐标变换处理。插值单元206R、206G和206B计算变换后的坐标处的新的颜色。因此，在显示图像中反映对于色偏量有效的校正。
在步骤S1404中，HMD 201显示微调模式图像(在第一实施例中采用图12A和图12B所示的色偏量获得图像)。HMD用户基于所选择的校正表确定色偏是否落在容许范围内，来作为校正结果。
如果HMD用户输入色偏落在容许范围内的指令，则处理转移到步骤S1407，确定使用所选择的校正表。如果HMD用户输入色偏没有落在容许范围内的指令，则处理转移到步骤S1405。
在步骤S1405中，像差计算单元212选择保持第二接近于在步骤S705中获得的色偏量的校正量的校正表。
例如，如下选择保持第二接近的校正量的表。第一校正表的校正量具有大于或小于所获得的色偏量的校正特性。选择校正特性与第一校正表相反并且保持与所获得的色偏量接近的色偏校正量的表作为第二表。例如，在第一表的校正特性强(校正量大于所获得的色偏量)的情况下，选择具有弱的校正特性(校正量所获得的色偏量)和最接近所获得的色偏量的色偏校正量的表作为第二表。
以这种方式，选择在所获得的色偏量的任意一侧具有接近的校正量的两个校正表，或者将所获得的色偏量夹在其间的两个校正表。
在步骤S1406中，像差计算单元212执行校正值插值计算以对这两个校正表进行插值。更新存储器216存储计算结果。因此，新创建了最佳校正表。稍后描述计算方法的细节。
在步骤S1407中，HMD 201确定使用选择的或新生成的校正表，并将其设置在坐标变换单元214中。
在步骤S1408中，HMD 201确定是否确定了针对除基准色以外的两个颜色使用的校正表。如果确定了针对除基准色以外的两个颜色使用的校正表，则处理结束。如果没有确定针对除基准色以外的两个颜色使用的校正表，则处理返回到步骤S1401，重复前述处理。
通过该处理，可以准备适合于HMD的显示光学系统和HMD用户使用的视力校正光学系统的组合产生的色偏和失真的校正表。还可以针对各HMD用户管理并再利用新创建的校正表。例如，可以与各观察者相对应地存储新创建的校正表，以再利用存储的校正表。
图15A和图15B是用于说明第一实施例中的用于像差校正的步骤S1406中的插值计算处理的示意图。
图15A示出了插值计算方法。图15B示出了像差校正表224中的校正表和其校正量(要校正的色偏量)之间的对应关系。
第一实施例将说明作为插值计算方法的最简单的线性插值方法。校正表具有显示表面上的水平和垂直的二维值。然而，为了方便描述，将对一维(x方向)值进行说明(图15A中的下标“x”表示x校正值)。
在图15A中，A、B和C表示预先准备的校正表的校正量，α表示获得的色偏量。
校正表B具有最接近获得的色偏量α的校正量。校正表A具有第二接近α的校正量。然而，校正表A和B对于α具有相同的校正特性(校正弱)。因此，如在步骤S1405中描述的，作为具有第二接近校正量的表而选择校正表C。
要校正的色偏量α的最佳校正值落在校正值B和C之间。通过使用表B和C，通过线性插值计算新生成最佳校正值。首先，将B值和C值之间的差归一化(normalize)，并将B与α之间的差定义为dx。
可以使用定义的值来计算适合获得的色偏量α的校正量：
αx＝Bx(1-dx)+Cxdx
αy＝By(1-dy)+Cydy    ...(1)
在图15A中，采用一维(x方向)线性插值方法，但是校正表具有二维值。因此，在y方向上也执行上述线性插值处理，从而实现了双线性插值计算。另外，已知许多插值方法，包括最近邻插值(nearest neighborinterpolation)、双三次插值(bicubic interpolation)以及拉格朗日(Lagrange)插值。可以使用任何已知的插值方法。
图15B例示了与图6C所示的像差相对应的校正表。将校正表和基于该校正表的要校正的色偏量彼此相对应地存储在像差校正表224中。图15B所示的值“1.0个像素”、“3.0个像素”和“7.0个像素”是色偏量获得位置处的各表的校正量(要校正的色偏量)。这些值是各表的代表值。可以通过将获得的色偏量与校正表相关联来执行上述一系列处理。
图16是示出第一实施例中的图7的步骤S709中的微调的详细序列的流程图。
期望在处理转移到该序列中的微调之前，针对色偏量执行了大致合适的像差校正。然而，可能出现小的色偏，因此通过对各颜色的图像执行分辨率转换(倍率变化)和图像移位来进行最终的调整。
在步骤S1601中，HMD 201的模式图像生成单元217生成用于进行微调的模式图像，图像显示单元209针对一只眼显示模式图像。针对另一只眼不显示图像，针对各眼执行调整。将参照图12A和图12B描述显示的模式图像。
在步骤S1602中，图像调整单元208基于HMD用户向操作单元219输入的指令，对校正后的图像中的除基准色以外的颜色的图像执行分辨率转换处理。当将R设置为基准色时，HMD 201首先显示R和G图像，以提示HMD用户对G图像执行分辨率转换操作(图像缩放操作)。然后，HMD 201显示R、G和B图像，以提示HMD用户对B图像执行分辨率转换操作。当HMD用户执行分辨率转换操作以将G图像(颜色分离图像)叠加到R图像(颜色分离图像)上时，HMD用户在叠加后观察到Y。HMD用户经由操作装置202输入G和R图像彼此交迭的确认。然后，HMD 201显示B图像。当HMD用户执行分辨率转换操作以将B图像叠加到Y图像上时，HMD用户在叠加后观察到W。
在步骤S1603中，HMD 201提示HMD用户确定此时色偏是否落在容许范围内。如果HMD用户确定色偏落在容许范围内，则HMD用户经由操作装置202输入该确定，并且处理转移到步骤S1604。如果HMD用户确定色偏没有落在容许范围内，则HMD用户经由操作装置202输入此确定，并且HMD 201重复执行通过分辨率转换操作进行的微调(步骤S1602)。
在步骤S1604中，图像调整单元208基于HMD用户向操作单元219输入的指令，对校正后的图像中的除基准色以外的两个颜色的图像(颜色分离图像)执行移位处理。
在步骤S1605中，HMD 201提示HMD用户移位颜色分离图像并确定色偏是否落在容许范围内。如果色偏落在容许范围内，则HMD用户经由操作装置202输入该确定，并且处理转移到步骤S1606。如果色偏没有落在容许范围内，则HMD用户经由操作装置202输入此确定，并且处理返回到步骤S1602，重复执行微调。此外，当未针对双眼执行微调时，重复执行微调。
在步骤S1606中，HMD 201确定是否针对除基准色以外的所有颜色执行了微调。如果针对除基准色以外的所有颜色的微调结束，则处理结束。如果存在除基准色以外的、尚未经过微调的颜色，则处理返回到步骤S1601，重复执行微调处理。
图像调整单元208向校正值调整单元218通知基于在前述处理中执行的分辨率转换和图像移位的调整。校正值调整单元218基于调整值来调整校正值，并将调整结果反映到更新存储器216中的调整后的校正表中。
通过该处理，可以实现基于分辨率转换和图像移位的微调。
在微调中显示的模式图像可以是如图12A和图12B所示的、用来获得色偏量的模式图像。更具体地说，基于四点显示的微调采用如图12A中所示的模式图像。基于两点显示的微调采用如图12B中所示的模式图像。
在获得色偏量时，需要在各个色偏量获得位置依次显示模式图像以执行操作。在进行微调时，同时显示所有图案以调整倍率(分辨率转换)和图像位置。
例如，当R是基准色时，显示R和G图像以提示HMD用户针对G图像执行微调操作。然后，显示R、G和B图像以提示HMD用户针对B图像执行微调操作。这与获得色偏量时的处理相同。此时，G和B的顺序可以颠倒。
显示的模式图像可以是容易观察到色偏的图案。在第一实施例中，模式图像是宽度最多为几个像素的十字形白线，但是模式图像可以具有允许HMD用户确认在外围产生色偏的形状。例如，模式图像可以具有在整个显示表面上延伸的四边形形状。注意，优选模式图像是包含所有R、G、B三原色的白色。
第一实施例提供了一种用于掌握HMD用户观察到的色偏量并基于该量校正色偏的配置和方法。可以选择与最接近观察到的色偏量的校正量相对应的校正值。如果利用最接近的校正值进行的校正不充分，则进一步选择第二接近的校正值。可以基于两个校正值通过插值计算来新生成校正值。因此，可以针对HMD的显示光学系统和HMD用户使用的视力校正光学系统的组合产生的色偏(像差)执行合适的像差校正。
可以针对各HMD用户选择或新生成校正表。可以存储校正表，使得在下次使用HMD时，可以针对各用户读取像差校正设置。
可以根据预先准备的校正表新创建适合各用户的校正表。可以预先以相对大的间隔准备校正表，这减小了存储校正表所需的存储容量。
如上所述，根据第一实施例，放大并显示在显示设备上形成的显示图像的图像显示装置可以根据观察者是否使用视力校正光学系统和视力校正的程度，来针对各观察者合适地校正像差。因此，图像显示装置的每个观察者都能够观察到无像差(色偏)图像。
(第二实施例)
将参照附图描述第二实施例。
在第一实施例中，如果在步骤S1404中色偏没有落入容许范围内，则在步骤S1405和S1406中从预先准备的像差校正值(校正表)中选择与接近获得的色偏量的校正量相对应的两个校正值。通过对两个校正值进行插值计算来新生成新的校正值，然后执行合适的像差校正。在第二实施例中，基于一个像差校正值(校正表或近似多项式的参数表)来生成新的校正值，并执行合适的校正。在保持与第一实施例相同的校正精度的同时，第二实施例通过减少预先准备的像差校正值的数量，减小了所需的存储器。将针对该特征描述第二实施例。
第二实施例中的HMD 201的功能块与第一实施例中的HMD 201的功能块相同，不重复其说明。如以上针对第一实施例所描述的，HMD可以包括图像显示单元209，而图像处理装置103包括HMD 201的其余所有功能单元，如图2所示。因而，图像处理装置103具有像差校正功能。在这种情况下，HMD将包括用于从图像处理装置103接收校正后的图像的图像接收接口。相应地，图像处理装置103将具有用于向HMD发送图像调整单元208输出的校正后的图像的图像发送接口。在第一实施例中，像差校正值存储单元215存储像差校正表224。然而，在根据第二实施例的HMD201中，像差校正值存储单元215仅存储保持用于校正的近似多项式的系数参数的默认值的一个表。该表提供用于获得校正HMD 201的显示光学系统产生的像差的校正值的参照值。
该表不局限于针对使用裸眼进行观察的一个表，而可以包括假设进行近视校正和远视校正的表。在执行第二实施例中的像差校正处理之前，提示HMD用户选择这些表中的一个。不需要非常大地更新校正值(参数表)，从而提高了校正精度。
第二实施例中的整体序列与第一实施例中的图7的流程图相同。然而，步骤S706中的像差校正处理的内容与第一实施例中的像差校正处理的内容不同。在第一实施例中，像差校正处理伴随着HMD用户的指令(反映使用第一表是否令人满意地校正了色偏的确定)。在第二实施例中，像差校正处理不需要HMD用户的指令。
图17A是示出第二实施例中的步骤S706中的像差校正的详细序列的流程图。
在步骤S1801中，像差计算单元212参照在图11的步骤S 1106中存储在RAM 502中的色偏量。
在步骤S1802中，像差计算单元212通过基于获得色偏量的像素位置和色偏量计算用于校正的近似多项式的系数参数，来更新参数表。将参照图17B来描述计算方法。
在步骤S1803中，HMD 201确定是否针对除基准色以外的两个颜色更新了参数。如果针对除基准色以外的两个颜色更新了参数，则处理结束；如果没有更新参数，则处理返回到步骤S1801，重复前述处理。
通过该处理，基于HMD 201的显示光学系统和HMD用户使用的视力校正光学系统的组合产生的色偏量，新创建针对校正近似多项式的参数表。类似于第一实施例，可以将新创建的校正参照值与用于指定个人的信息一起存储，并将其应用到各HMD用户。
图17B是用于说明第二实施例中的步骤S1802中的像差校正方法的示意图。图17B例示了基于预先准备的近似多项式的校正量与获得的色偏量之间的关系。
在图17B中，0表示无任何像差的图像形成位置，将该位置定义为基准点。α表示特定坐标处的默认参数的近似多项式的校正量(要校正的色偏量)。β表示相同坐标处的、HMD 201的显示光学系统和视力校正光学系统的组合产生的色偏量。使用获得的色偏量将α值更新为β值，从而将校正量更新为合适的校正量。为了方便描述，将描述一维(x方向)校正值(在下面的方程式中，下标“x”表示x方向)。
在第二实施例中，x方向上的近似多项式为
Ax＝αxs+α2xs-1+...+αx-2x2+αxx+αx+1    ...(2)
各项的系数决定任意坐标的校正量。像差校正值存储单元215将各项的系数作为校正参数存储在表中。方程式(2)中的Ax表示使用默认参数的任意坐标的校正量。
使用特定位置的校正量α与色偏量β的比、根据任意坐标的校正量Ax来计算任意坐标的合适的校正量Ax′：
A x ′ = β α A x . . . ( 3 )
利用方程式(3)，可以计算更新后的近似多项式的参数。
在对于任意坐标的校正量Ax、特定位置的校正量α与色偏量β以特定函数的比率彼此相关的情况下，使用函数关系来计算任意坐标的合适的校正量Ax′：
A x ′ = g ( β ) f ( α ) A x . . . ( 4 )
利用方程式(4)，可以计算近似多项式的更新参数。
注意，第二实施例更新近似多项式的参数表。类似地，可以根据特定坐标处的在校正表中保持的校正值与色偏量之间的关系，来更新一般像差校正表中的校正值。
根据第二实施例，像差校正值存储单元215可以预先存储一个或几个校正值，减小了存储容量。较小的存储容量有助于减少芯片的数量和基板面积，并实现了较低成本。
(第三实施例)
将参照附图描述第三实施例。在第一和第二实施例中，基于获得的色偏量，通过根据预先准备的像差校正值新生成校正值，来针对各用户执行像差校正。在第三实施例中，从预先准备的像差校正值中选择最佳像差校正值来执行校正。第三实施例可以减小电路尺寸，而无需任何复杂的计算。第三实施例不需要获得色偏量的操作，可以根据该实施例简化HMD用户的操作。将主要针对该特征描述第三实施例。
图18是第三实施例中的HMD的功能框图。图像处理装置103与第一实施例中的图像处理装置103相同，因此没有示出。在又一实施例中，HMD可以包括图像显示单元209，而图像处理装置103包括HMD 2001的所有其余功能单元，如图18所示。因而，图像处理装置103具有像差校正功能。在这种情况下，HMD将包括用于从图像处理装置103接收校正后的图像的图像接收接口。相应地，图像处理装置103将具有用于向HMD发送图像调整单元208输出的校正后的图像的图像发送接口。
第三实施例不根据预先准备的像差校正值新创建校正值。由于该原因，与第一和第二实施例中的HMD 201不同，第三实施例不需要更新存储器216和将图像调整单元208的调整值反映到更新存储器216中的新的校正值中的校正值调整单元218。
像差校正值存储单元215存储具有预先准备的不同的校正量的像差校正表224。优选以小的间隔准备像差校正表224，以基于准备的像差校正表实现最佳校正。根据来自操作确定单元211的指令来选择准备的像差校正表中的一个。坐标变换单元214基于选择的校正表计算各颜色的变换后的坐标。
调整值存储单元2002存储图像调整单元208在执行分辨率转换、图像移位等时调整的值。由于不新创建校正值，因此将图像调整单元208的调整值存储在调整值存储单元2002中。当在下一次使用时读取过去存储的数据时，将来自调整值存储单元2002的过去的调整值反映到图像调整单元208中。第一和第二实施例基于调整值调整并更新校正值。第三实施例既不新创建也不更新校正值，而存储调整后的值以再利用设置。
在第三实施例中，HMD 2001包括像差校正值存储单元215。可选地，与图2中的功能块类似，图像处理装置103可以包括像差校正值存储单元215。此外，外部存储器或外部介质可以用作像差校正值存储单元215。
使用这种配置，HM可以获得进行了像差校正后的显示图像，并使HMD用户能够正确观察到该图像。
图19是示出第三实施例中的整体序列的主流程图。
在第三实施例中，从第一实施例中的图7的流程图中省略了步骤S705中的色偏量的获得和步骤S706中的像差校正处理。而增加了步骤S2101中的像差校正值选择处理。
在步骤S2101中，从存储在像差校正值存储单元215中的像差校正表224中选择最佳校正表。将参照图20来描述该处理的细节。
图20是示出第三实施例中的步骤S2101中的像差校正值选择的详细序列的流程图。
在步骤S2201中，模式图像生成单元217生成用于选择校正表的模式图像，图像显示单元209针对一只眼显示该模式图像。针对另一只眼不显示图像，针对各眼选择校正值。第三实施例中的显示的模式图像可以与第一实施例中的微调模式图像(图12A和图12B)相同。
在步骤S2202中，HMD 2001提示HMD用户确认显示图像是否没有色偏以及是否能容许色偏。如果用户确定不能容许该色偏，则处理转移到步骤S2203。如果色偏落在容许范围内，则处理转移到步骤S2204。
在步骤S2203中，基于当前选择的校正表，色偏没有落在容许范围内。因此，从存储在像差校正值存储单元215中的像差校正表224中设置下一个校正表。然后，重复步骤S2201。
在这种情况下，设置“下一个”校正表，如下决定“下一个”校正表。更具体地说，对像差校正表224中的各个像差校正表分配ID，并设置具有相邻ID的校正表。可以自动(以升序或降序中的任意一个)选择具有与当前ID相邻的ID的校正表，或者用户可以经由操作装置202的操作单元219选择校正表。当自动选择校正表时，需要在返回到同一校正表之前将所有的表作为目标一次。当校正表是可操作的时，可以重复比较具有相邻ID的校正表。可以在显示器上显示像差校正表的列表，以允许用户选择它们中的一个。可以通过与列表一起显示校正量的索引等，来协助用户对表的选择。
当进行选择时，反映根据选择的表进行的校正，用户按下OK按钮来决定要使用的校正表。更具体地说，如果用户检查反映根据选择的表进行校正的画面并确定色偏落在容许范围内，则用户按下OK按钮。然后，处理前进到步骤S2204。如果用户确定色偏没有落在容许范围内，则用户执行例如选择下一个表的操作。处理前进到步骤S2203。
在步骤S2204中，通过前述处理选择了消除色偏或使其落在容许范围内的校正表。在坐标变换单元214中设置要使用的校正表。
在步骤S2205中，HMD 2001确定是否针对双眼决定了校正表。如果针对双眼决定了校正表，则处理结束。如果没有针对双眼决定校正表，则处理返回到步骤S2201，针对另一只眼选择并决定校正表。
通过该处理，可以针对双眼选择并决定用于校正HMD的显示光学系统和HMD用户使用的视力校正光学系统的组合产生的色偏的表。
步骤S707和随后的步骤中的处理与第一实施例中的处理相同。在步骤S712中，HMD 2001将进行分辨率转换和图像移位等时的调整值存储在调整值存储单元2002中。此时，与用户ID相对应地记录调整值。通过输入用户ID，可以获取与用户相对应的调整值。在第三实施例的步骤S702中，从调整值存储单元2002中获得保存的要使用的数据。
如上所述，第三实施例可以消除复杂的计算并减小电路尺寸。此外，第三实施例不需要进行获得色偏量的操作，可以在实施本发明时简化HMD用户的操作。较小的电路规模使得功耗更低。
(第四实施例)
将参照附图描述本发明的第四实施例。
第一至第三实施例对HMD上针对双眼的图像显示、针对各眼校正像差。第四实施例使用HMD中的针对双眼(右眼和左眼)配置的一对显示光学系统的对称性来校正像差。
通常，作为HMD等中的针对双眼(右眼和左眼)配置的显示光学系统来应用具有相同光学特性的光学系统。该光学特性关于穿过HMD用户的眼睛之间的位置的垂直轴对称。在第四实施例中，将HMD用户的视力校正光学系统视为对称的。通过使用HMD的显示光学系统的对称性，针对一只眼反映针对另一只眼设置的校正值。
因此，如果视力校正光学系统在右眼和左眼之间没有很大的差异，则第四实施例可以减小计算量。另外，第四实施例可以在实施本发明时简化HMD用户复杂的操作。将主要针对该特征来描述第四实施例。
第四实施例适用于第一或第二实施例中的HMD 201和第三实施例中的HMD 2001两者。将基于第一实施例来描述第四实施例。功能块与第一实施例的功能块(图2)相同。在又一实施例中，HMD可以包括图像显示单元209，而图像处理装置103包括HMD 201的其余所有功能单元，如图2所示。因而，图像处理装置103具有像差校正功能。在这种情况下，HMD将包括用于从图像处理装置103接收校正后的图像的图像接收接口。相应地，图像处理装置103将具有用于向HMD发送图像调整单元208输出的校正后的图像的图像发送接口。
图21是示出第四实施例中的整体序列的主流程图。由于步骤S707至S712与图7相同，因此在图21中未示出步骤S707至S712。
第四实施例向第一实施例中的图7的流程图增加了用来确定在右眼和左眼之间的视力校正的差异的步骤S2301和用来将针对一只眼的设置反映到针对另一只眼的设置中的步骤S2304。尽管还增加了用来获得色偏量的步骤S2302和用来执行像差校正的步骤S2303，但是这些步骤中的处理与步骤S705和S706中的处理相同。在步骤S2302和S2303中，仅针对一只眼进行这些处理。
在步骤S2301中，HMD 201询问HMD用户视力或视力校正光学系统(主要是眼镜片)的视力校正的程度在右眼和左眼之间是否差异很大。如果HMD用户答复视力校正的程度在右眼和左眼之间差异很大或者选择针对双眼(右眼和左眼)分别调整校正值，则处理转移到步骤S705，执行与第一或第二实施例中的处理相同的处理。HMD用户通过使用操作装置202输入指令来进行答复。如果HMD用户答复视力校正的程度在右眼和左眼之间差异不大，则处理转移到步骤S2302。
在步骤S2302中，根据图11的流程图，针对一只眼(右眼或左眼)获得色偏量。由于仅将一只眼作为目标，因此不重复步骤S1107中的处理。
在步骤S2303中，根据图14的流程图，针对一只眼校正像差。由于仅将一只眼作为目标，因此不重复步骤S1408中的处理。
在步骤S2304中，通过前述处理针对一只眼确定了合适的像差校正，并针对另一只眼反映并确定了确定的值(校正值)。无需多言，考虑轴的对称性来反映校正值。至于考虑轴的对称性来进行反映，可以考虑轴的对称性来预先配置针对右眼和左眼的两个表来作为校正表。可以基于对称性、使用针对一只眼的校正表来进行计算，生成针对另一只眼的校正表。
可以将经受第四实施例中的色偏量的获得(步骤S2302)和像差校正(步骤S2303)的特定的眼固定为右眼或左眼。可选地，可以在例如步骤S2302之前提示HMD用户选择右眼和左眼中的一个。在第三实施例中描述的像差校正值选择处理(步骤S2101)也适用于第四实施例。更具体地说，仅针对一只眼执行像差校正值选择处理(步骤S2101)，针对另一只眼反映处理结果。
如上所述，在实施本发明时，针对右眼和左眼考虑到HMD用户使用的视力校正光学系统(主要是眼镜片)的对称性，第四实施例可以简化HMD用户的复杂的操作。与第一实施例相比，当可以有效地使用对称性时，第四实施例可以获得色偏量的工作量减半。
(第五实施例)
将参照附图描述本发明的第五实施例。
第一至第四实施例基于HMD用户的瞳孔观察到的色偏量来校正像差。
第五实施例具有使用光学传感器来测量HMD用户使用的视力校正光学系统产生的像差的特征。基于测量结果来选择像差校正表。在实施本发明时，这可以进一步简化HMD用户的复杂的操作。
图22是第五实施例中的HMD的功能框图。图像处理装置103与上述实施例的图像处理装置103相同，因此在图中未示出。在又一实施例中，HMD可以包括图像显示单元209，而图像处理装置103包括HMD 2401的其余所有功能单元，如图22所示。因而，图像处理装置103具有像差校正功能。在这种情况下，HMD将包括用于从图像处理装置103接收校正后的图像的图像接收接口。相应地，图像处理装置103将具有用于向HMD发送图像调整单元208输出的校正后的图像的图像发送接口。
根据第五实施例的HMD 2401包括用于自动测量视力校正光学系统产生的色偏量的光学传感器2402(称为传感器2402)。
传感器2402包括用于照亮HMD用户使用的眼镜片的光源以及用于接收通过眼镜片的、或由眼镜片反射的光的图像传感器。传感器2402基于来自操作确定单元211的指令执行测量。传感器2402仅从存储在像差校正值存储单元215中的像差校正表224中选择一个校正表，来适当地校正像差。
稍后将举例说明测量方法。已知许多透镜像差测量方法，可以使用这些方法中的任意一种。
具有上述配置的图像处理系统能够执行适合HMD 2401的用户的像差校正。该图像处理系统能够针对各用户获得合适的HMD 2401的显示图像，并使得HMD 2401的任何用户都能够正确地观察到显示图像。
通过使用光学传感器进行的测量，第五实施例可以使第一和第二实施例中的图7的流程图中的步骤S705中的色偏量的获得、以及步骤S706中的像差校正自动化。此外，第五实施例还可以自动进行图19的步骤S2101(在图20中详细示出)中的处理。
在这种配置中，作为图7中的流程图的步骤S701中的内部处理，可以配置视力校正/未校正确定单元(未示出)，以确定HMD用户是否使用视力校正光学系统(眼镜片)。视力校正/未校正确定单元由例如光源和用于接收由眼镜片反射的、或透过眼镜片的光的接收单元构成。可以基于透过眼镜或眼镜片的光没有色偏或透镜表面没有反射光的信息来进行确定。当使用偏转(deflect)光或偏转照相机时，可以使用透过透镜的、或由透镜反射的均匀偏转的光的特性来确定是否存在透镜。利用偏转信息进行成像的技术是公知的，可以基于这种技术来进行确定。如果作为确定视力校正/未校正的结果确定HMD用户不使用视力校正光学系统而使用裸眼进行观察，则可以仅针对HMD的显示光学系统执行像差校正，而不执行图7的步骤S702和随后步骤中的处理。如果确定HMD用户校正其视力，则执行步骤S702和随后步骤中的处理，以针对HMD的显示光学系统和视力校正光学系统的组合执行像差校正。
图23是用于说明第五实施例中的像差测量方法的示意图。
使用点光源2501来测量视力校正光学系统的像差。光学系统2502对应于HMD用户使用的视力校正光学系统(眼镜片)。图像传感器2503接收点光源2501发出的、通过眼镜片的光。点光源发出的光在图像传感器上具有色偏地成像。
这种配置可以测量HMD用户使用的眼镜片的像差。
第五实施例使用通过眼镜片的光来测量像差。可选地，可以使用透镜反射的光来测量像差。当使用反射光时，需要测量透镜的两个表面反射的光束，以获得透镜的两个表面的曲率。然而，可以简单地基于仅一个表面的测量结果来估计像差。可以在一个或多个测量位置测量像差。
注意，HMD 2401可以具有该HMD 2401被佩戴在用户的头部时测量像差的这种测量功能。HMD 2401还可以具有眼镜片专用模具(jig)，并且在安装HMD之前，使用该模具预先测量眼镜片的像差。
假设希望尺寸更小、重量更轻的HMD 2401使用简单的测量功能，以防止在安装自动测量功能时尺寸增加。在一些情况下，与透镜检查仪不同，使用简单的测量功能进行测量无法获得高精度的像差信息，无法进行高精度像差校正。预先准备的校正表的校正量之间的间隔可能很大，可能不存在校正量与色偏量真正匹配的校正表。然而，即使在这种情况下，HMD2401的配置也可以基于HMD用户的瞳孔观察到的色偏量来实现像差校正和微调。因此，HMD 2401能够将像差校正为落在HMD用户容许的范围内。
如上所述，第五实施例采用了测量HMD用户使用的视力校正光学系统(主要是眼镜片)产生的像差的量的功能。可以自动选择合适的校正表。与第一至第四实施例相比，第五实施例能够进一步简化HMD用户复杂的操作。
在第一至第五实施例中，基于HMD用户观察到的色偏或使用光学传感器进行测量观察到的色偏，来计算HMD的显示光学系统和HMD用户使用的视力校正光学系统的组合产生的像差。然而，本发明并不局限于这些。例如，可以基于HMD用户的视力校正信息(例如裸眼视力和校正视力、或视力校正光学系统(眼镜片)的折射率和曲率)的报告来计算像差。
在第一至第五实施例中，构成显示设备的像素的颜色是R、G、B三原色，但是并不局限于这些。然而，不同的颜色可能需要诸如符合该颜色的颜色转换功能的预处理。
还可以对第一至第五实施例中描述的两个或更多个配置进行组合。
在第一至第五实施例中，像差校正主要应用于采用目镜(eyepiece)放大光学系统的HMD。然而，本发明的应用并不局限于此。例如，当将本发明应用于安装在数字单镜头照相机、数字视频照相机等中的EVF时，也可以获得与上述效果相同的效果。
本领域技术人员容易想到将实施例中的各种技术适当地组合以构建新的系统。基于在此公开的特定实施例的各种组合的系统也落在本发明的范围内。
根据上述实施例，可以执行适合于各观察者的像差校正，以在具有放大在显示设备上形成的图像并允许观察者进行观察的显示光学系统的图像显示装置中呈现像差(色偏)减小的显示图像。
(其它实施例)
本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有变型、等同结构及功能。

Claims (16)

1.一种图像处理装置，其用于确定用于校正光学系统所产生的像差的特定观察者像差校正数据，所述光学系统允许观察者观察在显示器上形成的显示图像，该图像处理装置包括：
接收单元，用于接收关于所述观察者的视力校正光学系统的像差信息；
确定单元，用于利用预先准备的像差校正数据以及所述接收单元接收的所述像差信息，来确定特定观察者像差校正数据。
2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：存储单元，其存储预先准备的所述像差校正数据。
3.根据权利要求2所述的图像处理装置，其中所述存储单元与所述确定单元确定的所述特定观察者像差校正数据相对应地、或者与指定所述确定单元确定的所述特定观察者校正数据的信息相对应地存储观察者标识数据，使得能够再利用所确定的特定观察者像差校正数据。
4.根据权利要求2所述的图像处理装置，其中
所述存储单元存储预先准备的具有不同校正量的多种像差校正数据，并且
所述确定单元基于所接收的像差信息选择所述多种像差校正数据中的一种，由此确定特定观察者像差校正数据。
5.根据权利要求2所述的图像处理装置，其中所述确定单元利用所述存储单元中存储的所述像差校正数据和所述像差信息，生成新的特定观察者校正数据。
6.根据权利要求5所述的图像处理装置，其中
所述存储单元存储具有不同校正量的多种像差校正数据，并且
所述确定单元基于所接收的像差信息从所存储的多种校正数据中选择至少两种校正数据，并且根据所选择的校正数据进行插值，由此确定新的特定观察者校正数据。
7.根据权利要求1所述的图像处理装置，其中所述确定单元确定与所述观察者的一只眼相对应的特定观察者校正数据，并且利用该特定观察者校正数据针对所述观察者的另一只眼确定特定观察者校正数据。
8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：调整单元，其用于调整所述确定单元确定的所述特定观察者校正数据。
9.根据权利要求1所述的图像处理装置，其中所述图像处理装置包括：
所述显示器；
所述光学系统，其允许观察者观察所述显示器上的图像；以及
第一图像生成单元，其用于使所述显示器至少显示第一图像。
10.根据权利要求9所述的图像处理装置，其中所述接收单元从所述观察者接收代表所述第一图像在被显示在所述显示器上时的颜色分离量的所述像差信息。
11.根据权利要求10所述的图像处理装置，其中所述接收单元接收基于将所述第一图像的至少一个颜色分离图像叠加到所述第一图像的另一颜色分离图像所需的图像移位量的像差信息。
12.根据权利要求1所述的图像处理装置，其中所述图像处理装置还包括：光学传感器，其用于自动获得关于所述观察者佩戴的视力校正光学系统的像差信息，其中
所述接收单元从所述光学传感器接收所述视力校正光学系统的所述像差信息。
13.一种确定用于校正光学系统产生的像差的特定观察者像差校正数据的方法，所述光学系统允许观察者观察在显示器上形成的显示图像，该方法包括以下步骤：
接收关于所述观察者的视力校正光学系统的像差信息；
利用预先准备的像差校正数据以及所接收的像差信息，来确定特定观察者校正数据。
14.一种图像处理装置，其用于校正允许观察者观察在显示器上形成的显示图像的光学系统产生的像差，该图像处理装置包括：
存储单元，其存储针对所述观察者的视力光学校正系统产生的像差进行校正的像差校正数据；以及
校正单元，其利用所存储的像差校正数据来校正显示的图像。
15.一种用于校正允许观察者观察在显示器上形成的显示图像的光学系统产生的像差的方法，所述图像处理方法包括以下步骤：
取出所存储的针对所述观察者佩戴的视力光学校正系统产生的像差进行校正的像差校正数据；以及
利用所取出的像差校正数据来校正显示的图像。
16.一种图像处理系统，该图像处理系统包括：图像显示装置，其允许观察者经由光学系统观察在显示器上显示的显示图像；以及图像处理装置，其对所述光学系统产生的像差进行校正，所述图像处理装置包括：
存储单元，其被配置为存储预先准备的用来校正所述光学系统产生的所述像差的校正数据；
获得单元，其被配置为获得代表由观察所述显示图像的所述观察者使用的视力校正光学系统产生的像差的像差信息；
确定单元，其被配置为基于预先准备的所述校正数据和所述像差信息，确定用来校正存在于从所述显示器延伸到所述观察者的光路中的像差的特定观察者校正数据；以及
校正单元，其被配置为基于所述确定单元确定的所述特定观察者校正数据，校正其它显示图像上的像差，
其中所述图像显示装置输入所述校正单元校正的其它显示图像，并在所述显示器上显示所述显示图像。
CN200910206546.1A 2008-10-14 2009-10-14 图像处理装置、图像处理方法及图像处理系统 Active CN101726854B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008265710A JP5341462B2 (ja) 2008-10-14 2008-10-14 収差補正方法、画像処理装置および画像処理システム
JP2008-265710 2008-10-14

Publications (2)

Publication Number Publication Date
CN101726854A true CN101726854A (zh) 2010-06-09
CN101726854B CN101726854B (zh) 2013-12-18

Family

ID=41664869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910206546.1A Active CN101726854B (zh) 2008-10-14 2009-10-14 图像处理装置、图像处理方法及图像处理系统

Country Status (4)

Country Link
US (2) US8836720B2 (zh)
EP (1) EP2177941B1 (zh)
JP (1) JP5341462B2 (zh)
CN (1) CN101726854B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013123880A1 (zh) * 2012-02-24 2013-08-29 联想(北京)有限公司 一种显示调整方法、系统及电子设备
CN103295557A (zh) * 2012-02-24 2013-09-11 联想(北京)有限公司 一种显示调整方法及装置
CN103534748A (zh) * 2012-03-22 2014-01-22 索尼公司 显示装置、图像处理装置和图像处理方法以及计算机程序
CN103837987A (zh) * 2012-11-19 2014-06-04 精工爱普生株式会社 虚像显示装置
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
CN104297924A (zh) * 2014-09-12 2015-01-21 上海卫星工程研究所 一种宽谱、宽视场光学系统
CN105190427A (zh) * 2013-03-13 2015-12-23 索尼电脑娱乐公司 数字瞳孔间距离调节
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN106254860A (zh) * 2015-06-03 2016-12-21 株式会社日立制作所 照相机的校准装置、照相机系统、以及照相机的校准方法
CN104297924B (zh) * 2014-09-12 2017-01-04 上海卫星工程研究所 一种宽谱、宽视场光学系统
CN106405832A (zh) * 2015-08-12 2017-02-15 毛颖 一种可消除色差的头戴式显示装置
CN107850777A (zh) * 2015-04-22 2018-03-27 易赛特股份有限公司 光学相差校正的方法和装置
CN108292493A (zh) * 2015-09-07 2018-07-17 索尼互动娱乐股份有限公司 信息处理系统、信息处理装置、输出装置、程序和记录介质
CN109716204A (zh) * 2016-09-19 2019-05-03 依视路国际公司 用于对向光学系统使用者的图像显示进行管理的方法
CN110114814A (zh) * 2016-12-20 2019-08-09 堺显示器制品株式会社 校正系统、显示面板、显示装置、校正方法以及程序
CN110192143A (zh) * 2017-01-20 2019-08-30 Qd激光公司 图像投影装置
US10930185B2 (en) 2015-09-07 2021-02-23 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, output apparatus, program, and recording medium
CN112444987A (zh) * 2019-08-29 2021-03-05 精工爱普生株式会社 显示装置以及显示装置的光学系统的调整方法
CN112578561A (zh) * 2019-09-30 2021-03-30 精工爱普生株式会社 头戴式显示器
CN113703169A (zh) * 2021-09-09 2021-11-26 中山大学 具有屈光矫正功能的集成成像光场显示方法及显示系统

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9244277B2 (en) 2010-04-30 2016-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Wide angle and high resolution tiled head-mounted display device
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
JP5963622B2 (ja) * 2011-12-19 2016-08-03 キヤノン株式会社 画像生成装置、画像表示装置、画像生成方法、及び、画像表示方法
CN108279849A (zh) * 2012-01-16 2018-07-13 联想(北京)有限公司 便携式设备及其显示处理方法
RU2623708C2 (ru) 2012-01-24 2017-06-28 Дзе Аризона Борд Оф Риджентс Он Бехаф Оф Дзе Юниверсити Оф Аризона Компактный наголовный дисплей с отслеживанием движения глаз
KR102344903B1 (ko) 2012-10-18 2021-12-28 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 어드레스 가능 포커스 큐를 갖는 입체적 디스플레이
JP6251957B2 (ja) * 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
US10032297B2 (en) * 2013-02-06 2018-07-24 Hoya Corporation Simulation system, simulation device, and product explanation assistance method
US9229228B2 (en) 2013-12-11 2016-01-05 Honeywell International Inc. Conformal capable head-up display
KR102561425B1 (ko) 2014-03-05 2023-07-28 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 웨어러블 3d 증강 현실 디스플레이
JP2015206950A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US10459224B2 (en) 2014-09-29 2019-10-29 Honeywell International Inc. High transmittance eyewear for head-up displays
US9606355B2 (en) 2014-09-29 2017-03-28 Honeywell International Inc. Apparatus and method for suppressing double images on a combiner head-up display
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
KR102311741B1 (ko) 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
JP2016161767A (ja) * 2015-03-02 2016-09-05 アルプス電気株式会社 画像表示装置
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置
JP6500570B2 (ja) * 2015-04-13 2019-04-17 株式会社ニコン 画像表示装置および画像表示方法
US10001857B2 (en) * 2015-05-13 2018-06-19 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
WO2016204433A1 (en) 2015-06-15 2016-12-22 Samsung Electronics Co., Ltd. Head mounted display apparatus
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
DE102015116405A1 (de) 2015-09-28 2017-03-30 Carl Zeiss Ag Anzeigevorrichtung mit Vorverzeichnung
EP3335070B1 (en) * 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
KR102462941B1 (ko) 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
JP2017134327A (ja) * 2016-01-29 2017-08-03 株式会社東芝 画像表示装置及び画像処理装置
CN107272319A (zh) * 2016-04-07 2017-10-20 中强光电股份有限公司 投影装置以及影像投影方法
JP2017219755A (ja) * 2016-06-09 2017-12-14 株式会社ジャパンディスプレイ 表示装置及びその表示方法
KR102651591B1 (ko) * 2016-06-30 2024-03-27 삼성디스플레이 주식회사 두부 장착 표시 장치 및 이의 구동 방법
US10529063B2 (en) 2016-08-22 2020-01-07 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
GB2557569B (en) * 2016-09-09 2022-07-06 Displaylink Uk Ltd Adjusting display data
EP3296793A1 (en) * 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
JP6217827B2 (ja) * 2016-10-28 2017-10-25 セイコーエプソン株式会社 虚像表示装置
US10726814B2 (en) 2017-01-27 2020-07-28 Canon Kabushiki Kaisha Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium
WO2019021877A1 (ja) 2017-07-24 2019-01-31 シャープ株式会社 表示装置及びヘッドマウントディスプレイ
JP6656213B2 (ja) * 2017-08-31 2020-03-04 キヤノン株式会社 画像表示装置
KR102460239B1 (ko) * 2017-10-31 2022-10-31 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 변환 장치
US10317680B1 (en) * 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
JP6693656B2 (ja) * 2017-11-14 2020-05-13 株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法
JP7017385B2 (ja) * 2017-12-05 2022-02-08 オリンパス株式会社 頭部装着型表示装置、表示システム及び表示方法
US11327305B2 (en) 2017-12-07 2022-05-10 Seereal Technologies S.A. Head-up display
JP7185331B2 (ja) 2018-03-22 2022-12-07 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法
CN112055827A (zh) * 2018-04-28 2020-12-08 阿尔马伦斯公司 具有数字校正像差的光学混合现实系统
JP6747476B2 (ja) * 2018-07-26 2020-08-26 セイコーエプソン株式会社 頭部装着型表示装置
JP2020052799A (ja) * 2018-09-27 2020-04-02 セイコーエプソン株式会社 中継装置及び表示システム
US11087701B1 (en) 2018-10-26 2021-08-10 Facebook Technologies, Llc Head mounted display with angle compensation
US10838214B2 (en) 2018-12-14 2020-11-17 Facebook Technologies, Llc Angle compensating lens and display
US10783819B1 (en) * 2019-01-22 2020-09-22 Facebook Technologies, Llc Digital color dispersion correction
JP2021039444A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2022086233A (ja) 2020-11-30 2022-06-09 セイコーエプソン株式会社 表示モジュールおよび表示装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4669810A (en) * 1984-02-03 1987-06-02 Flight Dynamics, Inc. Head up display system
US5231379A (en) * 1987-09-18 1993-07-27 Hughes Flight Dynamics, Inc. Automobile head-up display system with apparatus for positioning source information
US5151722A (en) * 1990-11-05 1992-09-29 The Johns Hopkins University Video display on spectacle-like frame
JPH0618363A (ja) 1992-06-30 1994-01-25 Canon Inc レンズメータ
US5302964A (en) 1992-09-25 1994-04-12 Hughes Aircraft Company Heads-up display (HUD) incorporating cathode-ray tube image generator with digital look-up table for distortion correction
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
US5903395A (en) * 1994-08-31 1999-05-11 I-O Display Systems Llc Personal visual display system
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JPH0961750A (ja) * 1995-08-22 1997-03-07 Seiko Epson Corp 頭部装着型表示装置
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US5777715A (en) * 1997-01-21 1998-07-07 Allen Vision Systems, Inc. Low vision rehabilitation system
US6104405A (en) 1997-02-26 2000-08-15 Alternate Realities Corporation Systems, methods and computer program products for converting image data to nonplanar image data
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
DE19855885A1 (de) * 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JPH11298924A (ja) * 1998-04-14 1999-10-29 Sharp Corp 頭部装着型ディスプレイ
US6147807A (en) * 1999-05-04 2000-11-14 Honeywell, Inc. High brightness see-through head-mounted display
JP2001272941A (ja) * 2000-03-23 2001-10-05 Olympus Optical Co Ltd 映像表示装置
US6338559B1 (en) * 2000-04-28 2002-01-15 University Of Rochester Apparatus and method for improving vision and retinal imaging
DE10046019A1 (de) 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Verfahren und Vorrichtung zur verzerrungsfreien Darstellung von Bildelementen
JP4943580B2 (ja) * 2000-12-25 2012-05-30 オリンパス株式会社 結像光学系
WO2002054036A1 (fr) * 2000-12-28 2002-07-11 Nikon Corporation Procede de mesure et d'ajustement de caracteristiques d'imagerie, procede et systeme d'exposition, programme et support d'enregistrement et procede de production de dispositif
JP2002228545A (ja) 2001-02-01 2002-08-14 Topcon Corp フレーム付き眼鏡レンズの光学特性の測定方法及びその測定具及びその光学特性画像データの収集システム及びその販売システム
US7271809B2 (en) * 2002-02-19 2007-09-18 Eastman Kodak Company Method for using viewing time to determine affective information in an imaging system
US6999046B2 (en) * 2002-04-18 2006-02-14 International Business Machines Corporation System and method for calibrating low vision devices
JP2003315650A (ja) * 2002-04-26 2003-11-06 Olympus Optical Co Ltd 光学装置
FR2840491B1 (fr) * 2002-05-31 2004-12-03 Thales Sa Dispositif de correction electronique des distorsions optiques d'une visualisation collimatee obtenue a partir d'un afficheur matriciel
JP2004233869A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
DE20304399U1 (de) 2003-03-18 2003-06-05 Horizont Deutschland Gmbh Projektionsvorrichtung
US7458683B2 (en) * 2003-06-16 2008-12-02 Amo Manufacturing Usa, Llc Methods and devices for registering optical measurement datasets of an optical system
JP4664285B2 (ja) * 2003-06-20 2011-04-06 ヴィズイクス・インコーポレーテッド 波面測定に基づき客観的視力を予測するためのシステム及び方法
US7570808B2 (en) 2003-08-15 2009-08-04 Arcsoft, Inc. Better picture for inexpensive cameras
JP4477909B2 (ja) * 2004-03-19 2010-06-09 セイコーオプティカルプロダクツ株式会社 眼鏡装用シミュレーションシステム、および画像生成方法
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP4649171B2 (ja) 2004-11-08 2011-03-09 日本放送協会 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
US7881563B2 (en) 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US20080088527A1 (en) * 2006-10-17 2008-04-17 Keitaro Fujimori Heads Up Display System
US8035576B2 (en) * 2007-02-20 2011-10-11 Canon Kabushiki Kaisha Head-mounted display and head-mounted video display
JP2008258802A (ja) * 2007-04-03 2008-10-23 Canon Inc 画像表示システム
US8116008B2 (en) * 2007-06-28 2012-02-14 Geo Semiconductor Inc. System and method for lens performance optimization using electronic aberration correction
US20090002574A1 (en) * 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Method and a system for optical design and an imaging device using an optical element with optical aberrations
JP5806942B2 (ja) * 2012-01-19 2015-11-10 株式会社日立ハイテクノロジーズ 荷電粒子線装置及び演算装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295557B (zh) * 2012-02-24 2016-03-30 联想(北京)有限公司 一种显示调整方法及装置
CN103295557A (zh) * 2012-02-24 2013-09-11 联想(北京)有限公司 一种显示调整方法及装置
WO2013123880A1 (zh) * 2012-02-24 2013-08-29 联想(北京)有限公司 一种显示调整方法、系统及电子设备
CN103534748A (zh) * 2012-03-22 2014-01-22 索尼公司 显示装置、图像处理装置和图像处理方法以及计算机程序
US10831027B2 (en) 2012-03-22 2020-11-10 Sony Corporation Display device, image processing device and image processing method
US9740007B2 (en) 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
CN103837987A (zh) * 2012-11-19 2014-06-04 精工爱普生株式会社 虚像显示装置
CN105190427A (zh) * 2013-03-13 2015-12-23 索尼电脑娱乐公司 数字瞳孔间距离调节
CN105190427B (zh) * 2013-03-13 2019-11-22 索尼电脑娱乐公司 数字瞳孔间距离调节
US11082683B2 (en) 2013-03-13 2021-08-03 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US11729369B2 (en) 2013-03-13 2023-08-15 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN104297924B (zh) * 2014-09-12 2017-01-04 上海卫星工程研究所 一种宽谱、宽视场光学系统
CN104297924A (zh) * 2014-09-12 2015-01-21 上海卫星工程研究所 一种宽谱、宽视场光学系统
CN107850777A (zh) * 2015-04-22 2018-03-27 易赛特股份有限公司 光学相差校正的方法和装置
CN106254860B (zh) * 2015-06-03 2018-08-17 株式会社日立制作所 照相机的校准装置、照相机系统、以及照相机的校准方法
CN106254860A (zh) * 2015-06-03 2016-12-21 株式会社日立制作所 照相机的校准装置、照相机系统、以及照相机的校准方法
CN106405832A (zh) * 2015-08-12 2017-02-15 毛颖 一种可消除色差的头戴式显示装置
CN108292493A (zh) * 2015-09-07 2018-07-17 索尼互动娱乐股份有限公司 信息处理系统、信息处理装置、输出装置、程序和记录介质
US10930185B2 (en) 2015-09-07 2021-02-23 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, output apparatus, program, and recording medium
US10672110B2 (en) 2015-09-07 2020-06-02 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, output apparatus, program, and recording medium
CN109716204A (zh) * 2016-09-19 2019-05-03 依视路国际公司 用于对向光学系统使用者的图像显示进行管理的方法
CN110114814A (zh) * 2016-12-20 2019-08-09 堺显示器制品株式会社 校正系统、显示面板、显示装置、校正方法以及程序
CN110192143A (zh) * 2017-01-20 2019-08-30 Qd激光公司 图像投影装置
CN110192143B (zh) * 2017-01-20 2022-09-27 Qd激光公司 图像投影装置
US11586038B2 (en) 2017-01-20 2023-02-21 Qd Laser, Inc. Image projection device
CN112444987A (zh) * 2019-08-29 2021-03-05 精工爱普生株式会社 显示装置以及显示装置的光学系统的调整方法
CN112578561A (zh) * 2019-09-30 2021-03-30 精工爱普生株式会社 头戴式显示器
US11480799B2 (en) 2019-09-30 2022-10-25 Seiko Epson Corporation Head-mounted display
CN112578561B (zh) * 2019-09-30 2023-10-17 精工爱普生株式会社 头戴式显示器
CN113703169A (zh) * 2021-09-09 2021-11-26 中山大学 具有屈光矫正功能的集成成像光场显示方法及显示系统

Also Published As

Publication number Publication date
US20140327604A1 (en) 2014-11-06
EP2177941A2 (en) 2010-04-21
EP2177941A3 (en) 2010-08-25
EP2177941B1 (en) 2018-12-12
US20100091027A1 (en) 2010-04-15
US9595243B2 (en) 2017-03-14
JP5341462B2 (ja) 2013-11-13
CN101726854B (zh) 2013-12-18
JP2010096864A (ja) 2010-04-30
US8836720B2 (en) 2014-09-16

Similar Documents

Publication Publication Date Title
CN101726854B (zh) 图像处理装置、图像处理方法及图像处理系统
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
CN100359363C (zh) 头戴式显示装置
CN101356469B (zh) 眼镜片设计和/或配制
US11200646B2 (en) Compensation for deformation in head mounted display systems
CN105190427A (zh) 数字瞳孔间距离调节
CN105722452B (zh) 用于确定渐进式眼镜片的至少一个光学设计参数的方法
US20080316427A1 (en) Ophthalmic Lens Simulation System and Method
CN103026367A (zh) 用于渲染显示以补偿观看者的视力损伤的系统和方法
CN104243959A (zh) 基于偏振定向和组合定位的智能复合眼镜
JP5098739B2 (ja) シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体
EP1158338A2 (en) Method for simulating an ocular optical system and apparatus therefor
CN108873345A (zh) 大视场角、多显示深度的可穿戴式光场增强现实眼镜
KR20020030707A (ko) 안광학 렌즈의 평가방법, 평가장치 및 기억매체
EP1291633B1 (en) Method for evaluating binocular performance of spectacle lenses, method for displaying said performance and apparatus therefore
CN101459764B (zh) 视觉缺陷测量及补偿的系统及方法
WO2023134466A1 (zh) 一种全息波导显示设备亮度自适应调节系统及方法
CN111868605B (zh) 针对具体使用者校准能够佩戴在使用者的头部上的显示装置以用于增强显示的方法
KR100485442B1 (ko) 일안식 입체 카메라 및 이를 이용한 입체 영상 시스템
JPH08266465A (ja) 眼光学系のシミュレーション装置
CN107703619B (zh) 自动分析射击精度的电子观靶镜及其分析方法
JP3328100B2 (ja) 眼光学系のシミュレーション装置
US11044460B1 (en) Polychromatic object imager
Ma et al. Optical design for a head-mounted display
CN117499613A (zh) 用于云台装置的防止3d眩晕的方法和云台装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant