CN101371593A - 纠正立体显示系统的方法 - Google Patents

Abstract

一种纠正立体显示系统(140)中的未对准的方法包括：提供一对输入图像到图像处理器(120)；从该对输入图像生成图像源偏移图，用于校正图像捕捉/产生过程中引入的垂直未对准；使用一对测试目标获取显示偏移图(150)用于补偿显示系统中引入的任何空间未对准；以及将图像源偏移图和显示偏移图应用到该对输入图像，以生成经过纠正的立体图像对。

Description

纠正立体显示系统的方法

技术领域

本发明一般涉及立体捕捉、处理和显示系统的领域。更具体地，本发明涉及一种立体系统，其提供一种方式使用图像处理算法来补偿源图像中以及显示系统中的空间未对准(misalignment)。

背景技术

正常的人类视觉系统通过我们的双眼提供世界的两个分离的视图。每一个眼睛具有在鼻侧的大约60度和在颞侧的大约90度的水平视场。有两个眼睛的人，不仅具有总体的较宽视场，而且还具有在他/她的两个视网膜上形成的两个稍微不同的图像，从而形成不同的观看透视图(viewing perspective)。在正常的人类双目视觉中，每一个物体的两个视图之间的差异由人脑用作线索来得出物体之间的相对深度。这种得出是通过比较两个图像中对应物体的相对水平偏移来完成的。

立体显示被设计为通过向每一个眼睛显示不同的图像，为视觉系统提供水平差异线索。已知的立体显示通常通过在时间、波长或者空间上分开不同图像来将其显示给观看者的双眼中每一个。这些系统包括使用液晶快门以在时间上分开这两个图像，使用透镜状屏幕(lenticularscreen)、狭缝屏幕(barrier screen)或者自动立体投影以在空间上分开这两个图像，以及使用滤色器或者偏振器以基于光学性质分开这两个图像。

需要理解，尽管双眼通常在水平方向有偏移，但它们在垂直方向上一般没有偏移。因此，尽管水平差异是期望的，而垂直差异是不期望的并且会显著降低立体显示系统的有效性。例如，两个图像中对应物体之间存在的垂直偏移或者未对准，将减少观看者将这两个图像融合成单个感知图像(perceive image)的能力，观看者很可能感受视觉疲劳和其他不期望的副作用。当未对准的量小时，垂直差异的存在导致眼疲劳，退化的深度，以及深度感知的部分丧失。当垂直未对准的量大时，垂直差异会导致双眼竞争以及深度感知的完全丧失。

垂直未对准可能在不同阶段被引入到立体图像中，包括在图像捕捉和图像显示期间。在图像捕捉期间，通常通过不同的光学系统捕捉立体图形对中的每一图像，来记录立体图像对，不同的光学系统本身可能不总是垂直对准的；或者通过使用一个照相机并在捕捉之间横向偏移该照相机来记录两个图像，在该横向偏移期间照相机的垂直位置可能改变。当捕捉系统在垂直未对准部分上偏离(off on vertical misalignment)时，立体对的所有像素在垂直方向上会偏离一定的量。如果照相机没有彼此平行地定位，如同捕捉接近捕捉系统的物体所经常要求的那样，还可能产生梯形失真。这种梯形失真通常减小位于场景的相对侧的物体的垂直尺寸，并且该梯形失真对于立体对中的不同像素导致不同量的垂直未对准。因而，由梯形失真引起的垂直未对准可能在图像的顶角处比图像的中央大得多。两次捕捉可能还会有旋转或放大差异，导致立体图像中的垂直未对准。来自旋转和放大差异的垂直未对准通常在图像的顶角处较大，而在接近图像中央的地方较小。通常立体图像的垂直未对准是上述因素组合的结果。如果图像被捕捉或保存在诸如胶片的模拟介质上，并且用扫描仪将模拟图像转化为数字的，那么扫描过程也可能引起这种类型的垂直未对准。

垂直差异还可以由显示光学器件的垂直未对准或旋转或放大产生。很多立体显示系统具有两个独立的成像通道，每一个由很多光学和显示组件构成。制造两个相同的组件以用于这两个通道将会非常困难。此外，将该系统组装为使得两个成像通道在垂直位置上彼此一致并且在水平位置上精确地偏移，也是非常困难的。结果，可能在两个成像通道之间引入各种空间失配。显示系统中的这些空间失配表现为立体图像中的空间偏移。在立体图像中，水平偏移一般可以被解释为深度上的差异，而垂直偏移会导致用户不适。可能以一定程度的垂直偏移呈现图像的立体系统(例如安装于头盔的显示器)通常对于相对显示具有非常严格的容限。这种严格容限的存在通常使得制造复杂，并且生产这种设备的成本增加。

图像处理算法已被用于校正立体捕捉系统中产生的空间未对准。美国专利No.6191809和EP1235439A2讨论了用于电子地校正由立体捕捉设备，特别地由三维内窥镜产生的立体图像的未对准的装置。捕捉空间中的一个目标用于校准。根据所捕捉的目标的左和右图像，依次估计捕捉设备的放大和旋转误差，并将其用于校正所捕捉的图像。基于已经对放大和旋转误差进行了校正的目标的第二组捕捉图像，估计水平和垂直偏差(offset)。

美国专利申请公开No.2003/0156751 A1描述了一种方法，用于确定一对纠正变换(rectification transformation)对两个捕捉的图像进行纠正(rectify)，以从经过纠正的图像对中基本消除垂直差异。纠正的目标是将立体图像对从非平行照相机设置转换到虚拟平行照相机设置。该方法将捕获的图像，以及立体图像捕捉设备的参数的统计信息作为输入。所述参数可以包括本征参数，诸如单个照相机的焦距和主点，以及外部参数，诸如两个照相机之间的旋转和平移。使用变形方法来对立体图像对应用纠正变换。上述参考中的每一个都需要关于捕捉设备的信息，或者将图像处理系统联系到捕捉过程。在不知道图像源的情况下，上述方法不能正常工作。

还已经认识到需要对准立体显示系统中的某些组件。美国专利申请公开No.2004/0263970 A1公开了一种使用软件手段使双凸透镜阵列对准到显示器的方法。该软件由一程序构成，该程序将提供测试模式(testpattern)以帮助在显示器的像素阵列上定位透镜阵列。在对准阶段，用户将使用一些输入装置来指示显示器上示出的测试模式相对于透镜状屏幕的旋转位置。由安装的对准阶段确定的信息接着存储在计算机中，允许绘制算法补偿透镜状屏幕相对于下面的显示器上的像素模式的旋转。尽管该文献中没有描述进行软件处理补偿透镜状屏幕的旋转对准的实际算法，但是可以预期透镜状屏幕的未对准将主要导致左眼会看到的像素的位置相对于右眼看到的像素位置的水平移位，并且可以预期该算法将补偿这种伪像。因此，该参考文献没有提供补偿立体显示系统中的垂直未对准的方法。

因而，存在这样的需要：创建一种立体显示系统，其能够在不知道捕捉系统的情况下将两个立体图像之间的总体空间未对准最小化。还需要一种补偿该显示系统中的垂直和水平空间未对准的方法。该方法进一步应该是鲁棒的，要求最少的处理时间从而它可以实时地执行，并且要求最少的用户交互。

发明内容

本发明旨在克服一个或多个上面指出的问题。根据本发明的一个方面，开发了一种图像处理算法来校正引入到图像捕捉/产生过程中的垂直未对准，而不需要预先知道原因。该图像处理算法比较两个图像并将一个图像配准到另一个。该图像配准过程产生水平和垂直方向的两个偏移图。该算法将垂直偏移施加到一个或两个图像来使得这两个图像在垂直方向很好地对准。本发明的方法还使用一对测试目标、双视频照相机组，视频混合器以及视频监视器产生显示偏移图。该偏移图可以进一步由图像变形算法用于预处理立体图像，从而补偿显示系统中引入的任何空间未对准。总体上，本发明提供一种集成的解决方案，在立体显示系统中将源或者显示设备导致的空间未对准最小化。

附图说明

当结合下面的描述和附图时，本发明的上述和其他目的、特征和优点将变得更加显而易见，附图中在可能的地方用相同的附图标记来标明附图中共有的相同特征，其中：

图1是本发明的实施中采用的系统的图示；

图2a是显示本发明的图像垂直未对准校正方法的流程图；

图2b示出使用图2a中介绍的方法的系统；

图3是图像垂直未对准校正的示范性结果；

图4是示出本发明中补偿显示系统未对准的步骤的流程图；

图5是用于记录显示系统偏移图的捕捉系统的图示；

图6是用于显示未对准补偿的示例测试目标；

图7是显示系统未对准补偿的示范性结果；

图8a是示出本发明的显示未对准校正的方法的流程图；以及

图8b示出使用图8a中介绍的方法的系统。

为了便于理解，在可能的地方用相同的附图标记标明附图中共有的相同元件。

具体实施方式

本描述特别针对形成根据本发明的装置的一部分或者更直接地与其协作的元件。需要理解没有特别示出或者描述的元件可以采用本领域技术人员公知的各种形式。

本发明针对在立体显示系统中纠正未对准的方法，包括：提供输入图像到图像处理器；产生图像源偏移图；获取显示偏移图；以及将图像源偏移图和显示偏移图应用到输入图像以生成经过纠正的立体图像对。可以将该图像源偏移图和显示偏移图组合形成系统偏移图，并且在单个步骤中将该图应用到输入图像。替代地，可以在分开的步骤中将该图像源偏移图和显示偏移图轮流地应用到输入图像。还提供了采用本发明的方法的系统。提供了进一步的方法来基于输入图像的分析形成和应用图像源偏移图，以及形成和应用显示偏移图。

当应用到其中系统的一个或者多个组件引入一定程度的空间未对准的立体成像系统中时，本发明是有用的，这种空间未对准可能对人类观看者产生不适。通过为一对立体图像计算图像变换函数，该图像变换函数指示一个图像必须被变换以对准到第二图像的程度；施加垂直补偿来产生垂直偏移图；为立体图像中的至少一个计算工作偏移图；以及通过使用计算的工作偏移图使立体图像变形来校正垂直偏移，补偿源图像的垂直未对准。这种处理链可以通过形成包含垂直和水平偏移两者的偏移图来补偿显示器的未对准形成的垂直或水平偏移，来附加地考虑显示属性。通过生成显示系统偏移图，以及应用变形算法来预处理图像中的一个或多个来补偿显示系统的空间未对准，使得观看者将感知到具有最小的系统引入空间未对准的立体图像对。

这种图像处理链可以改进立体图像观看体验的舒适度和质量。本发明基于其中显示的包含垂直差异的图像导致不适的作者的研究成果。这种观看体验的改进通常会导致增加的用户舒适或者关于增加用户快乐，投入和/或到场方面的增强的观看体验。这种改进还与用户在完成诸如估计立体图像对所表示的图像中的距离或者深度的任务时表现的提升相联系。

图1示出了在实施本发明中有用的系统。该系统包括：图像源110，用于获得立体图像信息或计算机图形模型和纹理(texture)；图像处理器120，用于从图像源提取水平和垂直偏移图，以及处理输入图像以最小化垂直未对准；绘制(rendering)处理器130，用于绘制立体图像；以及立体显示设备140，用于显示绘制的立体图像对。该系统还具有获取显示偏移图150的装置，以及存储该显示失真图的存储设备160。在绘制处理器130中，该显示偏移图被用于重新绘制来自图像处理器120的图像，以补偿显示系统中的未对准。

图像源110可以是能够提供立体图像信息的任何设备或者设备的组合。例如，图像源可以包括能够捕捉立体图像信息的一对静止或者视频照相机。替代地，图像源110可以是能够存储一个或多个立体图像的服务器。图像源110还可以由能够提供计算机生成的图形环境以及纹理的定义的存储设备构成，该定义能够由图像处理器用于绘制三维图形环境的立体视图。

图像处理器120可以是能够执行确定已经从图像源110取得(retrieve)的一对立体图像之间的未对准所需的计算的任何处理器。例如，该处理器可以是任何专用集成电路(ASIC)，可编程集成电路或者通用处理器。图像处理器120基于来自图像源110的信息执行所需的计算。

绘制处理器130可以是能够执行对一对输入图像应用变形算法以补偿显示系统中的空间未对准所需的计算的任何处理器。该计算基于来自图像处理器120和来自存储设备160的信息。绘制处理器130和图像处理器120可以是两个分开的设备，或者可以是同一设备。

立体显示设备140可以是能够提供立体图像对给用户的任何显示器备。例如，立体显示设备140可以是在显示器的表面呈现图像(即，具有位于显示器表面的平面上的调节和会聚点)的直观设备(direct viewdevice)；诸如狭缝屏幕液晶显示设备，具有液晶快门和快门眼镜的CRT，具有线偏振或圆偏振眼镜的偏振投影系统，采用光栅栏(lenticules)的显示器，投影自动立体(autostereoscopic)显示器，或者能够在显示器的表面呈现一对立体图像给左眼和右眼的每一个的任何其他设备。立体显示设备140还可以是虚拟图像显示器，该虚拟图像显示器在虚拟位置显示图像，具有可调节的调节和会聚点；诸如自动立体投影显示设备，双目的安装于头盔的显示设备或者视网膜激光投影显示器。

用于获取显示偏移图150的装置可以包括：显示设备，用于显示具有已知的点的空间排列的立体图像对；一对立体照相机，用于捕捉左图像和右图像；以及处理器，用于比较这两个图像以得出显示偏移图。只要这两个照相机的空间对准是已知的，可以用任何静止数字照相机或者用视频照相机获得捕捉。替代地，用于获取显示偏移图的装置可以包括：显示设备，用于显示具有已知的空间排列的立体图像对；用户输入设备，用于允许用户移动该立体图像对的图像中的至少一个，以获得两个点之间的对应；以及一种用于当用户指示实现对应时，确定图像的偏移的方法。应当注意，当用于获取显示偏移图的装置是基于用户对准而获得时，对于自动对准有用的目标可能是不够的。因为用户的眼睛不能在固定的位置对准，并且因为人脑会试图对准立体显示器上具有相似空间结构的目标，左屏幕和右屏幕上呈现的目标必须被设计为具有很小的空间相关性。实现这个的一种方法是主要为一个眼睛显示水平线，而为另一个眼睛显示垂直线。通过使用其中为一个眼睛显示水平线或垂直线的目标，以及请求用户将该线对准到显示给另一个眼睛的线中的缝隙，这两个眼睛图像之间存在很小的空间相关性，当用户的眼睛接近它们的自然休息点(resting point)时，允许目标被调节为落在人的两个视网膜上的相同位置。

显示偏移图将被存储在存储设备160中，并且将被用作绘制处理器130的输入。该图将被用于处理来自图像处理器120的输入图像，以补偿显示设备的水平以及垂直未对准。

现在参考图2a，示出了本发明的图像垂直未对准校正的方法的流程图。立体显像中垂直未对准的校正可以被建模为图像配准问题。图像配准的过程是确定一个空间(二维图像)中的坐标与另一个(另一个二维图像)中的坐标之间的映射，使得两个空间中对应于物体的同一特征点的点被映射到彼此。校正立体显像中的垂直未对准的关键是确定立体显像过程中涉及的两个图像的坐标之间的映射。确定两个图像的坐标之间的映射的过程提供了这两个图像中对应点的水平偏移图和垂直偏移图。找到的垂直偏移图接着被用于使涉及的图像中的至少一个变形，以最小化垂直未对准。

在图像配准术语方面，立体显像中涉及的两个图像被称为源图像220和基准图像222。分别用I(x_t，y_t，t)和I(x_t+1，y_t+1，t+1)来表示源图像和基准图像。符号x和y是图像坐标系统的水平和垂直坐标，t是图像索引(图像1，图像2，等)。图像坐标系统的原点(x＝0，y＝0)定义在图像平面的中心。应当指出，图像坐标x和y不一定是整数。

为了便于实施，图像(或者图像像素)也被索引为I(i，j)，其中i和j是严格的整数，并且为了简单起见忽略参数t。这种表示与在离散域中索引矩阵一致。如果图像(矩阵)具有高度h和宽度w，位置(i，j)处对应的图像平面坐标x和y可以被计算为x＝i-(w-1)/2.0和y＝(h-1)/2.0-j。列指数i从0到w-1。行指数j从0到h-1。

通常，配准过程涉及找到最优变换函数Φ_t+1(x_t，y_t)(参见步骤202)，使得

[x_t+1，y_t+1，1]^T＝Φ_t+1(x_t，y_t)[x_t，y_t，1]^T    (10-1)

等式(10-1)的变换函数为3 x 3的矩阵，其元素在等式(10-2)示出。

$\mathrm{\Φ}=\left[\begin{array}{ccc}{\mathrm{\φ}}_{00}& {\mathrm{\φ}}_{01}& {\mathrm{\φ}}_{02}\\ {\mathrm{\φ}}_{10}& {\mathrm{\φ}}_{11}& {\mathrm{\φ}}_{12}\\ 0& 0& 1\end{array}\right]---(10-2)$

实际上，该变换矩阵由两部分构成，即旋转子矩阵 $\left[\begin{array}{cc}{\mathrm{\φ}}_{00}& {\mathrm{\φ}}_{01}\\ {\mathrm{\φ}}_{10}& {\mathrm{\φ}}_{11}\end{array}\right]$ 和平移向量 $\left[\begin{array}{c}{\mathrm{\φ}}_{02}\\ {\mathrm{\φ}}_{12}\end{array}\right].$

注意变换函数Φ或者是全局函数，或者是局部函数。全局函数Φ以相同的方式变换图像中的每一个像素。局部函数Φ基于像素的位置不同地变换图像中的每一个像素。对于图像配准的任务，变换函数Φ可以是全局函数或者局部函数或者两者的组合。

在实践中，变换函数Φ生成两个偏移图X(i，j)和Y(i，j)，它们包含的信息可以把源图像中的像素带到与基准图像中的对应像素位置对准的新位置。换言之，源图像被空间校正。

很清楚，在对于人类观看者的立体显像的情况下，只需要垂直方向偏移图Y(i，j)(步骤204)来将源图像中的像素带到在垂直方向与基准图像中的对应像素对准的新位置。这种垂直对准将校正变化的垂直未对准引起的不适，这种变化的垂直未对准例如是由于透视失真导致的。对于偏移图Y(i，j)，列指数i从0到w-1，行指数j从0到h-1。

在实践中，为了归纳概括使用偏移Y(i，j)的垂直未对准的校正，引入工作偏移图Y_α(i，j)。工作偏移图Y_α(i，j)是用预先确定的特定值的因子α计算的(步骤206)：

Y_α(i，j)＝αY(i，j)。

其中0≤α≤1。生成的工作偏移图Y_α(i，j)接着被用于使源图像变形(步骤208)，以获得经过垂直未对准校正的源图像224。工作偏移图Y_α(i，j)的引入便于在需要时校正两个图像(左和右)的垂直未对准。下面说明校正两个图像(左和右)的垂直未对准的过程。

很清楚，对于立体显像中在垂直未对准的校正的环境中所涉及的两个图像(左图像和右图像)，源图像和基准图像的角色可以互换。

一般，为了校正例如由透视失真导致的变化的垂直未对准引起的不适，左图像和右图像都可以用工作偏移图Y_α(i，j)进行空间校正，该工作偏移图Y_α(i，j)是用预先确定的特定值的因子α计算的。

如图2a所示，垂直未对准校正的过程可以用具有三个输入端A(232)，B(234)，和C(236)以及一个输出端D(238)的盒子200表示。利用这种布置，用于左图像242和右图像244两者的垂直未对准校正的结构可以被构造为图2b所示的图像处理系统240。图像处理系统240中有两个相同的盒子200。两个缩放因子β(246)和1-β(248)被分别用于确定左图像242和右图像244的变形量。这两个参数β(246)和1-β(248)确保经过校正的左图像243和右图像245在垂直方向对准。β的有效范围是0≤β≤1。当β＝0时，经过校正的左图像243为输入的左图像242，经过校正的右图像245与输入的左图像242对准。当β＝1时，经过校正的右图像245为输入的右图像244，经过校正的左图像243与输入的右图像244对准。当β≠0且β≠1时，左图像242和右图像244两者都通过校正过程，并且经过校正的左图像243和右图像245在取决于β值的左图像242和右图像244之间的某个地方对准。

垂直未对准校正的示范性结果示于图3。在图3中，左侧为源图像302；右侧为基准图像304.很清楚，源图像302和基准图像304之间在列上存在变化的垂直未对准。通过对这两个图像应用图2所示的步骤，获得经过垂直未对准校正的源图像306。在该示例情况中，参数α＝1。

注意，用于计算图像变换函数Φ的配准算法可以是刚性配准算法，非刚性配准算法，或者两者的组合。本领域技术人员理解存在很多配准算法通常用于配准在不同时间间隔捕捉的图像，或者用于评估不同物体的水平差异以从立体图像对确定深度或距离。然而，同样的这些算法可以通过在垂直维度上对左眼和右眼图像执行这种配准，来执行找到变换函数Φ的任务，该变换函数Φ生成校正立体显像中的垂直未对准所需的偏移图。示范性的配准算法可以在http://www.itk.org上Ibanez，L.等人的“Medical Visualization with ITK”中找到。本领域技术人员还理解，用偏移图空间校正图像可以通过使用任何适当的图像插值算法实现(参见Horn，B.的“Robot Vision”，The MIT Press，pp.322和323)。

已经讨论了产生图像源偏移图的方法，可以致力于确定显示偏移图的方法。参考图4，其是示出本发明中补偿显示系统未对准的方法的流程图，可以看到优选的方法大致包括：显示一对测试目标410；捕捉左图像和右图像420，这通常使用一对空间校准的照相机执行；从捕捉的左图像和右图像生成显示系统偏移图430。该信息被存储在计算机中，并且被用于预处理输入的立体图像440。最后的步骤是显示经过对准的图像450到显示器的左成像通道和右成像通道。

示范性测量系统示于图5。该系统具有双数字视频照相机组530和540(例如，SONY彩色视频照相机CVX-V18NS)，常规彩色监视器560，以及视频信号混合器550。视频照相机聚焦在测试目标510和520上。使用视频混合器550组合来自左通道和右通道的视频信号，并将其显示在彩色监视器560上。在图像捕捉之前，可以通过以与假定的立体显示的眼间距离一致的水平间隔放置这些照相机，将两个照相机都对准放置在光学无限远的单个测试目标，以及调节照相机响应以消除任何空间未对准，来校准这些照相机的空间位置。尽管可以在视频混合器上观看得到的图像，但是可以将两个测试目标上每一个校准点的高分辨率捕捉数字地存储供以后分析。

图6示出一对示范性测试目标510和520。它们除了色彩之外是相同的。例如，送到左通道的目标510是红色的，而送到右通道的目标520是绿色的。这是为了确保左目标图像和右目标图像在彩色监视器560是视觉可分开的，并且从算法的立场可识别。测试目标510和520上有定位点630和635。使用该系统测量定位的(anchored)位置处的空间未对准。因为测量没有用以比较的标称点，该测量被获得为左通道与右通道的偏差。将符号分配给该偏差，使得如果左位置在右位置的右侧(以Δx)，或者在右位置之上(以Δy)时该符号是正的。

显示偏移图的示范性测量结果示于图7。图像710是来自一个示范性立体显示系统的左照相机和右照相机的叠加的定位点的图像。它显示了最大水平偏差在左侧发生，并且具有12个像素的幅度。最大垂直偏差在左上角发生，并且具有8个像素的幅度。总体上左通道图像小于右通道图像。可以使用变形算法来通过预处理输入的立体图像补偿显示系统的空间未对准。该算法将输入图像和显示系统的偏移图作为输入。输出为经过转换的图像对，在观看时该图像对没有来自显示系统的任何水平或垂直未对准。图像720为未对准校正之后来自两个目标图像的叠加的定位点的图像。它显示了在大部分定位位置上的完美的对准。某些定位位置730上的误差反映了与显示系统的数字化本性相关的量化误差。

现在参考图8，示出了本发明的显示失真未对准的方法的流程图。将该方法应用到经过垂直未对准校正的源图像224，以补偿显示系统引入的其他未对准。该方法将测量的源定位点810和目标定位点815的位置作为输入。其中源定位点表示指对于与源图像对应的立体通道的测量的定位点的位置，目标定位点表示对于替代的立体通道的测量的定位点的位置。定位点用于生成偏移图820，该偏移图820指定应当如何使源图像变形以便与替代的立体通道的图像对准。

本领域技术人员将认识到存在很多变形算法来基于一系列源和目标定位点生成偏移图。一种示例方法是将每一个图像中的定位点连接成线段网格，并且采用基于线段的变形方法，该基于线段的变形方法在Beier，T.和Neely，S.的“Feature-Based Image Metamorphosis”，Computer Graphics，Annual Conference Series，ACM SIGGRAPH，1992，pp.35-42中有所描述。已经开发了直接基于定位点的位置的替代方法。一种示例技术在Lee，S.，Wolberg，G.，和Shin，S.Y.的“ScatteredData Interpolation with Multilevel B-Splines”，IEEE Transactionson Visualization and Computer Graphics，Vol.3，No.3，1997，pp.228-244中有所描述。

如同在垂直未对准校正的情况中一样，为了归纳概括使用偏移图Z(i，j)的显示未对准校正，引入工作偏移图Z_α(i，j)。工作偏移图Z_α(i，j)是用预先确定的特定值的因子α计算的(步骤330)，

Z_α(i，j)＝α Z(i，j)。

其中0≤α≤1。生成的工作偏移图Z_α(i，j)接着被用于使源图像变形(步骤840)，以获得变形的源图像850。作为替代实施例，可以组合工作偏移图206和830，并且将变形操作208和840缩减为单个操作，以便改进该方法的效率。工作偏移图Z_α(i，j)的引入便于在需要产生时校正两个图像(左和右)的显示未对准。下面说明校正两个图像(左和右)的显示未对准的过程。

如图8a所示，显示失真校正的过程可以用具有四个输入端M(801)，N(802)，O(803)和P(804)以及一个输出端Q(805)的盒子800表示。利用这种布置，用于经过垂直校正的左图像243和经过垂直校正的右图像245两者的显示未对准校正的结构可以被构造为图8b所示的系统860。系统860中有两个相同的盒子800。左定位点630和右定位点635被用作左图像的源和目标定位点，右定位点635和左定位点630被用作右图像的源和目标定位点。两个缩放因子β(246)和1-β(248)被分别用于确定左图像243和右图像245的变形量。这两个参数β(246)和1-β(248)确保经过变形的左图像870和右图像875对准到去除由显示系统引入的未对准的对应位置。β的有效范围是0≤β≤1。当β＝0时，经过变形的左图像870为输入的经过校正的左图像243，经过变形的右图像875与输入的经过校正的左图像243对准。当β＝1时，经过变形的右图像875为输入的经过校正的右图像245，经过变形的左图像870与输入的经过校正的右图像245对准。当β≠0且β≠1时，左图像243和右图像245两者都通过校正过程，并且经过变形的左图像870和经过变形的右图像875在取决于β值的左图像243和右图像245之间的某个地方对准。

通过应用较早讨论的图像源偏移图和显示偏移图两者，可以基本消除源图像中的垂直未对准，和显示系统中由于缺陷导致的垂直和水平未对准。尽管优选的是这些每一个可以被分开应用，但是希望它们在系统中都可以被启动和应用。还可能与基于其他手段产生的图像源偏移图一起应用这里讨论的显示偏移图，所述其他手段诸如美国专利No.6191809和EP1235439A2中包括的那些，这两个专利都在此引用以供参考。

部件列表

110 图像源

120 图像处理器

130 绘制处理器

140 立体显示设备

150 获取显示偏移图的装置

160 存储设备

200 图像垂直未对准校正过程

202 计算图像变换函数步骤

204 生成垂直偏移图步骤

206 计算偏移图步骤

208 变形图像步骤

210 预先确定的因子

220 源图像

222 基准图像

224 经过垂直未对准校正的源图像

232 输入端A

234 输入端B

236 输入端C

238 输出端D

240 图像处理系统

242 左图像

243 经过校正的左图像

244 右图像

245 经过校正的右图像

246 缩放因子β

248 缩放因子1-β

302 源图像

304 基准图像

306 经过校正的源图像

410 显示测试目标步骤

420 捕捉左/右图像步骤

430 生成显示系统偏移图步骤

440 预处理输入图像步骤

450 显示对准的图像步骤

510 左测试目标

520 右测试目标

530 左数字视频照相机

540 右数字视频照相机

550 视频信号混合器

560 彩色监视器

630 左图像定位点

635 右图像定位点

710 校正前叠加的定位点的图像

720 校正后叠加的定位点的图像

730 定位位置

800 显示未对准校正的过程

801 输入端M

802 输入端N

803 输入端O

804 输入端P

805 输出端Q

810 源定位点位置

815 目标定位点位置

820 偏移图

830 用预先确定的因子计算偏移图

840 校正(变形)源图像

850 经过变形的源图像

860 系统

870 经过变形的左图像

875 经过变形的右图像

Claims (16)

1.一种纠正立体显示系统中的未对准的方法，包括：

提供一对输入图像到图像处理器；

为该对输入图像生成图像源偏移图；

获取显示偏移图；以及

将图像源偏移图和显示偏移图应用到该对输入图像，以生成经过纠正的立体图像对。

2.如权利要求1所述的纠正立体显示系统中的未对准的方法，其中将图像源偏移图和显示偏移图组合为系统偏移图，并将该系统偏移图应用到该对输入图像，以生成经过纠正的立体图像对。

3.如权利要求1所述的纠正立体显示系统中的未对准的方法，其中将图像源偏移图和显示偏移图独立地应用到该对输入图像，以生成经过纠正的立体图像对。

4.如权利要求1所述的纠正立体显示系统中的未对准的方法，其中获取显示偏移图的步骤包括在显示设备上显示一个或多个测试目标，以及确定该一个或多个测试目标的部分的对准。

5.如权利要求4所述的纠正立体显示系统中的未对准的方法，其中该一个或多个测试目标由显示的左眼部分和右眼部分构成，并且其中用户提供关于感知的左眼图像和右眼图像的一个或多个部分的对准的反馈给系统，以生成显示偏移图。

6.如权利要求4所述的纠正立体显示系统中的未对准的方法，其中光学装置捕捉具有已知对准的左眼和右眼视图，并且处理得到的图像以确定左眼和右眼视图中的特征的对准，以生成显示偏移图。

7.一种立体显示系统，包括图像源、图像处理元件以及显示器，其中图像处理元件采用如权利要求1所述的方法来在显示器上产生经过纠正的立体图像对。

8.一种纠正立体显示系统中的未对准的方法，包括：

提供一对输入图像到图像处理器；

产生图像源偏移图；以及

应用该图像源偏移图以校正该对输入图像中的垂直未对准。

9.如权利要求8所述的纠正立体显示系统中的未对准的方法，其中产生图像源偏移图包括：

为该对输入图像计算图像变换函数；

使用计算的变换函数生成垂直偏移图；以及

为该对输入图像计算工作偏移图。

10.如权利要求8所述的纠正立体显示系统中的未对准的方法，其中应用该图像源偏移图以校正该对输入图像中的垂直未对准的步骤包括：使用计算的工作偏移图使该对输入图像变形。

11.一种图像处理系统，包括图像源、图像处理元件以及图像输出，其中图像处理元件采用如权利要求8所述的方法来产生经过纠正的立体图像对。

12.一种纠正立体显示系统中的未对准的方法，包括：

提供一对输入图像到图像处理器；

获取显示偏移图；以及

将显示偏移图应用到该对输入图像，以生成经过纠正的立体显示。

13.如权利要求12所述的纠正立体显示系统中的未对准的方法，其中获取显示偏移图的步骤包括：

显示左目标和右目标；

确定左目标和右目标中的特征的未对准以生成显示偏移图；以及

将显示偏移图应用到该对输入图像，以生成经过纠正的立体显示。

14.如权利要求13所述的纠正立体显示系统中的未对准的方法，其中该一个或多个测试目标由显示的左眼部分和右眼部分构成，并且其中用户提供关于感知的左眼和右眼图像的一个或多个部分的对准的反馈给系统，以生成显示偏移图。

15.如权利要求13所述的纠正立体显示系统中的未对准的方法，其中使用具有已知对准的光学装置捕捉左眼和右眼视图，并且处理得到的图像以确定左眼和右眼视图中的特征的对准，以生成显示偏移图。

16.一种立体显示系统，包括图像源、图像处理元件以及显示器，其中图像处理元件采用如权利要求13所述的方法来在显示器上产生经过纠正的立体图像对。

Images