CN103562963A

CN103562963A - 用于角切片真3d显示器的对准、校准和渲染的系统和方法

Info

Publication number: CN103562963A
Application number: CN201280025155.XA
Authority: CN
Inventors: 克拉伦斯·E·托马斯; 大卫·L·佩吉
Original assignee: Third Dimension IP LLC
Current assignee: Third Dimension IP LLC
Priority date: 2011-05-25
Filing date: 2012-05-24
Publication date: 2014-02-05
Also published as: EP2715669A4; EP2715669A1; JP2014522591A; US20120300044A1; US9357206B2; WO2012162566A1

Abstract

用于对3D显示器系统进行校准的系统和方法。在一个实施例中，一种系统包括一个显示屏、将2D投影图像投影到该屏幕上的多个2D图像投影仪以及一个捕获该屏幕的校准图像的摄像机。一台计算机生成这些2D投影图像，这些2D投影图像包括校准图案并且处理所捕获的校准图像。该计算机使用这些校准图像基于这些校准图像计算校正项。然后该计算机可以生成通过这些2D图像投影仪被投影到该屏幕上的校正后的2D投影图像，以产生一张视觉上基本上正确的3D图像，该图像在一个有效观看区内具有连续观看、真的水平视差以及对每只眼睛而言不同的视图。对图像的校正项可以包括对几何形状（包括畸变、对准等）和颜色（包括强度和相关参数）的校正项。

Description

用于角切片真3D显示器的对准、校准和渲染的系统和方法

发明背景

发明领域。

本发明总体上涉及三维（3D）显示器领域。更确切地说，本发明涉及一种适用于不使用眼镜或跟踪观看者位置的多个观看者的角切片真3D显示器的对准、校准和渲染的系统和方法，其中，观看者的眼睛各自看到一个稍微不同的场景（立体影像），并且其中，每只眼睛看到的场景随着眼睛变化位置而变化（视差）。

相关技术。

三维显示器

最近一百年来，已经对开发三维（3D）显示器付出了巨大努力。迄今为止，这些努力还没有真正尽如人意。存在多种3D显示技术，包括：在球体（Actuality Systems公司）内部的旋转盘上的DMD（德州仪器公司的数字微镜器件）照明投影；由多个被交替地制作成清晰或散射的以成像出3D体的LCD散射面板组成的另一种立体显示器（LightSpace/Vizta3D）；需要用户佩戴护目镜（“Crystal Eyes”护目镜和其他护目镜）的立体系统；双平面立体系统（实际上为带有视差光栅的双2D显示器，例如，夏普公司的Actius RD3D显示器）；以及透镜立体阵列（许多指向不同方向的微小透镜，例如，飞利浦公司的九角显示器、SID、Spring2005）。如读者很可能将不会在他/她的办公室内找出一种系统的事实所证实的，这些系统中的大多数系统在用户眼睛处产生真3D透视上不是特别成功或另外不方便使用。夏普笔记本只提供两个视图（左眼和右眼，其中，每只眼睛一个单角），并且LightSpace显示器似乎产生非常漂亮的图像，但体积有限（所有位于监控器内）并且作为投影显示器使用起来将非常笨重。

除了这些技术以外，英国和日本两个国家也努力生产真全息显示器。全息术由Gabor在19世纪40年代晚期发明并且随着激光和离轴全息术的发明开始兴盛。英国的工作是最长远的并且实际上已经生产出具有约7cm长和8度视场（FOV）的显示器。虽然这是令人印象深刻的，但其要求1亿像素（兆像素）来生产出单色下的这种7cm视场，并且由于物理定律，显示出比人类眼镜在工作观看距离外可以分辨的多得多的数据。一个具有60度FOV的工作50cm（20英寸）彩色全息显示器将要求500纳米（nm）的像素（至少在光学缩小后，如果不是物理地）并且比兆兆像素（Terapixel）（1万亿像素）显示器要求的更多。在不久的将来中的任何时候这些数字是完全不切实际的，并且甚至达到仅水平视差（HPO，或者仅水平平面下的三维）就将要求降低到3千兆像素（Gpixel）（30亿像素）。甚至每帧3千兆像素仍然是一个非常不切实际的数字并且提供了一个比在正常工作距离外人类眼睛在这种显示器尺寸内要求的数据更多的数量级。典型的高分辨率显示器具有250微米像素—具有500nm像素的全息显示器将比上述显示器密度大500的一个因数—全息显示器中将包含比人类眼睛需要的或甚至在正常观看距离外可以利用的数据明显多得多的数据。真全息显示器中的大多数这种难以置信的数据密度将只好被浪费掉。

Balogh已经提出立体3D显示器并且已经被Holografika开发出来。此系统不在观看屏上产生图像，而是从观看屏上投射出多条光束以通过使这些光束在空间上在像素点处交叉（或者真实的—光束在该屏幕和观看者之间交叉，或者虚拟的—如该观看者看到的，光束在该屏幕后面明显地交叉）来形成图像。这种类型的器件的分辨率大大受到离开该屏幕的光束的发散的限制，并且所要求的分辨率（像素尺寸和像素的总数量）开始对显著的观看体变得非常高。

Eichenlaub教授了一种用于使用高速光阀和光束转向装置生成多个自由立体（不需要眼镜的3D）观看区（典型地，提到了八个）。本系统不具有对真3D显示器希望的不断变化的观看区，而具有大量非常复杂的光学器件。它也未教授如何将这些光学器件放在（被小的对顶角分离开的）多条水平线上从而实现可以不断变化的自由立体观看。其还具有从一个单个光阀上生成所有图像的缺点（因此需要非常复杂的光学系统），这不能实现可不断变化的观看区所要求的带宽。

Nakamuna等人已经提出了一个带有投影光学器件、小孔径和大菲涅耳透镜的微LCD显示器阵列。这些孔径将图像方向分离开并且该大菲涅耳透镜使图像聚焦在竖直漫射器屏幕上。此系统具有多个问题，包括：1）光的使用极其差（由于这些孔径，大部分光被抛掉）；2）极其昂贵的光学器件并且很多光学器件，或者可替代地非常差的图像质量；3）用于提供微LCD显示器的2D阵列的非常昂贵的电子器件。

3D对准、校准和渲染

可获得关于用于使用多个带有基于摄像机的反馈的投影仪系统的2D图像显示器的对准和校准系统的重要研究。在2007年，Majumder和Brown审查了这些技术。虽然这些技术为2D显示器带来了惊人的结果（如超分辨率和大拼接显示器），但该研究没有解决3D角切片显示器的需要。

角切片3D显示器的渲染挑战是巨大的，因为该显示器的每个投影仪要求不同的透视渲染。当前用于多屏幕渲染的系统没有解决这些需要。这些3D技术没有解决3D角切片显示器的需要。

发明概述

因此，明显需要一种对真3D显示器进行对准、校准和渲染的方法，其中观看者的眼睛各自不仅看到不同的场景，而且该场景随着这些观看者移动其头部或相对于显示屏从一个角位置至另一个角位置改变其位置而不断变化。在一个实施例中，多个“角切片”（如摄像机从一个具体角有利点上观看到的场景）被投影到观看屏上，该观看屏漫射被将该场景投影到一个具体竖直和水平角切片上的投影透镜照亮的角。摄像机作为反馈传感器用于以子像素几何校正使角切片的投影像素对准并且用于对跨这些切片的强度和颜色进行校准以便使强度和颜色的变化平滑。观察该显示屏的观看者将因此看到该多个切片的平滑混合的图像（对于每只眼睛和每个视点而言图像不同）。此平滑混合的图像是角切片的集合，其中该真3D显示器内的一个投影仪贡献一个切片。一种渲染方法使用该对准和校准生成一张驱动每个投影仪的2D角切片图像。该渲染使用图像投影产生出2D角切片图像，该图像的水平焦点在投影仪处并且竖直焦点在观看者处。可替代地，可以使用在观看者处具有水平和竖直焦点的投影。此投影引起物体的宽高比产生远离真3D显示器的焦点的平面的某种畸变。然而，此投影允许使用来自现实世界摄像机的图像（或者单帧或者视频）直接驱动投影仪而不需要渲染步骤。最后，控制界面允许观看者控制视差的量值和不断混合的角切片3D的焦面。

一个实施例包括一个3D显示器校准系统。此系统包括一个显示屏、将2D投影图像投影到该屏幕上的多个2D图像投影仪以及一个捕获该屏幕的校准图像的摄像机。一台计算机生成这些2D投影图像（其包括校准图案）并且处理所捕获的校准图像。该计算机使用这些校准图像基于这些校准图像来计算校正项。然后该计算机可以生成通过这些2D图像投影仪被投影到该屏幕上的校正后的2D投影图像，以产生一张视觉上基本上正确的3D图像，该图像具有在一个有效观看区内的连续观看、真的水平视差以及对每只眼睛而言不同的视图。对图像的校正项可以包括对几何形状（包括畸变、对准等）和颜色（包括强度和相关参数）的校正项。该系统还可以包括一个x-y测量单元，该测量单元被配置成用于测量该屏幕和这些投影仪的位置并且用于在生成投影图像的校正项时使用此信息。该屏幕可以包括基准标记以便于校正项的计算。

另一个实施例包括一种用于对3D显示器系统进行校准的方法。该方法从生成2D校准图案和将这些图像投影到该系统的显示屏上开始。然后，使用数字摄像机捕获该显示屏上的图案的多个校准图像。然后测量所捕获的图像的各参数，并且基于所测量的图像参数计算校正参数。存储这些校正参数以便稍后使用。这些校正参数用于对随后通过该3D显示器系统的投影仪投影的2D图像进行校准。该3D显示器系统加载所存储的校正参数并且用这些校正参数渲染来自3D图像数据的2D投影图像。校正后的2D投影图像被投影到该3D显示器系统的屏幕上，由此产生一张视觉上基本上正确的3D图像，该图像具有连续观看、真的水平视差以及对每只眼睛而言不同的视图。

许多其他实施例也是可以的。

附图简要说明

通过参见下文中所示的示例性并且因此非限制性实施例以及附图，本发明的实施例的优点和特征的清晰概念以及提供有本发明的模型系统的组件和操作的清晰概念将更加容易地变得明显。在附图中，紧密相关的特征具有相同的号码但不同的字母后缀。

图1A至图1D示出了根据一个实施例的一种用于对准、校准和渲染的系统的各个方面。

图2示出了将3D影像对准、校准和渲染成不断混合的角切片3D投影的一个流程图。

图3A至图3B示出了两个投影仪的角切片漫射的漫射强度的几何关系和曲线图，作为一个投影仪阵列的几何形状和漫射的示例。

图4示出了作为十个投影仪的不同角距的视角的函数的强度变化的一个曲线图。

图5A至图5C示出了根据一个实施例的一种对准和校准的方法的多个流程图和一个简图。

图6A至图6E示出了根据一个实施例的像素对准方法的流程图。

图7示出了一个对准网格。

图8示出了对通过漫射屏的角切片的强度和颜色变化进行测量的一个流程图。

图9A至图9C示出了根据一个实施例的一种用于强度和颜色校准的方法的一个流程图和多个曲线图。

图10示出了对2D角切片图像进行渲染和投影的一个流程图。

图11A至图11F示出了展示用于对来自3D影像的2D角切片图像进行渲染的步骤的一个流程图和多个简图。

图12示出了将校准校正项应用到2D角切片图像以便投影到漫射屏上的一个流程图。

图13示出了根据一个实施例的控制界面的一个示例。

图14A至图14C示出了用于现实世界3D显示器的图像和视频捕获。

虽然本发明具有各种修改和替代性的形式，但在附图和所附详细描述中通过示例示出了本发明的特定实施例。然而，应理解到这些附图和详细描述并不旨在将本发明限制在所描述的具体实施例上。相反，本披露旨在覆盖落入如在所附权利要求书定义的本发明的范围内的所有修改、等同物以及替代方案。

详细说明

以下描述了本发明的一个或多个实施例。应指出的是，下述这些或任何其他实施例是示例性的并且旨在说明而非限制本发明。

如此处所描述的，本发明的各实施例包括用于对3D显示器进行校准的系统和方法。在这些系统和方法中，通过多个投影仪生成并将校准图案投影到3D显示器的屏幕上。数字摄像机捕获该屏幕上的校准图案的图像并且这些图像用于计算这些投影仪的校正项。这些校正项随后用于来自3D数据集的2D图像的渲染中。通过这些投影仪将渲染后的图像投影到该屏幕上以产生一张视觉上基本上正确的3D图像，该图像具有在一个有效观看区内的连续观看、真的水平视差以及对每只眼睛而言不同的视图。

图1A中展示了该对准、校准和渲染系统的一个实施例。该系统为一个角切片3D显示器100，该显示器带有一个陈列台120、一个投影仪阵列160、一个计算机180、一个x-y测量单元110、一个面朝后的数字摄像机130和一个面朝前的数字摄像机140。在图2A中，系统流程图200示出了获取3D影像输入220和作为输出生成不断混合的角切片3D投影280的步骤的顺序。这些步骤包括一个对准和校准步骤210、一个渲染和投影步骤240、一个3D可视化控制步骤230以及最后一个角切片漫射步骤260。在一个实施例中，该输入220为一个在图1A中的计算机180上运行的应用程序，其使用标准的基于OpenGL的图形界面21渲染3D场景。该OpenGL调用用作输入。然而，其他输入端是可以的，如使用微软公司的被称为Direct3D的专有图形界面、一系列代表现实世界场景的不同视点的数字视频（或静止）图像、用微软公司的Kinect摄像机可以实现的数字图像与深度图的组合的应用程序，或者其他合适地描述3D影像的输入端。图2中的输出和投影步骤280允许一个观看者或多个观看者以立体深度知觉和视图视差看到该3D影像，从而使得这些观看者不需要专用眼镜。

图1A中的计算机180具有足够的计算和图形资源来驱动该投影仪阵列160和这些摄像机130和140。这些摄像机130和140可以是例如佳能Rebel XSi12.2MPixel数字SLR摄像机或其他合适的数字可访问摄像机。在一个实施例中，该计算机180具有一个双六核CPU主板（每个CPU有6个带有两个硬件线程的核心，总计24个硬件线程）。其他多CPU配置是可以的。在此相同实施例中，使用了安装在PCI-Express超高速图形总线内的三个高性能图形卡。这些卡具有例如六个小型显示端口（mini-DP）输出端，总计18个小型DP输出端。双向视频分割器连接到这些小型DP输出端中的17输出端上，并且剩余的小型DP连接到一个标准2D监控器上。这些图形卡和这些分割器允许该计算机驱动34个高性能投影仪，其中，每个投影仪具有800×600的像素分辨率。然而，其他计算机、图形卡、分割器和投影仪安排是可以的。一个示例是使用一个附加的六端口图形卡并用三向视频分割器替换这些双向视频分割器。这种组合将从单台计算机上驱动高达69个投影仪。

返回至图1A，用图1C中的正视图示出了投影仪阵列160。图1C中的投影仪164、165和166是该阵列160的一个子集，当这样的子集足够时，其被任意地选择用来辅助以下讨论和描述而不是参见该阵列中的每个投影来展示特征和概念。

再一次在图1A中，该陈列台120具有一个底座122、一个屏幕托架124和一个投影仪阵列支架126。在一个实施例中，用于该显示器120的构造材料为铝、木材和聚碳酸酯以给予结构支持并贯穿环境温度循环保持几何对准。然而，该陈列台可以由任何其他可以提供足够支持和保持对准的材料组成。该屏幕托架124可以支持或者如图1A中所示的漫射屏128或者如图1B中所示的不透明对准图案屏幕129。

对于仅水平视差（HPO）3D影像而言，图1A中所示的漫射屏128在宽范围上竖直地（例如60度或以上）对光进行漫射，但仅在非常小的范围上水平地（例如1度左右）对光进行漫射。这种类型的不对称漫射屏的示例为从Luminit LLC公司（美国加利福尼亚州90501托伦斯市西205大街1850号）全息地生产的光成形漫射器。其他类型的具有类似水平和竖直特征（例如，多个微透镜阵列）的漫射屏是可用的。

图1D示出了该对准图案屏幕129。在一个实施例中，该图案为一个带有棋盘方格22的已知间距的印刷棋盘19，27。这些方格22为白底26红色以形成内角点24。该图案屏幕129的数字图像以及如边缘抽取和线拟合处理技术允许以子像素精度隔离开这些点24。该红白图案允许仅通过标准彩色数字摄像机的蓝色通道完全捕获该对准图案。然而，其他图案和颜色映射是可以的，从而使得众所周知的数字图像处理技术可以应用到这些图案的数字图像上以便以像素或子像素精度隔离开定义的特征点。

返回至图1A，当该漫射屏128在该屏幕托架124内时，该面朝后的摄像机130定位在一个或多个位置上，从而使得该摄像机视场（FOV）包含该漫射屏。该面朝前的彩色数字摄像机140在该屏幕托架124的另一侧上。当该对准图案屏幕129在该屏幕托架124内时，该面朝前的摄像机140定位在一个或多个位置上，从而使得该摄像机FOV包含该对准图案。在一个实施例中，这些摄像机连接到该计算机180上以便将用这些摄像机捕获的数字图像传输至该计算机的存储器。然而，其他图像转移方法是可以的，如无线通信或存储卡。

仍然在图1A中，该投影仪阵列支架126位于该陈列台120的后边缘，该投影仪阵列支架支持一个或多个数字投影仪160的阵列。这些投影仪160位于该阵列支架126的架子上，从而使得从每个投影仪上投影的图像填充该屏幕128或129。还可以用部分前进式阵列（仅部分转动）安排这些投影仪，从而使得随着添加投影仪所投影的图像进一步前进远离该屏幕。因此，适当地转动和倾斜每个投影仪。在该计算机180的处理下，该对准和校准步骤210使用这些摄像机130和140以子像素精度对准在该漫射屏128处的投影仪160的投影图像。

如图1C所示，以一定的水平间距162定位这些投影仪160。如图3A和图3B中所示，通过该漫射屏128定义该间距162。图3A为一个角切片几何形状30的俯视图。投影仪164和另一个投影仪166是来自该投影仪阵列160的相邻的一对。在该阵列160中，这些投影仪164和166水平地最靠近对方，但不一定竖直地靠近。换言之，这些投影仪164和166不一定共享该阵列支架126上的同一个架子。投影仪164朝着观看位置32投射光的主射线34。类似地，投影仪166朝着相同观看位置32投射光的主射线36。该漫射屏128位于这些投影仪和该观看位置之间。这些射线34和36漫射通过该屏幕128。

图3B绘制了来自每个投影仪的以每条主射线为中心的光射线的连续整体的强度。本曲线图的纵轴示出了如观看者在图3A中的位置32上观察到的强度，作为水平视角的函数。图3B中的高斯曲线44逼近以图3A中的主射线34为中心的光射线的连续整体的漫射。类似的，图3B中的高斯曲线46逼近以图3A中的主射线36为中心的光射线的连续整体的漫射。当如图3A中所示投影仪164和166两者正在用恒定且等量的光照亮该屏幕128时，图3B中的高斯曲线40的总和为这些曲线44和46的叠加。

应该角投影仪间距162选择为使得水平上相邻的投影仪足够近以便不跨图1A中的屏幕128引起可感知的强度变化。此变化是由于该曲线40的中间下沉引起的。随着图3A中所示的投影仪间距162的增加，图3B中所示的曲线44和46进一步水平地移动分开并且因此曲线40的下沉下垂更低，这导致更加可以被感知到的强度变化。随着图3A中所示的162中所示的间距的减小，曲线40的下沉变得不那么可被感知到。图4展示了图3A中所示的投影仪间距162的变化的影响。十个等间距的投影仪为通过图1A中所示的漫射屏128的结果强度产生高斯曲线51（图4中所示）的总和。如果这些十个投影仪的间距减小一半，则强度变成图4中所示的高斯曲线52的总和。该曲线52具有比曲线51不那么可被感知到的强度变化。折衷的是减小该间距太多减小该3D显示器120的总FOV。

这些投影仪160的图3A中的间距162要求与图1a中所示的x-y测量单元110对准。该单元110由一个x标度行程114和一个y标度行程112组成。y调整单元116能够沿该y行程112将目标激光118定位到任何位置上并且该激光118在该x行程114上行进。可以通过从这些行程114和112上读取标度来测量该显示器100上的任何点在该激光118的视野内的位置。来自图2的对准和校准步骤210使用此单元来测量图3A中的相对于图1B中所示的对准图案屏幕129的投影仪间距162。

图1C还示出了该投影仪布局的竖直差168。对于HPO而言，这些竖直差168将允许这些投影仪的布局留有该水平间距162以实现图3A中所示的角切片几何形状30。具有更小物理尺寸的投影仪允许图1A中所示的阵列支架126具有更少的架子并且留出图1C中所示的更小的总竖直差168。另一方面，更大的投影仪在该支架126上需要更多的架子并且因此具有更大的竖直差168。因为图1A中所示的漫射屏128具有一个有限的竖直漫射角（60度或以上），所以这些更大的竖直差168引起小的但可以被感知到的角切片的竖直强度变化。

操作—第一实施例

图2中的流程图200示出了使用来自图1C的显示器100的3D影像的对准、校准和渲染的步骤。该操作中的第一步骤是该对准和校准步骤210。在图5A中出现了步骤210的更加详细的流程图。初始步骤500是要估算图1A中所示的显示器100的3D角几何形状。然后在图1A计算机180中设置一条回路212以循环通过这些投影仪160中的每个投影仪。该回路212首先执行测量该像素对准的步骤600。此步骤使用图1A摄像机140和图1B图案屏幕129以子像素精度对准图1A投影仪160的投影图像，以满足该图3A角切片几何形状30。其次，该回路212在步骤700中使用图1A的摄像机140测量角切片的强度和颜色。此步骤测量由于跨这些投影仪160的失配引起的和由于这些投影仪位置的竖直角差168引起的强度和颜色变化。检查216确定该回路是否完整。由于跨这些投影仪160这些强度变化的校准需要一种解决方案，所以使用该步骤700的测量结果在该回路212外执行强度和颜色校准步骤800。

3D几何形状对准

图5B示出了估算该3D角切片几何形状的步骤500的一个更加详细的流程图。此流程图示出了使用该x-y测量单元110对准和测量该显示器100的物理几何形状的步骤。对于此流程图而言，该对准屏幕129应在该屏幕托架124内。初始步骤510是要定义该世界坐标系。最直接的定义是使用该x-y测量单元110的标度。然后，对准步骤520涉及到在该支架126的架子上单独地移动这些投影仪160，从而使得其水平间距162与该设计角切片几何形状30匹配。通过使用该x-y调整单元116将该目标激光118移动成如从该x标度114上读取的希望的间距162来进行此对准。应对该激光118的指向进行校准，从而使得该方向与该x标度行程114和该y标度行程112两者垂直。在一个实施例中，该激光118具有一个投射一条竖直线以便与该x标度114对准和投射一条水平线以便与该y标度112对准的设置。使用此单元110，可以将这些投影仪160中的每个投影仪移动成具有该希望的水平间距162。如具体设计可能要求的，当移动这些投影仪160时，也使它们适当地转动和倾斜，从而使得其投影图像完全地或者整个地或者以前进的方式照亮该对准屏幕129。另一个步骤530现在使用该x-y测量单元110对准并测量安装在该屏幕托架124内的对准屏幕129相对于世界坐标系的位置和定向。

一个第三步骤540涉及到按照图5C中所示的对投影面遮暗器58进行定位。该投影面遮暗器58是一个在该对准屏幕129上的矩形。此矩形的水平和竖直边缘被定义成与使用该x-y测量单元110的世界坐标系的x和y轴对准。进一步地，该投影面遮暗器58是最大可能安装在来自所有投影仪160的投影图像的限界边缘内的矩形，这些投影仪正在前进和最后的前进投影仪图像的边缘用作该限界边缘的情况除外。图5C中示出了一组用于投影仪164、165和166的限界边缘54、55和56。这些边缘54、55和56不是矩形的，因为这些投影仪不一定与对准屏幕129成直角并且还可能具有某种透镜畸变。该投影面遮暗器58用作用于来自这些投影仪160的每张投影图像的剪辑区域，从而使得该显示器280的输出端具有一致的限界边缘。一组投影面遮暗器参数560存储在该计算机180的存储器内，以便在该渲染步骤240过程中使用。

图5B中的最后步骤550是要计算一组3D角切片几何形状参数570，以便在该渲染步骤240过程中使用这些参数570包括但不限于该水平投影仪间距162、该竖直投影仪间距168、该对准屏幕129上的图案的位置和定向、以及这些投影仪160距该对准屏幕129的距离。这些参数570存储在该计算机180的存储器内，以便在图2所示的渲染步骤240过程中使用。

像素对准

在完成该图5B流程图的步骤的情况下，图5A中的回路212开始该步骤600。图6A中出现了带有两个步骤640和660的600的一个更加详细的流程图。该步骤640是用摄像机140捕获投影仪对准照片，并且下一个步骤660从这照片中测量该像素对准。

图6B示出了该步骤640的一个更加详细的流程图。一个第一步骤642是要找出从该计算机180上的像素坐标到这些投影仪160中的每个投影仪内的像素坐标的映射。随着该计算机180顺序地照亮每个投影仪，该摄像机140和该漫射屏128一起用于捕获图像来使此映射自动化。这些结果角切片的相对位置揭示了该映射。

现在，投影步骤644使用该摄像机140和该对准屏幕129。此步骤将一个灰度对准图案641从该计算机180发送至该回路212中的当前投影仪。该图案641与该对准屏幕129上的印刷图案相似。通过该当前投影仪的红色通道投影该图案641，而该绿色和蓝色通道被设置成其相应的黑色水平。该投影图案641覆盖646出现在该对准屏幕129的印刷图案上。该屏幕129的图案是红色和白色的。当在步骤648中该摄像机140捕获到一张数字照片643时，该红白印刷图案129和红白投影光图案641主要分别被分到该摄像机140的蓝色通道和红色通道内。该数字照片643存储在该计算机180的存储器内，以便稍后处理。

图6C示出了600中的下一个步骤660的一个更加详细的流程图。在该印刷图案屏幕129上的覆盖投影图案641的数字照片643上执行分割操作662。该分割操作662分成643三种颜色通道：红色、绿色和蓝色（RGB）。没有操作的步骤668忽略该绿色通道，而步骤664和666分别处理该红色和蓝色通道。此通道分割允许同时捕获该屏幕图案和投影仪图案。

图6D示出了在该蓝色通道666上的初始步骤670的一个流程图。该步骤670找出从摄像机像素到如在510中定义的世界坐标的映射。转换步骤672将该蓝色通道图像变成一张灰度图像。此灰度图像主要包含该对准屏幕129的红白印刷图案的像素信息并且包含很少或不包含该红白投影光图像641的像素信息。然后，提取步骤674对129的棋盘图案的内角24进行分段。这些角为如在步骤530中测量的带有校准后的世界坐标677的界标点。然后拟合步骤676为该x和y世界坐标对三次多项式方程的十个参数进行求解（总计20个参数）。求精步骤678进一步改进该解并且这些参数679存储在该计算机180的存储器内以便在步骤680中使用。

图6E示出了在该红色通道664上的初始步骤680的一个流程图。使用来自步骤670的参数679，该步骤680找出从这些投影仪像素到图7中所示的对准网格60的映射。在该渲染步骤280中使用该网格60对准这些投影像素。该网格的节点62是连接的三角边缘的交叉点。该转换步骤672应用于将该红色通道变成一张灰度图像。此灰度图像主要包含来自（来自该回路212的当前投影仪的）红白投影光图案641的像素信息并且包含很少或不包含来自该红白印刷对准屏幕129的像素信息。然后，该提取步骤674对该图案641的测量内角24进行分段。对世界对准参数679使用该摄像机，一个变换步骤将这些测量内角24从摄像机像素坐标映射到如在510中所定义的世界坐标上。校正步骤684调整这些测量内角24的y坐标以将通过该屏幕的竖直漫射考虑在内。此校正将该漫射屏128的厚度考虑在内。定标步骤686将这些内角24的世界坐标转换成该网格60的坐标。使用这些内角24的校准后的网格坐标应用该拟合步骤676。结果是该网格60的x和y维数两者的三次多项式的十个参数解（总计20个参数）。该求精步骤678进一步改进该解并且这些参数689存储在该计算机180的存储器内以便在该渲染步骤240中使用。现在完成了该像素对准步骤600。

强度和颜色校准

图8示出了下一个测量角切片的强度和颜色的步骤700的一个流程图。由于该强度和颜色校准步骤800需要来自这些投影仪160中的每个投影仪的测量结果，所以在该回路212中进行此步骤700，而在进行测量结果的收集后在该回路外进行该步骤800。该摄像机130用作本步骤中强度和颜色的传感器，因为需要这些投影仪之间的相对测量结果。然而，其他传感器是可以的，如分光辐射谱仪或色度计。对于本步骤而言，该漫射屏128安装在该屏幕托架124内，因为这些竖直投影仪差168在角切片条纹内引起竖直强度变化。因此，必须用投影通过该漫射屏的图像进行该强度和颜色校准。初始步骤710以已知的强度和颜色变化投影图案，从而使得可以在给定图案的情况下来确定这些投影仪坐标。回路720允许该摄像机130在该显示器100前面具有不同的水平间隔位置。在一个实施例中，使用了三个摄像机位置，如左、右和中心。然而，其他位置是可以的。不同的摄像机位置看到来自回路212的当前投影仪的不同角切片。对于每个摄像机位置而言，捕获步骤730产生该切片的数字照片。处理步骤740在该照片中提取来自该角切片的特征点。这些特征点周围的相对强度和颜色图案确定这些特征点到投影仪坐标的映射。变换步骤750使用这些参数689将这些特征点映射在网格坐标中。这些坐标与其相关联的强度和色值770一起存储在该计算机180的存储器内。回路检查760确定是否有更多的摄像机位置。所存储的强度和色值用于为每个投影生成有待在这些3D图像的渲染和显示过程中使用多项式强度和颜色拟合。

图9A示出了该强度和颜色校准步骤800的测量的一个流程图。拟合步骤820获取网格坐标中的特征点770及其相关联的强度和色值并且为对每个RGB组件的标度因数进行求解。在求精步骤830中，将这些标度因数插入到该对准网格60的节点上以为这些投影仪160的每个RGB通道产生强度和颜色校正遮罩840。图9B示出了一个曲线图作为该拟合步骤820的示例。该曲线图示出了一条强度曲线92，该强度作为水平视角的函数。此曲线92为漫射通过该屏幕128后的30个角切片的水平强度分布。这些角切片来自30个具有竖直投影仪位置差168的投影仪。对于给定的观看位置而言，角切片强度具有相对于如图9C中所示的水平视角的高斯分布。一个切片对另一个切片96的强度的错配引起不均匀的强度分布90。该不均匀分布90对于两个切片而言的，而该曲线92是对于30个切片而言的。该拟合步骤820和求精步骤840引起更加均匀的强度分布98。图9A中的流程图完成了来自图5a的对准和校准步骤210的细节。

渲染和投影

在对准和校准该显示器100的情况下，图10展示了该3D影像220的渲染和投影步骤240的一个流程图。在一个实施例中，通过这些投影仪160的回路242顺序地对每个投影仪的对准和校准图像进行渲染。然而，其他处理是可以的，如并行渲染，其中每个投影仪具有一个在该计算机180上并行运行的相关联渲染过程。由于该计算机180驱动这些投影仪160，所以这些图像是在软件层上与进程间通讯调用同步的帧。在该回路242中，渲染步骤300将该3D影像220变换成一张带有校准校正项的角切片图像。然后，投影步骤244将这些图像发送至将这些图像投影到该漫射屏128上的投影仪160。应该指出的是，这些渲染步骤不一定在该计算机180的CPU上运行，它们也可以就在该计算机内包含的GPU上运行。

图11A示出了该渲染步骤300的一个流程图。在一个实施例中，用OpenGL调用在该计算机180上完成该渲染。在3D影像来自一个OpenGL应用程序的情况下，OpenGL封装器（类似于铬31封装器）用于在将这些调用发送至该计算机180上的图形卡之前拦截该应用程序OpenGL调用。然而，其他渲染方法是可以的，如使用微软公司的Direct3D的封装器或通过构建一种不需要图形库封装器但反而进行直接支持该角切片3D显示的图形调用的应用程序。该渲染步骤300由这些原始OpenGL调用中的每个帧的两遍渲染组成。第一遍涉及到对来自该3D影像的2D角切片图像进行渲染的步骤310和320。第二遍在步骤750和330中将此图像用作该对准网格60上的一个纹理图。然后，最后一个步骤340用该纹理图将该网格60渲染成一张图像以发送至合适的投影仪，以便显示。

该步骤310使用这些3D角切片几何形状参数570对与这些应用程序OpenGL调用相关联的视图几何形状进行修改。来自该原始OpenGL应用程序的单个视点是不够的。因此，步骤310对该原始视点进行修改以匹配来自该回路242的当前投影仪的水平偏移量162和随后的水平转动。以此方式，产生一个与这些投影仪160中的每个投影仪的角切片几何形状匹配的新视点。图11B（用向下看该漫射屏128的俯视图）展示了这三个投影仪164、165和166的视角修改310。视见视锥72示出了来自该OpenGL应用程序的原始视点70。该视锥72出现在该漫射屏的与在观察者将看到该显示器100所在的位置上的投影仪160相对的一侧。对于投影仪165视点而言，步骤310中的修改将重新定义该OpenGL3D几何形状以产生一个新的视图投影75。以一种类似的方式，视图投影74和76分别代表投影仪164和165视点的修改。这些视图投影74、75和76位于与这些投影仪160距离该屏幕128相同距离处并且具有相同的水平间距162。忽略了这些投影仪的竖直差168并且这些视图投影74、75和76具有相同的竖直位置。

第一遍渲染步骤320生成该3D影像的2D角切片图像。此步骤320使用来自在OpenGL应用程序中找到的传统视锥的一个不同视图投影。图11C中展示了一个传统视图视锥72。此视锥72由该视点70、一个近剪辑平面15和一个远剪辑平面17组成。为了清晰性，本图示还示出了该漫射屏128的位置，尽管在一个OpenGL应用程序中没有考虑此屏幕位置。该视锥72对一张与针孔摄像机等效的图像进行渲染。图11D示出了一个允许对投影仪164的视点的2D角切片图像进行渲染的视图投影74。其他投影仪160具有类似的视图投影。该视图投影74具有一个视点14、一个近剪辑平面16和一个远剪辑平面18。还示出了该漫射屏128作为与该屏幕平面平行的投影平面。换言之，该视图投影74表现得像一个带有对平行于该屏幕的2D角切片图像进行渲染的离心透镜的摄像机。该视图投影74具有用于这些水平和竖直焦点的不同位置。该水平焦点为一条在该投影仪位置164上竖直线，而该竖直焦点为一条在该观看者位置14上的水平线。

该投影74没有考虑图11E中所示的空间混叠，其是一个根据图11B的俯视图。一个3D点77在深度上距该屏幕128具有一定的距离。该点77具有到该屏幕128的不同2D位置上的多个投影，例如来自图11B的三个投影74、75和76。示出了该2D屏幕上的这些投影的长度78。在图11F中，该长度78具有视图投影74的相同投影，犹如该点77具有一个空间范围79。此空间范围79是空间混叠。步骤350将像素模糊作为对该水平方向的空间频率进行频带限制的深度的函数。该3D影像中的靠近该屏幕的物体具有非常小的空间混叠，从而使得该屏幕的平面中的物体非常清晰。当物体在深度上移离该屏幕时，它们展现出更多的空间混叠。步骤350中基于深度的模糊处理使这种引起与摄像机透镜的景深散焦类似的结果的空间混叠平滑。

在第二遍渲染中，该步骤750使用这些参数689将该2D角切片图像变换成网格坐标。变换后的图像应用到该网格60上作为纹理图。然后，校准步骤330应用了强度和颜色的校准项。图12示出了本步骤的一个流程图。步骤332基于参数560应用了一个投影面遮暗器遮罩以使该投影面遮暗器58外的投影仪像素变黑。最后，步骤334将强度和颜色校正遮罩840应用到该图像纹理的每一个颜色层上。现在对该对准网格60上的此对准且校准后的纹理图像进行渲染。此第二遍渲染产生适当的图像以发送至用于步骤244的投影仪。一旦该回路242对这些投影仪160中的每个投影仪的图像进行渲染，则该渲染步骤240可以移至该3D影像220的下一帧。

对3D可视化进行控制

该渲染步骤240具有若干个允许对不断混合角切片3D投影280进行控制的自由参数。控制步骤230允许用户实时修改这些参数。在一个实施例中，用户与该控制进行交互。图13为图形用户界面（GUI）的一个屏幕截图，其展示了可以被控制的参数中的一些参数。然而，其他不需要用户交互的自动化操作机构是可以的。该步骤230的一个作用是改变该投影280的视差量值，其反过来改变给定深度下的空间混叠的量值。更多的视差引起更多的空间混叠。该控制步骤230允许在视差和混叠之间进行折衷。该控制步骤230的另一个作用是布置焦面。该3D影像220中的在该屏幕128处经过渲染的物体是清晰的。未在该屏幕处的物体具有空间混叠作为深度的函数。该控制步骤128允许指明该焦面在该3D影像220内的哪儿。在该控制步骤230中其他参数的修改是可以的，如缩放该3D影像、移动该剪辑平面和改变该视图宽高比。此外，还可以调整这些视角。

附加实施例

通过漫射屏的像素对准

一个附加实施例为使用一个校准后的摄像机替换摄像机130。在使用校准后的摄像机的情况下，该像素对准步骤600不需要该对准屏幕129和该面朝前的摄像机140。可以将一组已知的基准标记放置在该校准后的摄像机的FOV内的屏幕托架124的前面。然后使用摄影测量法恢复步骤682中的将摄像机坐标变换成世界坐标的关系。由于该校准后的摄像机观看通过该漫射屏128的投影，所以但该摄像机具有一个捕获角切片的合适图像的适当曝光设置时，该摄像机从这些投影仪中的每个投影仪上看到一个单个角切片。因此，对于从每个投影仪上捕获到足够的界标点的摄像机而言，必须将该摄像机移至不同的位置以获得不同的角切片信息。可替代地，通过循环通过不同的外露设置并且捕获一个投影仪的多张图像，该摄像机的单个位置是可以的。对于每张图像而言，可以去掉该图像的过度曝光和曝光不足部分并且将剩余的部分一起收集到一单张多重曝光的图像中。然后步骤680可以使用此多重曝光的图像从投影到网格坐标的映射。可替代地，可以将该校准后的摄像机放置在面朝前的位置140上，以便进行反射对准。

空隙填充投影仪

另一个实施例使用空隙填充投影仪来改进由于竖直位置差168引起的强度变化。将这些空隙填充投影仪放置在竖直地在这些投影仪160的上方或下方的位置上，从而使得通过这些投影仪的漫射屏的角切片填充强度变化。这些空隙填充投影仪的水平位置是相对于该水平投影仪间距162和以上刚刚所述的或以下紧接着所述的投影仪而言的。这些空隙填充投影仪和其他投影仪一样遵循对准、校准和渲染步骤200。

直接3D影像显示器

另一个实施例用图11C中的更加传统的视锥投影替换了步骤320中所使用的图11D的投影。图11C中的投影提供了图11D中的投影几何形状的近似物，其适用于靠近该显示器100的焦点的平面的3D影像中的物体。该影像可以是OpenGL生成的影像，或者使用摄像机获取有待作为3D图像在该角切片显示器上显示的物体的一系列2D图像。对于摄像机获取而言，在硬件中或（通过内插）在软件中从前一张图像水平地对该系列图像中的每张图像进行移位，从而使得视差图像的全集可以被提供至该3D显示器，一个投影仪一张图像。图14A展示了水平地对安装在一个滑轨930上的摄像机940进行移位以捕获一个主体910的多张图像的图像捕获。示出了一台计算机920，用于与该摄像机相连接。该视差（水平位移）可以与这些投影仪的视差匹配，或者可以比这些投影仪的视差更大或更小，以便使相对于这些投影仪的明显z方向位移（远离或朝着该观看者的位移）加大或最小化。如果一个或多个物体被对准成使得其与该摄像机和该漫射屏在一条线上，则可以左右倒转该系列图像中的有待显示的图像并将其发送至相对于该观看屏与该图像对角地相对的投影仪。此几何形状仅用于对分布这些图像的参考。不需要这些物体被拍照用于在靠近该显示漫射屏的任何地方的3D显示。对于摄像机图像而言，不需要OpenGL渲染步骤—所有需要的是将上述几何形状、颜色、像素对准、和强度校准应用到每个对应的图像上，以便与其对应的投影仪一起使用。不必使用一个单个摄像机，但可以便于减少该角切片显示器的3D摄影术的费用。在多个水平位移摄像机的情况下，按照下一段中的下述内容执行附加校准。

直接3D视频显示器

另一个实施例在300中用来自一个视频摄像机的图像替换来自步骤310、320和350的渲染图像，其中，这些投影仪中的每个投影仪需要一个摄像机。图14B示出了视频捕获，其中一个或多个视频摄像机950安装在该导轨930上并且与该计算机920相连接。因为图11C中的透视投影提供了靠近焦点平面的物体的投影几何形状的近似物，所以来自该视频摄像机的图像可以直接驱动该显示器。再次，如果该视频摄像机、所观看的物体、和该显示器的漫射屏被放置成一条线，则与该阵列中的投影仪对角地相对的视频摄像机将其左右倒转的图像通过这个或这些计算机发送至该投影仪。应将这些视频摄像机放在一条水平线上，该水平线与中央视频摄像机的视向正交，其中，这些摄像机之间间距相等。为了使该视频摄像机像素与该显示器100对准，可以将一个与129类似的对准图案放置在该视频摄像机阵列的焦点平面处。然后来自每个视频摄像机的对准图案的图像可以用于替换641。其结果是，该像素对准步骤600将使该视频摄像机像素对准到该对准网格160上并且可以继续进行300的步骤750。在另一个实现方式中，可以使用比投影仪更少的视频摄像机，其中，例如直接为每个第二或每个第三投影仪生成图像，并且通过内插这些视频摄像机图像来生成来自这些投影仪的图像。再次，这些视频摄像机之间的视差不一定必须与投影仪之间的视差匹配，这些摄像机的水平间距可以比这些投影仪的几何相等间距更大或更小，从而使得在该3D图像中产生或者更多或者更少的视差。此外，飞行时间（tof）摄像机可以用于直接捕获3D数据点和图像。该TOF摄像机向该图像中的点提供x，y和z坐标，并且该图像被渲染为这些3D数据点上的纹理，就像开OpenGL数据。

带有角切片DIBR的3D视频显示器

一个附加实施例使用多个视频摄像机（两个或更多个）来捕获关于一个场景的3D信息。图14C展示了该视频捕获，其中两个或更多个视频摄像机950连接到该计算机920上。使用特征匹配和深度估算技术计算关于该场景的深度信息。然后，用基于深度图像渲染（DIBR）技术替换步骤310和320，其中，这些几何形状参数570和图11D中的投影驱动该DIBR渲染。然后将这些DIBR渲染图形传至步骤350。

已经就特定实施例描述了本发明可以提供的益处和优点。不能认为可以引起其发生或变得更明显的这些益处和优点、以及任何元素或限制项是任何或全部权利要求的关键的、要求的、或必要的特征。如此处所使用的，术语“包括”或其任何其他变化旨在被解释成非排他性包括遵循那些术语的元素或限制项。相应地，包括一组元素的系统、方法、或其他实施例不局限于仅那些元素，而可以包括没有明确列出的或者要求的实施例所固有的其他元素。

虽然已经参考具体实施例描述了本发明，但应理解到这些实施例是说明性的并且本发明的范围不局限于这些实施例。对上述实施例的许多变化、修改、添加和改进是可以的。要考虑到的是这些变化、修改、添加和改进在如以下权利要求中详述的本发明的范围内。

Claims

1.一种3D显示器校准系统，包括：

一个显示屏；

一个摄像机，被配置成用于捕获该屏幕的多个校准图像；

一个或多个2D图像投影仪，被配置成用于将多个2D投影图像投影到该屏幕上；以及

一个计算机，被配置成用于生成这些2D投影图像并且用于处理该摄像机捕获的这些校准图像；

其中，这些2D投影图像为校准图案；

其中，该摄像机捕获该屏幕的这些校准图像，而这些校准图案照亮该屏幕。

其中，该计算机根据这些校准图像计算这些2D投影图像的校正项。

2.如权利要求1所述的3D显示器校准系统，其中，该计算机被配置成用于生成多个校正后的2D投影图像，并且其中，该一个或多个2D图像投影仪被配置成用于将该多个校正后的2D投影图像投影到该屏幕上，由此产生一张视觉上基本上正确的3D图像，该图像具有在一个有效观看区内的连续观看、真的水平视差以及对每只眼睛而言不同的视图。

3.如权利要求1所述的3D显示器校准系统，其中，该计算机根据这些校准图像计算这些2D投影图像的校正项。

4.如权利要求1所述的3D显示器校准系统，其中，该计算机根据这些校准图像计算这些2D投影图像的颜色和强度校正项。

5.如权利要求1所述的3D显示器校准系统，进一步包括一个被配置成用于测量该屏幕和这些投影仪的位置的x-y测量单元。

6.如权利要求1所述的3D显示器校准系统，其中，该屏幕具有多个基准标记。

7.如权利要求1所述的3D显示器校准系统，其中，这些2D投影图像的映射具有用于一个水平焦点和一个竖直焦点的不同位置。

8.如权利要求7所述的3D显示器校准系统，其中，该水平焦点为一条在该2D图像投影仪处的竖直线，而该竖直焦点为一条在一个观看者位置处的水平线。

10.一种方法，包括：

捕获通过多个投影仪被投影到一个3D显示器系统的显示屏上的校准图案的多个2D图像；

测量该多个2D图像的图像参数；

基于所测量的图像参数生成多个校正参数，其中，校正参数对该3D显示器系统的投影仪投影的2D图像进行校准；以及

存储这些校正参数。

11.一种用于对3D显示器系统进行校准的方法，该方法包括：

生成多张2D图案图像；

将该多张2D图案图像投影在该3D显示器系统的屏幕上；

用一个数字摄像机获取多张2D校准图像；

从该多张2D校准图像上计算多个校准参数；以及

存储这些校准参数。

12.如权利要求11所述的用于对该3D显示器系统进行校准的方法，进一步包括：

在3D图像渲染过程中加载这些对准和校准参数；

从3D图像数据中渲染一组2D投影图像，其中，通过这些校准参数对这些2D投影图像进行校正；以及

将这些2D投影图像投影到该3D显示器系统的屏幕上，由此产生一张基本上正确的3D图像，该图像具有连续观看、真的水平视差以及对每只眼睛而言不同的视图。

13.如权利要求12所述的3D显示器校准系统，其中，这些2D投影图像结合从这些校准参数中导出的几何形状校正项。

14.如权利要求12所述的3D显示器校准系统，其中，这些2D投影图像结合从这些校准参数中导出的颜色和强度校正项。

15.如权利要求12所述的3D显示器校准系统，其中，这些2D投影图像结合从不同的水平和竖直焦点中导出的投影计算项。