CN101136192A - 用于显示几何和色彩的自动校准和校正的系统和方法 - Google Patents

Abstract

本发明涉及一种校正显示系统以消除因各种原因如一个或多个透镜、反射镜、投影几何结构、横向色差和色彩不匹配、色彩和亮度不一致等造成的失真的方法和系统。本发明还解决了随时间变化的失真的校准。与处理器连接的感测设备可用来感测显示特征，然后用于计算失真数据，并生成预补偿图以校正显示失真。

Description

用于显示几何和色彩的自动校准和校正的系统和方法

技术领域

本发明涉及显示设备的校准。

背景技术

大部分图像显示设备存在有各种形式的几何或光学失真。这些失真具有各种不同的原因，例如，几何设置、系统内各光学部件的非理想属性、各个部件之间的未对准、复杂的显示表面和光学路径等，都会在面板上产生几何失真和不完整性。失真量根据系统的不同而发生很大的变化，有些不易察觉，有些令人讨厌。失真的效果也会根据系统的不同而变化，会使图像的色彩改变，或使图像的形状或几何特性发生改变。

发明内容

本发明一方面提供了一种用于具有观看面的显示设备的显示校准系统。所述显示校准系统包括至少一个感测设备，用于感测关于所述观看面的形状、大小、边界和方向中至少一者的信息；以及至少一个处理器，与所述至少一个感测设备连接，基于所述至少一个感测设备测得的信息计算显示设备特征。

本发明另一方面提供了一种用于具有观看面的显示设备的显示校准系统。所述显示校准系统包括至少一个感测设备，用于从所述观看面上显示的测试图像中感测信息；以及至少一个处理器，与所述至少一个感测设备连接，所述至少一个处理器基于所测得的信息计算显示失真并生成预补偿图以对所述显示失真进行补偿。所述预补偿图可通过表面函数实现。当在显示之前对输入图像数据应用所述预补偿图时，由此在观看面上显示的图像是没有失真的。

本发明另一方面还提供了一种用于具有观看面的显示设备的显示校准系统。所述显示校准系统包括至少一个图像感测设备，用于从所述观看面上显示的测试图像中感测信息；以及至少一个处理器，与所述至少一个图像设备连接，所述至少一个处理器基于所测得的信息计算显示失真，根据每个面片内显示失真的严重程度将所述观看面分割成多个面片，并在每个面片内生成针对所述显示失真的预补偿图，使得在显示之前对输入图像数据应用所述预补偿图时，在观看面上产生的显示图像是没有失真的。

本发明再一方面提供了一种用于具有观察面的显示设备的显示校准系统。所述显示校准系统包括至少一个图像感测设备，用于针对至少一个色彩成份从所述观看面上显示的测试图像中单独感测出色彩信息；以及至少一个处理器，与所述至少一个图像感测设备连接，所述至少一个处理器基于所测得的色彩信息计算色彩不一致性，并针对所述至少一个色彩成份生成至少一个色彩校正图，使得在显示之前对输入图像数据应用所述色彩校正图时，在观看面上产生的显示图像是不存在至少一个色彩的不一致的。

本发明又一方面提供了一种用于具有观察面的显示设备的显示校准系统。所述显示校准系统包括至少一个图像感测设备，用于从所述观看面上显示的各个色彩成份测试图像中感测出信息；以及至少一个处理器，与所述至少一个图像感测设备和所述显示设备连接，所述至少一个处理器基于所测得的信息针对至少一个色彩成份单独地计算几何显示失真，并针对所述至少一个色彩成份单独地生成至少一个预补偿图，使得在显示之前对输入图像数据应用所述至少一个色彩校正图(color correction map预补偿图)时，在观看面上产生的显示图像是不存在至少一个基于色彩的几何失真的。

本发明的至少一个实施例的描述还提供了一种用于具有观看曲面的投影系统的显示校准方法，所述方法包括：

使用多个投影器将图像的不同部分投影到所述观看曲面的对应部分上；

将所述图像的每一部分聚焦到所述观看曲面的所述对应部分上，使得所述图像完整地形成在所述观看曲面上且具有最佳焦距。

本发明另一方面还提供了一种用于具有观看曲面的投影系统的显示校准方法，所述方法包括：

测量从所述观看曲面到所述投影的图像的焦平面的多个距离；

移动所述焦平面直至所述多个距离的函数被最小化以获得最优焦距。

附图说明

图1是本发明自动校准和校正系统的一个实施例的示意图；

图2a和2b分别是曲面显示屏的几何特性示意图；

图3是几何失真中上溢、下溢和不匹配的示意图；

图4是校准图像测试图案的示意图；

图5是校准几何特征及所涉及的各种坐标空间的示意图；

图6是校准数据生成器的一个示例的示意图；

图7是比例和原点(origin)优化的示意图；

图8是多色彩校准数据生成器的一个示例的示意图；

图9是色彩不一致性校准的设置示意图；

图10是用于色彩不一致性校准的校准数据生成器的一个示例的示意图；

图11是扭曲数据生成器的一个示例的示意图；

图12是用于显示校整(correction)的面片分割的示意图；

图13是数据扭曲单元的一个示例的示意图；

图14是对确定观看面的形状和相对方位的设置的示意图；

图15是焦点未对准的(out offocus)测试图案的示意图；

图16是焦点对准的测试图案的示意图；

图17是由观看曲面和多个投影器组成的校准系统的一个实施例的局部示意图；

图18是包含图17所示多个投影器和观看曲面的校准系统的局部示意图，示出了不同投影器的焦平面；

图19是用于最小化距离函数的聚焦技术的一个示例的示意图；

图20是由观看曲面和多个投影器组成的校准系统的另一个实施例的局部示意图，其中投影器位置可进行调整以优化图像焦距；

图21是使用多个摄像机的校准系统的一个实施例的局部示意图；

图22是集成有校准系统可实现显示自我校准和动态失真校正的背投电视(RPTV)的一个实施例的局部示意图；

图23是由多个投影器和多个感测设备组成的校准系统的一个实施例的局部示意图；

图24是使用观看面的物理边缘和边界的校准系统的一个实施例的局部示意图；

图25是使用聚焦技术确定显示曲面的形状的校准系统的一个实施例的局部示意图；

图26是使用聚焦技术确定波浪状显示屏的形状的校准系统的一个实施例的局部示意图。

具体实施方式

为了解释的简洁和清晰，合适的情况下，各附图中重复使用相同的数字标号来指示对应的或类似的部件。此外，为了提供对本发明实施例和/或实现的全面理解，本申请中给出了大量的特定细节。但是，本领域技术人员可以理解的是，本申请中描述的实施例和/或实现在没有这些细节的情况下也能实施。此外，本申请没有对现有技术中已知的方法、程序或部件给出详细的描述，以免模糊本发明的实施例和/或实现。而且，这些描述不能理解为是对本发明的限定，而只是对本发明的各个实施例和/或实现的结构和操作的描述。

显示设备的重要失真包括：因透镜部件产生的失真，镜面(曲面或平面的)反射组件产生的失真，投影几何特征所产生的失真，例如倾斜和旋转投影(梯形、旋转)以及投影到曲面显示屏上，每种色彩都不同的横向色差和失真，例如多个微显示设备内的未对准、不会聚，色彩和亮度不一致性，和因光学聚焦问题(球面像差、散光等)造成的失真。

以上第一组被视为最终图像内产生的几何失真，即输入图像的形状未得到保持。色差也是几何失真，但是针对每个色彩成份的失真各不相同。这些失真在投影(正投或背投)显示设备中非常常见，统称为几何失真。色度和亮度的不一致性会影响所有的显示设备，由此具有固定亮度或色度的信号在通过显示设备的观察面时会发生变化或不同于其预期的感知效果。这种类型的失真因具有变化的亮度的光源、穿过显示设备的变化的光学路径长度以及面板(如LCD、LCOS、等离子显示器)内的传感器响应不一致性等而造成。焦距相关的失真会使图像变模糊，这种失真是因目标面板上的不同点被聚焦在不同的图像平面上而造成的。本申请所给出的各个实施例中，与焦距和焦深有关的一些问题都得到了解决。

本申请的实施例描述了一种可校准显示设备以消除或减少至少某些前述的失真的方法和系统。这些实施例实现校准数据的生成和产生的校正以及校正的应用的自动化，还实现了实时的失真校准。校准级(其生成校准数据)包括显示的特征化，通过感测装置如高分辨率摄像机捕捉显示设备上观看到的测试图案，并从这些图像中提取出需要的数据(即校准数据)。校正级包括通过电子校正装置对该图像进行预变形，以便在显示屏上呈现出没有失真的图像。本申请中还给出了一种实现显示并捕捉的测试图案的最优焦距的机制。

图1为用于校正显示在显示设备的观看面16上的图像的自动校准和校正系统的一个实施例的示意图。该自动校准和校正系统包括有测试图像生成器14、感测装置11、校准数据生成器12、扭曲生成器13和数字扭曲单元15。该显示设备可以是电视机(背投电视机、LCD、等离子电视机等)、正投系统(即带有显示屏的投影仪)或任何呈现图像的其他系统，这些设备都具有观看面。观看面16通常有边界或框架，将其与背景区别开来；通常都是环绕着该显示屏(观看面)的一个实物窗口。但是，所说的边界并非必须是该窗口或其它实物特征。总之，实际观看面16上的任何区域都可有关联的边界，以便通过一些装置与背景区域区分开来。例如，通过显示设备外部的装置投影到显示设备上的实物窗口内的矩形外框，可以视为所说的边界。此处给出的实施例中，从校准和校正的角度来看，观看面16是该实体显示设备的显示区，位于所标识的边界内，至少某些情况下其可以是该窗口本身。所述边界还指观看面边框，图1中显示为环绕着观看面16。

对于具有变化深度的曲面显示屏，该显示设备采用了两个主视点(mainviewpoint)。观看平面被视为正确显示图像的焦平面，其不同于实际观看面16或仅包含一部分实际观看面16。焦平面上的所有点具有相同的焦深。在这种情况下，物理标记或感测设备(即观察器)的视野将决定焦平面边界(如图2a所示)。观看面边框可用时，可用于确定摄像机相对于观看面16的方位。

或者，整个显示屏都是可观看的，其实际窗口构成边界(如图2b)，其是曲面的。此时，显示屏上的不同点具有不同的焦深。校准和校正的目标是将最终的图像与该曲面边界相匹配。

两个视点可以结合起来(combined)，以标识出需要进行校准和校正的不同显示区域。例如，所述边界可认为是实际窗口与特定焦平面上所捕捉的图像的外轮廓的结合。曲面边界也可以通过投影曲面轮廓而强加在平面显示器上。这被视为特殊情况，其中边界是曲面的，但是显示屏本身是平面的，即具有无穷大的曲率半径。

对于涉及形状和几何特征改变的失真，观看面16上看到的图像(校准前)不能被全部显示出来(上溢)，如图3所示。在示例(a)中，图像ABCD发生上溢，以便能够完整的包含观看面边框18，而示例(b)中，图像全部显示出来(下溢)。示例(c)是一种中间状态(不匹配)，部分图像显示在观看面16上。所有这三种情况都产生自正投或背投系统，并可以使用当前的系统进行校正。

测试图像生成器14提供包含有专用于该校准过程的图案的图像；这些图像又称为校准测试图案。最常用的校准测试图案有：规则的(未连接的)栅格图案、圆形、方形、水平的和垂直的图案、柱状图、线条、同心的图案、矩形、和均匀的灰度级和色彩级。以上各种图案着色(针对各种原色)后的版本可用于横向色差校正和色度不一致性校正。这些图案内的各种形状又称为特征。每个图案具有其已经定义好的特征，也就是说，该特征的数量、位置、大小、边界、色彩和任何其它定义的参数是已知的。

几种典型的校准图案在图4中的面板(a)-(m)中示出。示出特征(中心位置、半径等)的引线不是测试图的一部分。这些测试图案的色彩和形状偏差也可用于黑与白的互换，使用彩色来代替黑与白，为图案中的不同特征使用不同的颜色，将不同的形状组合在一个图案中，以及改变灰度级和色彩级。

使用原色的各种版本的这些图案可用于校准横向色差。面板(g)所示为一种典型的彩色图案，其中的水平柱、垂直柱及其相交处具有不同的颜色。

每个图案都呈现出一些明确的特征，其中最值得注意的是形状的中心位置以及它们的边界，可分别从数学的角度视为点和线。

感测设备11记录在观看面16上看到的校准测试图案。为了校正几何失真，感测设备11可以是摄像机。摄像机的分辨率和捕捉格式可根据校正所需的精度来选择。校正色度和亮度不一致时，感测设备11可以是色彩分析器(例如光度计或分光计)。

该实施例中，为了校正几何误差，感测设备11可设置在相对于显示设备的任何位置。设置感测设备11的位置的这种自由度是可能的，因为捕捉到的图像允许存在因感测位置11的位置而造成的失真成份。除非感测设备11直接(即迎面地)看到观看面16，都会存在因感测设备11造成的梯形失真成份。这一失真会在三个不同的轴上出现，被认为是多轴梯形失真成份。

此外，由于感测设备11如摄像机的光学器件具有其自身的失真，因此还需要考虑到光学失真成份。其它类型的感测设备11具有其它固有的失真。摄像机或感测设备11所引入的各种失真的组合便称为摄像机失真。摄像机失真在生成校准数据时进行确定和补偿。

为了确定摄像机失真，在本发明的至少一个实施例中，使用无失真的方位/形状已知的物理参考标记。这些标记被摄像机捕捉到，并且通过将捕捉到的图像中的方位/形状与其无失真的方位/形状进行比较，便可确定摄像机失真。一个天然标记是该边框(边界)本身，众所周知其具有给定的方位和形状(通常为在真实世界中未失真的矩形)。该边框还是执行校准的参考基准，也就是说，校正后的图像应该相对于该边框成直线。因此，校正几何失真时，摄像机捕捉到的图像应该包含有观看屏的边界(即边框18)。

另一个实施例中，边界检测不到，摄像机中的传感器感测显示屏上的发射器发出的信号，以便确定摄像机相对于观看面16的失真。获得的测量结果生成从摄像机角度看到的观看面16的图。

校正横向色差时，摄像机将捕捉K组图像，其中K是色彩成份的数量，例如三原色RGB。针对每个色彩成份，可重复使用图4中的至少某些测试图案。

亮度和色彩(亮度和色度)校正的执行可以不考虑与几何校正的关联。在投影系统内，亮度和色彩校正在几何失真校正之后执行。在平板显示设备中，不会出现几何失真，便可直接执行亮度和色彩校正。本发明的一个实施例中，感测设备如色彩分析器直接放在观看面16处或靠近观看面16处，用于提取色彩信息。这种情况下是不需要校正感测设备放置的位置的。感测设备11可捕捉整个图像或捕捉特定点的信息。后者的情况下，需要捕捉显示屏上栅格点的数据。如果感测设备11相对于观看面16位于梯形位置，则需要对其进行因位置而产生的校正，类似于上述的摄像机的校正。

对于具有几何失真的显示设备，亮度和色彩校正必须在几何校正完成后进行。这意味着，先校正显示设备的几何失真，包括取决于色彩的几何失真。几何校正之后校正色彩，使得由几何校正所引入的任何额外的色彩失真都得到解决，并确保仅包含最终图像的区域(即非背景区域)是经过校正的。

这个实施例中，校准数据生成器12分析图像并提取出校准数据，该数据采用扭曲生成器13所使用的格式。然后扭曲生成器13将扭曲数据提供给数字扭曲单元15。

数字扭曲通常可描述成应用预补偿图以根据等式(1)在输入图像坐标和输出图像坐标之间执行数学转换：

$(u_i,v_i,{\stackrel{\→}{C}}_i)\⇔(x_i,y_i,{\stackrel{\→}{C}}_i)$ (1)

等式(1)中，i在输入像素坐标上变化，(u_i，v_i)给出输入像素的空间坐标，

给出输入像素的色彩，(x_i，y_i)给出映射到输出空间的输出像素的空间坐标，

给出对应像素的输出色彩。对于三原色系统，

是简单的RGB值。等式(1)是校正的一种栅格形式的表示。处理器直接使用栅格格式是很难的，需要实时应用校正，例如针对视频需要60Hz的帧率。因此，扭曲生成器将等式(1)转换成更硬件高效的格式。校准数据生成器12包括三个子生成器，分别用于校准几何失真、横向色彩和色彩不一致。

以下将首先介绍校正几何失真的校准数据。在以下给出的示例中，被分析的原始测试图案是具有栅格图案的那些，例如图4中的面板(a)和(b)。图4中面板(e)-(g)的图案也使用，因为各个柱/线的相交处形成栅格。

测试图像如栅格型图案提供了一组形状，其在输入空间内的中心是已知的。这些中心可表示为(x_i ^o，y_i ^o)，其中i表示不同的形状。总共有M×N个形状，从左上方开始，沿着该测试图案的各行进行处理，该测试图案的分辨率为W_T×H_T。测试图案的分辨率不需要与显示设备本身的分辨率相匹配。显示时，测试图案中各形状的中心会被几何失真转换到一些其它的值，表示为(x_di ^o，y_di ^o)。这些形状被变形，即，圆形被变形成椭圆形，等等。这些坐标相对于观看面16的边框18左上方的原点定义在该显示空间内。用W_D×H_D表示任意测量单元内显示设备(边框18内)的分辨率，坐标(x_di ^o，y_di ^o)也位于同样的测量单元内。该显示空间等同于真实世界或观察者空间，也就是说，校正后的图像在显示空间内必须是没有失真的。

摄像机捕捉变形的栅格图案的图像，将其发送给校准数据生成器12。摄像机的分辨率表示为W_C×H_C。此处给出的实施例中，摄像机分辨率不必与显示设备的分辨率相匹配，此外，摄像机可设置在任何位置。摄像机空间的中心的坐标为(x_ci ^o，y_ci ^o)，原点定义为捕捉到的图像的左上方。

捕捉的图像是从摄像机的视点看的，因而必须从真实世界的视点出发进行校准，即从观察者的角度出发。因此，校准程序需要减去摄像机的视点，即摄像机失真。如前所述，一个实施例中，这通过将观看面的边框18用作标记来进行。因此，摄像机捕捉的图像还应该包含有观看面边框18。真实世界中，观看面边框18由以下坐标来定义：

左上：(0，0)

右上：(W_D，0)    (2)

左下：(0，H_D)

右下：(W_D，H_D)

摄像机图像中，这些坐标变成：

左上：(x_cTL ^d，y_cTL ^d)

右上：(x_cTR ^d，y_cTE ^d)    (3)

左下：(x_cBL ^d，y_cBL ^d)

右下：(x_cBR ^d，y_cBR ^d)

图5所示为各种空间和坐标系统。尽管图中所示的图像都是白背景上的黑圆，所有这些测试图案都可以是彩色的，并可使用其它的形状或特征(参见图4)。显示和摄像机空间内示出了三种情况：示例(a)，图像上溢完全覆盖观看面边框18；示例(b)，图像完全位于观看面边框18内或下溢；示例(c)，中间状态或不匹配，图像既未填满观看面边框18也没全部位于其内。这些示例情况便称为投影几何分类。需要注意的是，虽然输入和摄像机空间是以像素进行定义的，显示空间可以以像素、毫米或其它单位来定义。

表示为f_D的显示失真可用函数表示为如下等式(4)表示的映射关系。

f_D：(x_i ^o，y_i ^o)→(x_di ^o，y_di ^o)    (4)这隐含表示，校正(f_D ^C)是等式(4)中给出的失真的反向，如等式(5)所示。

f_D ^C：(x_di ^o，y_di ^o)→(x_i ^o，y_i ^o)    (5)数字扭曲单元15对输入图像应用校正f_D ^C，以便在显示前对其进行扭曲(预变形)。

以上两个图都是正向定义的：函数域为该输入图像，范围是该输出图像。众所周知，电子校正电路使用反向体系能够更有效且更精确的生成图像。在反向扭曲体系中，利用校正图将输出内的像素映射到输入上，然后在输入空间内进行过滤(即分配色值)，由此生成该电路的输出图像。这就意味着，校正图是以反向形式表示的，表示为f_W。由于反向形式的校正是显示失真图本身 $(f_W\≡{\left(f_D^C\right)}^{-1}=f_D),$ 反向体系校正单元所需的扭曲图或扭曲数据便仅仅是该显示失真图。因此，校准数据生成器12将要生成的栅格数据在等式(6)中定义出来。

f_W：(x_i ^o，y_i ^o)→(x_di ^o，y_di ^o)    (6)

需要注意的是，本申请中，术语“栅格”和“映射”会经常互换使用。这一信息需要从摄像机捕捉到的图像中提取出来，其位于摄像机空间内。捕捉到的图像对应于等式(7)定义的映射关系。

f_F：(x_i ^o，y_i ^o)→(x_ci ^o，y_ci ^o)    (7)

这个映射图又称为全图像映射图，可视为显示失真图f_D和摄像机失真图f_C的结合，将其消除给出需要的f_W，定义在等式(8)中

f_C：(x_di ^o，y_di ^o)→(x_ci ^o，y_ci ^o)             (8)

$f_F=f_C{f}_D=f_C{f}_W\⇒f_W=f_C^{-1}{f}_F$

从f_D中减去f_C仅仅是两个图的级联(函数的合成)。此外，坐标(x_di ^o，y_di ^o)需要给予正确的像素比例和原点，因为显示坐标系统比例和原点可能不适用。这一点将在后面给出详细介绍。

校准数据生成器12的一个实施例如图6所示。首先分析测试图案的W_c×H_C摄像机图像，提取出形状的中心点(x_ci ^o，y_ci ^o)，给出f_F。摄像机空间内的形状中心点为输入空间内形状中心点在经过显示和摄像机失真映射后的对应位置。对于溢出观看面16的图像区域，其内形状是不可用的。这些溢出的形状通常在背投电视机或正投系统内是不可见的，因为它们将位于可能不同的面板上的背景区域内。因此，只对位于观看面16内的定义为EFGH(参见图5)的形状进行分析。

形状中心点可使用各种图像处理算法找到。一种方法涉及使用阈值机制将捕捉的图像转换成二进制(黑和白)图像。二进制图像内的形状的像素可进行标识和标记。这样的话，分类的每一组像素的质心便可接近该形状中心点。通过分析图像的柱状图，可以自动确定阈值。该柱状图可示出捕捉的图像的亮度或具体的色调。

对捕捉的图像进行分析还提取出观看面坐标和边界。这一步中可以使用不同的图像。确定摄像机失真f_C需要用到边框的坐标。如果该摄像机没有光学失真，则摄像机失真为透视失真，表示为f_C ^P，确定f_C时仅需要等式(3)中定义的四个角的坐标。如果该摄像机还具有光学失真，则需要额外的标记。边框边界EFGH提供了足够的标记，可由其边缘的线性方程进行参数化。该边缘方程还可用于确定四个角，并确定哪个形状位于观看面16内。显示空间内具有已知坐标(x_di ^CC，y_di ^CC)的物理矩形栅格也可附加或投影到观看面16上，用以提供额外的标记，其在摄像机空间内成像为(x_ci ^CC，y_ci ^CC)。这一栅格可视为摄像机校准(CC)栅格。确定边框的坐标和边界又称为显示特征化。

从感测设备的视点来看，摄像机透镜和曲面显示屏内的光学失真情况是无法分辨的。两种情况下，标记和边框都成像为弯曲的。因此，曲面显示屏也能在摄像机失真及相关的CC栅格框架内得到解决。对摄像机失真进行校正还可保证最终的图像与曲面框架相匹配。对于曲面显示屏校正，可通过以规律的间隔(在显示屏上进行测量)对边框18附加标记来构建CC栅格，然后将其插补到边框18的内部。标记同样能够附加到边框18的内部。注意，显示屏虽然是弯曲的，但也是二维表面，因此可以通过二维CC栅格进行校准。

使用标准的图像处理方法例如边缘检测方法可以检测到边缘(边框18的或附加的CC栅格的)或标记。已知边缘的位置，可得到与该边缘一致的线性方程，线的交叉处提供了所述的四个角和CC栅格坐标。所述边缘和CC栅格坐标可定义为等式(9)所示，其中N_CC是摄像机校准栅格内的点的数量。

(1_Tx(t)，1_Ty(t))→顶边

(1_Rx(t)，1_Ry(t))→右侧边

(1_Bx(t)，1_By(t))→底边    (9)

(1_Lx(t)，1_Ly(t))→左侧边

(x_ci ^CC，y_ci ^CC)，i＝1...N_CC→摄像机校准栅格

对于某些显示设备(例如带曲面显示屏的显示设备)，物理标记形成的CC栅格可能不会马上可用。这种情况下，可使用边缘方程来从数学上构建CC栅格。如何沿着该边缘设置点，以及如何插补入边框18的内部，是自由选择的。无论选择什么方法，倘若适当选择了域坐标，最后的图像都会与边框18匹配。一种设置方法是沿着该边缘等距离地设置点，然后将其线性插入边框18内部。

如果制造商提供了关于摄像机光学失真的说明f_C ^O，则可将这些说明与透视失真合并，来代替或生成摄像机校准栅格，表示为等式(10)。

$f_C=f_C^O{f}_C^K:(x_{\mathrm{di}}^{\mathrm{CC}},y_{\mathrm{di}}^{\mathrm{CC}})\→(x_{\mathrm{ci}}^{\mathrm{CC}},y_{\mathrm{ci}}^{\mathrm{CC}})---\left(10\right)$

摄像机失真的光学部分可在进行显示校准之前确定得到，因为其与摄像机位置和方向无关。等式(3)和(9)中的数据统称为摄像机校准数据。

提取出坐标之后，需要将其按正确的顺序放置。从数学上讲，排序会给每个量程坐标(x_ci ^o，y_ci ^o)分配其对应的域坐标(x_i ^o，y_i ^o)。为了构建全图像映射图f_F，需要确定域坐标。上述提取过程没有提供任何关于域坐标的信息。与输入测试图案内的形状排序相匹配的顺序内，是不需要确定中心点的。

测试图案例如图4中的面板(c)和(d)，可用来对点排序。从这些测试图案中捕捉到的图象可根据其所属的条带对其像素进行分类。形状中心点也可放在这个分类中。中心点所属的水平和垂直条带，例如(r，s)，将决定域坐标(x_i ^o，y_i ^o)，其中i在等式(11)中给出定义。

i＝(r-1)N+s                     (11)

排序时，确定哪个条带和形状位于观看面边框18内是非常重要的。如果背景区域(观看面边框18外)未提供高对比度的图像，则单独一个合适的阈值(提取特征坐标步骤中)将确保仅测量观看面边框18内的图形和条带。如果外部图形的成像也很强，则通过与边框边缘进行比较，可以确定哪些形状和条带是位于观看面边框18内的。对这些条带的计数必须考虑任何丢失的条带(那些位于边框18外部的)。给定数序的条带可以一次闪现一个，以确定其是否位于边框内或边框外。还可以使用不同颜色的条带来对其编号。

摄像机校准数据也需要进行排序，此时域空间位于显示空间内。然而，过程要简单一些，因为所有的特征(通过定义)都位于边框18内。大多数情况下，坐标比较足以确定该排序。对于CC栅格，排序会分配栅格(x_di ^CC，y_di ^CC)，其为CC栅格的域坐标(显示空间内的)，又称为域CC栅格。该域CC栅格的值取决于该栅格是否对应于物理标记或该栅格是否是从数学上构建的。对于前者，该标记的已知坐标即为域CC栅格。对于后者，存在一些选择域CC栅格的自由。如果最后的图像匹配边框18(即几何分类(a))，则边缘上的CC栅格点必须映射到矩形EFGH的对应边缘上。这意味着该边缘需要做如下映射：

顶边通过{(0，0)，(W_D，0)}成直线

右侧边

通过{(W_D，0)，(W_D，H_D)}成直线

底边

通过{(0，H_D)，(W_D，H_D)}成直线

左侧边

通过{(0，0)，(0，H_D)}成直线

除了这些限制外，域CC栅格点可从任何可能的形状中选出。完成提取和排序后，可使用等式(8)找出映射关系f_W。

摄像机校准数据首先用来构建反向摄像机失真图f_C ^-1。对于大部分纯透视摄像机失真(即f_C＝f_C ^P)而言，只需要四个角上的点。

(x_cTL ^d，y_cTL ^d)→(0，0)

(x_cTR ^d，y_cTR ^d)→(W_D，0)    (12)

(x_cBL ^d，y_cBR ^d)→(0，H_D)

(x_cBR ^d，y_cBR ^d)→(W_D，H_D)

(反向)透视转换由等式(13)给出。

$x_d=f_{\mathrm{Cx}}^{P^{-1}}(x_c,y_c)\≡\frac{a{x}_c+b{y}_c+c}{g{x}_c+h{y}_c+1}$

$y_d=f_{\mathrm{Cy}}^{P^{-1}}(x_c,y_c)\≡\frac{d{x}_c+e{y}_c+f}{g{x}_c+h{y}_c+1}$

                        (13)

$f_C^{-1}=(f_{\mathrm{Cx}}^{-1},f_{\mathrm{Cy}}^{-1})=(f_{\mathrm{Cx}}^{P^{-1}},f_{\mathrm{Cy}}^{P^{-1}})$

此处，(x_d，y_d)是显示空间内的坐标，(x_c，y_c)是摄像机空间内的坐标。使用等式(12)，可以获得八个线性方程，其可针对定义透视转换的系数{a，b，c，d，e，f，g，h}求解。

当摄像机失真包含有光学失真成份f_C ^O时，或将针对曲线边框进行校正时，使用边缘方程或CC栅格来确定反向摄像机失真图f_C ^-1。一种方法是使用CC栅格，因为其提供关于内部点的失真信息，而不仅仅是关于边缘的。CC栅格在等式(10)中给出。该栅格既可以通过给定组的基函数进行拟合(以最小平方感测)，也可以通过给定组的基函数进行插补。一种选择是使用样条基对该栅格进行样条拟合或插补，如等式(14)所定义。

f_C ^I-1：(x_ci ^CC，y_di ^CC)→(x_di ^CC，y_di ^CC)，对栅格拟合或插补

$x_d=f_{\mathrm{Cx}}^{I^{-1}}(x_c,y_c)$

$y_d=f_{\mathrm{Cy}}^{I^{-1}}(x_c,y_c)$

                              (14)

$f_C^{-1}=(f_{\mathrm{Cx}}^{-1},f_{\mathrm{Cy}}^{-1})=(f_{\mathrm{Cx}}^{I^{-1}},f_{\mathrm{Cy}}^{I^{-1}})$

根据在提取摄像机校准数据步骤计算得到的f_C ^-1和坐标(x_ci ^o，y_ci ^o)，映射关系f_W可通过级联获得，如下：

f_W：(x_i ^o，y_i ^o)→(x_di ^o，y_di ^o)，其中(x_di ^o，y_di ^o)由等式(15)给出。

$(x_{\mathrm{di}}^o,y_{\mathrm{di}}^o)=f_C^{-1}{f}_F(x_i^o,y_i^o)=f_C^{-1}(x_{\mathrm{ci}}^o,y_{\mathrm{ci}}^o)$

                               (15)

该级联使用全图像量程用其自己的域估算出摄像机反向失真图。

获得的栅格(x_i ^o，y_i ^o)→(x_di ^o，y_di ^o)对应于图5中中间示出的图，并给出了用于校正显示失真所需的映射图(反向形式的)。如前所述，这一栅格只包含有位于观看面边框18内的点。对于上溢(示例(a)和(b))的失真，域空间(即从显示失真角度看的输入图像)内的很多像素(对应于形状中心点)的坐标不在该栅格所定义的显示空间内。电子校正单元，即本实施例中的数字扭曲单元15，处理所有的域空间像素；反向体系校正单元的域空间实际上就是生成的输出图像。因此，需要计算出丢失的栅格数据，这通过插补和重采样步骤来完成。

与计算摄像机失真一样，栅格f_W可通过一组基函数进行拟合(以最小平方感测)或插补，例如样条。对该拟合或插补f_w进行外插，便可得到丢失的数据。该函数还可用于通过在更高比率的重采样使校正栅格更密，也就是说，将域点从M×N增加到(nM-n+1)×(nN-n+1)，n＝2，3，……。

现在校正图为f_w以及通过在输入空间内的任何点阵列处估算该函数获得的校正栅格，包括丢失的点。为了维持原始栅格(x_i ^o，y_i ^o)→(x_di ^o，y_di ^o)，通过按等式(16)在输入空间上定义新的规律间隔的栅格阵列来使用f_w的插补形式。

{(x_i，y_i)}，i＝1...M×N，包括阵列{(x_i ^o，y_i ^o)}    (16)

这个阵列密集一些，具有M>M行和N>N列。根据等式(17)，在这个阵列上估算f_W可以得出反向校正栅格(x_di，y_di)，其包括有丢失的点并且更密集。

f_W：(x_i，y_i)→(x_di，y_di)

$(x_{\mathrm{di}},y_{\mathrm{di}})=(x_{\mathrm{di}}^o,y_{\mathrm{di}}^o),$ 若 $(x_i,y_i)=(x_i^o,y_i^o)$ 且(x_di ^o，y_di ^o)位于显示边框内    (17)

拟合和插补相结合还可用于f_W以便对丢失的数据的外插提供拟合，以及对内部数据提供插补。

校准数据生成的最后一个阶段是固定比例和原点。校正栅格位于显示空间内，相对于观看面边框18的右上角进行定义。显示空间的单位(比例)是任意的，可以与输入空间所使用的不同。在数据可由扭曲生成器13使用之前，需要使原点和比例与输入空间的相一致。这一处理被视为原点和比例的优化。

考虑到图5中中间的图，应用了校正之后，最后经过校正的图像应该是相对于观看面18呈矩形。如图7所示，包含经校正的图像的矩形称为有效矩形A’B’C’D’。该有效矩形必须位于图像(ABCD)的光包络(light envelope)内，且需位于观看面边框(EFGH)之内。原点和比例需要进行选择，以使该有效矩形的左上角对应于(0，0)，该矩形的宽乘以高为W_T×H_T，即为输入图像的像素分辨率(如图7所示)。

注意，校准的输入空间实际上就是反向体系内进行电子校正的输出图像，并经过比例调整和移位之后，用于校正的输入图像实际上等效于显示空间(即用于校准的输出空间)。

如果该有效矩形的左上角和尺寸在显示空间为分别为σ_x和W_d×h_d

那么，所有的栅格坐标需要按照等式(18)进行比例调整和移位。

$(x_{\mathrm{di}},y_{\mathrm{di}})\&DoubleRightArrow;({x\&prime;}_{\mathrm{di}},{y\&prime;}_{\mathrm{di}})\&equiv;((x_{\mathrm{di}}-{\stackrel{\&OverBar;}{O}}_x<mrow>\; )</mrow>\frac{W_T}{{\stackrel{-}{W}}_d},(y_{\mathrm{di}}-{\stackrel{\&OverBar;}{O}}_y)\frac{H_T}{{\stackrel{-}{h}}_d})---\left(18\right)$

可确定矩形坐标值的W_D×H_D的值可选择为任何整数值，如果它们保持观看面边框18的高宽比不变的话。应用等式(18)将图7中显示空间尺寸(底部的图)转换成校正所需的输入图像尺寸(上部的图)。

该有效矩形的确定是很自由的，但是，可强加一些自然约束来简化有效矩形的选择。为了最大化校正后图像的像素分辨率，选择的矩形应尽可能的大。如果校正后的图像想要与输入图像具有相同的宽高比的话，所选择的矩形的宽高比(w_d/h_d)应该与输入图像的宽高比(W_T/H_T)相匹配。以下列出各种约束C1到C4。

C1)该有效矩形限制在光包络ABCD内。

C2)该有效矩形限制在观看面边框EFGH内。

C3)该有效矩形的面积是最大的。

C4)该有效矩形的宽高比等于输入图像的宽高比(W_d/h_d＝W_T/H_T)。

针对该有效矩形求解这些约束条件(即确定(σ_x，σ_y)和w_d×h_d)便变成数值优化的问题。上述的所有约束可放入数学表达形式，从而允许使用各种优化方法来解决这个问题。

一种可能的方法是使用约束最小化方法。这一方法涉及将约束改写成等式或不等式的形式并定义进行最小化(最大化)的函数。针对边框边缘(参见等式(9))和最外部栅格点(参见等式(17))的线性方程可用来将约束C1和C2表示为不等式形式，即，位于(<＝)这些线内的矩形的四个角。约束C4已经是采用等式形式表示的，约束C3可改写成最大化该有效矩形的面积的函数。

对于图5中的示例(a)，其中图像上溢填满了观看面16，观看面边框18给出了固有的矩形，其自动满足约束C1到C3。通过将显示设备的比例固定为测试图像的比例，根据等式(19)来设置各种参数。

W_d≡W_D＝W_T

h_d≡H_D＝H_T                    (19)

O_x＝O_y＝0

校正后的图像将准确匹配观看面边框18，其为整个观看面边框18均被使用的理想位置。因此这种情况下，图6中的优化步骤仅仅意味着使用等式(19)，即，这些点不需要进行比例调整或移位。

通过按等式(20)修改约束C4，该优化步骤还可以用来实现宽高比的改变。

w_d/h_d＝α                        (20)

继续使用等式(18)，校正后的图像的宽高比变成α。可自由选择宽高比，使得显示设备的图像上下出现边框(letter-boxed)或者左右出现边框(pillar-boxed)，具有不同的宽高比。通过调整比例和移位，图像在观看面16上还会容易出现扫描过度(over-scanned，即图像上溢)和扫描不足(under-scanned，即图像下溢)。因此，使用表面函数能够很容易实现扫描过度和扫描不足条件。

校准数据生成器12生成的最终校准数据是栅格数据f_w由等式(21)给出。

f_w∶(x_i，y_i)→(x′_di，y′_di)                               (21)

以上讨论主要集中在对所有原色的校正都相同的失真上。这些情况下，同一栅格数据描述了所有色彩的校正，这又称为单色校正。但是对于横向色差，其栅格数据不同于所有的原色，因此需要多个颜色的校正，这种情况便称为多色校正。对所有原色都有的任何几何失真均可包含在此横向校正中，因此前述的校准数据生成器12的实现可视为以下描述的多色校正的一个特例。

用于横向色彩校正的校准数据生成器12的一个示例如图8所示。从图中可看出，其与重复了K次的单色校正的实现(参见前部分的描述)类似，K为原色的数量。原色标识为I_i，i=1…K。对于最常用的三原色RGB，(I₁，I₂，I₃)=(R，G，B)。

校正每个原色的步骤和细节与前述关于单色校正的情况相同，并执行以下多次修订。

现在使用的测试图案是根据正被校准的原色着色了的。例如，校准红色时，所有的测试图案(图4中的面板(a)到(i))都将其特征(圆、条带等)着红色。彩色图案中的各特征(圆的数量等)可不相同。

所有的图像处理步骤，例如提取中心点和边缘，都将使用彩色图像。阈值被调节成处理被校准的颜色。一旦获得的是二进制图像，那么图像处理将与颜色无关。

总之，由于摄像机镜头本身的横向色彩失真，针对不同的原色，摄像机校准数据也不相同，需要针对各个原色单独计算。本发明的系统经配置后可校正摄像机本身内的横向色彩失真。使用具有不同原色的测试图像图案，类似于那些用于校准显示设备的图案，可以生成摄像机校准数据。摄像机的(多色)校准数据的生成可独立于显示设备校准而单独完成，并且仅需要执行一次。在生成摄像机校准数据时，可以使用具有零或最小(即比摄像机的小得多)横向色彩失真的显示设备。如果这样的显示设备不可用，则可使用彩色的标记来提供具有已知坐标的物理栅格。多色摄像机校准的最后结果是反向摄像机失真，其 取决于原色，如等式(22)所定义。

$f_{\mathrm{CK}}^{I^{-1}}:(x_{\mathrm{ci}}^{\mathrm{CCK}},y_{\mathrm{ci}}^{\mathrm{CCK}})\&RightArrow;(x_{\mathrm{di}}^{\mathrm{CCK}},y_{\mathrm{di}}^{\mathrm{CCK}}),K=1...K,$ 对栅格拟合或插补

$f_{\mathrm{Ck}}^{-1}=\left(f_{\mathrm{Ckx},}^{-1}{f}_{\mathrm{Cky}}^{-1}\right)=(f_{\mathrm{Ckx}}^{I^{-1}},f_{\mathrm{Cky}}^{I^{-1}})$

所有丢失的数据都计算出来后，获得(类似于等式(17))的K个栅格定义在等式(23)中。

${\stackrel{\&OverBar;}{f}}_{\mathrm{Wk}}:(x_i^k,y_i^k)\&RightArrow;(x_{\mathrm{di}}^{\&prime;k},y_{\mathrm{di}}^{\&prime;k})$

k＝1...K                                 (23)

i＝1...Mk×Nk

其中每个栅格的点的数量都不同，取决于所使用的测试图案以及进行的重采样。

针对各个原色的测试图案可属于不同的投影几何分类(参见图5)。针对原色的有些测试图案完全溢出观看面边框18，如图5中面板(a)，而其它的可完全位于边框内，如图5中面板(b)。执行优化时，有效矩形必须位于观看面边框18，并还必须位于每个色彩的图像包络ABCD_K内；还使用了图像包络的空间交叉。这意味着进行了单个优化，使用约束C1顾及到所有原色的包络ABCD_K。优化确定了所有原色共用的有效矩形的坐标。然后使用这些坐标根据等式(18)对栅格进行比例调整和移位。

优化步骤的输出是K个栅格，如等式(24)给出所有原色的校准数据。

${\stackrel{-}{f}}_{\mathrm{Wk}}:(x_i^k,y_i^k)\&RightArrow;(x_{\mathrm{di}}^{\&prime;k},y_{\mathrm{di}}^{\&prime;k})$

k＝1...K                                      (24)

i＝1...M_k×N_k

这些数据组由扭曲生成器13使用。

该实施例中，色彩或亮度，或者仅仅色彩的不一致校准数据的生成在几何失真(类型1-4)已经校正完成之后进行。色彩不一致可因几个因素而产生，例如因投影几何学而产生的到观看面16的路径长度变化(梯形角)，微显示面板上的不完整性等等。

对于经几何校正后的显示设备，测试图案图象显示为边框18内的矩形(即有效矩形)，大小也可与之相匹配。原点为该有效矩形的左上角，而不是观看面边框18的左上角。使用的测试图案只是那些上述单色几何校正所使用的测试图案的着色版本；也就是说，校正原色k，测试图案的特征(圆、条带)将着色k。这与校正横向色彩所使用的相同。对于亮度，可使用灰度值(最大白色、半白)。条件色彩通常用于标识正被校正的任何色彩成份，其可以是亮度，RGB或YC_bC_r中的一种成份，或可由感测设备11检测到的任何色彩空间内的一种成份。

感测设备11可以是摄像机或色彩分析器(即分光计、光度计等)。为了获得较大的精度，应该使用分光计或光度计。这些色彩分析器可在一个点捕捉整个图象(即多个点)或数据。感测设备11应设置在尽可能靠近观看面16的位置。单点色彩分析器实际上会放在屏幕上已知坐标处(即形状中心点)，获取该坐标上的数据。尽管多点色彩分析器和摄像机能够放置在任意位置，将其放在尽可能靠近观看面和中心的位置可以获得更好的精度。图9示出一种设置，包括观看面91、单点色彩分析器92和多点色彩分析器93。用于色彩不一致的校准数据生成器与用于校正几何失真的类似。图10示出了针对色彩不一致的校准数据12’的一个实施例。

单点色彩分析器92捕捉到的数据由原色值C_ki ^o和对应的空间坐标(x_i ^o，y_i ^o)组成，对该坐标上的所有点进行了测量。此处的k＝1...K表示正在分析的色彩。原色值C_ki ^o是已知的，因为测试图案是事先定义好的。作为栅格数据描述色彩不一致失真的等式(25)的结果，给出色彩失真图。

f_Dc：(x_i ^o，y_i ^o，C_ki ^o)→(x_i ^o，y_i ^o，C_ki ^o)    (25)

需要注意的是，空间坐标不会被色彩不一致失真所改变。对于给定的测试图案，原色值C_ki ^o通常是一个固定值，C_ki ^o＝C_k ^o这意味着所有的非背景像素具有相同的颜色。可得出不止一组的测试结果s＝1...S，其中每组结果对应于具有不同的固定色值(例如不同的饱和度和灰度)的测试图案。为了简化表示，单个索引i还在不同测量组的范围内变化，如等式(26)所示。

i＝1...M×N×S且

$(x_i^o,y_i^o)=\left(x_{i+(s-1)(M\&times;N),}^o{y}_{i+(s-1)(M\&times;N)}^o\right)----\left(26\right)$

对于每个测量组，空间坐标是相同的。以下的讨论适用于每个测量组(即测试图案)。

对于多点色彩分析器93，例如摄像机，捕捉到的数对应于整个图像。这种情况下，某些图像处理需要在获得栅格之前执行。形状的中心点(x_ci ^o，y_ci ^o)和他们的域坐标(x_i ^o，y_i ^o)被计算出来。此步骤与几何校正过程中使用的提取和排序步骤相同。除了计算中心点，还计算形状中心点的色值。该色值可根据等式(27)对捕捉到的图像内中心点附近的像素的色值进行平均或过滤来获得。

$C_{\mathrm{ki}}^o=\underset{j\&Element;\mathrm{\&Gamma;}}{\mathrm{\&Sigma;}}{a}_j{C}_{\mathrm{kj}}$

a_j＝过滤器系数

г＝(x_ci ^o，y_ci ^o)的邻近点                          (27)

其中，C′_ki是捕捉的图像内中心点的邻近点的色值。对最靠近的四个点求平均，过滤系数α_j＝1/4，j＝1...4。

最终的结果是等式(25)所定义的栅格数据。需要注意，(i)由于色彩失真不改变空间坐标，因而只需要域坐标；(ii)由于图象没有几何失真，因而在观看面16内没有丢失的数据；(iii)由于不用执行几何校正，因而不需要计算感测设备失真和执行级联。

根据使用的感测设备的类型和所捕捉的数据的格式，需要进行色空间变换以将色彩数据转换到显示设备的色空间。例如，鉴于显示设备和电子校正单元(处理器)需要RGB值，分光计可给出色度方面的数据。色变换可由矩阵乘法或通过更复杂的非线性方程来实现。对于色空间转换，需要使用所有原色的栅格数据。总之，这一转换按等式(28)的形式进行。

$C_{\mathrm{ki}}^o\&DoubleRightArrow;C_{\mathrm{ki}}^o=F_k(C_{1i}^o,C_2^o,...C_{\mathrm{Ki}}^o)$

如果没有出现色彩失真，则对于固定的色彩测试图案，测得的所有坐标(x_i ^o，y_i ^o)上的色值都为常量C′_k ^o。所测得的该常量可不等于原始常量像素值C_k ^o。对于大部分的显示设备，测得的值与原始值成比例，其中的比例常数λ在没有色彩失真时是恒定的，在存在色彩失真时是在空间上变化的。因此，显示设备的色彩失真图可表示为如下等式(29)。

$C_{\mathrm{ki}}^o=\mathrm{\&lambda;}(x_i^o,y_i^o)C_{\mathrm{ki}}^o\&DoubleRightArrow;\mathrm{\&lambda;}(x_i^o,y_i^o)=\frac{C_{\mathrm{ki}}^o}{C_{\mathrm{ki}}^o}---\left(29\right)$

总的来说，输入的色值和测得的色值通过一些已知的显示色彩函数f_I彼此按如下等式(30)相关，其中

是参数向量。

$C_{\mathrm{ki}}^o=f_I\left(\stackrel{\&RightArrow;}{\mathrm{\&lambda;},}{C}_{\mathrm{ki}}^o\right)$

若存在色彩失真，则

在空间上变化。给定坐标上的参数可通过分析不同测量组s=1…S的数据来确定，如等式(31)所示，其中s已明确示出。

$(x_i^o,y_i^o,C_{\mathrm{kis}}^o)\&RightArrow;(x_i^o,y_i^o,C_{\mathrm{kis}}^o),s=1...s$

每个坐标上需要有足够数量的值。该分析可通过对数据的拟合逼近f₁。同样地，可通过以相反方向分析相同的数据计算出反向，如等式(32)所示。

$(x_i^o,y_i^o,C_{\mathrm{kis}}^o)\&RightArrow;(x_i^o,y_i^o,C_{\mathrm{kis}}^o)\&DoubleRightArrow;C_{\mathrm{ki}}^o=f_I^{-1}\left(\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}{C}_{\mathrm{ki}}^{\&prime;o}\right)---\left(32\right)$

该反向值也依赖于某些参数

，称为色彩校正参数，其可从f_I的显式形式中确定得到，该f_I可以是已知的，或使用特定基函数如多项式函数对该反向数据拟合计算得到的。对于线性最小平方拟合，反向图采用等式(33)所示的形式。

$f_I^{-1}({\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}}_{\mathrm{ik}},C_{\mathrm{ik}}^o)=\underset{r}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}\&prime;}_{\mathrm{ikr}}{B}_r\left(C_{\mathrm{ik}}^o\right),r=1...R---\left(33\right)$

此处r＝1…R给出了定义反向图的参数的数量，B_r为基函数。该参数针对+每个中心点坐标和每种原色都不同。通常f^-1 _I由电子校正单元所使用的表达式来确定，该表达式在不失一般性的情况下可假定是基于多项式的。上述表达式还可以实现最后的固定色级的调整，因为在某些情况下，需要或期望减小输出+处的原始C_ki ^o值。此处的参数可通过简单的比例因子进行调整，以增大或减小该反向值。

一旦反向函数(每个中心点坐标处)是已知的，校正色彩不一致失真的校正色彩图由等式(34)给出。

$(x_i^o,y_i^o,C_{\mathrm{ki}}^o)\&RightArrow;(x_i^o,y_i^o,f_I^{-1}(\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}},C_{\mathrm{ki}}^o))---\left(34\right)$

色彩失真和校正的空间变化分别完全由参数

和其反向

来描述。因此，用于校正的(基本)校正数据f_Wck，根据等式(35)完全描述出了与色彩校正参数相关的栅格数据。

$f_{\mathrm{Wck}}:(x_i^o,y_i^o)\&RightArrow;{\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}}_{\mathrm{ik}}---\left(35\right)$

对于等式(29)所示的大部分情况，按等式(36)给出参数。

${\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}}_{\mathrm{ik}}\&equiv;{{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{ik}}=\frac{C_{\mathrm{ik}}^{\&prime;o}}{C_{\mathrm{ik}}^{\&prime;o}}---\left(36\right)$

通过使用合适的拟合或插补函数进行重采样，可以将上述栅格变得更密集一些。使用与几何校准的栅格类似的表示方法的新栅格，在等式(37)中给出。

${\stackrel{-}{f}}_{\mathrm{Wck}}:(x_i^k,y_i^k)\&RightArrow;{\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}}_{\mathrm{ik}}=\left\{{{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{ikr}}\right\}$

k＝1...K                               (37)

i＝1...M_ck×N_ck

r＝1...R

这便是校准数据生成器12”的数据输出。

校准数据生成器12”的完整数据输出，包括所有的子生成器(即图10中的每列)，由等式(38)给出。

${\stackrel{\&OverBar;}{f}\&prime;}_{\mathrm{Wk}}:(X_i^k,y_i^k)\&RightArrow;({X\&prime;}_{\mathrm{di}}^k,{y\&prime;}_{\mathrm{di}}^k)$

${\stackrel{\&OverBar;}{f}}_{\mathrm{Wck}}:(x_j^k,y_j^k)\&RightArrow;{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}\text{'}}_{\mathrm{jk}}=\left\{{\mathrm{\&lambda;}\text{'}}_{\mathrm{jkr}}\right\}$

k＝1...K

i＝1...M_k×N_k

j＝1...M_ck×N_ck

r＝1...R

如果没有横向色彩，则K个栅格f′_Wk相同，也就是说，只计算并输出一个几何校正栅格。校准数据被输入给扭曲生成器13。

如前所述，栅格数据并未由电子校正单元直接使用。尽管栅格表达式是最通用的格式，其对于硬件实现来说是效率很差的，主要是因为它需要大量的数据存储(每个像素的坐标)，并且不易操作(例如比例的改变)。某些现有技术中的系统使用查询表，这也同样不是最佳的。扭曲生成器13将等式(38)中定义的栅格表达式转换成扭曲数据，其是校正的另一种表达式，采用能有效应用于硬件的形式。如果电子校正单元能够直接使用栅格数据，则可以使用上述的栅格，对所有像素的重采样，并且不需要由扭曲生成器13生成扭曲数据。

该扭曲数据依据电子校正单元的数据要求来生成。电子校正单元使用各种架构来应用几何和色彩转换。大部分的单元使用针对几何校正的反向图，上述的栅格也针对反向架构来设计。一种有效的电子校正架构，例如美国专利申请US2006—0050074 A1“System and method for representing a general twodimensional transformation(用于呈现普通二维转换的系统和方法)”中所描述的架构，是基于栅格数据的线性函数表达式的。扭曲生成器13将该栅格数据转换成函数表达式。图11给出了扭曲生成器13的一个实施例。

二维栅格的通用函数表达式(x_i,y_i)→u_i可写成如下等式(39)。

$u=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{a}_i{B}_i(x,y)---\left(39\right)$

等式(39)定义了域(x，y)上的二维表面函数，其是基函数B_i(x，y)，i=1…L的线性组合，该组合的系数称为表面系数，表示为a_i。该系数是常量，不会在域上变化。该基函数不必是线性的；只有它们的组合是线性的。至少某些情况下，该基函数可以是严重非线性的，因此，等式(39)的形式足以表达出所有的校正栅格。基函数及其数量由电子校正单元来定义，因为它们在硬件内实现和评估。扭曲生成器13确定出所需的系数。

一个实施例中，硬件内使用的基函数是多项式的。引入两个指数，多项式基函数及对应的表面可写成等式(40)所示。

B_ij(x，y)＝x^jy^j

$u=(x,y)=\underset{i.j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}{x}^i{y}^j,i=0...L_x,j=0...L_y---\left(40\right)$

由于基函数是已知的，待确定和存储的新数据是该组表面系数a_i。移动到表面表达式意味着从栅格值到表面系数的转换，如等式(41)所示。

$u_i\&DoubleRightArrow;a_i---\left(41\right)$

该表达式的效率源自这样一个事实，即针对每个像素需要存储栅格值时，该表面系数实现了一组像素上的栅格值的计算，因此，仅需存储相对较小量的表面系数。

系数的数量决定了原始栅格值能以什么样的精度来表示。通过增加系数的数量能够增加精度，即，使用更多的基函数。或者，如果将域分割成多个面片，且针对每个面片使用不同的表面函数，则可以使用较少数量的基函数。面片结构根据每个面片内显示失真的严重程度来建立。这种方法实现了组合表面到失真的复杂度的更灵活匹配。例如，失真越复杂，使用的面片越多。用于面片p＝1...P的系数表示为α_ij ^p。不失一般性的情况下，可使用多项式形式的表示方法，并很容易用于另一个基底。完整的表面便可采用等式(42)的形式。

$u(x,y)=\underset{i,j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}^p{x}^i{y}^j$

i＝0...L_x，j＝0...L_y                                     (42)

p＝1...P

(x，y)∈Patchp

单个表面对应于单个面片，其等于整个输出图象(域)。图12示出了面片分割的一个实施例。

面片分割可开始于某些开始配置，例如4×4对称排列的16个面片。面片的排列(即面片的数量和每个面片的边界)称为面片几何结构D，其表示为如下等式(43)的形式。

$x_p^0{y}_p^0{x}_p^1{y}_p^1$

面片 $p=\{(x,y)x_p^0\&le;x\&le;x_p^1,y_p^0\&le;y\&le;y_p^1\}$                                         (43)

给定面片几何结构的情况下，可根据等式(38)使用对数据的线性至少平方拟合来计算出系数。拟合需要进行约束，以确保所有的面片边界处，该表面是连续的。一旦确定了该表面后，进行误差分析，将栅格值与计算出的值进行比较，如等式(44)所示。

Error_i＝|u_i-u(x_i，y_i)|    (44)

该误差值与允许的限度E_max进行比较。如果最大误差小于或等于该允许的限度，即 $\underset{i}{\max }=\left(\mathrm{Erro}{r}_i\right)\&le;E_{\max },$ 则保留该表面系数并作为扭曲数据从扭曲生成器13输出。如果最大误差比允许的限度还大，则通过进一步的分割细化面片几何结构，重新计算系数并重新分析误差。

等式(38)中的表面表达式可改写成等式(45)。

$u_k(x,y)=\underset{i,j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}^{k,p}{x}^i{y}^j$

$v_k(x,y)=\underset{i,j}{\mathrm{\&Sigma;}}{b}_{\mathrm{ij}}^{k,p}{x}^i{y}^j$

${\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;}}}_k(u,v)=\underset{i,j}{\mathrm{\&Sigma;}}{\stackrel{\&RightArrow;}{c}}_{\mathrm{ij}}^{k,p}{u}^i{v}^j$                                            (45)

k＝1...K

p＝1...P_k

i＝0...L_x ^k，k＝0...L_y ^k

需要注意的是，栅格表达式中的索引(i，j)不再需要，因为该函数式是针对整个空间定义的，而并非仅仅是在一组离散的坐标。索引(i，j)现在表示指数，或标识出基函数。索引k标识出原色，索引p标识出面片。针对域坐标所在的面片进行表面评估。面片的排列、基函数的数量可随原色而不同。通过改变每个面片的基函数，还可以获得上述格式的各种其他变形。几何校正的域空间已经表示为(x，y)，且其对应于输出图像空间(反向架构内)，列空间(rangespace)重新表示为(u，v)，其对应于输入图像空间。

对于色彩校正，域空间被重新表示为(u，v)。色彩校正在几何上正确的图像上进行。这意味着，必须在图像被扭曲以进行几何校正之前，对具有坐标空间(u，v)的输入图像应用色彩校正。若电子校正单元在图像经过扭曲以校正几何结构之后应用色彩校正，则需要针对应用系数的这一新顺序调整上述系数，即需要执行重排步骤。这种情况下，色彩参数定义在(x，y)空间内。从上述等式(46)所示的表面，首先可以获得新的栅格定义在(x，y)空间上。

$\begin{array}{c}{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}\&prime;}}_{\mathrm{tk}}=\underset{i,j}{\mathrm{\&Sigma;}}{\stackrel{\&RightArrow;}{c}}_{\mathrm{ij}}^{k,p}{\left(u_k(x_t^k,y_t^k)\right)}^i{\left(v_k(x_t^k,y_t^k)\right)}^j,t=1...T_k\\ \&DoubleDownArrow;\\ (x_t^k,y_t^k)\&RightArrow;{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}\&prime;}}_{\mathrm{tk}}\end{array}\left(46\right)$

然后对该栅格进行前述的拟合，并计算出系数，域空间现在为输出图像空间。色彩校正表面系数使用了相同的表示符号。此时的误差分析使用上述重排后的栅格。

扭曲生成器13的最后输出是等式(47)中的一组系数，共同形成扭曲数据。

$\{a_{\mathrm{ij}}^{k,p},b_{\mathrm{ij}}^{k,p},{\stackrel{\&RightArrow;}{c}}_{\mathrm{ij}}^{k,p},D^k\}$

k＝1...K                           (47)

P＝1...P_k

i＝0...L_x ^k，j＝0...L_y ^k

D^k包含有为原色k定义几何面片结构的所有信息。数据(a，b)几何扭曲数据或转换，其校正类型1-4的失真，而

是色彩扭曲或转换，其校正类型5的失真。

数字扭曲单元15为处理器，用作系统的电子校正单元。本申请中，短语“电子校正单元”与“数字扭曲单元”交换使用。实际应用中，数字扭曲单元15对数字输入图像(视频)应用扭曲数据，以便进行预变形，或扭曲该输入图像。该输入图像在立体空间和色彩空间均被扭曲。空间扭曲根据几何扭曲图进行，色彩扭曲根据色彩扭曲图进行。完成预变形以便消除显示失真，在观看面16上显示出没有失真的图像。

数字扭曲单元15的一个实施例如图13所示，可以校正几何和色彩不一致两者。数字扭曲单元15包括两个主模块：第一块执行几何扭曲(即从几何结构上扭曲输入图像)，第二块仅在色彩空间内扭曲该输入图像以校正色彩不一致。此处色彩校正发生在几何校正之后，但是也很容易适用于反向的顺序。不需要某个特定的校正时，这两个模块都可以绕过。数字扭曲单元15还包括有表面评估组件，针对每个原色(忽略索引)对每个像素(x_j，y_i)处按等式(15)定义的表面多项式进行评估，生成所需的坐标｛u_i,v_i,

}。数字扭曲单元15还包括有像素生成组件，其使用所需的坐标计算像素色值C_i。对于几何校正，该像素生成是一个过滤步骤，对当前正被处理的像素(u_i，v_i)的邻近像素使用具有预先计算的系数w_j,j=i-1…W的过滤器。

至少某些情况下，该过滤器系数是在系统外部计算得到的，并加载入数字扭曲单元15。对于色彩不一致的校正，像素生成时会从几何扭曲的图像中取像素值，并应用等式(33)来确定新的色值。该像素生成步骤可概括在等式(48)中。

${\stackrel{\&OverBar;}{C}}_i=\underset{j\&Element;\mathrm{\&Gamma;}}{\mathrm{\&Sigma;}}{w}_j{C}_{j,}\mathrm{\&Gamma;}=(u_i,v_i)$ 的邻近点

${C^{\&prime;}}_i=\mathrm{\&Sigma;}{{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{ir}}{B}_r\left({\stackrel{\&OverBar;}{C}}_i\right),r=1...R---\left(48\right)$

针对每个原色，都执行这些步骤。C_i表示经过几何校正后的中间色值。

过滤和色彩校正等式的细节取决于硬件的结构。简单的过滤器仅对四个最邻近的点求平均，此时w_j=1/4。复杂的过滤器可使用邻接椭圆形，其形状取决于表面的本地雅可比行列式，过滤器系数可使用高级过滤器生成算法来获得。这种情况下，将需要邻近坐标(u_j∈г,v_j∈г)来估计该雅可比行列式。类似地，简单的色彩校正包括仅使用等式(49)所定义的线性校正。

${C^{\&prime;}}_i={{\mathrm{\&lambda;}}^{\&prime;}}_{i2}{\stackrel{\&OverBar;}{C}}_i+{{\mathrm{\&lambda;}}^{\&prime;}}_{i1}---\left(49\right)$

或者，可使用更复杂的色彩校正，其使用等式(50)所定义的三次多项式。

${C^{\&prime;}}_i={{\mathrm{\&lambda;}}^{\&prime;}}_{i4}{\left({\stackrel{\&OverBar;}{C}}_i\right)}^3+{{\mathrm{\&lambda;}}^{\&prime;}}_{i3}{\left({\stackrel{\&OverBar;}{C}}_i\right)}^2+{{\mathrm{\&lambda;}}^{\&prime;}}_{i2}\left({\stackrel{\&OverBar;}{C}}_i\right)+{{\mathrm{\&lambda;}}^{\&prime;}}_{i1}---\left(50\right)$

在知道数字扭曲单元15的结构细节的情况下，可以计算出色彩参数(

)和

数字扭曲单元15的最后结果是由等式(1)进行数学描述的校正，使用向量表示改成为如等式(51)所示，其中该向量用于表示所有的原色成份。

输入图像输出图像

$(u_i,v_i,{\stackrel{\&RightArrow;}{C}}_i)\&DoubleLeftRightArrow;(x_i,y_i,{\stackrel{\&RightArrow;}{C}}_i)$                                                     (51)

扭曲或预补偿后的输出图像是显示设备(未示出)的输入，其投影到观看面16上，未出现可见失真，从而完成了自动校准和校正。校准和校正程序完成之后，可将正常的(非测试的)图像和视频发送给显示设备。

以上结合横向色彩校正介绍了多色几何校准和校正。然而，本发明还可用于校准和校正其内的原色成份被几何变形的任何失真。其他的应用包括因多个微显示设备彼此定位或相对于机壳定位或容置在背投显示设备内造成的光学部件未对准和未会聚而产生的失真，以及色彩成份的不同放大比例所造成的失真。

在投影系统内，色彩校准和校正在经过几何校正的图像上进行。也就是说，色彩校正还会考虑几何扭曲本身所引入的任何不一致。经几何扭曲的图像因比例调整和过滤处理，不同的区域包含不同的颜色或亮度内容。事实上，一个区域缩放调整得越多，亮度和色彩的改变越大。这通过几何扭曲后的色彩校正自动进行补偿。因此，该系统自动补偿因几何扭曲过程所造成的色彩不一致。

另一种应用中，本系统可集成在单个电路内，以获得数字校准和扭曲单元。该校正数据和扭曲生成器12和13是可以实现在任何处理器上实现的部件。测试图像生成器14还可由处理器输出的一组事先存储的图像来代替。使用硬件内内置的处理器可以实现整个校准和校正过程的单电路解决方案。此外，这一硬件可与摄像机一起集成在显示设备内，从而获得能自我校准的显示设备。这一应用下，仅需要一个处理器来接收来自至少一个感测设备所感测到的信息，并计算显示失真，生成预补偿图，即扭曲图和色彩图(又称为几何扭曲和色彩扭曲)，并对输入图像数据应用该预补偿图，从而使得在观看面上显示的最后图像完全没有失真。但是，其他一些情况下，使用多个处理器会更有效。因此，执行本申请中所描述的实施例需要至少一个处理器。

各种类型的传感器可集成在显示设备(不与摄像机一起或与摄像机一起)内，用作感测设备11。图14所示的一个实施例中，传感器143是距离感测设备，单独使用或在摄像机142旁边，测量观看面141上某些点的距离。这个面板可以不是平面的。根据测得的距离和这些距离彼此间的夹角，可以计算出摄像机142和观看面141之间的相对角度。此外，屏幕的形状若不是平面的话，也可以使用这个方法计算得到。在图14所示的实施例中，屏幕上右侧较密的线表示靠近屏幕的正常视图，而左侧较稀的线表示离左侧上的正常视图较远。本发明可以使用各种类型的传感器143，包括红外传感器等等。这个实施例中，物理结构无需画出显示设备(即观看面141)，摄像机142可以放在任意位置。

另一个实施例构建一种具有自动校准和校正的自我校准显示设备，其校准和校正过程能在不需要任何外部源的情况下在任何时间运行以校正失真。这使得可校正随时间变化的失真，例如投影器的梯形失真，或背投显示设备如RPTV的场校准。该校准系统设置在RFTV的外壳或机壳内，提供自我校准。其他一些随时间改变的失真有光学部件内因物理移动、角度和温度而产生的偏差。例如，在背投显示设备内，反射镜的曲率会随重量或温度而发生轻微的改变，这需要进行动态的校准和校正。打开显示设备或检测到失真时，校准和校正系统便会执行。

感测设备不可用时，动态校准和校正在场或固定显示设备内例如电视机内变得非常重要。此时，进行了初始校准和校正后，部件内随时间而发生的小的偏差会引起进一步的失真。在受控的情况下，例如制造工厂，可使用数字扭曲单元来仿真场内随时间变化出现的各种失真，i＝1...N。这些失真然后可以使用前述各实施例中的系统进行校准和校正。但是，可以使用两个电子校正单元，一个用于仿真失真，另一个用于测试自动生成的校正数据。针对N个测试示例用于校正的扭曲数据可存储在显示设备内。在该场内随着时间的变化，由于N个扭曲校正产生小的失真，选择能最好校正该失真的一个。因此，并不需要整个系统，仅需在显示设备内建立数字扭曲单元，因为校准是在生成的过程中进行的，N组校正数据是存储在显示设备内的。为了实现自动选择合适的校准数据，显示面板上的传感器可用来检测特定的测试图案，从而加载能达到失真的最优检测的测试图案。这一过程可在打开显示设备获取动态校准和校正时运行。

如图15和16所示，一个实施例中，该校准系统可用于找出聚焦到观看面上的最佳投影器。这通过在观看面上显示一组测试图案例如一组特定数量的平行线来实现。然后捕捉图像并由电子校正单元进行扫描，找出测试图案内的黑暗区域和光亮区域之间的对比度。然后移动投影焦距，重新测量对比度。这一过程持续执行直到找到最大的对比度。该最大对比度对应于最佳焦距。图中所示的观看面151具有较差的聚焦效果，观看面161具有较好的聚焦效果。同样的技术也可用于调整感测设备的焦距。带锐边的物理标记，例如显示屏(即观看面)的窗口被捕捉到并进行分析以最大化对比度。如果需要，可显示合适的着色测试图案，以增强标记和背景之间的对比度。然后移动感测设备的焦距并重新测量对比度。最大对比度的设置为感测设备提供了最佳焦距。在对显示设备聚焦之前，感测设备已经对准焦距。

另一个实施例中，局部如图17和18所示，显示设备内使用了校准系统以及曲面显示屏171和181和多个投影器1-3。投影器范围覆盖曲面显示屏171和181的整个面积，且均由同一电子单元进行控制。几何校准针对每个投影器1-3进行，映射到显示屏171和181的对应区域上。此外，几何校准还旋转和转换每个投影器图像以将其与邻近的投影器图像连接起来。特别是在重叠区域，对应的像素彼此重叠。需要注意，从不同的投影器投影到显示屏171和181上的映射具有不同的入射角并随着显示屏171和181曲面而变化。具有或获取到曲面显示屏171和181的映射图(表示为扭曲数据)的电子单元，校正跨越整个显示屏171和181上的角度偏差。

除了几何校准之外，还对每个投影器1-3执行色彩校准，以保证色彩特征在所有的投影区域看起来都是相同的。该电子单元还在投影器1-3之间或内部分配像素色彩和亮度，以便在整个曲面显示屏171和181上实现均匀的亮度和色彩映射。需要注意的是，可以使用任何数量的投影器，多个投影器之间可以共享重叠的区域，应用相同的校准技术。

对于投影到曲面显示屏，聚焦问题是很重要的。这是因为投影器具有平面的焦平面，而显示屏是曲面的，如此的话，显示屏的不同部分与任何焦平面之间具有不同的距离。看着显示屏的一部分，图像看起来比显示屏的其他部分更清晰。为了在使用单个投影器的时候克服这个问题，可以使用一种技术来最小化散焦，图19是该技术的一个示例。该示例中，校准系统对投影焦平面的设置使得从曲面显示屏191到焦平面193的一系列法线的距离的平方和最小。如果希望显示屏的中心比侧面更聚焦，则可以给连接显示屏的中心部分与焦平面的那一段更多的权重。

这种情况下，可以基于已知的显示屏形状重新计算最优焦平面。最优焦平面与显示屏相交之处即为显示屏上图像聚焦最好的点，并由此获得最大对比度。当最优焦平面和最大对比度的点计算出来并已知后，将类似如图16中使用的图像测试图案投影到显示屏上，然后捕捉该图像并分析对比度。如果捕捉到的图像内的最大对比度点的位置与前面确定的最大对比度点一致，位于允许的偏差限度内，则被投影的图像位于最优焦平面上。如果该最大对比度点与之前确定的不一致，则调整投影器焦距并重复上述过程，直至达到匹配。需要注意的是，这一技术可适用于一维曲面显示屏(如圆柱状的、零空间曲率的等等)或二维曲面显示屏(如球面的、非零空间曲率的等等)。

在图20所示的另一个示例中，除了以上已经解释过的校准之外，还通过从不同角度的多个投影器投影图像来解决了聚焦的问题。从图中可知，通过在曲面显示屏201的特定区域的特定角度上放置投影器，完全可以消除散焦的问题。通过特定的角度，使得每个投影轴与其投影图像的对应显示屏部分完全正交，并且每个焦平面在其中心处都与曲面显示屏201上被覆盖的部分相切。为了优化每一段的焦距，可以采用与图19所示相同的技术。或者，每个焦段的中心保持与该显示屏相切。图20所示的该示例中，校准系统满足多投影器重叠区域的焦距、以及像素几何学结构、亮度和色彩，以在显示屏201上生成平滑且连续、清晰的图像。通过这种技术，扭曲变得不是很严重，因为焦平面和显示屏切线间的角度被减小了。

以上已经讨论过用于校准感测设备内的多色几何结构的系统。同样地，该系统可用于校准感测设备内的色彩(非几何的)失真。使用经过校准和校正后的显示设备，固定的彩色图案显示在显示屏上，并由感测设备记录下来；所使用的图案可以是校准显示色彩失真时所使用的同样的图案。原始色值已知，摄像机的色彩图可根据等式(25)获得。依据该色彩图，可以确定摄像机的色彩校正参数

，若存在色彩失真的化，该参数会在空间上变化。校正模型可以是例如线性最小平方拟合。该校正参数完全反映出了用于摄像机色彩失真的校准数据的特征。

色彩校正已经从原色和亮度方面给出了介绍。该系统还可以处理任意颜色的校正和调节。此时，可以使用测试图案或各种色彩(不仅仅是原色或灰度)来以与等式(31)类似的方法获得显示的色彩图，如等式(52)所示。

$(X_i^o,y_i^o,{\stackrel{\&RightArrow;}{C}}_{\mathrm{is}}^o)\&RightArrow;(X_i^o,y_i^o,{\stackrel{\&RightArrow;}{C}}_{\mathrm{is}}^o),s=1...S---\left(52\right)$

此处每个

给出了一个具有所有成份的色彩向量，而不仅仅是特定原色的色彩向量。选择使用的这组色彩可以是整个色彩空间内向量的一些常规取样。那么反向图便可通过等式(53)表达出来。

${\stackrel{\&RightArrow;}{C}}_i^o={\stackrel{\&RightArrow;}{f}}_I^{-1}({{\mathrm{\&Lambda;}}^{\&prime;}}_i,{\stackrel{\&RightArrow;}{C}}_i^o)=\underset{r}{\mathrm{\&Sigma;}}{\stackrel{\&RightArrow;}{{\mathrm{\&lambda;}}^{\&prime;\&prime;}}}_{\mathrm{ir}}{B}_r\left({\stackrel{\&RightArrow;}{C}}_i^o\right),r=1...R$

${{\mathrm{\&Lambda;}}^{\&prime;}}_i=[{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{i1}{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{i2}...{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{\mathrm{iR}}]$                                         (53)

此处每个色彩参数是长度为K(原色的数量)的向量。根据前面的表示法，有：

${{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{\mathrm{ir}}=\left[\begin{array}{c}{{\mathrm{\&lambda;}}^{\&prime;}}_{i1r}\\ {{\mathrm{\&lambda;}}^{\&prime;}}_{i2r}\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ {{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{iKr}}\end{array}\right]---\left(54\right)$

然而，这不仅仅是将色彩参数重排到一个等式中，因为现在基函数是定义在整个色彩空间上的，而不仅仅是一维的色彩空间(即，一个原色)。对于多项式形式，基函数可以表示为等式(55)。

$B_{i1,i2,...\mathrm{iK}}\left(\stackrel{\&RightArrow;}{C}\right)={\left(C_1\right)}^{i2}{\left(C_2\right)}^{i2}...{\left(C_K\right)}^{\mathrm{iK}}---\left(55\right)$

参数λ可通过在色彩空间内引入K维的面片结构来进一步的进行一般化，具有Q个面片，如等式(56)所示。

$D_C=\{C_{q1}^0,...,C_{\mathrm{qK}}^0,C_{q1}^1,...,C_{\mathrm{qK}}^1\},q=1...Q$

面片 $q=\left\{\stackrel{\&RightArrow;}{C}\right|C_{\mathrm{qk}}^0\&le;C_K\&le;C_{\mathrm{qk}}^1,k=1...K\}$                        (56)

如等式(57)所示，这样便对色彩参数增加了另一个索引。

${{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{\mathrm{ir}}=\left[\begin{array}{c}{{\mathrm{\&lambda;}}^{\&prime;}}_{i1r}\\ {{\mathrm{\&lambda;}}^{\&prime;}}_{i2r}\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ {{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{iKr}}\end{array}\right]---\left(57\right)$

这给出了色彩空间内每个空间栅格点(形状中心点)上的一般转换。现在可由等式(58)定义出校准色彩数据。

$F_{\mathrm{Wc}}:(x_i,y_i)\&RightArrow;{{\mathrm{\&Lambda;}}^{\&prime;}}_i=\left\{\right|{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{i1q}{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{i2q}...{{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{\&prime;\&prime;}}_{\mathrm{iRq}}\left|\right\}---\left(58\right)$

在没有任何失真的情况下，这一栅格在每个坐标上都是恒等式(identity)。扭曲生成器将其转换成具有等式(59)所示形式的表面函数。

${{\mathrm{\&lambda;}}^{\&prime;}}_{\mathrm{krq}}(u,v)=\underset{i,j}{\mathrm{\&Sigma;}}{c}_{\mathrm{ij}}^{\mathrm{krq},p}{u}^i{v}^j$

k＝1...K，r＝1...R，q＝1...Q                    (59)

p＝1...P_k

i＝0...L_x ^k，j＝0...L_y ^k

最后数字扭曲单元对该多项式求值并使用等式(53)执行色彩校正。

通过在每个空间坐标上具有通用的色彩图，可以校正任何坐标上的任何色彩。这包括单独地对显示的不同区域执行通用的色彩调整，例如白点调节，对比度调节和色调调节。所有这些调节都是色彩空间内的特定函数，并因此可以通过函数逼近表示成等式(53)所示的通用形式。通过使用附加的色彩空间内的面片分割这一特征，还可以进行选择性的色彩校正。通过强制校正色彩面片外部的单位栅格，校正可限制在特定的色彩上，而保持其他色彩不被改变。这也包括选择性的色调校正，即校正特定的色调而不校正其它的色调。使用本系统的通用色彩校准和校正，可在显示设备内获得很高的色彩精度。

本系统还可通过提供白定义色彩参数λ′_ikrq用于白定义色彩调整，该参数可在系统外部计算得到并输入给扭曲生成器13。类似地，通过提供自定义几何栅格(x′_di ^k，y′_di ^k)给扭曲生成器13，可实现自定义几何效果(特殊效果)。

如图21所示的另一个实施例中，投影器213上安装有两个摄像机Cml和Cm2。输入图像提供给投影器213，由其在观看面211上生成对应的被投影图像的图案。两个摄像机Cml和Cm2用于捕捉观看面2ll上的被投影图像的图案。该系统还包括有处理器(未示出，但前面给出了介绍)。两个摄像机Cml和Cm2的相对位置对于处理器来说是已知的。摄像机Cml和Cm2可在水平方向上、垂直方向上或水平和垂直两个方向上相对于投影器213交叉设置。该处理器可基于对两个摄像机Cml和Cm2捕捉到的图像进行比较，确定失真参数，包括投影器213相对于观看面211的角度。然后电子校正单元(图中未示出，但是前面给出了描述)对输入图像应用扭曲转换，以校正这些失真。

产生的投影图像是完全没失真的。本系统和方法可用于背投电视机(RPTV)，例如其中一个或多个摄像机按图22所示实施例的安装位置和方向安装在RPTV上。摄像机也还可以采用其它的安装形式。这些摄像机捕捉投影到RPTV显示屏上的图案。从摄像机的角度来看，RPTV显示屏上的画面具有一些相关的梯形失真。然而，在该显示设备中使用本系统作为一部分后，该显示设备可进行前述的自我校准。

在图23所示的另一个实施例中，使用多个投影器P1到P3投影图像到曲面显示屏231上。同时使用多个摄像机Cml到Cm3来捕捉每个投影器P1到P3所投影的图像。摄像机Cml到Cm3的数量以及投影器P1到P3的数量在这个实施例中是任意的。摄像机Cml到Cm3可相对彼此在水平和垂直方向上交叉。每个投影器P1到P3用于在曲面显示屏231上投影已知的图案或测试图案以用于校准。基于摄像机Cm1到Cm3捕捉到的图像，处理器(未示出但已给出描述)计算失真参数，包括曲面显示屏231的形状和相对位置。然后处理器使用这些参数产生扭曲转换，应用于正常使用时提供给每个投影器P1到P3的输入图像。针对每个投影器P1到P3的扭曲转换对该特定投影器的显示失真进行预补偿。此外，可分析每个投影器P1到P3的亮度以使观看面231上投影的图像的总体亮度一致。此外，该处理器排列重叠区域内的像素，分配这些重叠的像素在不同投影器中的亮度，以实现无缝连接的图像质量。

在图23所示的另一个替换实施例中，亮度和色彩数据也可由摄像机Cm1和Cm2捕捉到。这些数据然后由处理器用来协调和混合不同相邻图像的边缘，这通过调节每个像素的亮度来实现。所有投影器P1到P3的整体亮度和色彩也可由处理器进行统一化。

在图24所示的另一个实施例中，使用感测设备来捕捉被投影的带图案或不带图案的图像。同时，摄像机还用来检测观看面241的形状、大小、相对方位和边界。该边界边缘可以是拉下来的观看面(即可伸缩的投影屏)的边缘，或者是房间的转角等等。然后处理器(未示出但在前面已经给出描述)分析图像的边缘的方向以及测试图像的图案，计算观看面的特征，如形状、大小、边界和相对方位。通过这些计算，便可确定显示失真。根据投影并捕捉到的图像的图案的复杂度，电子校正单元(即处理器)确定失真参数。对于简单的图案，电子校正单元可确定相对于观看面切线的投影角。对于较复杂的图案，电子校正单元可确定观看面的形状，例如曲面或不规则的观看面。电子校正单元还可确定与镜头不完整有关的失真参数，如枕形失真或桶形失真。收集到失真参数后，对输入图像数据应用合适的预补偿扭曲图，以校正这些失真，最后产生的图像将看不到失真。

在另一个替换实施例中，图24所示的系统还可在没有任何物理标记或边缘的情况下校正平面表面上的投影。投影产生的失真包括梯形失真和透镜失真两者。这个系统中，摄像机以固定的位置和方向与投影器连接。校准和校正按两步进行。第一步中，完整的使用测试图案的校准程序可用来存储摄像机使用已知的梯形角和透镜失真参数包括缩放水平捕捉到的图案的图像。此外，还可以存储校正所需的任何其他的信息，如扭曲数据。这一步可在组装投影器的工厂内进行，视为工厂校准。第二步发生在正在使用投影器的场景内。投影器投影第一步内使用的相同的图案，然后由摄像机捕捉到。这些捕捉到的场景与工厂捕捉到的图案以及存储的在工厂获得的失真参数进行比较，确定该场景内投影器的失真参数。该场景内的失真参数已知，若已存储的话，可取回校正图或实时构建校正图以校正投影器梯形和透镜失真。由于比较是与之前存储的信息(图像)进行的，不需要实际的边缘或标记(例如显示屏边框)。在工厂存储的数据可以不是完整的图像，而是栅格数据，或表征不同失真级图案的特征的其他参数。

另一个替换实施例中，使用简单的仅包含4个点的栅格型图像图案，通过摄像机来校正梯形失真。这种情况下，该测试图案如图2a或2b所示，包含2×2的栅格(只需要4个点)。对于没有任何透镜失真的梯形失真，4个点足以确定该失真。这四个点可以放在任何位置，因为很容易直到它们的位置(投影前和投影后)以确定梯形校正。本发明还可结合投影器透镜移位调整，其为4个点的简单转换。对于具有变焦透镜(有或没有透镜失真)的投影器，可首先针对不同的变焦级在轴线上(即没有梯形失真)执行校准并存储扭曲图。然后应用校正扭曲(对合适的变焦级和镜头失真)，使用四个点仅对梯形校正重复进行。该梯形校正可与变焦透镜校正级联或函数合并，从而获得校正了所有投影器失真的最终图。在工厂校准过程中，仅需计算和存储透镜校正一次。然后使用场景内的摄像机执行梯形失真并与透镜校正合并。

图25所示为投影到曲面显示屏251上的另一个实施例的局部示意图。为了确定曲面显示屏251的影射图，包括形状和距离，将二维的图像图案例如网格图案的图像投影到观看面。摄像机用于捕捉投影的图像。然后电子校正单元(即处理器，图中未示出但前面已给出描述)计算该网格图案内每个线条引入的对比度。通过不断的改变焦点，找出图案上每个点的最佳对比度是焦距的函数。这样便可以确定曲面显示屏251的表面图。该表面图的精度和细节取决于投影的图案的复杂度以及所尝试的焦距的数量。需要注意的是，这一技术还可确定摄像机的角度，进而确定每个点上投影器相对于观看面的角度。电子校正单元计算出与形状、大小和每点相对于观看面的角度相关的失真参数后，其计算扭曲转换或使用已经存储起来的合适的扭曲转换。将这一扭曲转换应用到输入图像数据后，产生看起来没有失真的图像，匹配观看面的各个特征。

图26所示为关于波浪状显示屏261的另一个实施例。结合图25所描述的技术也可用于确定该波浪状显示屏在每一点处的形状和相对位置。图26的这个示例展示的是任何不规则的观看面都可用于显示设备。得到观看面的图后，电子校正单元(未示出但已进行了描述)使用该图来配置应用给输入图像的扭曲转换。应用扭曲转换后，投影的图像看不见失真，匹配观看面的特征。

尽管以上描述介绍了各种实施例，可知的是，可以对上述实施例中的各种特征和/或功能进行修改而不脱离以上描述的实施例的操作的精神实质和原理。因此，以上介绍的各个实施例是对本发明的举例说明，并非对本发明的限制。本领域的普通技术人员可以做出各种修改和变更而不脱离本申请权利要求所定义的范围。

Claims (26)

1.一种用于具有观看面的显示设备的显示校准系统，其特征在于，所述显示校准系统包括：

至少一个感测设备，用于感测关于所述观看面的形状、大小、边界和方向中至少一者的信息；

至少一个处理器，与所述至少一个感测设备连接，基于所述至少一个感测设备测得的信息计算显示设备特征。

2.根据权利要求1所述的显示校准系统，其特征在于，所述至少一个感测设备进一步感测显示在所述观看面上的测试图像，其中所述至少一个处理器进一步基于所感测到的测试图像和所述显示设备的特征计算显示失真。

3.根据权利要求2所述的显示校准系统，其特征在于，所述至少一个处理器进一步基于所述显示失真生成预补偿图，使得在显示前将所述预补偿图应用于输入图像数据时，在观看面上产生的显示的图像是没有失真的。

4.根据权利要求3所述的显示校准系统，其特征在于，所述显示失真随时间而变化，所述显示校准系统动态地校准所述显示设备以预补偿变化的失真。

5.根据权利要求3所述的显示校准系统，其特征在于，所述至少一个处理器校正以下至少一种情况：上溢，其中显示的图像大于观看面；下溢，其中所显示的图像小于观看面；不匹配，其中显示的图像的一部分溢出观看面，而其他部分在观看内。

6.根据权利要求3所述的显示校准系统，其特征在于，所述显示设备是具有外壳的背投显示设备，所述显示校准系统设置在所述外壳内。

7.根据权利要求3所述的显示校准系统，其特征在于，所述至少一个感测设备进一步感测亮度信息和色彩信息中至少其一，且所述至少一个处理器进一步预补偿亮度不一致和色彩不一致中至少其一。

8.根据权利要求3所述的显示校准系统，其特征在于，所述显示系统还包括具有额外失真的光学部件，所述至少一个处理器进一步将所述额外的失真与显示失真级联，以对所述额外的失真和显示失真两者进行预补偿。

9.根据权利要求2所述的显示校准系统，其特征在于，所述显示失真包括以下至少其一：几何失真、光学失真、未会聚、未对准和横向色差。

10.根据权利要求1所述的显示校准系统，其特征在于，所述至少一个感测设备感测观看面上多个点的距离，所述至少一个处理器基于所述距离计算观看面的相对位置和相对方位。

11.根据权利要求2所述的显示校准系统，其特征在于，所述至少一个感测设备以不同的焦距感测观看面上测试图像的不同部分，所述至少一个处理器用于确定所述测试图像的不同部分内的最高对比度，并基于所确定的最高对比度计算到观看面上不同部分的距离，以计算出观看面的形状和相对方位。

12.根据权利要求2所述的显示校准系统，其特征在于，所述至少一个感测设备具有传感器失真，所述至少一个处理器进一步计算所述传感器失真并在计算显示失真时考虑所述传感器失真。

13.根据权利要求12所述的显示校准系统，其特征在于，所述传感器失真由轴线不与观看面法线方向平行的至少一个感测设备引起。

14.根据权利要求2所述的显示校准系统，其特征在于，所述至少一个感测设备包括多个设置在所述至少一个处理器已知的不同位置的感测设备，所述至少一个处理器比较不同的感测设备感测到的不同的图像，基于感测到的不同图像和感测设备的不同位置计算显示失真。

15.根据权利要求2所述的显示校准系统，其特征在于，所述至少一个感测设备感测观看面上具有四个标记的测试图像的信息，所述至少一个处理器基于所感测到的信息计算梯形失真。

16.根据权利要求3所述的显示校准系统，其特征在于，所述至少一个感测设备进一步感测亮度信息和色彩信息中至少其一，所述至少一个处理器进一步校正由预补偿图所引起的亮度不一致和色彩不一致中至少其一。

17.一种用于具有观看面的显示设备的显示校准系统，其特征在于，所述显示校准系统包括：

至少一个感测设备，用于从所述观看面上显示的测试图像中感测信息；

至少一个处理器，与所述至少一个感测设备连接，所述至少一个处理器基于所测得的信息计算显示失真并生成预补偿图以对所述显示失真进行补偿，所述预补偿图通过表面函数实现，使得当在显示之前对输入图像数据应用所述预补偿图时，在观看面上显示的图像是没有失真的。

18.根据权利要求17所述的显示校准系统，其特征在于，所述至少一个处理器进一步级联各种失真并生成对所述级联的失真进行预补偿的表面函数。

19.根据权利要求17所述的显示校准系统，其特征在于，所述表面函数是多项式。

20.根据权利要求17所述的显示校准系统，其特征在于，所述至少一个处理器进一步调整所述表面函数以进一步补偿扫描过度和扫描不足两种情况中至少其一。

21.一种用于具有观看面的显示设备的显示校准系统，其特征在于，所述显示校准系统包括：

至少一个图像感测设备，用于从所述观看面上显示的测试图像中感测信息；

至少一个处理器，与所述至少一个图像设备连接，所述至少一个处理器基于所测得的信息计算显示失真，根据每个面片内显示失真的严重程度将所述观看面分割成多个面片，并在每个面片内生成针对所述显示失真的预补偿图，使得在显示之前对输入图像数据应用所述预补偿图时，在观看面上产生的显示图像是没有失真的。

22.一种用于具有观察面的显示设备的显示校准系统，其特征在于，所述显示校准系统包括：

至少一个图像感测设备，用于针对至少一个色彩成份从所述观看面上显示的测试图像中单独感测出色彩信息；

至少一个处理器，与所述至少一个图像感测设备连接，所述至少一个处理器基于所测得的色彩信息计算色彩不一致性，并针对所述至少一个色彩成份生成至少一个色彩校正图，使得在显示之前对输入图像数据应用所述色彩校正图时，在观看面上产生的显示图像是不存在至少一个色彩的不一致的。

23.一种用于具有观察面的显示设备的显示校准系统，其特征在于，所述显示校准系统包括：

至少一个图像感测设备，用于从所述观看面上显示的各个色彩成份测试图像中单独感测出信息；

至少一个处理器，与所述至少一个图像感测设备和所述显示设备连接，所述至少一个处理器基于所测得的信息针对至少一个色彩成份单独地计算几何显示失真，并针对所述至少一个色彩成份单独地生成至少一个预补偿图，使得在显示之前对输入图像数据应用所述至少一个预补偿图时，在观看面上产生的显示图像是不存在至少一个基于色彩的几何失真的。

24.一种用于具有观看曲面的投影系统的显示校准方法，其特征在于，所述方法包括：

使用多个投影器将图像的不同部分投影到所述观看曲面的对应部分上；

将所述图像的每一部分聚焦到所述观看曲面的所述对应部分上，使得所述图像完整地形成在所述观看曲面上且具有最佳焦距。

25.根据权利要求24所述的方法，其特征在于，所述方法还包括：

单独地定位和设置所述多个投影器中每个投影器的方向，使得每个投影器的投影轴线与所述观看曲面上的对应部分正交，以优化焦距并最小化几何失真。

26.一种用于具有观看曲面的投影系统的显示校准方法，其特征在于，所述方法包括：

测量从所述观看曲面到所述投影的图像的焦平面的多个距离；

移动所述焦平面直至所述多个距离的函数被最小化以获得最优焦距。

Images