CN1308465A - 用于校正图像失真的设备和方法以及图像显示器 - Google Patents

Abstract

本发明提供了用于校正失真图像的设备和方法,还提供了使用该设备和方法的图像显示器。用于校正图像显示器图像失真的设备包括:参考图像发生器,用来产生预定的参考图像;摄像机,用来输入参考图像并拍摄在屏幕上输出的图像;和失真信息提取单元,用来比较从摄像机输出的拍摄后的图像和从参考图像发生器输出的参考图像,并在图像已失真的情况下产生失真校正信息以校正拍摄的图像的失真。

Description

用于校正图像失真的设备和方法以及图像显示器

本发明涉及图像显示器的图像失真校正，具体涉及用于校正失真图像的设备和方法，它能够在不使用会聚系统的情况下通过预扭曲(prewrap)输入图像校正图像的光学失真和失聚，还涉及使用这种设备和方法的图像显示器。

现在，电视机是电子设备的必备项目。因此，随着生活水平的提高，对高质量电视机的需求也日益增加。为了满足这种需求，一些高质量电视机得到了发展，投影电视就是其中的一种，在投影电视中聚焦于红、绿和蓝阴极射线管上的图像被放大，被放大的图像在反射镜上被反射，在反射镜上反射的图像被投影到大屏幕上，这样观众能看到放大了的电视图像。

图1A是显示普通投影电视100的构造的图，其包括红、绿和蓝阴极射线管(CRT)3、4和5，用来放大从CRT 3、4和5输出的图像的透镜6，用来入射和反射图像的反射镜1，以及用来显示从反射镜1反射和放大的图像的屏幕2。

从CRT 3、4和5输出的图像通过分别连接到CRT 3、4和5的透镜6传送，并在反射镜1上反射，以到达投影电视100的屏幕2，从而显示放大了的图像。

然而，由于在投影电视100的屏幕上显示的图像受多个CRT和光学元件的位置和角度的影响，对于图像不可避免地会产生光学失真。

图1B是在图1A的屏幕2上显示的图像的轨迹的图。根据CRT 3、4和5的位置和反射镜的位置之间的关系，红、绿和蓝图像轨迹并不相互一致，图像轨迹被扭曲或角化。

由于诸如CRT和反射镜的位置、透镜的放大能力和磁场等几个因素，光学失真具有非线性特性。光学失真分为如图2A所示的由CRT和透镜引起的枕形失真，以及如图2B所示的由反射镜的反射引起的梯形失真。

枕形失真是随着从CRT(特别地是电子枪)产生和输出的电子束的前进距离远离CRT中心而产生的失真。随着远离CRT的中心，失真的程度变得严重。

同时，梯形失真是根据透镜在反射镜的不同点上反射图像并且从反射镜到屏幕的反射路径是不同的。例如，矩形的原始图像被失真为梯形图像。梯形失真在屏幕上显示的整个图像上均匀地产生。

特别地，当如图1B所示，当以上述方式排列红、绿和蓝CRT时，与从绿CRT输出的电子束直接地入射到反射镜上的情况相比，从蓝CRT和红CRT输出的电子束对角地入射到反射镜上，这样梯形失真变得更严重。

因此，对于投影电视，由于三个CRT并排排列，而不是安装在同一个位置，枕形失真和梯形失真的程度根据图像的右、左、上和下部分而变化。另外，投影电视具有失聚的问题，这是因为三个颜色信号不能投影到同一点，很难得到所需颜色的图像。在这个方面，失聚和光学失真一起出现。

图3是根据现有技术的用来校正图像显示器的图像失真的设备的示意框图。

如图所示，用来校正图像失真的设备包括：图像处理器11，用来处理从外部信号源接收的信号并输出图像信号以及水平和垂直同步信号；CRT 12，用来接收图像信号并产生电子束；水平和垂直偏转单元16，用来接收水平和垂直同步信号并输出会聚控制信号以及水平和垂直偏转控制信号；连接到CRT 12的偏转系统(DY)14，用来根据水平和垂直偏转控制信号在其中产生用于电子束的水平和垂直偏转的电流；校正波形发生器17，用来接收会聚控制信号并输出会聚校正信号；转换放大器18，用来输入校正信号并输出放大的校正信号；连接到CRT 12的会聚系统(CY)13，用来在其中产生电流，以便不扩散从CRT输出的电子束；以及光学系统15，用来入射从CRT 12输出的电子束并显示图像。

根据对应于现有技术的用于校正图像失真的设备，诸如会聚系统或偏转系统的线圈组安装在CRT上，并且水平和垂直方向的适当校正电流被提供给会聚系统(电流的强度能控制)，从而控制电子束的路径，这样能校正光学失真并且控制颜色信号的会聚。

也就是，为了控制从RBG CRT输出的电子束，对于各个RGB CRT透镜产生偏转控制电流。然后，电流被极大地放大并提供给会聚系统，从而使到达屏幕的电子束被控制为转变到同一点，而不是发散开。

然而，在失真校正设备中，投影电视中产生的图像失真具有非线性特性。因此，为了得到提供给会聚系统的电流，将产生具有非线性的控制信号，为此要提供用来放大电流的放大器，并且应当执行复杂和困难的操作算法。

另外，对于通过根据电流的控制改变电子束的着屏而校正失真的现有投影电视，即使在推向市场前通过失真校正设备校正了失真，随着时间的推移，失真校正设备会受到部件退化、温度变化和地球磁场的影响。因此，出现了失真现象，降低了电视的性能。另外，一旦在投影电视中出现了失真，就不可能校正了。

因此，本发明的一个目的是提供用来校正图像显示器的图像失真的设备和方法，它能够控制图像显示器，以便能在不使用会聚系统的情况下校正失真和输出原始图像。

本发明的另一个目的是提供能够在不使用会聚系统的情况下校正失真以输出原始图像的图像显示器。

本发明还有一个目的是提供用来校正图像显示器的图像失真的方法，它能在不使用会聚系统的情况下校正失真和输出原始图像。

正如在这里所体现和广泛说明的那样，为了达到这些和别的优点并根据本发明的目的，提供了用于校正图像显示器的图像失真的设备，其中图像信号被输入以在屏幕上显示图像并且图像失真被校正，该设备包括：参考图像发生器，用来产生预定的参考图像；摄像机，用来输入参考图像并拍摄屏幕上输出的图像；失真信息提取单元，用来比较从摄像机输出的拍摄图像和从参考图像发生器输出的参考图像，并产生失真校正信息，以在图像失真的情况下校正拍摄的图像的失真。

为了达到上述目的，还提供了用来校正图像失真的方法，包括如下步骤：检测通过比较参考图像和在屏幕上显示的相对于参考图像失真的失真图像而得到的失真参数；并通过使用所检测的失真参数校正失真图像。

为了达到上述目的，还提供了图像显示器，包括：图像处理器，用来从外部信号源接收图像信号并进行处理，以得到数字图像信号；预扭曲单元，用来预扭曲从图像处理器输出的图像信号；显示器单元，用来接收预扭曲的图像并显示没有失真的图像。

为了达到上述目的，还提供了用来校正失真图像的方法，包括如下步骤：通过使用预先设置的失真校正信息而预扭曲输入图像；以及显示与输入图像相同的图像。

在参考附图的情况下，根据本发明的下面详细说明，本发明的上述和其它目的、特征、方面和优点将变得更明显。

所包含的作为本发明一部分的附图提供对本发明的进一步理解，展示了发明的实施例，并和说明一起用来解释发明的原理。

在图中：

图1A是显示根据现有技术的普通投影电视的构造的图；

图1B是显示根据现有技术的在图1A的投影电视的屏幕上显示的图像轨迹的图；

图2A显示了枕形失真的示例；

图2B显示了梯形失真的示例；

图3是根据现有技术的用于校正图像显示器的失真图像的设备的示意框图；

图4是根据本发明的用来检测和校正图像显示器的失真图像的失真图像校正设备的示意框图；

图5A和图5B是根据本发明的校正失真图像校正设备的图像校正方法的流程图；

图6A到图6D显示了在失真图像校正设备的图像校正过程中产生的图像；

图7A是通过使用失真校正信息使输入图像梯形失真而得到的梯形失真图像的图；

图7B是通过使用失真校正信息使输入图像枕形失真而得到的枕形失真图像的图；

图8是显示根据本发明的梯形失真图像的坐标提取方法的图；

图9是根据本发明的图像显示器的示意框图；

图10是根据本发明的用来校正图像显示器的失真图像的方法的流程图；

图11A和图11B显示了根据本发明的图像显示器的失真校正过程；和

图12A到图12D显示了根据本发明的图像显示器失真校正过程产生的图像。

下面将详细说明本发明的优选实施例，附图中展示了它的示例。

本发明致力于失真校正设备和方法，其中考虑到当存储在场或帧存储器中的图像信号从CRT的透镜被投影在屏幕上时会产生失真，图像被预先扭曲并投影到屏幕，从而显示原始图像。

图4是根据本发明的用来检测和校正图像显示器的失真图像的失真图像校正设备的示意框图，它包括：图像显示器200，用来校正失真图像并输出校正后的图像；失真信息提取单元201，用来提取校正失真图像所需的失真信息，并将其存储在失真校正存储器中。

图像显示器，也就是投影电视200，包括：图像处理器23，用来处理从信号源接收的信号并输出图像信号、水平或垂直同步信号；水平/垂直偏转单元21，用来接收水平或垂直同步信号并输出水平或垂直偏转控制信号；第一帧存储器24-1，用来在帧单元中存储从图像处理器23输出的数据；失真校正存储器24-4，用来存储从包括在失真信息提取单元201(在后面说明)中的失真信息提取器29提取的失真校正信息；控制器24-2，用来通过使用存储在失真校正存储器24-4中的失真校正信息预扭曲存储在第一帧存储器24-1中的图像；第二帧存储器24-3，用来存储由控制器24-2预扭曲的图像；CRT 25，用来接收从第二帧存储器24-3输出的数据并输出电子束；连接到CRT 29的偏转系统(DY)25-1，用来控制从CRT 29输出的电子束；以及光学系统26，用来接收由偏转系统25-1控制的电子束并显示放大了的图像。

投影电视200进一步包括在图像处理器23前安装的开关22，以输入提取失真信息所需的参考图像。

为了提取投影电视200的失真图像校正信息，本发明的图像显示器的失真信息提取单元201包括：参考图像发生器28，用来产生参考图像并提供给投影电视200的开关22；摄像机27，用来在接收了参考图像的图像显示器200从光学系统26输出参考图像时拍摄从光学系统26输出的图像；以及失真信息提取器29，用来接收由摄像机27拍摄的图像和从参考图像发生器28输出的参考图像，比较拍摄的图像和参考图像并产生失真校正信息。

下面将参考图5到图7说明按上述介绍构造的本发明的方法，其提取投影电视200的图像失真信息，并在由失真信息提取单元201产生的失真信息的基础上产生失真校正信息。

首先，在用来产生失真校正信息的方法中，由于显示在投影电视的屏幕上的图像是梯形失真和枕形失真结合的图像，在一个失真被完全校正的状态下，参考图5A或参考图5B得到另一种失真校正信息，两种失真被同时校正，并同时更新两个失真校正信息，以最终得到两个失真校正信息。

图5A和图5B是根据本发明的失真图像校正设备的图像校正方法的流程图。

首先，当参考图像发生器28将如图6A所示的参考图像(栅格图像)输出到投影电视的开关22时，参考图像在通过开关22、CRT 25和光学系统26时被梯形失真或枕形失真，并如图6B所示显示在光学系统26的屏幕(未显示)上。

此时，设置在光学系统26的屏幕前的摄像机27拍摄显示在屏幕上的失真参考图像，并将其输出到失真信息提取器29(S2)。

失真信息提取器29接收并比较失真的参考图像和从参考图像发生器28输出的参考图像，并判断失真的参考图像中是否有梯形失真(S3)。根据判断，如果有梯形失真，失真信息提取器29提取梯形失真参数(S4)。

所提取的梯形失真参数存储在失真校正存储器24-4中，控制器24-2通过使用从失真校正存储器24-4输出的失真参数扭曲第一帧存储器24-1的图像，并将其输出到第二帧存储器24-3。然后，第二帧存储器24-3使梯形失真已经被校正的参考图像通过CRT 25和光学系统26显示(S5和S6)。

步骤S1～S6重复进行，以更新梯形失真参数，直到不再提取到梯形失真。

当步骤S1～S6重复进行并且没有提取到梯形失真时，图6C中所示的只包括枕形失真而不包括梯形失真的参考图像被输出。

以同样的方式得到枕形失真参数。也就是，当具有如图6C所示的枕形失真的参考图像被摄像机27拍摄并被输出时，失真信息提取器29接收并比较失真的参考图像和从参考图像发生器28输出的参考图像，以判断在失真的参考图像中是否有枕形失真(S7)。

在有枕形失真的情况下，失真信息提取器29提取枕形失真参数(S8)。所提取的枕形失真参数存储在失真校正存储器24-4中，从失真校正存储器24-4接收失真参数的控制器24-2通过使用枕形失真参数扭曲第一帧存储器24-1的图像，并将其输出到第二帧存储器24-3。

然后，第二帧存储器24-3使经过枕形失真校正的参考图像通过CRT和光学系统显示(S9，S10)。

步骤(S1、S2、S3、S7、S8、S9和S10)重复执行，以更新枕形失真参数，直到不再提取到枕形失真。

因此，如图6D所示，参考图像的梯形失真和枕形失真被校正，这样就与参考图像发生器28输入的参考图像相同。

参考图5A的用来提取失真校正信息的方法，在一个失真被完全校正后，应当测量要在屏幕上显示的图像的坐标，以得到精确参数。

例如，首先，枕形(或梯形)失真要被完全校正，然后为了得到梯形(或枕形)失真参数应当测量要在屏幕上显示的图像的坐标。

然而，在一个失真被完全校正的状态下，要提取坐标是很困难的。因此，使用了下面将参考图5B说明的方法，其中一个失真被粗略执行，然后重复进行用于得到另一个失真的参数的处理，以更新以前得到的失真校正参数。

图5B是用于提取失真校正信息的方法的流程图。

在梯形失真的情况下，失真在投影电视的整个屏幕上均匀地产生，而在枕形失真的情况下，随着远离屏幕的中心失真变得严重。因此，在从屏幕的中心部分提取坐标以测量失真程度的情况下，梯形失真均匀地形成，而形成的枕形失真相对较少。因此，在屏幕的中心部分，梯形失真参数几乎和在枕形失真被完全校正的情况下得到的梯形失真参数一样。

在粗略得到梯形失真参数后，通过使用得到的梯形失真参数产生梯形预扭曲图像，基于此梯形失真被校正并输出到屏幕。此时，显示在屏幕上的图像是梯形失真被校正到一定程度的图像，当从中提取预定的坐标时，可以得到粗略的枕形失真参数。

在粗略地得到枕形失真参数后，通过使用得到的枕形失真参数校正枕形失真。然后，相比前面显示的图像具有更小枕形失真的图像被显示在屏幕上，从中可以得到相对更精确的梯形失真参数。

因此，当通过使用得到的相对更精确的梯形失真参数执行失真校正时，能得到比前面步骤中得到的枕形失真参数更精确的枕形失真参数。

在这种方式下，梯形失真和枕形失真被重复地校正，直到梯形失真和枕形失真被完全校正，这样可以得到最后的梯形失真校正信息和最后的枕形失真校正信息，正如下面所介绍的那样。

首先，当参考图像发生器28将如图6A所示的参考图像(栅格图像)输出到投影电视的开关22时，在通过开关22、CRT 25和光学系统26后参考图像被梯形失真和枕形失真，并作为如图6B所示的图像显示在光学系统26的屏幕(未显示)上(S11)。

此时，设置在光学系统26的屏幕前的摄像机27拍摄显示在屏幕上的失真参考图像，并将其输出到失真信息提取器29(S12)。

失真信息提取器29接收并比较失真的参考图像和从参考图像发生器28输出的参考图像，以判断失真的参考图像中是否有梯形失真(S13)。根据判断，如果有梯形失真，失真信息提取器29判断失真参数是否被第一次提取或者是否以前已经提取了枕形失真参数(S14)。

无论是失真参数被第一次提取还是以前已经提取了枕形参数，梯形失真参数都被提取(S15)。所提取的梯形失真参数存储在失真校正存储器24-4中(S16)。

然后，控制器24-2通过使用从失真校正存储器24-4输出的失真参数扭曲第一帧存储器24-1的图像，并将其输出到第二帧存储器24-3。然后，第二帧存储器24-3通过CRT 25和光学系统26显示梯形失真校正后的参考图像(S17)，摄像机27拍摄显示在屏幕上的梯形失真校正后的参考图像，并将其输出到失真信息提取器29(S12)，并重复执行这个过程。

然后，失真信息提取器29接收来自摄像机27的梯形失真校正后的参考图像，并判断其中是否有梯形失真。根据判断，如果有梯形失真，失真信息提取器29判断失真参数是否被第一次提取或者是否在前面步骤已经提取了枕形失真参数。根据判断，在第一次提取或在前面步骤已经提取了枕形失真参数的情况下，按上述执行步骤S15、S16、S17和S12。

同时，在第一次提取或没有提取过枕形失真参数或没有梯形失真的情况下，判断在拍摄的图像中是否有枕形失真(S18)。根据判断，在有枕形失真的情况下，枕形失真参数被提取(S20)并存储在失真校正存储器24-4中(S21)。

然后，控制器24-2通过使用从失真校正存储器24-4输出的枕形失真参数扭曲第一帧存储器24-1的图像，并将其输出到第二帧存储器24-3。

然后，第二帧存储器24-3通过CRT 25和光学系统26显示枕形失真校正后的参考图像(S22)，摄像机27拍摄显示在屏幕上的枕形失真校正后的参考图像，并将其输出到失真信息提取器29(S12)，并重复执行这个过程。

同时，判断是否有枕形失真。根据判断，在没有枕形失真的情况下，判断是否有梯形失真(S19)。根据判断，在有梯形失真的情况下，提取梯形失真参数，通过使用梯形失真参数产生并存储梯形失真校正信息，然后输出梯形失真校正后的图像(S15、S16和S17)。

同时，判断是否有梯形失真(S19)，在没有梯形失真的情况下，产生梯形失真校正信息和枕形失真校正信息的步骤被终止。

因此，在图5A和图5B的用于提取失真校正信息的方法中，提取图像显示器中产生的失真信息，基于此产生失真校正信息。

并且，在用于提取失真校正信息的方法中，只得到梯形失真参数和枕形失真参数，它们被存储在失真校正存储器24-4中，控制器通过只使用梯形失真参数和枕形失真参数在实时基础上扭曲存储在第一帧存储器24-1中的图像。因此，失真校正存储器24-4不需要存储相对大量的数据，这样可以因此有利地使用小容量的存储器。

然而，由于控制器24-2要通过使用失真参数在实时基础上计算要显示的图像，它具有必须要求高速度的问题。

因此，为了解决这个问题，存储在失真校正存储器24-4中的失真校正信息可以是通过使用失真参数计算的像素映射信息。在这种情况下，由于像素映射信息具有大量的数据，它需要大容量的失真校正存储器，但由于通过使用像素映射信息扭曲存储在第一帧存储器中的图像只需要较短时间，扭曲处理是快速的。

下面将在梯形失真参数和枕形失真参数的基础上详细说明梯形失真的数学建模和枕形失真的数学建模，建模的目的是通过校正梯形失真和枕形失真而得到梯形失真校正信息和枕形失真校正信息。

1)在梯形失真参数的基础上进行的梯形失真的数学建模：

梯形失真通过使用众所周知的投影变换根据它的特性进行数学建模。也就是，投影变换包括所有种类的变换，诸如从矩形到任意形状的四边形(也就是不等边四边形，等等)的变换，以及平移、旋转和比例缩放等变换，它们都适合梯形失真的特性建模。

假设(U，V)是原始图像的坐标，(X′，Y′，Z′)是临时坐标，并且(X，Y)是失真后的图像的坐标，梯形建模由下式(1)表示。 $\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=K\left[\begin{array}{c}U\\ V\\ 1\end{array}\right].....\left(1\right)$ 其中 $K=\left[\begin{array}{ccc}{k}_{11}& k_{12}& k_{13}\\ k_{21}& k_{22}& k_{23}\\ k_{31}& k_{32}& 1\end{array}\right],$ X＝X′/Z′，Y＝Y′/Z′

然而，从电视屏幕提取失真图像的坐标以直接得到失真参数很困难。因此，在电视屏幕上存在的梯形失真被分为诸如平移、比例缩放和四边形变换的各种基本变换的结合，然后得到对应于每种变换的参数，基于此得到整体梯形失真参数。

在电视屏幕上出现的梯形失真被分类为RGB的中心变位的失真和矩形被倾斜的失真。两种失真独立地被处理。

在从电视屏幕提取坐标的情况下，通常屏幕的中心被确定为基准并且RGB图像的中心显示在屏幕上，由此很容易提取失真参数。

因此，通过平移的逆变换调整RGB图像的中心，然后倾斜的四边形被强制改变为矩形，由此可以校正失真。

在这个方面，假设和RBG图像的中心移动相关的参数是K₁，使矩形图像倾斜的失真是K₂，整体梯形失真参数按下式(2)表达。

    K＝K₂×K₁                                 (2)

在图像由预定的变换(也就是仿射变换)平移以移动中心的情况下，要得到两个变量。

因此，只需要得到一对坐标，其中得到屏幕的中心坐标和出现在电视屏幕上的失真图像的中心坐标。然后当两个点之间有位移时，很容易得到它的失真参数。

例如，设屏幕的中心坐标是(C_X，C_Y)，失真图像的中心坐标是(m，n)，由于屏幕的中心坐标通过平移而失真，通过下式(3)得到中心移动的失真参数。 $K_1=\left[\begin{array}{ccc}1& 0& m-C_x\\ 0& 1& n-C_y\\ 0& 0& 1\end{array}\right]......\left(3\right)$

在得到中心移动的失真参数后，当通过使用失真参数进行逆变换时，RGB图像的中心彼此一致。也就是，提取矩形失真的参数，然后通过使用失真参数对图像逆变换，从而校正梯形失真。

在矩形失真的情况下，由于它属于投影变换，为此需要8个参数，因此需要提取4对坐标。

当从电视屏幕提取坐标时，屏幕上出现的实际图像是倾斜失真的图像。然而，为了得到失真参数所要获得的一对实际坐标包括在失真前图像的坐标和失真后图像的坐标。因此，需要通过使用失真后的图像推断失真前图像的坐标。

图8显示了经过梯形失真后的图像的坐标的提取。

正如在前面步骤执行的那样，在调整图像的中心以和屏幕的中心一致后，通过屏幕的中心有两个轴。然后，提取两个轴之间的交叉点和出现在屏幕上的实际图像，基于此得到一个虚拟四边形。

假设虚拟四边形是没有梯形失真的原始图像，提取它的四个角顶点的坐标，还提取出现在屏幕上的实际图像的四个角顶点的坐标。然后，得到了四对坐标。

通过公式(1)得到失真前的坐标(U，V)和失真后的坐标(X，Y)之间的关系表达式(4)，如下所示： $X=\frac{k_{11}U+k_{12}V+k_{13}}{k_{31}U+k_{32}V+1}$ $Y=\frac{k_{21}U+k_{22}V+k_{23}}{k_{31}U+k_{32}V+1}.......\left(4\right)$

它也可以按下面的X-Y关系表述：

X＝k₁₁U+k₁₂V+k₁₃-k₃₁UX-k₃₂VX

Y＝k₂₁U+k₂₂V+k₂₃-k₃₁UY-k₃₂VY                         (5)

至于八个参数(k₁₁，k₁₂，Λ，k₃₂)，假设四对坐标通过使用公式(5)按下面方法提取，

(U＝u₀，V＝v₀)(X＝x₀，Y＝y₀)

(U＝u₁，V＝v₁)(X＝x₁，Y＝y₁)

(U＝u₂，V＝v₂)(X＝x₂，Y＝y₂)

(U＝u₃，V＝v₃)(X＝x₃，Y＝y₃)

在四对坐标被替代的情况下，得到八个公式，它们可以由下式(6)所示的矩阵来表达。

因此，为了得到梯形失真参数(k₁₁，k₁₂，Λ，k₃₂)，位于公式(6)右侧的8×8矩阵的逆矩阵被用来表达与k₁₁，k₁₂，Λ，k₃₂有关的公式。在这个方面，由于8×8矩阵的逆矩阵必须存在，公式(6)能按下式(7)表达。

因此，梯形失真能够进行数学建模，并且能得到如图7A所示的梯形失真参数。

同时，梯形失真参数不能一次得到。因此，梯形失真参数被连续更新，以收敛为精确的失真参数。换句话说，通过使用得到的失真参数由逆变换校正失真，并且为了得到新的失真参数而提取坐标，基于此改变以前得到的失真参数值。这个过程重复进行，直到得到了精确的梯形失真参数。

设以前得到的梯形失真参数是‘M’，附加的梯形失真参数是M_add，

              M(l+1)＝M_add·M(l)                  (8)其中‘l’表示更新时间。

在上面的公式(8)中，‘M’代表投影变换矩阵。如公式(1)所示，M_(3，3)的值总是被归一化为‘1’。因此，在得到的M(l+1)_(3，3)的值不是‘1’的情况下，为了归一化将‘M’除以M(l+1)，这样能得到精确的梯形失真参数。

2)枕形失真建模

通常，枕形失真具有以屏幕的中心为基础上下对称和左右对称的特性，并且随着远离屏幕的中心，失真的程度变得严重。

设原始图像的坐标是(U，V)，失真后的图像的坐标是(X，Y)，由于距离图像的中心的距离是对于枕形失真的临界因数，

           U＝U-C_x

           V＝V-C_y                              (9)

           $r={[{\stackrel{-}{U}}^2+{\stackrel{-}{V}}^2]}^{1/2}$

然后，失真后的图像的坐标(X，Y)能按关于距离的下式(10)来表达： $X=U+\stackrel{-}{U}\·(K_0^u+K_1^u\·r+K_2^u\·r^2+K_3^u\·r^3+\mathrm{\Λ}).....\left(10\right)$ $Y=V+\stackrel{-}{V}\·(K_0^v+K_1^v\·r+K_2^v\·r^2+K_3^v\·r^3+\mathrm{\Λ})$

此时，除了K₀和K₂的别的参数对于在投影电视中实际产生的枕形失真的建模并没有太大帮助。因此，公式(10)能按下式(11)简化： $X=U+\stackrel{-}{U}\·(K_0^u+K_u^2\·r^2)....\left(11\right)$ $Y=V+\stackrel{-}{V}\·(K_0^v+K_v^2{\·r}^2)$

在上面的公式中，K₀是和图像的比例缩放的失真有关的参数。在K₀大于‘0’的情况下，它表示图像被比例放大的失真，而在K₀小于‘0’的情况下，它表示图像被比例缩小的失真。

K₂是和直线被扭曲的失真有关的参数。在K₂大于‘0’的情况下，直线被凹失真，而在K₂小于‘0’的情况下，直线被凸失真。

通常，K₀和K₂具有它们的绝对值分别在10^-2～10^-3和10^-6～10^-7之间的特性。并且如图7B所示，显示了具有枕形失真参数＝-0.01和 ＝2.5×10^-6的失真图像。

如公式(11)所示，应当在枕形失真建模中确定四个参数

因此，必须提取两对坐标。公式(11)可以用下面的公式(12)和(13)改写。 $\frac{X-U}{\stackrel{-}{U}}=K_0^u+r^2\·K_2^u......\left(12\right)$ $\frac{Y-V}{\stackrel{-}{V}}=K_0^v+r^2\·K_2^v...\left(13\right)$

此时， U和 V分别表示U-U_center和V-V_center。

为了得到失真参数 假设失真前和失真后的一对坐标按如下提取。

    (U＝u₀，V＝v₀)(X＝x₀，Y＝y₀)                (14)

    (U＝u₁，V＝v₁)(X＝x₁，Y＝y₁)

当将公式(14)的值代入公式(12)和(13)时，得到下式(15)。因此，当得到位于公式右侧的4×4矩阵的逆矩阵并按与

有关的等式表达时，得到下式(16)。

在使用上面介绍的方法以得到枕形失真参数的情况下，可能得到精确枕形失真参数的70％～80％的值，而不是精确值。因此，在粗略地得到失真参数后，需要一个算法来持续更新该值，直到它接近精确值。

然而，正如公式(11)所示，由于在一个公式中有两个枕形失真参数，要同时更新两个参数会非常困难。因此，用于得到枕形失真参数的过程分为两个步骤，这样在每个步骤中得到一个详细参数(detailedparameter)后，基于此可以得到整体枕形失真参数。

如上所述，有两种失真：一种失真是图像被比例放大或缩小，另一种失真是直线被扭曲为曲线。

首先，假设在直线被扭曲成曲线后还有图像被比例放大或缩小的失真。

a)和直线扭曲有关的参数如下： $U^{\′}=U+\stackrel{-}{U}\·(C_1^u\·({\stackrel{-}{U}}^2+{\stackrel{-}{V}}^2)).....\left(17\right)$ $V^{\′}=V+\stackrel{-}{V}\·(C_1^v\·({\stackrel{-}{U}}^2+{\stackrel{-}{V}}^2)).....\left(18\right)$

b)和比例放大和比例缩小有关的参数如下： $X=U^{\′}+C_2^u\·\stackrel{\‾}{U^{\′}}.....\left(19\right)$ $Y=V^{\′}+C_2^v\·\stackrel{\‾}{V^{\′}}......\left(20\right)$

在这个方面，按下式(21)和(22)得到公式(11)的枕形失真建模的C₁、C₂和K₀、K₂之间的关系式。 $K_0^u=C_2^u,K_2^u=C_1^u\·(1+C_2^u).....\left(21\right)$ $K_0^v=C_2^v,K_2^v=C_1^v\·(1+C_2^v).....\left(22\right)$

在按上面介绍的相同方式得到K₀和K₂的粗略值后，将得到的值代入公式(21)和(22)，以得到C₁和C₂的粗略值。

同时，在C₁和C₂被更新为精确值后，可以通过使用下面方法得到最终的枕形失真参数K₀和K₂。

(b-1)第一步枕形失真校正(用于更新和直线扭曲有关的失真参数

的方法)

在第一步失真校正算法中，

被持续更新为新值，基于此校正失真。这个过程重复进行，直到被扭曲的线被校正为直线。

在这个方面，为了检测线是否是直的，使用同一条线上的点具有相同斜率的事实。

因此，从线上至少提取三个坐标，并测量点之间的斜率。当点之间的斜率彼此相同时，这三个点位于同一条线上。即，假设被提取的三个点分别是(x₀，y₀)、(x₁，y₁)、(x₂，y₂)， 被重复更新，直到满足关系式 $\frac{y_0-y_1}{x_0-x_1}\≈\frac{y_1-y_2}{x_1-x_2}$ 。

下面的公式(23)、(24)用于更新： $C_1^u(l+1)=C_1^u\left(l\right){\±\mathrm{\Δ}}_1^u.....\left(23\right)$ $C_1^v(l+1)=C_1^v\left(l\right){\±\mathrm{\Δ}}_1^v.....\left(24\right)$

在这种情况下，在用

的值校正失真后如果存在凹失真，Δ₁的符号被设置为正数，而如果存在凸失真，Δ₁的符号被设置为负数。

(b-2)第二步枕形失真校正(用于得到

精确值的过程)

在第二步算法中，

被持续更新为净值，基于此校正失真。这个过程重复进行，直到比例放大或比例缩小的图像的大小被确定为适合于屏幕。

通过使用图像最外面的线和屏幕的边缘部分之间的距离确定图像大小是否适合屏幕。下面的公式(25)和(26)是用于将 更新为新值的关系式。 $C_2^u(l+1)=C_2^u\left(l\right){\±\mathrm{\Δ}}_2^u.....\left(25\right)$ $C_2^v(l+1)=C_2^v\left(l\right){\±\mathrm{\Δ}}_2^v.....\left(26\right)$

此时，在校正后的线的最外面的线显示为小于屏幕的情况下，Δ₂的符号被设置为负数，而在校正后的线的最外面的线显示为大于屏幕的情况下，Δ₂的符号被设置为正数。

如图5A所示，在借助于上面介绍的本发明的失真校正设备来提取失真校正信息的方法中，首先得到梯形失真校正信息，然后得到枕形失真校正信息。同时，在得到梯形失真校正信息后，在得到枕形失真校正信息的过程中间检测到梯形失真的情况下，重新得到梯形失真校正信息，以更新前面的信息。

同时，如图5B所示，在借助于本发明的失真校正设备来提取失真校正信息的方法中，在既有梯形失真又有枕形失真的图像被输入，并且一个失真(例如枕形失真)被首先校正以去除枕形失真的状态下，得到梯形失真校正信息。或者与此相反，在既有梯形失真又有枕形失真的图像被输入，并且梯形失真被首先校正以去除梯形失真的状态下，得到枕形失真校正信息。也就是，依次得到梯形失真信息和枕形失真信息。

图9是根据本发明的图像显示器的示意框图。

如图所示，本发明的图像显示器包括：图像处理器23，用来处理从信号源接收的信号并输出图像信号和水平或垂直同步信号；水平/垂直偏转系统21，用来接收水平或垂直同步信号并输出会聚控制信号和水平或垂直偏转控制信号；预扭曲单元24，用来提前预扭曲从图像处理器23输出的图像信号并输出经过预扭曲的图像；CRT 25，用来接收预扭曲后的图像并输出电子束；连接到CRT 29的偏转系统(DY)25-1，用来根据水平或垂直同步信号控制从CRT 29输出的电子束；以及光学系统26，用来接收由偏转系统25-1控制的电子束并显示放大了的图像。

预扭曲单元24包括：第一帧存储器24-1，用来以帧为单位存储从图像处理器23输出的图像信号；失真校正存储器24-4，用来存储用于校正从图像处理器23输出的图像信号可能出现的失真的失真校正信息；控制器24-2，用来在实时基础上内插存储在第一帧存储器24-1中的图像并通过使用存储在失真校正存储器24-4中的失真校正信息预扭曲图像；以及第二帧存储器24-3，用来存储由控制器24-2预扭曲的图像。

另外，本发明的图像显示器进一步包括安装在图像处理器23前的开关22，这样能向它输入提取失真信息所需的预定的参考图像。

失真校正存储器24-4包括用来从外部信号源接收信号的输入端24-5，开关22包括用来接收参考图像的输入端22-1。

下面将参考图10到图12说明上述构造的图像显示器的操作。

如图11所示，当图像显示器接收原始图像I1并将其输出到屏幕时，具有梯形失真的图像I2被输出。因此，如图4、5A和5B所示，为了补偿梯形失真，分析梯形失真。然后，在原始图像经过梯形失真前，通过预扭曲原始图像产生图像I3。然后，当梯形预扭曲的图像I3经过形成梯形失真的图像显示器的光学系统时，梯形失真校正后的图像I4被输出。因此，梯形失真校正后的图像I4和输入到图像显示器的原始图像I1相同。

与此相似，本发明的图像显示器接收原始图像J1，并将其输出到屏幕，具有枕形失真的图像J2被输出。因此，正如上面参考图4、5A和5B所介绍的那样，为了补偿枕形失真，在分析枕形失真后，在原始图像经过枕形失真前通过预扭曲原始图像产生图像J3。然后，当枕形预扭曲的图像J3经过形成枕形失真的图像显示器的光学系统时，枕形失真校正后的图像J4被输出。因此，枕形失真校正后的图像J4和输入到图像显示器的原始图像J1相同。

下面将详细介绍输入原始图像、预扭曲原始图像和输出预扭曲后的图像的过程。

当图像处理器23从外部信号源接收信号(也就是如图12A所示的栅格信号，等等)时，它输出图像信号和垂直或水平同步信号。然后，第一帧存储器24-1以帧为单位存储图像信号(S31)。

此时，控制器24-2接收参考图4、5A和5B得到的存储在失真校正存储器24-4中的图像显示器的失真校正信息，并以帧为单位预扭曲存储在第一帧存储器24-1中的图像数据并输出。

也就是，控制器24-2实时地在存储在失真校正存储器24-4中的失真校正信息的基础上内插存储在第一帧存储器24-1中的帧数据，并如图12C所示梯形预扭曲图像，同时，在第二帧存储器24-3中存储根据枕形预扭曲产生的预扭曲后的图像帧数据(S32)。

当第二帧存储器24-3向CRT 25输出由于输入的图像信号被预扭曲产生的预扭曲后的图像帧数据时，CRT 25向光学系统26输出电子束，以输出放大了的图像(S33)。

预扭曲后的图像然后被CRT 25和光学系统26梯形失真和枕形失真，这样图12D所示的与原始输入图像(图12A)相同的图像由图像显示器输出(S34、S35)。

此时，CRT 26的偏转系统25-1根据从垂直/水平偏转单元输出的垂直或水平偏转控制信号控制从CRT输出的电子束的方向，基于此CRT输出放大了的图像到光学系统。

下面将详细介绍产生梯形预扭曲图像的过程。

如上定义，设(U，V)是原始图像的坐标，(X_dis，Y_dis)是失真图像的坐标，(U_inv，V_inv)是预扭曲图像的坐标。然后，从公式(1)得到下式。 $\left[\begin{array}{c}{X}_{\mathrm{dis}}^{\′}\\ Y_{\mathrm{dis}}^{\′}\\ Z_{\mathrm{dis}}^{\′}\end{array}\right]=K\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]........\left(27\right)$ $\left[\begin{array}{c}{X}_{\mathrm{dis}}\\ Y_{\mathrm{dis}}\end{array}\right]=\left[\begin{array}{c}{X}_{\mathrm{dis}}^{\′}/Z_{\mathrm{dis}}^{\′}\\ Y_{\mathrm{dis}}^{\′}/Z_{\mathrm{dis}}^{\′}\end{array}\right].........\left(28\right)$ $\left[\begin{array}{c}{U}_{\mathrm{inv}}^{\′}\\ V_{\mathrm{inv}}^{\′}\\ W_{\mathrm{inv}}^{\′}\end{array}\right]=K^{-1}\left[\begin{array}{c}U\\ V\\ 1\end{array}\right].....\left(29\right)$ $\left[\begin{array}{c}{U}_{\mathrm{inv}}\\ V_{\mathrm{inv}}\end{array}\right]=\left[\begin{array}{c}{U}_{\mathrm{inv}}^{\′}/W_{\mathrm{inv}}^{\′}\\ V_{\mathrm{inv}}^{\′}/W_{\mathrm{inv}}^{\′}\end{array}\right].....\left(30\right)$

公式(27)和(28)显示了原始图像的坐标和失真后的图像的坐标之间的关系，公式(29)和(30)显示了原始图像的坐标和预扭曲后的图像的坐标之间的关系。

为了得到预扭曲后的图像，需要知道原始图像的哪个坐标被扭曲为预扭曲的图像的像素坐标。也就是，在公式(29)和(30)中，在U_inv和V_inv是像素坐标的情况下，要知道输入图像在哪个坐标(U，V)被扭曲。

设预扭曲图像的特定像素坐标是(U_out，V_out)，产生这个坐标的原始图像的坐标是(U_in，V_in)，公式(29)和(30)能按下式(31)和(32)改写。 $\left[\begin{array}{c}{U}_{\mathrm{in}}^{\′}\\ V_{\mathrm{in}}^{\′}\\ W_{\mathrm{in}}^{\′}\end{array}\right]=K\left[\begin{array}{c}{U}_{\mathrm{out}}\\ V_{\mathrm{out}}\\ 1\end{array}\right].....\left(31\right)$ $\left[\begin{array}{c}{U}_{\mathrm{in}}\\ V_{\mathrm{in}}\end{array}\right]=\left[\begin{array}{c}{U}_{\mathrm{in}}^{\′}/W_{\mathrm{in}}^{\′}\\ V_{\mathrm{in}}^{\′}/W_{\mathrm{in}}^{\′}\end{array}\right].....\left(32\right)$

也就是，为了得到预扭曲的图像，需要知道预扭曲的图像的像素坐标从原始图像的哪个坐标通过前置变换(forward transformation)(K)被扭曲。

在坐标是(m，n)的情况下，当假设原始图像的像素值是f((m，n))并且预扭曲图像的像素值是g((m，n))时，从公式(31)和(32)得到下式(33)。

    g((U_out，V_out))＝f((U_in，V_in))                  (33)

要实际进行的是产生预扭曲图像。也就是，由于必须知道预扭曲图像的像素值，应当首先知道g((U_out，V_out))。如公式(33)所示，G((U_out，V_out))等于f((U_in，V_in))，可以因此通过它得到g((U_out，V_out))。

但是在这个方面，由于和整数(U_out，V_out)有关的原始图像的坐标(U_in，V_in)通常不是整数，不可能得到F((U_in，V_in))，因此不可能得到g((U_out，V_out))。在这种情况下，通过内插可以得到预扭曲图像的像素值。

下面将详细介绍产生关于枕形失真的枕形预扭曲图像的过程。

为了得到预扭曲的图像，必须知道预扭曲图像的像素是在哪个坐标被扭曲的。因此，通过使用前置变换‘P’搜索对应于预扭曲图像的像素的原始图像的坐标，可以通过内插产生图像。

如上定义，设预扭曲图像的坐标是(U_out，V_out)，原始图像的坐标是(U_in，V_in)，由于(U_in，V_in)通过‘P’形成(U_out，V_out)，得到下式(34)。 $U_{\mathrm{in}}=U_{\mathrm{out}}+{\stackrel{-}{U}}_{\mathrm{out}}\·(K_0^u+K_2^u\·{r_{\mathrm{out}}}^2)......\left(34\right)$ $V_{\mathrm{in}}=V_{\mathrm{out}}+{\stackrel{-}{V}}_{\mathrm{out}}\·(K_0^v+K_2^v\·{r_{\mathrm{out}}}^2)$ 其中

    U_out＝U_out-C_x

    V_out＝V_out-C_y

   r_out＝( U_out ²+ V_out ²)^1/2

通过使用上面的关系式，能得到对应于(U_out，V_out)的(U_in，V_in)。公式(33)显示了对应坐标之间的关系，通过使用公式(33)可以搜索预扭曲图像的像素值，因此，可产生图像。在这种情况下，通常(U_in，V_in)不是整数坐标，这样通过内插(也就是双线性插值)搜索像素值。

如上所述，根据本发明的用于校正失真图像的设备和方法，可以检测并精确校正每一个图像显示器的失真图像。并且对于在一段时间后出现图像失真的图像显示器，能校正图像显示器以输出校正后的图像。

此外，根据本发明的图像显示器，失真图像被检测并且图像校正信息被存储在存储器中，基于此预扭曲输入图像，这样可以在不使用会聚系统的情况下校正图像。因此，代替诸如用于驱动CRT的会聚系统的大体积线圈和放大器的模拟电路，图像显示器使用能简单处理图像的数字信号处理芯片，这样图形显示器能减小尺寸并提高经济性。因此，能够克服由于模拟电路部件的老化过程引起的问题，并且这个技术也适用于LCD投影电视。

由于在不背离它的精神或实质特性的情况下本发明可以体现为几种形式，应当理解除非特别指明，上述实施例并不受前面介绍的任何细节限制，而应当在附加权利要求中定义的它的精神和范围内广义地解释，因此在权利要求的界限或其等同物内的任何变化和修改都因此理解为被附加权利要求所包含。

Claims (15)

1.一种用于校正图像显示器图像失真的设备，其中图像信号被输入以在屏幕上显示图像并且图像失真被校正，包括：

参考图像发生器，用来产生预定的参考图像；

摄像机，用来输入参考图像并拍摄在屏幕上输出的图像；和

失真信息提取单元，用来比较从摄像机输出的拍摄后的图像和从参考图像发生器输出的参考图像，并在图像已失真的情况下产生失真校正信息以校正拍摄的图像的失真。

2.根据权利要求1的设备，其中失真校正信息提取单元包括用来存储失真校正信息的失真校正存储器。

3.根据权利要求1的设备，其中图像显示器包括用来存储失真校正信息的存储器。

4.根据权利要求1的设备，其中失真校正信息是失真参数或像素映射信息。

5.一种用于校正图像失真的方法，包括如下步骤：

检测通过比较参考图像和显示在屏幕上的从参考图像失真的失真图像得到的失真参数；和

通过使用检测的失真参数校正失真图像。

6.根据权利要求5的方法，其中失真信息是参考图像的预定像素的位置和显示在屏幕上的像素的位置之间的位移。

7.根据权利要求5的方法，其中检测失真参数的步骤包括下面的子步骤：得到参考图像的预定像素的坐标和显示在屏幕上的像素的坐标之间的对应关系。

8.根据权利要求5的方法，其中校正失真图像的步骤包括：

利用通过使用失真信息数学建模参考图像和失真图像之间关系的结果扭曲图像；和

存储在扭曲步骤中产生的失真校正信息。

9.根据权利要求8的方法，其中图像扭曲包括旋转、平移和比例缩放的变换。

10.一种图像显示器，包括：

图像处理器，用来从外部信号源接收图像信号并对其进行处理，以得到数字图像信号；

预扭曲单元，用来预扭曲从图像处理器输出的图像信号；和

显示单元，用来接收预扭曲后的图像并显示没有失真的图像。

11.根据权利要求10的图像显示器，其中预扭曲单元包括一个存储器，它存储用于校正可能包含在图像信号中的失真的失真校正信息，其中通过事先预扭曲图像信号得到失真校正信息。

12.根据权利要求11的图像显示器，其中预扭曲单元包括：

第一帧存储器，用来以帧为单位存储从图像处理器输出的图像信号；

控制器，用来根据失真校正信息以帧为单位内插从第一帧存储器输出的图像信号，并预扭曲图像；和

第二帧存储器，用来以帧为单位存储预扭曲后的图像信号。

13.根据权利要求10的图像显示器，进一步包括用来接收预定的参考图像以测试图像失真的开关。

14.一种用于校正失真图像的方法，包括如下步骤：

通过使用预先设置的失真校正信息预扭曲输入的图像；和

显示与输入的图像相同的图像。

15.根据权利要求14的方法，其中通过比较预定的参考图像和由输入参考图像在屏幕上得到的失真图像以检测失真信息的方式得到失真校正信息，基于失真信息将失真的图像校正为与参考图像一样。

Images