CN1298156C - 图像失真校正设备及其方法 - Google Patents

Abstract

在一种可以有效地校正在视频显示仪器中出现的梯形失真和枕形失真的图像失真校正设备中，该设备包括：基准图像产生装置，其用来产生基准图像并且设定基准图像坐标；位移测量装置，其用来在屏幕上显示基准图像并且测量显示图像的坐标；失真信息提取装置，其用来根据设定的基准图像坐标值和测量的图像坐标值来提取失真信息并且产生反失真信息；以及失真校正装置，其用来根据产生的反失真信息来产生基准图像的反失真(预变形)图像。

Description

图像失真校正设备及其方法

技术领域

本发明涉及到一种用于图像显示仪器中的图像失真校正设备，并且更具体地是涉及一种能够有效地校正图像显示仪器中出现的梯形失真(keystone distortion)和枕形失真(pincushion distortion)的图像失真校正设备。

背景技术

近来，在图像显示仪器中，能够在大屏幕幕上放大电视图像的投影电视不可避免有光学失真。光学失真可以分为枕形失真和梯形失真。其中，枕形失真是由于CRT(阴极射线管(CRT))和透镜出现的，而梯形失真是由于反射器的反射出现的。

图1示出了在投影电视中出现的光学失真。

如图1所示，投影电视包括：CRT(分别有一个用于放大视频信号的透镜)11、12、13来放大输入的视频信号并且输出它；一个用来反射从CRT 11、12、13分别输出的图像的反射器14；以及用来显示反射到反射器14上的RGB图像的屏幕15。

下面将会描述投影电视的操作。

首先，三个R、G、B CRT 11、12、13并不是排放在同一位置，而是并排排列。每个R、G、B CRT 11、12、13放大接收的图像并且将其输出到反射器14中；反射器14在屏幕15上显示放大后的图像。因此，屏幕15显示某一放大了的彩色图像。

可是，由于在屏幕15上显示的图像受多个CRT 11、12、13和反射器14的影响，因此在图像的显示中就不可避免地出现光学失真。更具体地，假如图像显示在投影电视中的显示屏幕15上，根据CRT11、12、13和反射器14反射位置的排放位置之间的关系，从CRT 11、12、和13分别输出图像的电子束轨迹彼此并不一致。因此，变形的或有角度的电子束轨迹会出现在屏幕15的中心、边缘、上/下边以及左/右边。如上所述，在投影电视中就不可避免地出现图像失真。因而降低了在屏幕上显示的图像质量。这里，电子束轨迹指的是把每个CRT11、12、13连接到屏幕15上图像显示点的直线。

图2示出了在投影电视中出现的光学失真的模拟结果。

如图2所示，为了显示在投影电视中出现的光学失真，使用基准网格(grid)图像21来执行模拟。首先，第一网格图像22示出了在基准网格(reference grid)图像中出现的梯形失真，以及第二网格图像23示出了在基准网格图像21中出现的枕形失真。另外，第三网格图像24示出了在基准网格图像中出现的梯形失真和枕形失真。

如上所述，在三个CRT 11、12和13的基准网格图形21中，由于每个CRT在反射器14上的反射点不同，而且到屏幕15上的反射路径也不一样，因此会出现梯形的梯形失真图像22。而且，在屏幕15中心的上，右下和左边会对称地出现枕形失真图像23。其中，离屏幕15的中心越远，失真就越严重。

因此，在基准网格图像21中，由于CRT 11、12、13不是排放在同一个位置而是并排排列，由于图像不能显示在屏幕的同一点上，因此图像的上部、底部、右边和左边的梯形失真和枕形失真程度不同，因而就出现了失聚(misconvergence)现象。由于这个问题，降低了投影电视的图像质量。

为了解决上述问题，一种使用会聚系统(convergence yoke)的图像失真校正设备得到广泛应用。

图3示出了根据传统技术的使用会聚系统的图像失真校正设备概念的示意方框图。

如图3所示，在使用会聚系统的图像失真校正设备中，通过在接收视频信号的CRT 31上安装一个会聚系统32，并且在水平方向和垂直方向上给会聚系统32施加合适的校正电流，就可以调整从CRT 31输出视频信号的路径。因此就能校正投影器33的光学失真，并且能将会聚调整过的视频信号显示在屏幕上。

可是，使用会聚系统的图像校正设备示出了诸如严重的光学失真之类的非线性特性，在会聚调整后，校正光学失真和连续地保持图像的高分辨率就很复杂。另外，在使用会聚系统的校正设备中，为了得到接收到会聚系统32中的电流，就必须产生一个具有非线性的控制信号，必须放大接收的电流，因此就复杂化了处理光学失真所必须的操作和装置。

另外，由于使用会聚系统的校正设备通过调整接收到会聚系统32的电流来利用磁场的变化，它受地磁场的影响，因而要求在执行失真校正后进行再校正。在这种情况下，产品不得不再次被访问，这对用户和制造商来说都不是有效率的。

同时，近来不仅可以提供基于CRT的投影电视而且可以提供基于LCD(液晶显示屏幕)的投影电视。与CRT相比较，由于LCD薄而且轻，它比较容易移动，因此不可能用CRT实现的挂墙式电视机能够用LCD实现。另外，LCD的功耗比较小，因此在经济方面比较有效。可是，使用会聚系统的图像失真校正设备不能应用到基于LCD的投影电视机上，需要有一种新的图像失真校正方法。

发明内容

为了解决上述问题，本发明的一个目的是提供一种具有较轻的重量的图像失真校正设备，其能够通过数字图像处理技术来校正图像失真，而不使用额外的会聚系统。

本发明的另一个目的是提供一种图像失真校正设备，其通过利用数字图像处理技术来校正图像失真的方式，来减小由会聚系统产生的电磁场的影响，从而能够有更长的寿命。

本发明还有另一个目的是提供一种图像失真校正设备，其通过数字图像处理技术来校正图像失真的方式，能够提高包括图像失真校正处理的产品制造步骤的生产率。

为了获得上面的目的，根据本发明的图像失真校正设备包括：基准图像产生装置，其用来产生基准图像并且设定基准图像坐标；位移测量装置，其用来在屏幕上显示基准图像并且测量显示图像的坐标；失真信息提取装置，其用来根据设定的基准图像坐标值和测量图像的坐标值来提取失真信息并且产生反失真信息；以及失真校正装置，其用来根据产生的反失真信息来产生基准图像的反失真(预变形)(pre-warping)图像。

为了获得上述目的，根据本发明的图像失真校正设备包括：数字视频信号处理装置，其用来将输入的视频信号转换成数字视频信号；反失真处理装置，其用来根据存储的反失真信息来执行数字视频图像的反失真处理；失真校正存储装置，其用来存储用于反失真处理的反失真信息；以及图像投影装置，其用来显示根据失真校正存储装置中的失真校正信息来显示经过反失真处理后的图像。

为了实现上述目的，根据本发明的一种图像失真校正方法包括：通过在屏幕上显示输入图像来测量梯形失真参数；根据测量的梯形失真参数来执行输入图像的梯形反失真校正；通过在屏幕上显示反梯形失真校正图像来测量枕形失真参数；以及根据测量的枕形失真参数来对在屏幕上显示的图像的枕形失真重复执行反枕形失真校正。

为了实现上述目的，根据本发明的一种图像失真校正方法包括：对示出梯形失真和枕形失真的虚拟屏幕进行初始化；在初始化的虚拟屏幕基础上产生一个反失真图像；在产生的反失真图像基础上产生失真校正图像，并且在屏幕上显示产生的图像；把失真校正图像与屏幕上显示的图像比较；当屏幕上显示的图像与失真校正图像不一致时，更新虚拟屏幕；当屏幕上显示的图像与失真校正图像一致时，结束虚拟屏幕更新。

附图说明

为本发明提供进一步理解的附图包含在本文件中，并构成本文件的一部分，这些附图示出了本发明的实施例，并与说明一起作为对本发明原理的解释。

在图中：

图1示出了在投影电视中出现的光学失真；

图2示出了在投影电视中出现的光学失真的模拟；

图3示意方框图，示出了根据传统技术的使用会聚系统的图像失真校正设备的概念；

图4示出了根据本发明的图像失真校正设备的概念的方框图；

图5示出了根据本发明的图像失真校正设备的结构的方框图；

图6示出了根据本发明的图像失真校正方法的方框图；

图7示出了根据本发明的枕形失真现象；

图8示出了根据本发明的建模枕形失真的虚拟平面；

图9示出了根据本发明的建模梯形失真的虚拟平面；

图10示出了根据本发明的虚拟屏幕处理方法的流程图；

图11示出了根据本发明的硅会聚仪器的输入和输出之间关系的方框图；

图12示出了根据本发明的图像坐标的产生顺序；

图13示出了根据本发明的数字图像存储方法的方框图；

图14A示出了在根据本发明的图像失真校正设备的存储器中写入数字数据的时序，及图14B示出了从根据本发明的图像失真校正设备的存储器中读取数字数据的时序；

图15用来描述根据本发明的一维信号内插概念；

图16A示出了根据本发明的最接近内插函数以及图16B示出了根据本发明的最接近内插函数的傅立叶变换；

图17用来描述根据本发明的二维最接近内插概念；

图18用来描述根据本发明的线性内插概念；

图19A示出了根据本发明的线性内插函数，以及图19B示出了根据本发明的线性内插函数的傅立叶变换；

图20用来描述根据本发明的线性内插概念；

图21示出了根据本发明的PC和硅会聚仪器之间的接口；

图22A示出了根据本发明在执行会聚校正之前测试图像的例子以及图22B示出了根据本发明在执行会聚校正之后测试图像的例子。

具体实施方式

在下文中，将会参照附图详细地描述根据本发明的一种图像失真校正设备的优选实施例，其能够通过在三维虚拟屏幕的基础上校正图像失真来有效地校正梯形变换和枕形变换。

根据本发明的图像失真校正设备执行失真处理的数学建模，同时在屏幕上显示基准图像，并且在屏幕上显示存储在存储器中的基准图像之前在建模的基础上执行反失真(inverse distortion)处理，因此，图像的失真校正图像(即与存储器中存储的图像相同的图像)被显示。

图4示出了根据本发明的图像失真校正设备概念的方框图。

如图4所示，图像失真校正设备对从图像处理单元41接收来的图像执行反失真的图像处理，并且把反失真处理后的信号输出给CRT42，而且投影器43从CRT 42中接收反失真处理后的图像并将其显示在屏幕上。更具体地，由于在屏幕上显示的同时，反失真处理后的图像受梯形失真和枕形失真影响，因此，校正图像，也就是与基准图像相同的图像被显示在屏幕上。

下面将会描述一种图像失真校正方法，其用于对图像失真处理进行数学建模，并且在此建模的基础上校正图像失真。

首先，当基准图像是I(x，y)时，图像处理单元41执行基准图像I(x，y)的反失真处理并且将其输出到CRT 42中。其中，当用于图像失真处理的数学建模函数为T以及用于反失真处理的数学建模函数为T-1时，反失真处理后的图像为T^-1[I(x，y)]。因此，CRT 42把反失真处理后的图像T^-1[I(x，y)]输出给投影器43，并且投影器43显示反失真处理后的图像T^-1[I(x，y)]。由于在屏幕上显示图像时发生图像失真，因此就显示一个没有失真的基准图像I(x，y)，将其描述为T{T^-1[I(x，y)]}＝I(x，y)。

在下文中，获得反失真校正函数T^-1并且由硬件等来实现。具体地，将描述一种用于校正图像失真的方法，其通过在三维虚拟屏幕技术基础上对反失真校正函数T^-1进行数学建模，并且在此基础上计算校正参数。

图5示出了根据本发明的图像失真校正设备的结构的方框图。

如图5所示，图像失真校正设备包括投影电视单元510和反失真信息发生器520。下面将会详细地描述投影电视510和反失真信息发生器520的结构和操作。

首先，投影电视单元510包括：用来接收视频信号的模拟视频信号单元51a、52a、53a和数字视频信号单元51b、52b和53b；用来将模拟信号转换成数字信号的模/数转换器54a、54b和54c；用来选择一种输出信号或从模/数转换器54a、54b和54c输出的数字视频信号的复用器55a、55b和55c；用来基于反失真校正信息对从复用器55a、55b和55c输出的信号执行反失真处理的失真校正器56；用来存储反失真校正信息(参数)的存储器57；用来从失真校正器56中接收反失真处理后的图像的图像投影处理器58；以及用来显示从图像投影器58中输出的反失真处理后的图像的屏幕50。

投影电视单元510接收模拟视频信号和数字视频信号。其中，通过模/数转换器54a、54b和54c将模拟视频信号转换成数字视频信号。每个复用器55a、55b和55c从模/数转换器54a、54b和54c输出的信号选择一个信号或从数字视频信号单元51b、52b和53b输出的视频信号中选择其中一个信号，并将其输出给失真校正器56。失真校正器56根据存储在存储器57中的反失真校正参数来执行输出视频信号的梯形反失真和枕形反失真处理，并将其输出给图像投影处理器58。图像投影处理器58在屏幕59上显示经过梯形反失真和枕形反失真处理过的信号。其中，当视频信号被显示在屏幕59上时，不可避免地出现梯形失真和枕形失真。因此，当在屏幕59上显示反失真处理后的视频信号时，不受梯形失真和枕形失真影响的原始图像就在屏幕59上显示。

接下来，反失真信息发生器520包括基准图像发生器61，其用来产生基准图像，将它输出给图像投影处理器58并且设置基准图像坐标；位移测量器62，其用来在屏幕上显示基准图像时测量出现的梯形失真和枕形失真的图像坐标；以及失真信息提取器63，其用来根据从基准图像发生器61和位移测量器62输出的图像坐标来提取图像失真信息，并将它输出给存储器57。

在反失真信息发生器520中，基准图像发生器61产生基准图像，将其输出给图像投影处理器58，并且设置参考图像的像素坐标。当通过图像投影处理器58在屏幕59上显示基准图像时，在显示图像上出现梯形失真和枕形失真。其中，位移测量器62测量失真图像的像素坐标。而且，获得基准图像的像素坐标(u，v)和失真图像的像素坐标(x，y)的对应关系。其中，使用传统会聚系统或在屏幕59上设置坐标，通过失真校正处理来获得对应关系。

然后，根据对应关系，失真信息提取器63执行图像失真的数学建模。其中在图像失真的数学建模中，使用图像变形(image warping)作为图像处理技术，该图像变形用来通过转换图像的像素位置来将几何失真施加到图像上。通过图像变形，将图像旋转、移动、放大和缩小，通过这种处理可以获得基准图像像素坐标(u，v)和失真图像像素坐标(x，y)之间的关系式。并且在此关系式的基础上获得反失真图像。

因此，把获得的反失真信息存储在投影电视单元510的存储器57中。然后，由于投影电视能单元510能根据存储器57中的反失真信息来预测在屏幕上显示图像中出现的失真，因此它执行图像的预变形，并且最后将失真校正图像显示在屏幕上。

可是，一般通过几何转换的图像的像素坐标没有一个固定值，因此在数字图像变形中有必要采用内插。另外，在实际显示图像上执行图像失真校正，需要实时处理。

在下文中，将会详细地描述梯形失真和枕形失真建模、失真校正算法、虚拟屏幕应用和内插技术。

在图像失真校正方法中，在准确地提取与梯形失真和枕形失真相关的信息(参数)时，通过图像变形执行反失真处理来准确地执行失真校正处理。

下面的等式1示出了在基准图像坐标(u，v)、临时坐标(X’，Y’，Z’)、失真图像坐标(X，Y)和参数(K)的关系基础上的梯形失真建模，

【等式1】

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=K\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]$

其中

$K=\left[\begin{array}{c}{k}_{11}{k}_{12}{k}_{13}\\ k_{21}{k}_{22}{k}_{23}\\ k_{31}{k}_{32}1\end{array}\right],$

                   X＝X’/Z’，Y＝Y’/Z’

下面的等式2示出了在基准图像坐标(u，v)、临时坐标(X’，Y’，Z’)、失真图像坐标(X，Y)和参数(K)的关系基础上的枕形失真建模。

【等式2】

                     U＝U-C_x

                     V＝V-C_x

$r={[\stackrel{\‾}{U^2}+\stackrel{\‾}{V^2}]}^{1/2}$

$X=U+\stackrel{\‾}{U}\·(K_0^u+K_u^2{r}^2)$

$Y=V+\stackrel{\‾}{V}\·(K_0^v+K_v^2{r}^2)$

在图像失真校正方法中，为了提取作为等式1和等式2的失真参数，就不得不抓取在屏幕上显示的图像特征点的位移。可是，由于在屏幕上显示的图像出现的梯形失真和枕形失真复杂，因此当梯形失真完全被校正时通过测量图像坐标来获得枕形参数或者当枕形失真完全被校正时通过测量图像坐标来获得梯形参数都是困难的。更具体地，独立地获取与梯形失真和枕形失真对应的每个参数是困难的。

为了解决上述问题，在根据本发明的图像失真校正方法中，在执行有关梯形失真或枕形失真的一般校正后逐步更新与梯形失真或枕形失真对应的每个参数。更具体地，梯形失真沿整个屏幕上均匀分布，不象离屏幕中心越远，枕形失真越严重那样。当仅仅在屏幕的中心部分获得某一图像坐标并且测量失真程度时，梯形失真固定地存在，相反，枕形失真不显著。因此，在屏幕的中心部分能够获取相对准确的梯形参数值。

其中，在投影电视中，通过CRT和透镜，首先出现枕形失真，然后由于反射器而出现梯形失真。由于图像失真校正方法通过执行失真的反处理来执行图像的反失真，所以必须首先执行梯形失真的反处理，然后再执行枕形失真的反处理。

图6示出了根据本发明的图像失真校正方法的方框图。如图6所示，当在屏幕上显示网格图像时，根据从显示的网格图像中近似提取的梯形失真参数，网格图像被反梯形失真处理，并且被显示在屏幕上，因而在屏幕上显示近似的梯形失真校正图像。然后，通过再次从梯形失真校正图像中提取图像坐标，来获取枕形失真参数。在获得的枕形失真参数基础上，网格图像被反枕形失真处理，并被显示在屏幕上，因而在屏幕上显示近似的枕形失真校正图像。如上所述，通过交替重复失真校正处理，就能够获得比先前失真参数值更准确的失真参数值。因此，逐步地更新梯形失真参数值和枕形失真参数值。

可是，在图像失真校正方法中，由于需要一种用来根据等式1和等式2来获得失真参数和反失真图像的程序的仪器，因此在一般家庭中使用这种方法有困难。另外，在硬件制造上，由于用户不得不直接用遥控器来来更新所有12个失真参数值来校正失真，因此对用户是不方便的。因此，需要更简单的接口。

在下文中，为了解决上述问题，描述一种使用高度技术(elevationtechnique)的会聚失真校正方法。

图7示出了根据本发明的枕形失真现象。

如图7所示，在仅仅考虑枕形失真时，投影电视从CRT 71的某一点将电子束投射到在二维平面上存在的屏幕72的每个像素上。由于从CRT 71到屏幕72的距离彼此不同，并且由于周围电场导致电子束变形现象的发生，因此出现枕形失真。其中，假设电子束直射，连接CRT 71与屏幕72上投射点的直线73显示了电子束的轨迹。

当假设在屏幕上显示的图像没有图像失真时，一条从在屏幕上显示图像的像素垂直地划到屏幕上的直线与显示像素的电子束轨迹彼此交叉。当把与在屏幕上显示的所有像素对应的交叉点连接时，就在CRT71和屏幕72之间产生三维虚拟平面74。更具体地，当从三维虚拟平面74、CRT71到实际屏幕72的距离(R)已知时，可以获得枕形失真相关的失真信息，并且执行其数学建模。

图8示出了根据本发明的通过建模枕形失真获得的虚拟平面。

如图8所示，实际地屏幕存在在Z＝0的XY平面上。三维虚拟平面是根据枕形失真的虚拟屏幕，即Z＝fp(x，y)函数。因而，虚拟屏幕、基准图像坐标和失真图像坐标的关系式能被如下描述。当连接(0，0，R)和(x0，y0，fp(x0，y0))的直线为l₀，可通过下述等式3获得l₀和XY平面的交点(u，v)。

【等式3】

$u=\frac{{-x}_{0}R}{f_p(x_0,y_0)-R},v=\frac{{-y}_{0}R}{f_p(x_0,y_0)-R}$

如等式3所示，使用从CRT 71到实际屏幕72中心的距离R和虚拟屏幕函数(z＝fp(x，y))的值可以得到失真图像坐标(u，v)。其中，R是对所有投影电视给定的常数，它意味着fp(x，y)具有所有失真的信息。例如，在某一像素，在一个随机像素中，当fp(x，y)值远小于R时，就知道失真很小。

图9示出了根据本发明的通过建模梯形失真获得的虚拟平面。

如图9所示，使用与枕形失真建模同样的方法来执行梯形失真建模，并且可用下述等式4描述。具体地说，当连接(0，0，R)和(x1，y1，fk(x1，y1))的直线为l₁，则l₁和XY平面的交点是(u，v)。

【等式4】

$u=\frac{{-x}_{1}R}{f_k(x_1,y_1)-R},v=\frac{{-y}_{1}R}{f_k(x_1,y_1)-R}$

如等式4所示，当获得了R的虚拟屏幕函数(z＝fk(x，y))值和梯形失真时，可以得到失真图像坐标(u，v)。

可是，梯形失真和枕形失真的虚拟屏幕函数是根据特性来初始化的。更具体地，如图7-9所示，枕形失真有非线性特性，并且很大程度上受到与光源距离R的影响，相反，梯形失真具有类似反射器的反射的线性特性。因此梯形失真/枕形失真的虚拟屏幕函数能够分别被下述等式5和等式6初始化。

【等式5】

$Z=f_p(x,y)=R-\sqrt{R^2-x^2-y^2}$

【等式6】

                  z＝f_k(x，y)＝ax+by+d

如上所述，在根据本发明的图像失真校正方法中，通过在三维虚拟屏幕的基础上执行梯形失真和枕形失真参数建模，可以计算出失真参数值。

在三维虚拟屏幕基础上执行建模的优点是能够仅仅通过将枕形失真的虚拟屏幕函数值与梯形失真的虚拟屏幕函数值线性地相加就能够显示每个失真。因此，通过增加每个虚拟屏幕函数值来改变获得的虚拟屏幕就可以校正失真，而不需要分别独立地考虑所有像素的枕形失真和梯形失真。但是，为了执行更准确地失真校正，不得不重复地更新虚拟屏幕。

当更新的虚拟屏幕是F_n时，可以用下述等式7描述。

【等式7】

$F_0(x,y)=f_p(x,y)+f_k(x,y)=R-\sqrt{R^2-x^2-y^2}+\mathrm{ax}+\mathrm{by}+d$

F_n+1(x，y)＝F_n(x，y)±Δ(x，y)

因此，考虑等式5-7，可以通过下述等式8获得与基准图像坐标(x，y)对应的最终失真图像坐标(u，v)。

【等式8】

$u=\frac{-\mathrm{xR}}{F_n(x,y)-R},v=\frac{-\mathrm{yR}}{F_n(x,y)-R}$

图10示出了根据本发明的虚拟屏幕处理技术的流程图。

如图10所示，三维虚拟屏幕技术包括：在基准图像的坐标(x，y)和失真图像坐标(u，v)的基础上按照上述等式7来初始化虚拟屏幕，如步骤S101所示；在初始化的虚拟屏幕基础上产生反失真图像I_p(x，y)，如步骤S102所示；在产生的反失真图像基础上在屏幕上显示失真校正后的图像I_w(x，y)，如步骤S103所示；判断在屏幕上显示的图像I₀(x，y)是否与失真校正后的图像I_w(x，y)一致，如步骤S104所示；当屏幕上显示的图像I₀(x，y)与失真校正后的图像I_w(x，y)不一致时更新虚拟屏幕，如步骤S105所示；当屏幕上显示的图像I₀(x，y)与失真校正后的图像I_w(x，y)一致时结束虚拟屏幕更新，如步骤S106所示。其中，在步骤S105中更新虚拟屏幕，并且在从虚拟屏幕初始步骤S101开始重复地执行此步骤。

在三维虚拟屏幕技术中，获得反失真参数，并且根据反失真参数来获得一个用于执行失真校正的几何转换函数T。而且，反向变形图像被称为反失真(预变形)图像。

下述等式9示出了基准图像坐标(x，y)、失真图像坐标(u，v)和反失真图像坐标(u_inv，v_inv)的关系。

【等式9】

                      (x，y)＝T[(u_inv，V_inv)]

                      (u，v)＝T[(x，y)]

如等式9所示，在三维虚拟屏幕技术中，为了获得反失真图像，必须要知道是那个坐标变形到反失真图像的坐标上。更具体地，在等式9中，当(u_inv，v_inv)通过函数T变形时，必须知道对应于变形图像的基准图像坐标。其中，实际获得的基准图像坐标值不是整数值而是实数值，因此需要用内插。当通过投射将获得的反失真图像显示在屏幕上时，将它转换成一个其中基准图像失真已经被校正的图像，并且将它输出。

可是，由于在获得的反失真图像中计算出的图像坐标具有实数单位，因此当通过更新虚拟屏幕来获得反校正图像时，在获得的反校正图像和先前图像(在更新前)之间的差别必须不大于一个像素。为了使该差别不大于一个像素，在三维虚拟屏幕技术中，考虑图像的当前坐标和当前的虚拟屏幕F_n，限制步长(Δ(x，y))，以使得其不大于半个像素。

【等式10】

$\mathrm{\Δ}(x,y)=\frac{R^2\·\sqrt{M^2+N^2}}{2(F_n(x,y)+R)\·\sqrt{x^2+y^2}}$

将等式10代入到等式7中，最后能够执行像素单元处理的三维虚拟屏幕技术能够按照下述等式11描述。

【等式11】

$F_0(x,y)=f_p(x,y)+f_k(x,y)=R-\sqrt{R^2-x^2-y^2}+\mathrm{ax}+\mathrm{by}+d$

$F_{n+1}(x,y)=F_n(x,y)\±\mathrm{\Δ}(x,y)=\frac{R^2\·\sqrt{M^2+N^2}}{2(F_n(x,y)+R)\·\sqrt{x^2+y^2}}$

如上所述，用于通过对图像失真信息进行三维建模来执行图像处理的虚拟屏幕技术不仅可以应用在投影电视中，而且可以应用在基于LCD(液晶显示器)或PDP(等离子显示板)的视频显示装置中。另外，在虚拟屏幕技术中，有可能在处理中将虚拟屏幕分成一定的块。可以根据图片差别通过调整失真信息数量，来自由地将它应用到硬件实现上。另外，当以硬件实现它时，有可能通过简单地改变虚拟屏幕来修改失真信息，容易可调整的接口也能够制造。

在下文中，将会详细地描述以硬件实现反失真校正设备的硅会聚(silicon convergence)仪器。

图11示出了根据本发明的硅会聚仪器的输入和输出之间关系的方框图。

如图11所示，格式转换器111提供RGB信号、水平同步信号(H-Sync)、垂直同步信号(V-Sync)和时钟(Clk_27M)给硅会聚仪器112。硅会聚仪器112根据虚拟屏幕技术产生反失真校正图像，并将其输出给格式转换器111，它可以利用诸如FPGA(filed programmablegate array)(可现场编程门阵列)之类的PLD(programmable logicdevice)(可编程逻辑电路)来实现，当它应用在实际产品中时，在经济或技术方面考虑一般是采用比如ASIC的全订制(full-custom)方法。

格式转换器111通过利用垂直频率、水平频率和像素频率把带有二维坐标的R、G、B视频信号转化成数字视频信号。

硅会聚仪器112根据三维虚拟屏幕技术对从格式转换器111接收到的数字r，g，b视频信号执行失真分析，由此产生出反失真信息，并且输出相关R、G、B信号给格式转换器111。其中，硅会聚仪器112包括用于产生数字图像坐标、存储它、以及执行上述内插的每个结构部分。

图12示出了根据本发明的图像坐标产生顺序的方框图。

如图12所示，图像坐标的产生顺序是基于三级S121、S122和S123。下面将会详细描述。

首先，通过计数垂直同步信号(V-Sync)的前沿(positive edge)，确定奇数帧和偶数帧。然后，根据输入信号关系产生图像坐标。更具体地，水平同步信号(H-Sync)的前沿指示的是在垂直同步信号(V-Sync)的高电平区(high region)中水平线的的起始，通过计数水平同步信号(H-Sync)的前沿，产生垂直坐标。而且，当水平同步信号和垂直同步信号都是高电平时，时钟(Clk_27M)指示像素的水平频率，通过计数时钟的前沿，产生水平坐标。另外，在垂直信号低电平区(low region)，垂直和水平坐标都更新为“0”，在水平同步信号(H-Sync)低电平区，仅仅把水平坐标更新为“0”。因此，用此种方法产生数字视频信号的二维坐标，并且将产生的数字视频信号存储在存储器中。

图13示出了根据本发明的数字图像存储方法的方框图。

如图13所示，输入图像帧130被分成偶数帧和奇数帧，并且每一帧都被重复处理。更具体地，当奇数帧被存储在奇数帧存储器132中时，输出偶数帧存储器131中的被变形图像；当偶数帧图像被存储在偶数帧存储器131中时，输出奇数帧存储器132中的被变形图像。通过重复执行这一过程，就形成了反失真图像133。

每个存储器131和132使用SRAM(static random access memory)(静态随机访问存储器)以执行高速存储和奇数/偶数帧访问，每个像素信息包括9比特的垂直坐标，10比特的水平坐标和8比特的像素值，因此它包括27比特。因此，用于硅会聚仪器的SRAM被设计成用来包括诸如20比特地址和8比特数据的信息，其中9比特的垂直坐标和10比特的水平坐标是硅会聚仪器的地址比特，并且8比特的像素值是硅会聚仪器的数据比特。

图14A示出了在根据本发明的图像失真校正设备的存储器中写入数字数据的时序及图14B示出了从根据本发明的图像失真校正设备的从存储器中读出数字数据的时序。

如图14A和14B所示，当Clk_27M信号在高电平区时，图像失真校正设备输出水平坐标和垂直坐标给SRAM作为地址比特，当信号Clk_27M在低电平区时，输出像素值存储在SRAM中。另一方面，当信号Clk_27M为后沿(negative edge)时，像素值从SRAM中读出，用来在操作处理中防止像素值被传送。

如上所述，在数字图像的像素值中，由于仅仅存在整数坐标，因此在图像失真校正设备中需要内插，其用于通过图像变形来将实数坐标值转化成整数坐标的像素值。

图15用来描述根据本发明的一维信号内插的概念。

如图15所示，将会描述一种用于当数据以相同间隔分布时使通过用相邻像素值来计算出所需像素值的方法。

当所需的随机像素值是f(x)时，可以通过

$f\left(x\right)=\underset{k=0}{\overset{k-1}{\mathrm{\Σ}}}{c}_{k}h(x-x_k)$

获得。

图16A示出了根据本发明的最接近内插函数以及图16B示出了根据本发明的最接近内插函数的傅立叶变换。

如图16A和16B所示，最接近内插是一种使用其相邻数据的实际函数值的方法，它的复杂性最小。最接近内插技术可以用下述等式12来描述。

【等式12】

$f\left(x\right)=f\left(x_k\right),\frac{x_{k-1}+x_k}{2}\≤x\≤\frac{x_k+x_{k+1}}{2}$

              h(x)＝1如果0≤abs(x)≤0.5

              h(x)＝0如果0.5≤abs(x)

其中，abs(x)是x的绝对值，下文中，所有等式的abs都是指绝对值。

在最接近内插函数中，在傅立叶函数的旁瓣(side lobe)具有相对高的重要性。因此，两个频率的响应特性不好并且使用实际的周围像素值，就出现了块状外形。可是，与其它内插比较，最接近内插函数非常简单而且复杂性小。近来它的使用在增加。

图17用来描述根据本发明的二维最接近内插法概念。

如图17所示，与一维相似，在用于实际图像的二维最接近内插中，通过仅仅使用最接近坐标的像素值来执行内插。

图18用来描述根据本发明的线性内插法概念。

如图18所示，在线性内插中，通过使用带有两个输入信号的一维内插函数来执行内插。

线性内插函数可以用下述等式13来描述，并且线性内插函数也可以描述成等式14。

【等式13】

$f\left(x\right)=f_0+\left[\frac{{x-x}_0}{x_1-x_0}\right](f_1-f_0)$

【等式14】

              h(x)＝1-abs(x)  如果0≤abs(x)≤1

              h(x)＝0  如果1≤abs(x)

与最接近内插相比较，线性内插法有与那些低通滤波器几乎相同的频率响应特性，它具有更好的函数和相对简单的操作处理。

图19A示出了根据本发明的线性内插函数，以及图19B示出了根据本发明的线性内插函数的傅立叶变换。

如图19所示，与最接近内插不同，在二维线性内插中，通过使用所有四个像素值，根据距离来给定不同的重要性。另外，与最接近内插法比较，其复杂性比较大，可是，与除了最接近内插法之外的其他内插法相比，它相对简单而且有比少的运算量。

图20用来描述根据本发明的线性内插概念。

如图20所示，当f(x，y)为Δx＝x-[x]，Δy＝y-[y]时，它可以如下述等式15描述。

【等式15】

f(x，y)＝(1-Δx)(1-Δy)·f([x]，[y])+Δx·(1-Δy)·f([x]+1，[y])

+(1-Δx)·Δy·f([x]，[y+1])+Δx·Δy·f([x]+1，[y]+1)

最接近内插通过使用0维内插函数来执行内插，线性内插通过使用一维内插函数来执行内插，三维内插通过使用三维内插函数来执行内插。

【等式16】

h(x)＝a₃₀abs(x)²+a₂₀abs(x)²+a₁₀abs(x)²+a₀₀如果0≤abs(x)＜1

h(x)＝a₃₁abs(x)²+a₂₁abs(x)²+a₁₁abs(x)²+a₀₁如果1≤abs(x)＜2

h(x)＝0          如果    其他情况

其中，aij是常数并且必须确定为满足下述条件。具体地，当h(0)＝1，abs(x)＝1，2时，h(x)只能为“0”，当abs(x)＝0，1，2时，h(x)只能是连续的并且其一阶导数(primary differentiation)也必须连续。

在上述内插法中，通过考虑复杂性、像素值的准确性、用于操作处理硬件所需的复杂性和操作速度，选择一种适合于硅会聚仪器的内插方法。

在最接近内插中需要的像素是一个，通过使用一个帧存储器，利用一次访问来执行计算。因此，由于SRAM的数量少，因此在电路板的工作中，它消耗的功率小而且有比较快的速度。另外，存储器的存储频率可以被设置成27MHz，电路能够稳定工作。可是，在图像带有与高频或薄线(thin line)对应的特性的情况下，最接近内插就有一个恶化图像质量的缺点。

另外，在线性内插中，所需像素数目是4个。因此，考虑硬件的操作特性和硬件结构的平衡，可以通过下述三种方法来实现。首先，线性内插通过使用4个帧存储器进行一次访问来执行计算。其中，存储器访问频率是27MHz，且不需要使用数据存储缓冲器。第二，线性内插通过使用2个帧存储器进行两次访问来执行计算。其中，存储器访问频率是54MHz，且需要使用2个数据存储缓冲器。第三，线性内插通过使用1个帧存储器进行四次访问来实现计算。其中，存储器访问频率是108MHz，且需要使用4个数据存储缓冲器。其中，在硅会聚仪器中，过高的频率是不合适的，并且帧存储器数目的增加引起了一些问题。使用不小于使用SRAM的线性内插的更高维数的内插法可能是不合适的。可是，当使用SRAM或AXIS(专用集成电路)来实现硅会聚仪器时，工作速度大大提高了，可以使用诸如线性内插法等的更高维数的内插，并且可防止图片质量恶化(损耗产生)。

图21示出了根据本发明的PC和硅会聚仪器之间的接口。

如图21所示，通过根据要求将图像分割成几块的方式，虚拟屏幕方法可以进行失真图像的细节调整。使用PC或笔记本电脑211，通过并行端口213可以容易地调整硅会聚仪器212的失真校正信息。其中，比较容易利用windows程序来进行图像的细节调整。通过使用它，硅会聚仪器212容易适用于根据每个R、G、B图像不同的失真现象，并且容易根据每个R、G、B图像独立地执行失真校正。

图22A示出了根据本发明在执行转换校正之前测试图像的例子以及图22B示出了在执行反失真校正之后测试图像的例子。

如图22A和22B所示，可以有效地操作基于三维虚拟屏幕方法的图像失真内插。

如上所述，在根据本发明的图像失真校正设备中，通过利用数字图像处理方法来校正图像失真，而不需要使用另外的会聚系统，因此产品的重量轻。

在根据本发明的图像失真校正设备中，利用数字图像处理方法，通过校正图像失真，可以减小由于会聚系统而带来的电磁场的影响，并且因此增加产品的寿命。

在根据本发明的图像失真校正设备中，利用数字图像处理方法，通过校正图像失真，可以提高根据视频显示装置的模式变化、设计变化和环境变化的适应能力。

另外，在根据本发明的图像失真校正设备中，利用数字图像处理方法，通过校正图像失真，可以提高包括图像失真处理处理的产品制造处理的产量。

由于可以在不离开本发明的精神和本质特征的基础上，本发明可以有几种形式的实施例。还必须要理解的是上述的实施例不受上述描述中的任何细节限制，除非有其他说明，而应该是在附加权利要求书中所规定的精神和范围内全面地解释。并且因此所有在权利要求的边界和界限内或等同此种边界和界限内的改变和修订都是受附录的权利要求书所意指的。

Claims (20)

1.一种图像失真校正设备，包括：

基准图像产生装置，其用来产生基准图像并且设定基准图像坐标；

位移测量装置，其用来在屏幕上显示基准图像并且测量显示图像的坐标；

失真信息提取装置，其用来根据设定的基准图像坐标值和测量的图像坐标值来提取失真信息，并且产生反失真信息；以及

失真校正装置，其用来根据产生的反失真信息来产生基准图像的反失真图像。

2.根据权利要求1所述的设备，还包括：

存储装置，其用来更新产生的反失真信息并且存储它。

3.根据权利要求2所述的设备，其中所述存储装置使用静态随机访问存储器，以便能够执行反失真信息的高速存储和访问。

4.根据权利要求1所述的设备，其中所述失真信息提取装置包括图像内插装置，以执行基准图像的像素单元内插。

5.根据权利要求4所述的设备，其中所述图像内插装置使用一维内插、二维内插、线性内插、最接近内插和三维内插中的其中一种。

6.根据权利要求1所述的设备，其中所述失真信息提取装置根据三维虚拟屏幕来提取失真信息并且产生反失真信息。

7.根据权利要求6所述的设备，其中所述三维虚拟屏幕是一个虚拟的三维平面，该虚拟的三维平面由指示基准图像从阴极射线管到屏幕的路径的直线和从基准图像不失真地显示在屏幕上的点在屏幕上垂直形成的虚拟直线之间的交点组成。

8.一种投影图像显示仪器，包括：

数字视频信号处理装置，其用来将输入的视频信号转换成数字视频信号；

反失真信息产生装置，其用来根据数字视频信号来提取失真参数，并且根据提取的失真参数产生反失真信息；

存储器装置，其用来更新提取的反失真信息并且存储它；

反失真处理装置，其用来根据存储的反失真信息来执行数字视频图像的反失真处理；以及

图像投影装置，其用来显示反失真处理过的图像。

9.根据权利要求8所述的仪器，其中所述反失真信息产生装置包括：

基准图像发生器，其用来产生数字视频信号的坐标；

位移测量装置，其用来在屏幕上显示基准图像并测量显示图像的坐标；以及

失真信息提取装置，其用来根据设置的基准图像的坐标值和测量图像的坐标值来提取失真信息，并产生反失真信息。

10.根据权利要求8所述的仪器，其中所述存储器装置使用SRAM，以便能够执行反失真信息的高速存储和访问。

11.根据权利要求8所述的仪器，其中所述反失真信息产生装置根据三维虚拟屏幕来提取失真信息并且产生反失真信息。

12.根据权利要求11所述的仪器，其中所述三维虚拟屏幕是一个虚拟的三维平面，该虚拟的三维平面由指示基准图像从阴极射线管到屏幕的路径的直线和从基准图像不失真地显示在屏幕上的点在屏幕上垂直形成的虚拟直线之间的交点组成。

13.一种图像失真校正方法，该方法包括：

通过在屏幕上显示输入图像来测量梯形失真参数；

根据测量的梯形失真参数来执行输入图像的反梯形失真校正；

通过在屏幕上显示反梯形失真校正图像来测量枕形失真参数；以及

根据测量的枕形失真参数来重复执行屏幕上显示图像的反枕形失真校正。

14.根据权利要求要求13所述的方法，其中根据屏幕上显示的图像通过抓取某些点的位移来测量梯形失真参数和枕形失真参数。

15.根据权利要求要求13所述的方法，其中通过重复执行每个图像失真校正处理来逐步更新梯形失真参数和枕形失真参数。

16.一种使用三维虚拟屏幕技术的图像失真校正方法，该方法包括：

对示出梯形失真和枕形失真的虚拟屏幕进行初始化；

在初始化的虚拟屏幕基础上产生反失真图像；

在产生的反失真图像基础上产生失真校正图像，并且在屏幕上显示产生的图像；

比较失真校正图像与屏幕上显示的图像；

当屏幕上显示的图像与失真校正图像不一致时，更新虚拟屏幕；以及

当屏幕上显示的图像与失真校正图像一致时，结束虚拟屏幕更新。

17.根据权利要求16所述的方法，其中在虚拟屏幕更新的步骤中更新虚拟屏幕，并且重复执行从虚拟屏幕初始化步骤到虚拟屏幕更新的步骤。

18.根据权利要求16所述的方法，其中所述三维虚拟屏幕是一个虚拟的三维平面，该虚拟的三维平面由指示基准图像从阴极射线管到屏幕的路径的直线和从基准图像不失真地显示在屏幕上的点在屏幕上垂直形成的虚拟直线之间的交点组成。

19.根据权利要求16所述的方法，其中通过将梯形失真的虚拟屏幕函数值和枕形失真的虚拟屏幕函数值线性相加来形成三维虚拟屏幕。

20.根据权利要求16所述的方法，其中图像被分成几块，并且校正每一个图像块的失真。

Images