CN101166247A - 呈现射在非平面表面上的图像的方法和装置 - Google Patents

Abstract

本发明是针对一种呈现射在非平面表面上的图像的方法和系统，以消除或至少减弱由该表面引起的失真，特征在于将图像作为多个间隔开的平面单元映射到非平面表面的坐标，以生成多个转化了的平面单元，每个单元包括图像的多个像素，在最小化该多个单元的每一个相对于表面坐标的距离的变化时最小化单元之间的距离；以及将该多个平面单元映射到非平面表面上。

Description

呈现射在非平面表面上的图像的方法和装置

技术领域

本发明通常涉及用于车辆中的显示器件，更具体地，涉及用于汽车中的抬头显示器(HUD)。

背景技术

由图像射到(impinge upon)其上的衬底的光学性质产生的失真长期以来是成像产业所担忧的。结果，现有技术中已经进行了许多努力来校正由于采用的呈像技术而在图像中产生的失真。

美国专利号3422306公开了一种用于在磁偏转的阴极射线管中消除失真的失真校正电路。在相关的部分，未校正的偏转信号以与阴极射线管造成的失真相反的方式经过预失真，以产生校正的偏转信号。当施加到偏转放大器时，校正的偏转信号在阴极射线管中的偏转没有枕形和非线性失真。

美国专利号4658246公开了一种用于通过液晶单元或其他矩阵元件的矩阵模拟可视图像的显示的系统，并在诸如元素大小、有效区域比和信噪内容之类的显示特性的选择上提供灵活性的系统。该显示器采用阴极射线管并使用软件信号处理。

美国专利号5302964公开了一种用于航空飞行器的抬头显示器，其包括数字图像发生器、阴极射线管(CRT)和光学系统，该光学系统将在CRT屏上形成的表示航空飞行器运行状态的图像以倾斜的角度投影到全息反射镜组合器。该组合器对于飞行员通过航空飞行器挡风玻璃的直视是透明的，但是产生叠加到直视上的CRT屏的反射图像。CRT中的枕形失真和由斜投影角度造成的几何失真由数字查找表存储器校正，数字查找表存储器以与失真相反的方式改变最初正交的CRT水平和垂直偏转信号，以便飞行员看到的组合器上的图像看起来是非失真的。

美国专利号6532113公开了在车辆中使用的显示器件，在车中图像被投影到车辆的挡风玻璃上，以便即使当驾驶员的座位位置和体型发生变化且挡风玻璃的形状变化时也能同时准确看到车辆的前景和用于叠加的图像的虚像。显示在车里仪表盘中的显示单元的显示表面上的用于叠加的逆像的光线被投影到挡风玻璃上，这样驾驶员通过挡风玻璃看到了可见的前景，并同时看到反射到视点前的挡风玻璃上的用于叠加的逆像的虚像，该逆像是用于叠加的原始图象的虚像。为了消除当用于叠加的逆像的光线反射在挡风玻璃上时出现的失真，响应于存储在控制单元中提供的外部ROM的内容预先使显示在显示单元上的用于叠加的逆像失真，该外部ROM可以用存储不同内容的另一个ROM替换。

因此，存在提供改进的光学成像技术的需要，其中由图像射到(impinge upon)其上的光学性质引入的失真被消除或至少减弱。

发明内容

本发明是针对一种呈现图像的方法和系统，所述图像射在(impingeupon)非平面表面上，特征在于将图像作为多个间隔开的平面单元映射到非平面表面的坐标上，每个单元包括图像的多个像素。在最小化该多个单元的每一个相对于表面坐标的距离的同时将单元之间的距离最小化，并将该多个平面单元射到非平面表面上。通过这些步骤，在最小化观察者所感知的失真时，可以呈现经历由于射到非平面表面导致的失真的图像。可以通过使用图像呈现设备投影同样的图像来呈现图像，使得在非平面表面上以最小失真呈现图像，或与非平面表面分隔开呈现。当与非平面表面隔开呈现时，可以安排呈现区域，使其位于非平面表面和图像呈现设备之间，或者使其处在这样的位置，使得在图像呈现设备和呈现的图像之间有非平面表面。为此，映射包括将图像的像素与多个多边形相关联，该多个多边形的每一个定义该多个间隔开的单元之一，并且包括具有初始空间关系的多个顶点。将顶点映射到非平面表面的坐标，生成映射的多边形。从映射的多边形的顶点中产生失真系数矩阵。失真系数定义了非平面表面上的像素间的相对空间关系。从失真矩阵产生具有多个与其相关的变换系数(inverting coefficient)的逆矩阵。图像呈现设备将像素射到非平面表面上，每个映射的多边形的像素间的相对空间关系由变换系数定义，生成了转化了的多边形(invertedpolygon)。以这种方式，通过将根据转化了的多边形映射的图像射到(impinge upon)非平面表面上基本消除了由非平面表面引入的失真。在第一可选实施例中，可以通过采用最小二乘拟合将相邻转化了的多边形的边拟合到位于这些边之间的一个或多个线性函数来提高呈现的图像的质量。在第二可选实施例中，将多边形映射到非平面表面的区域，其中在与多边形之一相关的部分图像上曲率半径的变化最小。下面将更充分地描述这些以及其他实施例。

附图说明

结合附图参考以下说明可以最好地理解本发明及其更多的目的和优势，附图中：

图1是根据本发明的一个实施例的系统的图示。

图2单元的平面图，是每个单元中都包含对应于图像不同子部分的信息，根据本发明的一个实施例图像的不同子部分被映射到非平面表面。

图3是根据本发明将图像与多个单元联系起来的平面图。

图4是根据本发明将图2所示的单元的顶点映射到非平面表面的平面图。

图5是根据本发明将图3所示的单元之一的顶点映射到图4所示的非平面表面的详细平面图。

图6是示出根据本发明的第二可选实施例将图2所示的单元拟合到映射到非平面表面的网格的平面图。

图7是根据本发明的第三可选实施例的图像呈现系统的图示。

图8是根据本发明的第四可选实施例的图像呈现系统。

具体实施方式

参考图1，根据本发明的一个实施例的系统10包括诸如投影仪之类的图像呈现设备12，其与处理器14进行数据通信，处理器14可以是通用处理器、有限状态机，或任何其他能够操纵这里所讨论的图像数据的电路。存储器16与处理器14进行数据通信。图像呈现设备12位于车辆中，诸如汽车、摩托车、航空飞行器等，使得用户18能够在视觉上感知在观察区域20生成的图像。图像呈现设备12起抬头显示器(HUD)的作用。为此，图像呈现设备12用于在区域20中呈现需要的仪器的图像，区域20位于正常操作车辆的用户18的视野范围内：仪器群(未示出)的图像通常呈现在仪表板22中。典型地，呈现在区域20的图像的内容是采用标准技术可以获得的汽车运行的实时表示。为此，可以在区域20中呈现速度计(未示出)、转速表(未示出)、时钟(未示出)、罗盘(未示出)、油压表(未示出)等的图像。可以在区域20呈现仪器群呈现的信息，而不呈现仪器群(未示出)或其中包含的各个仪表的图像。可选地，同样可能的是在区域20中呈现的图像包括仪器群(未示出)没有表现的关于车辆运行特性的信息，例如一些汽车并没有提供转速表(未示出)；然而，在车辆中也许存在转速表信号。可以采用本发明，以在区域20中呈现相应于转速表信号的图像。结果，本发明对于现有车辆的后向兼容性是理想的，因为它提供了增加用户18可感知的关于车辆运行特性的信息的功能。

在本实例中，用户18和区域20与挡风玻璃24隔开，并且如此定位使得区域20在用户18透过挡风玻璃24观看的视野内。这是通过图像呈现设备12将图像作为如射线26所示的多个像素进行投影，以射到挡风玻璃24上而实现的，图像呈现设备12、处理器14和存储器16安装在仪表板22内，挡风玻璃24从仪表板延伸出来。如图所示，通过使像素从挡风玻璃24的表面28上反射，如射线30所示在区域20生成原始图像的虚像，图象呈现设备12在区域20中产生图像。

参考图1和2，在区域20呈现图像，或虚像，遇到的问题是补偿表面28引起的失真。如所公知，汽车、摩托车、航空飞行器、船等的大多数挡风玻璃是非平面的，典型的是弯曲的，表面28就是弯曲的。表面28的非平面性在其上呈现的和/或从其反射并在区域20中呈现的图像上引入了失真。为了消除或至少减弱由表面28引入的失真，本发明的一个实施例将射线26代表的图像作为多个隔开的单元31-39映射到表面28的坐标40(coordiante)，单元31-39的每一个都包含图像的多个像素23。单元31-39的每一个代表由坐标40对应的区域或表面28所代表的失真的逆，应理解的是坐标是在校准过程中得到的，所述校准过程在共同未决的美国专利申请号(未分配)，代理人案号为VP247中描述，此处全文引入以供参考。

图像呈现设备12将该多个单元31-39射到表面28上，去除了表面28造成的失真，因此减弱了在位置20呈现的结果图像中的失真。在可选实施例中，在最小化该多个单元31-39的每一个相对于坐标40的空间位置的变化时，最小化相邻单元31-39之间的距离。下面对这两个实施例展开进一步的讨论。

参考图2和3，将图像的像素23映射到单元31-39包括将图像的像素23与多个多边形例如正方形41-49相关联。在本实例中，为了便于讨论，示出了九个隔开的正方形。正方形41-49的每一个具有多个顶点50-53，即四个顶点。顶点50-53具有由正方形41-49的形状所定义的初始相对空间关系。对于正方形41，初始空间关系描述为每对相邻顶点共线，并且相互隔开等于每个剩余的顶点对的顶点隔开的距离。每个正方形41-49的顶点50-53作为定义多个映射的多边形61-69的顶点54-57映射到表面28，如图4所示。

参考图3、4和5，每个正方形41-49的顶点50-53映射到表面28，使得映射的多边形61-69与正方形41-49之间一一对应。结果，正方形41-49的每一个对应于不同于剩余正方形41-49所对应的多边形61-69的多边形61-69之一。因此，顶点50-53与顶点54-57之间一一对应，使得顶点50映射到顶点54，顶点51映射到顶点55，顶点52映射到顶点56，顶点53映射到顶点57。不过，表面28的形状导致每个映射的多边形61-69的顶点54-57之间的空间关系不同于相应的正方形41-49的顶点50-53之间的初始空间关系。这被称为图像失真，是由表面28的非平面性，如弯曲，造成的，这给顶点54-57提供了与顶点50-53的相对空间位置偏移的相对空间位置。因为每一对顶点54-57是共线的，前述的顶点54-57的相对位置的偏移导致每个正方形41-49映射到的表面28的区域具有四边形的形状。在本实例中，映射的多边形61-69是四边形61-69。然而，应当理解的是多边形61-69可以是任意多边形的形状。前述的偏移是从校准过程导出的，所述校准过程在共同未决的美国专利号(未分配)，代理人案号为VP247中进行了描述。

一旦得到顶点54-57的偏移值，与对应的正方形41-49中的像素23的初始相对位置相比较，确定与任意给定的四边形61-69相关的像素23的偏移。这可以采用众所周知的技术来实现，如George Wolberg在“Digital Image Warping”，IEEE Society Press Monograph，1990中描述的那样。具体地，通过解一组与其相关的顶点54-57的线性方程，为每个四边形61-69确定失真矩阵，方程如下所示：

(1)a₁₁＝x₁-x₀+a₁₃x₁

(2)a₂₁＝x₃-x₀+a₂₃x₃

(3)a₃₁＝x₀

(4)a₁₂＝y₁-y₀+a₁₃y₁

(5)a₂₂＝y₃-y₀+a₂₃y₃

(6)a₃₂＝y₀

其中，x₀和y₀是顶点54的x和y坐标，x₁和y₁是顶点55的x和y坐标，x₂和y₂是顶点57的x和y坐标，x₃和y₃是顶点56的x和y坐标。值a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂和a₃₃是矩阵的系数，该矩阵的系数定义了与其相关的四边形61-69之一中的像素23的相对空间位置，矩阵M如下所示：

$M=\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}$

在利用方程(1)-(6)得到系数a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂和a₃₃的矩阵后，利用标准技术得到逆矩阵M^-1。

参考图2和4，当对每个四边形61-69得到矩阵M的逆矩阵M^-1时，得到多个逆四边形31-39，每个逆四边形是与四边形61-69相关的图像的每个子部分的像素23的逆排列或映射。具体来说，与四边形31相关的图像子部分对应于与正方形41相关的图像，并和与四边形61相关的图像子部分的映射相比进行了逆映射。与四边形32相关的图像子部分对应于与正方形42相关的图像的子部分，并和与四边形62相关的图像子部分的映射相比进行了逆映射。与四边形33相关的图像子部分对应于与正方形43相关的图像的子部分，并和与四边形63相关的图像子部分的映射相比进行了逆映射。与四边形34相关的图像子部分对应于与正方形44相关的图像的子部分，并和与四边形64相关的图像子部分的映射相比进行了逆映射。与四边形35相关的图像子部分对应于与正方形45相关的图像的子部分，并和与四边形65相关的图像子部分的映射相比进行了逆映射。与四边形36相关的图像子部分对应于与正方形46相关的图像的子部分，并和与四边形66相关的图像子部分的映射相比进行了逆映射。与四边形37相关的图像子部分对应于与正方形47相关的图像的子部分，并和与四边形67相关的图像子部分的映射相比进行了逆映射。与四边形38相关的图像子部分对应于与正方形48相关的图像的子部分，并和与四边形68相关的图像子部分的映射相比进行了逆映射。与四边形39相关的图像子部分对应于与正方形49相关的图像的子部分，并和与四边形69相关的图像子部分的映射相比进行了逆映射。

对于每个单元31-39由矩阵M^-1所表示的要呈现的图像的子部分的逆映射存储在存储器16中，如图1所示。照这样，当图像呈现设备12在区域20中呈现图像时，处理器14对存储器16中的计算机可读指令和包含在其中构成将要呈现在区域20中的图像的数据进行操作，并且根据定义四边形31-39的信息映射图像。按照这种方式，图像被投影到表面28上，射到其上的图像的每个子部分具有像素23的映射，与四边形61-69定义的映射相比对像素23进行了反转。表面28造成的失真消除或基本上减弱了，根据矩阵M^-1映射每个四边形31-39造成的失真。应当注意的是在区域20中呈现的图像可以包括视频图像流，其每一帧都被映射到表面28上使得相应地被预失真，以便表面28的非平面性基本上全部消除或至少消除一些存在的失真。

参考图6，根据可选实施例，可以通过将相邻的转化了的四边形31-39的边拟合到一个或多个位于四边形31-39的边85之间的线性函数81、82、83和84来改进在区域20中呈现的图像中的失真。具体地，采用最小二乘拟合方法，可以改变与四边形31相关的图像的子部分，以改变其像素间的空间关系以便四边形的边向函数81移动并中止于函数81。类似地，可以改变与四边形32相关的图像的子部分，以改变其的像素间的空间关系以便四边形的边向函数81移动并中止于函数81。类似地，可以改变与四边形31相关的图像的子部分，以改变其像素间的空间关系以便四边形的边向函数84移动，并且可以改变与四边形34相关的图像的子部分，以改变其像素间的空间关系以便四边形的边向函数84移动。可以改变与四边形32相关的图像的子部分，以改变其像素间的空间关系，这样四边形的边向函数82移动，并且可以改变与四边形35相关的图像的子部分，以改变其像素间的空间关系以便四边形的边向函数82移动。重复这个过程直到与相邻的四边形31-39相关的图像的子部分之间存在的间隙被消除或至少被减小。按照这种方式，在最小化像素23或单元31-39相对于表面的坐标40之间的位置的变化时，四边形31-39的边85拟合到线性函数。

参考图1和4，根据第二可选实施例，可以通过将多边形41-49的每一个与具有非平面性(例如曲率半径)最小变化的表面28的区域相关来改进图像的质量。此外，虽然讨论的是九个多边形41-49，但是可以将图像映射到任意数量和形状的多边形41-49。与任意给定单元相关的像素的数量是表面28的曲率半径的函数，应理解的是曲率半径越大每个多边形41-49的像素23越少；因此，在位于非平面表面28和用户18之间的区域20中呈现图像所需要的多边形41-49的数量越大。不过，根据本发明的第三可选实施例，可能使像素130传播穿过挡风玻璃24在观察区域120中呈现图像，这样非平面表面28位于区域120和用户18之间，如图7所示。

参考图8，在本发明的第四可选实施例中，系统110可以安装在用户18的头部上方，例如汽车的车顶124中。本发明包括诸如投影仪的图像呈现设备112，其与处理器14进行数据通信。存储器116与处理器114进行数据通信。图像呈现设备112使得用户18能够在视觉上感知由此在位于非平面表面28和用户之间的观察区域20中产生的图像。为此，图像呈现设备112将要在区域120中呈现的图像的像素126投影到表面128，其中相同的像素从表面28反射并在区域20中呈现图像。不过，可能使像素230传播穿过挡风玻璃24在观察区域220中呈现图像，这样非平面表面28位于区域220和用户18之间。

应当认为这些实例是说明性的而非限制性的。例如，本讨论涉及将图像通过非平面表面进行投影并且从非平面表面反射图像。应当理解的是本发明可以应用到在非平面表面上呈现图像，例如在作为电子仪表板使用的曲面液晶显示器上呈现图像的情况。此外，可预见本发明的其他实现方式，例如通过实施三次滤波(cubic filter)采用抗锯齿技术，以最小化高分辨率信号中的表现为较低分辨率信号的噪声。因此，本发明不应被限于此处给出的细节，而可以在随附的权利要求的范围内进行修改。

Claims (20)

1.一种呈现射在非平面表面上的图像的方法，所述方法包括：

将所述图像作为多个间隔开的平面单元映射到所述非平面表面的表面坐标，所述多个平面单元的每一个包括所述图像的多个像素；以及

在最小化所述多个平面单元的每一个相对于所述表面坐标之间的距离的变化时，最小化所述多个平面单元之间的距离；以及

将所述多个平面单元射到(impinge upon)所述非平面表面上。

2.权利要求1的方法，其中映射进一步包括将所述图像的像素与多个多边形相关联，每个多边形对应于所述多个间隔开的平面单元之一且包括多个具有初始空间关系的顶点，并将所述顶点映射到所述非平面表面的坐标，产生映射的多边形，并从所述映射的多边形的顶点生成失真系数的矩阵，所述失真系数定义了所述非平面表面上的所述像素之间的相对空间关系；从所述失真矩阵生成具有多个与其相关的变换系数的逆矩阵。

3.权利要求1的方法，其中最小化进一步包括采用最小二乘拟合将所述多个平面单元的相邻平面单元的边拟合到位于所述边之间的线性函数。

4.权利要求2的方法，其中映射进一步包括通过三次滤波器对所述失真系数进行滤波以最小化噪声的存在。

5.权利要求1的方法，其中所述图像包括多个像素，每个像素具有相对于所述图像的剩余像素的初始相对位置，并且映射进一步包括得到校准矩阵，该校准矩阵定义了像素的第一和第二子组之间在所述初始相对位置中的偏移并产生所述校准矩阵的逆，定义了具有多个相关的变换系数的逆矩阵，射到进一步包括定义由所述变换系数定义的所述多个平面单元的每一个的所述像素之间的相对空间关系。

6.权利要求1的方法，进一步包括将所述图像射到所述非平面表面上且与所述非平面表面间隔开呈现所述图像。

7.权利要求1的方法，进一步包括将所述图像射到所述非平面表面上且在所述非平面表面上呈现所述图像。

8.权利要求1的方法，进一步包括透射图像通过所述非平面表面。

9.权利要求1的方法，进一步包括从所述非平面表面反射所述图像。

10.一种与非平面表面间隔开呈现图像的方法，所述方法包括：

将所述图像的像素与多个多边形相关联，每个多边形包括具有初始空间关系的多个顶点；

将所述顶点映射到所述非平面表面的坐标，生成映射的多边形；

从所述映射的多边形的顶点产生失真系数的矩阵，所述失真系数定义了所述非平面表面上的所述像素之间的相对空间关系；

从所述失真矩阵生成具有多个与其相关的变换系数的逆矩阵；

将所述映射的多边形的像素射到所述非平面表面上，所述映射的多边形的每一个的所述像素之间的相对空间关系由所述变换系数定义，生成转化了的多边形。

11.权利要求10的方法，进一步包括采用最小二乘拟合将相邻的转化了的多边形的边拟合到位于所述边之间的线性函数。

12.权利要求10的方法，其中相关联进一步包括将所述图像的像素与多个正方形相关联，并且映射进一步包括将所述顶点映射到所述非平面表面的坐标，以便将所述多个正方形的每一个的像素与四边形相关联。

13.权利要求10的方法，通过三次滤波器对所述失真系数进行滤波以最小化噪声的存在。

14.权利要求10的方法，其中射到进一步包括从所述非平面表面反射所述图像，以在与所述非平面表面间隔开的区域中呈现所述图像。

15.权利要求10的方法，其中相关联进一步包括将所述图像的像素与多个正方形相关联，并且映射进一步包括将所述顶点映射到所述非平面表面的坐标，以便将所述多个正方形的每一个的像素与四边形相关联，所述非平面表面具有与其相关的曲率半径且所述四边形被映射到所述非平面表面的区域，与所述四边形的每一个相关的所述图像的一部分将射到所述非平面表面上，其在所述部分上具有所述曲率半径的最小变化，射到(impinging)进一步包括通过所述变换系数定义所述四边形的每一个的所述像素之间的相对空间关系，生成转化了的四边形，并且进一步包括采用最小二乘拟合将相邻的转化了的四边形的边拟合到位于所述边之间的线性函数。

16.一种与非平面表面间隔开呈现图像的系统，所述系统包括：

图像呈现设备；

处理器，其与所述图像呈现设备进行数据通信；

存储器，其与所述处理器进行数据通信，所述存储器存储由所述处理器执行的计算机可读指令，所述计算机可读指令包括使所述图像的像素与多个多边形相关联的代码，每个多边形包括具有初始空间关系的多个顶点，将所述顶点映射到所述非平面表面的坐标生成映射的多边形的代码，从所述映射的多边形的顶点产生失真系数的矩阵的代码，其中所述失真系数定义所述非平面表面上的所述像素之间的相对空间关系，从所述失真矩阵生成具有多个与其相关的变换系数的逆矩阵的代码，以及将所述映射的多边形的像素射到所述非平面表面上的代码，其中所述映射的多边形的每一个的所述像素之间的相对空间关系由所述变换系数定义，生成转化了的多边形。

17.权利要求16的系统，其中所述计算机可读指令进一步包括采用最小二乘拟合将相邻的转化了的多边形的边拟合到位于所述边之间的线性函数的代码。

18.权利要求16的系统，其中用于相关联的所述代码进一步包括将所述图像的像素与多个正方形相关联的第一子程序，并且用于映射的所述代码进一步包括将所述顶点映射到所述非平面表面的坐标以便将所述多个正方形的每一个的像素与四边形相关联的第二子程序。

19.权利要求16的系统，进一步包括三次滤波器，用于对所述失真系数进行滤波，以最小化噪声的存在。

20.权利要求16的系统，其中用于相关联的所述代码进一步包括将所述图像的像素与多个正方形相关联的第一子程序，用于映射的所述代码进一步包括将所述顶点映射到所述非平面表面的坐标以便将所述多个正方形的每一个的像素与四边形相关的第二子程序，其中非平面表面具有与其相关的曲率半径且所述四边形被映射到所述非平面表面的区域，与所述四边形的每一个相关的所述图像的一部分射到所述非平面表面上，其在所述部分具有所述曲率半径的最小变化，用于射到的所述代码进一步包括用所述变换系数定义所述四边形的每一个的所述像素之间的相对空间关系、生成转化了的四边形的第三子程序，并且所述计算机可读指令进一步包括采用最小二乘拟合将相邻的转化了的四边形的边拟合到位于所述边之间的线性函数的代码。

Images