CN104246795A - 用于超广角透镜图像的自适应透视修正的方法和系统 - Google Patents

Abstract

公开了一种用于修正通过超广角(UWA)透镜获取到的图像的方法，其中整个图像经由实质上改善透视却保持所有图像信息的变换来映射。额外的局部自适应变换可被施加到图像中的关注区域以完全恢复透视。这个去扭曲方案允许图像的灵活操作而同时没有内容损失。

Description

用于超广角透镜图像的自适应透视修正的方法和系统

技术领域

本文中描述的实施例总体涉及电子图像和视频处理，并且更特别地，涉及修正由广角透镜严重扭曲的图像。

背景技术

广角透镜被通常用在相机和其它其中需要或优选大视角的图像和视频捕捉设备中。也存在所谓的超广角(UMA)透镜，其具有高达或甚至超过180°的视场(FOV)。鱼眼透镜是示例性的UWA，其可覆盖高达180°(2π球面度)的角视场。因此，具有背靠背地放置的并且面向相反方向的两个鱼眼透镜原则上覆盖360°的周围环境视野。

配备有UWA透镜的图像捕捉系统具有许多有用的应用。示例是监督和安保监视相机、视频会议系统、专业照相机、和车辆相机系统。在消极方面，这些透镜呈现了显著量的扭曲，这引起了多个挑战。例如，典型的鱼眼透镜的输出正常地为：其中物体位于真实世界的3D视觉熟知的欧几里得(Euclidian)空间的二维(2D)圆形(对于一般广角透镜为椭圆形)映射。不可避免地，水平线和竖直线会看起来歪斜并且出现曲线，这对于远离透镜中心的物体而言更加地明显。更靠近透镜的物体的相对尺寸看起来夸张地更大，使得物体的不同部分看起来不成比例。这些效果一般被称为鱼眼扭曲，其使得难于判断距离和物体关系。这与通过捕捉平面视图来保持场景透视和线性的标准相机透镜形成对比。此外，为了实现更大角度的FOV，制造商可能使用多个透镜的结合。这还可能带来光学和几何扭曲。

本领域中已知多个技术来解决鱼眼扭曲。由鱼眼透镜产生的曲线图像可被重映射到传统直线显示器上。在来自OmniView和IPIX公司的一系列现有技术专利中，全视野球体的一部分被选择并且用于修正鱼眼扭曲。尽管这个方法提供了有力的工具来使视野多达360°，但是每次只有被选部分是可用的。图像的剩余部分被保存，可在另外的选择时可用。

美国专利7,961,980B2利用与圆形鱼眼映射关联的圆柱投影。如众所周知的，圆柱投影伸展东-西距离。特别地，伸展在极处发散到无穷大。这个解决方案在当极区域可被砍掉时对于创建全景图像是有用的，但又意味着信息的损失。尽管可以采取不同的定向圆柱体来建立多个图像，但是这始终没有提供单一的零内容损失(ZCL)图像，即包含来自原始UWA捕捉到的场景的所有内容的、没有信息损失的图像。事实上，物理上不可能通过实施任何变换来在同一时刻对图像的所有部分实现全透视修正。

因此，现有技术的主要弊端是与物体和其相对定位有关的信息和图像内容的损失。在特定应用(例如安保和监视相机)中，需要能够选择关注区域并且修正扭曲，并且还能够总是保留图像的全部内容。本范明公开了中间方法，借此，整个UWA透镜捕捉到的图像的所有像素的图像数据被保持，以防止在将扭曲修正到差不多理论上允许的特定水平的映射之后信息的任何损失。此外，局部自适应变换可被施加到关注区域，其意图在于部分恢复由UWA透镜造成的扭曲。部分图像恢复具有将物体和其关系的合理指示给到周围环境的目的，而非严格的全图像透视修正。这个解决方案将对于视频监视应用特别有用，其中监督的全景必须可用于每个图像帧，但还可以变换关注的目标。

发明内容

本文中描述的实施例在一个方面提供了一种用于变换通过至少一个超广角(UWA)透镜捕捉到的输入图像的方法，所述UWA透镜以将3D物体空间映射到显示输入图像的平面上的对应变换为特征，所述方法包括：

(a)获得通过至少一个UWA透镜捕捉到的输入图像数据；

(b)构造完全包围至少一个UWA透镜的视场的2D表面包络(envelope)；

(c)构造将输出图像平面映射到表面包络的包络变换；

(d)连结UWA透镜映射(map)和包络变换以获得零内容损失变换；并且

(e)将零内容损失变换施加到输入图像数据以获得输出图像；

以便图像透视在输出图像中得到基本上改善。

本文中描述的实施例在另一个方面提供了一种用于变换通过至少一个超广角(UWA)透镜捕捉到的图像的电子处理器，所述UWA透镜以将3D物体空间映射到显示输入图像的平面上的对应变换为特征，所述处理器包括：

(a)用于获得通过至少一个UWA透镜捕捉到的输入图像数据的装置；

(b)用于选择包含至少一个UWA透镜的视场的2D表面包络的装置；

(c)用于构造将输出图像平面映射到表面包络上的包络变换的装置；

(d)用于连结UWA透镜映射和包络变换以获得零内容损失变换的装置；以及

(b)用于将零内容损失变换施加到输入图像数据以获得输出图像的装置；

以便图像透视在输出图像中得到基本上改善。

附图说明

为了更好地理解本文中描述的实施例和/或相关实施方式并且更清楚地示出它们如何被实现，现在只经由示例方式来对示出至少一个示例性实施例和/或相关实施方式的附图进行参考，在附图中：

图1说明用于将零内容损失的变换施加到UWA透镜获取到的图像的实施方法；

图2说明公开中使用的传统笛卡尔(Cartesian)和球坐标系和规定(convention)；

图3a和图3b分别说明对于180°UWA透镜的示例性球体FOV包络和椭圆体FOV包络；

图4a和图4b分别说明对于270°UWA透镜的示例性球体FOV包络和椭圆体FOV包络；

图5a说明对于多个网格点使用半球体FOV包络的圆柱映射，并且图5b示出会出现在输入图像上的对应网格；

图6说明通过作为监视设备的一部分的180°UWA透镜获取到的示例性输入图像；

图7说明通过作为监视设备的一部分的270°UWA透镜获取到的示例性输入图像；

图8说明使用Lambert圆柱投影来向图6的输入图像施加的零内容损失变换的结果；

图9说明使用Zenith线性圆柱映射来向图6的输入图像施加的零内容损失变换的结果；

图10说明使用Mercator圆柱映射来向图6的输入图像施加的零内容损失变换的结果；

图11说明覆盖FOV>180°的椭圆体包络；

图12说明映射FOV包络的边界；

图13说明从输出图像平面到FOV包络的中心像素列的映射；

图14说明通过来自一行输出图像的两个边界点和一个内部点的映射而唯一限定的平面；

图15说明用于在输出图像上的一组点的270°UWA透镜的示例性包络变换；

图16说明用于在输出图像上的一组点的180°UWA透镜的示例性包络变换；

图17说明使用示例性ZCL映射来向图6的输入图像施加的零内容损失变换的结果；

图18说明使用示例性ZCL映射来向图7的输入图像施加的零内容损失转换的结果；

图19说明具有270°UWA透镜的覆盖包络映射的球体包络；

图20说明来自UWA透镜的模拟图像，其中捕捉到的图像是椭圆形的；

图21a说明180°UWA透镜的ZCL包络映射，以及特定关注区域的透视包络映射；

图21b说明结合了图21a的ZCL和透视包络映射的拼接(stitched)包络映射；

图22是与图6中本质相同的输入图像，图像中具有两个被选关注区域；

图23说明本质如图17的零内容损失变换的结果，示出了两个被选关注区域；

图24说明在ZCL变换内的局部透视变换的结果，用于修正下关注区域；

图25说明在ZCL变换内的局部透视变换的结果，用于除了右下关注区域之外还修正左上关注区域；

图26a说明为透视而修正的、被选择为图像中的中间房间的、示例性大关注区域(90°的FOV)；

图26b说明用于修正透视并缩放大的被选区域的局部透视变换的结果；

图26c说明用于修正两侧房间的透视的局部透视变换的结果；

图26d说明两个之前的经透视修正的区域的结合的结果；

图27说明四个经局部透视修正的房间(每个对应于90°FOV)的结果，如从360°视野提取的那样；

图28说明其中有响应于活动而选择关注区域的示例性输入图像；

图29说明除了缩放和旋转变换之外、用于(在ZCL映射内)修正透视的局部透视变换的结果，以为进一步视频分析而准备图像。

可以理解的是，为了说明的简洁和清楚，图示中示出的元件未必以比例绘制。例如，为了清楚起见，一些元件的尺寸可以相对于其它元件而被扩大。此外，在认为是适当之处，参考标号可以在图示中重复以指示对应的或类似的元件。

具体实施方式

可以理解的是，大量特定细节被陈述以提供本文中描述的示例性实施例的彻底理解。

然而，本领域技术人员将理解到，本文中描述的实施例和/或实施方式可以在没有这些特定细节的情况下被实行。在其它实例中，没有详细描述已知方法、过程和组件，以免使本文中描述的实施例和/或实施方式模糊不清。此外，这种描述不应被认为是限制本文中描述的实施例的范围，而是看作描述了本文中描述的不同实施例和/或实施方式的结构和操作。

很好理解的是，通过UWA透镜获取到的图像无法在其被完美修正透视扭曲的同时而以其全部展开(unfold)在正常(通常矩形)显示器上。如所提及的，现有技术解决方案必须牺牲图像内容的(也许被认为是较不重要的)部分以为了修正其余部分。根据本发明的实施例，在整个UWA透镜获取到的图像经由提供高度修正却仍保持全部图像信息的变换而被展开的情况下提供中间解决方案。如果需要的话，局部化的和内容自适应修正还可被施加到关键的关注区域，其旨在部分恢复由UWA透镜严重扭曲或损失的一些透视。这种具有可能局部自适应透视修正的全视野变换被称为零内容损失(Zero-Content-Loss，ZCL)修正。部分恢复旨在给出物体和其关系的合理指示，而不是在内容损失是不可避免的情况下的严格透视修正。恢复过程还可被视为将原始扭曲重新分配给较不重要的区域。

为了描述实施例，主要地示例性180°透镜将用作UWA透镜来描述该方法。尽管应理解到，这个方法总体适于任何UWA透镜或覆盖高达360°的视场的透镜的结合。特别地，实施方法适于定制未必以圆形成像、而可以以椭圆形或卵形成像的UWA透镜，例如来自ImmerVision的Panomorph透镜。

图1说明根据其实现零内容损失变换的方法。图像由配备有UWA透镜的捕捉设备捕捉100，该捕捉到的图像被称为输入图像。数字捕捉设备通常还配备有图像传感器例如CCD或CMOS，通过其可以得到包括每个和每一图像像素的空间和颜色坐标的输入图像数据110。在没有任何透视修正的情况中，输入图像通常被视作在椭圆形(特定情况的圆形)图像边界内。这还被称为透镜映射，借此来自真实世界三维(3D)物体空间的视图被映射到平坦的二维(2D)平面视图上。如由透镜制造商提供的或数学建模的那样，透镜映射变换需要被识别120。可替选地，更准确的和普遍的映射可以基于经验地得到。接下来，2D表面被选择130以完全包围3D中的透镜的FOV。这个覆盖表面还被称为FOV包络(将在后面更详细地描述)。变换140随后被构造为：将输出图像平面映射到其中考虑每个像素的FOV包络表面上，并且是以针对透视而基本上改善了输出图像170的方式。因此，在视图表面上显示的输出图像以改善透视扭曲而同时保留所有图像内容的方式被变换(由此的ZCL变换)。这通过连结透镜映射和FOV包络变换150、并将结果施加到输入图像160来实现。

选择FOV包络并且将输出图像映射到FOV包络的表面确定了透视变换的区域和量。因此，如果需要对于变换的局部透视调整180，则可重新选择包络130并且重新开始以相应地修改显示输出170。可替选地，不同的包络变换140可适用于相同的包络(不需要去改变130)来微调输出图像。局部调整可经由操作员通过选择需要被修正的一个或多个关注区域而手动执行，或者可以响应于捕捉到的图像的变化而使其自动化。例如，安保相机可能配备有运动监视器。一旦检测到移动，则移动物体(例如人脸)周围的区域可被选择为关注区域以用于局部调整180。额外的处理(例如缩小/放大、转动和反射操作)也可被施加给被选区域。这助于用于后处理的图像分析技术(例如脸部识别)。

具有标准非UWA透镜(例如35mm透镜)的标准相机(SLR型)的成像可使用理想针孔相机模型来描述。虽然真实相机更加复杂，但这个简单模型足够下面描述之用。具有坐标(x，y，z)的3D真实世界空间中的点被映射到由以下给出的图像(u，v)中的点：

$u=f\frac{x}{z},v=f\frac{y}{z}---\left(1\right)$

其中f是透镜焦距，并且假设光轴沿着z轴。方程(1)被称为标准透镜的透镜映射方程；其将真实世界的点映射到捕捉到的图像中的点。图像可被视作位于从透镜中心沿光轴的距离f处。标准透镜变换保留处于同一z平面(即在某个z坐标处垂直于z轴的平面)中的物体的相对距离和角度，因此透视被保持。结果图像是矩形。此外，矩形坐标是用于描述非UWA透镜成像的自然坐标系。与此形成对比，UWA透镜最好使用球/极坐标系来描述。如图2所示，令(r，θ，φ)为3D真实世界空间中的点的球坐标，(其矩形坐标为(x，y，z))。位于原点并且以+z方向向上看的UWA透镜200将3D点映射到由以下给出的图像平面(未示出)中的点(r′，φ′)：

$r^{\′}=F_r^L(\mathrm{\θ},\mathrm{\φ}),{\mathrm{\φ}}^{\′}=F_{\mathrm{\θ}}^L(\mathrm{\θ},\mathrm{\φ})---\left(2\right)$

其中上标L指的是“透镜”并且(r′，φ′)是图像中的极坐标，与矩形坐标关系为x′＝r′cosφ′和y′＝r′sinφ′。根据矩形坐标(2)可被写为：

$\begin{array}{c}u=F_u^L(x,y,z)=F_r^L(\mathrm{\θ},\mathrm{\φ})\cos \left(F_{\mathrm{\θ}}^L(\mathrm{\θ},\mathrm{\φ})\right)\\ v=F_v^L(x,y,z)=F_r^L(\mathrm{\θ},\mathrm{\φ})\sin \left(F_{\mathrm{\θ}}^L(\mathrm{\θ},\mathrm{\φ})\right)\\ \mathrm{\θ}(x,y,z)=\arccos \frac{z}{\sqrt{x^2+y^2+z^2}},\mathrm{\φ}(x,y,z)=\arctan \left(\frac{y}{x}\right)\end{array}---\left(3\right)$

理解到，反三角运算需要考虑象限操纵(handle)x＝0。函数大体上与径向坐标r无关；特别地它们还适用于形成椭圆形或卵形图像的透镜。与径向无关的UWA透镜将被称为锥形UWA透镜。为了理想鱼眼的特定情况，这些方程简化为：

r′＝αθ，φ′＝φ，α为常量  (4)

方程(2)至(4)分别被称为锥形UWA透镜和鱼眼透镜映射方程。映射遵从方程(2)或(4)不在固定平面上保持相对距离和角度，而导致了更加扭曲的图像。例如，对于方程(4)，以固定的θ而在锥体上的所有点映射到图像平面中的圆周上。结果得到的鱼眼图像是与矩形形成对比的圆形。

弥补严重扭曲的UWA透镜的益处是其大得多的FOV。鱼眼视场被定义为可被捕获的最大角θ的两倍，这给出了来自透镜中心的锥体：

鱼眼FOV＝2θ_max  (5)

对于180度的鱼眼，θ_max＝90，其中透镜可捕捉全部的半球视场。即使具有广角变化的标准透镜也通常在水平上被限制为＜＝120°并且竖直上小得多。我们通过以下来定义锥形UWA透镜FOV：

这个定义暗示θ_max可以取决于φ，并且取最小值。对于最实际情况，θ_max与φ无关，并且方程(5)还可被认作锥形UWA透镜FOV。

理解FOV对于实现零内容损失修正是重要的。为了达到这个程度，如关联于图2的坐标系提及的那样，我们将透镜的FOV包络定义为(嵌入真实世界3D空间中的)完全包围透镜视场的2D表面覆盖。在透镜视场内的、从真实世界(物体空间)中的物点至透镜中心而绘的每条射线(ray)，以唯一点交叉于FOV包络。相反地，在包络上的每个点对应于由透镜捕捉到的唯一射线。FOV包络不是唯一的。通常，对于给定的透镜，存在无穷数量的这样的表面，然而存在为最小的并且具有简单数学描述的基础包络。所有其它包络将是基础包络的连续变换。如果两个包络可连续地变换为彼此，则它们被认为是等同的；等同于基础包络的包络也被称为是等同体。包络的标准球坐标和笛卡尔坐标分别由(r，θ，φ)和(x，y，z)表示，这与用于如图2中的3D真实世界空间的标号相同。对于标准透镜(方程(1))，基础FOV包络将是包含FOV的与光轴垂直的平坦矩形区域。这与在焦距f处的图像平面相同。对于锥形UWA透镜，并且特别是鱼眼透镜，基础FOV包络可被采取为单位半径的球体的表面，其中θ≤θ_max：

锥形-UWA FOV-包络＝{r＝1，0≤θ≤θ_max，0≤φ＜2π}  (7)

对应于真实世界射线的在FOV包络上的每个点在由透镜映射方程确定的捕获图像中具有其位置。给定包络，包络映射(或变换)140可被定义，其结合透镜映射120而导致ZCL变换150。这在下面参照1来描述。

令UWA透镜捕捉到的2D输入图像数据110的坐标为(u，v)。由于(用在数字相机等中的)图像传感器是矩形的，因此这将是具有像素分辨率(宽x长)W₀×H₀的矩形帧，其内包含椭圆形或圆形UWA图像。令扭曲修正后2D图像的坐标为(x_f，y_f)，其中输出图像170假设为像素分辨率W₁×H₁的矩形图像。在大多数情况中，输入和输出分辨率是相同的：W₁×H₁＝W₀×H₀，然而，大体上保持标号从而同样允许分辨率的改变。包络映射140被定义为输出坐标(x_f，y_f)到透镜的基础(或任何等同)FOV包络上的映射((x，y，z)表示在包络上的坐标)：

$\begin{array}{c}x=F_x^C(x_f,y_f)\\ y=F_y^C(x_f,y_f)\\ z=F_z^C(x_f,y_f)\end{array}---\left(8\right)$

球坐标方程的等同集合还可被写为：

$\begin{array}{c}r=F_r^C(x_f,y_f)\\ \mathrm{\θ}=F_{\mathrm{\θ}}^C(x_f,y_f)\\ \mathrm{\φ}=F_{\mathrm{\φ}}^C(x_f,y_f)\end{array}---\left(9\right)$

两个集合以通常方式关联：

$\begin{array}{c}{F}_r^C=\sqrt{{\left(F_x^C\right)}^2+{\left(F_y^C\right)}^2+{\left(F_z^C\right)}^2}\\ F_{\mathrm{\θ}}^C=\arccos \frac{F_z^C}{\sqrt{{\left(F_x^C\right)}^2+{\left(F_y^C\right)}^2+{\left(F_z^C\right)}^2}}\\ F_{\mathrm{\φ}}^C=\arctan \left(\frac{F_y^C}{F_x^C}\right)\end{array},---\left(10\right)$

映射(8)和(9)也被称为包络覆盖；因此在本文中使用上标“C”。在FOV包络上的每个3D点在输出2D图像中都具有映射到其上的一个点。此外，在包络上的每个点将在(x_f，y_f)中具有唯一映射点。通过FOV包络的定义，这确保了在捕捉到的图像中看到的每个点还在输出图像中看到，从而提供了无损内容。零内容损失(ZCL)变换150通过将包络映射140与透镜映射120连结来得到。这提供了在包含所有原始内容的输入和输出图像之间的映射，以用于确定在(x_f，y_f)处的像素值。用于ZCL变换的方程采用以下形式：

$\begin{array}{c}u=F_u^L(F_x^C(x_f,y_f),F_y^C(x_f,y_f),F_z^C(x_f,y_f))\≡F_u^{\mathrm{ZCL}}(x_f,y_f)\\ v=F_v^L(F_x^C(x_f,y_f),F_y^C(x_f,y_f),F_z^C(x_f,y_f))\≡F_v^{\mathrm{ZCL}}(x_f,y_f)\end{array}---\left(11\right)$

类似方式可被写在球体/极坐标中。

零内容损失变换被设计为恢复在关注区域中的透视的特定水平。因此，也可以被称为零内容损失修正。如上面提到的，这不是严格的透视修正(其理论上对于全视野是不可能的)而是提供物体的空间位置的改善意识和更佳视野体验的近似。上面帧设置有修改修正的两个方式：

a)经由开始包络的连续变换来选择不同的基础等同FOV包络130。

b)修改包络变换140。注意到透镜映射120由透镜来确定并且不是可调整的变换。

还应当注意到：a)还包括在包络变换中的改变，然而b)可以在没有a)的情况下实现。通过合适地修改包络和其变换，可以得到不同类型的修正。

根据一个实施例，本方法中的ZCL修正具有适应图像内容以用于特定区域中的局部透视的进一步修正和其它变换的能力。在下文中，将描述用于构造局部透视调整的系统方法。具有这种属性的修正将被称为局部透视自适应(LPA)。优选地，FOV包络和包络变换以参数化的方式建立，使得它们可通过改变特定参数来快速修改。这可经常通过以其数学属性易于操控的变换和包络开始来实现。一旦ZCL修正以方程的形式或者以网格点集合而得到，其就可以实时速率被施加给图像或视频信号。例如，如美国专利7,324,706中描述的那样的高效图像扭曲硬件可被采用以实现此。

为了说明实施方法，180°锥形UWA透镜被描述为示例性UWA透镜，其中透镜映射通过将锥形UWA透镜限制为鱼眼透镜而简化。对于180°锥形UWA透镜，具有θ_max＝90的基础FOV包络是半球体，如图3a中示出的那样。图3a与图2中引入的坐标规定是一致的，即透镜位于原点(0，0，0)并且沿着+z轴(光轴)向外看。角度θ从+z轴测量并且角度φ从+x轴顺时针测量。等同的FOV包络可以为图3b示出的具有更长y半轴的半椭圆体。具有任意半轴长度的任何半椭圆体都形成等同的FOV包络。事实上归纳为球体的椭圆体与球体相比将提供不同的ZCL修正。在另一示例中，图4a和图4b示出用于具有＞180°(如描述的具体为270°)FOV的UWA透镜的两个等同FOV包络(球体和椭圆体)。

已经识别出FOV包络，下一步是构造包络变换140，其是输出图像到包络上的映射。在ZCL帧内的示例性说明中，良好的开始点要考虑：到制图师使用的球状物上的标准投影，以建立扁平2D映射。特别地，最相关的是圆柱投影，其数学是可容易理解的。如上描述的那样，圆柱形变换的极发散问题使得圆柱投影不较少用于于构建ZCL变换。不考虑限制，可以翔实的了解用于经由圆柱投影而建立的ZCL变换的方程。

存在各种类型的圆柱投影。Lambert投影是一个示例，在此处使用而没有生成损失。参照图3a，圆柱体具有其沿y轴的轴线，并且通过卷起在图3a中的基础包络周围的输出图像(分辨率为W₁×H₁的矩形)来形成。极处于(r＝1，θ＝π/2，φ＝π/2)和(r＝1，θ＝π/2，φ＝-π/2)。从图像坐标(x_f，y_f)到FOV包络的圆柱映射由以下给出：

$\begin{array}{c}{\mathrm{\φ}}_{\mathrm{xz}}=\mathrm{\π}(1-\frac{x_f}{W_1})\≡\mathrm{\π}{\stackrel{\‾}{x}}_f\\ \cos {\mathrm{\θ}}_y=(1-2\frac{y_f}{H_1})\≡{\stackrel{\‾}{y}}_f\end{array}---\left(12\right)$

其中(x_f，y_f)的范围是[0，W₁]×[0，H₁]，即输出图像，θ_y是相对于+y轴的极(顶点)角度，并且φ_xz是具有朝+z轴顺时针方向的、从+x轴测量的xz平面中的方位角度。使用(θ_y，φ_xz)的选择由圆柱体相对于包络的定向来规定。这可通过使用以下来被转换为标准坐标(即使在基础包络上的r＝1，其经由r＝R的相关也是明显示出的，这在当修改包络时有用)：

y＝Rcosθ_y

$R_{\mathrm{xz}}\≡\sqrt{R^2-y^2}$       (13)

x＝R_xzcosφ_xz＝Rsinθ_ycosφ_xz

z＝R_xzsinφ_xz＝Rsinθ_ysinφ_xz

转换为标准球坐标：

r＝R

$\begin{array}{c}\mathrm{\θ}=\arccos \left(\frac{z}{R}\right)\\ \mathrm{\φ}=\arctan \left(\frac{y}{x}\right)\end{array}---\left(14\right)$

应理解到，反正切需要考虑象限并且操纵x＝0。方程(12)、(13)、(14)都基于圆柱投影而给出相同包络变换。在图5a中针对在输出图像上的给出的点集合说明这个变换。为了计算最后零内容损失修正，接下来我们使用映射方程(3)和(4)来将包络坐标映射到输入图像上。对于180°鱼眼透镜，结合(13)和(14)给出：

$\begin{array}{c}u=\mathrm{\α}\arccos \left(\sin {\mathrm{\θ}}_y\sin {\mathrm{\φ}}_{\mathrm{xz}}\right)\frac{\sin {\mathrm{\θ}}_y\cos {\mathrm{\φ}}_{\mathrm{xz}}}{\sqrt{{\cos }^2{\mathrm{\θ}}_y+{\sin }^2{\mathrm{\θ}}_y{\cos }^2{\mathrm{\φ}}_{\mathrm{xz}}}}\\ v=\mathrm{\α}\arccos \left(\sin {\mathrm{\θ}}_y\sin {\mathrm{\φ}}_{\mathrm{xz}}\right)\frac{\cos {\mathrm{\θ}}_y}{\sqrt{{\cos }^2{\mathrm{\θ}}_y+{\sin }^2{\mathrm{\θ}}_y{\cos }^2{\mathrm{\φ}}_{\mathrm{xz}}}}\\ \mathrm{\α}=\frac{R_I}{{\mathrm{\θ}}_{\max }}\end{array}---\left(15\right)$

其中R_I是由透镜捕捉到的圆形鱼眼输入图像的半径；比例因子α的方程是圆形鱼眼的方程。

参照图5b，输入图像空间上的坐标系被当作是标准笛卡尔坐标，其中原点位于中心，右边为+u并且上部为+v。这可被转换为传统计算机坐标。从方程(15)中可看到，分别对应于θ_y＝0和θ_y＝π的线y_f＝0和y_f＝H₁，被映射到输入图像的单个点：(u＝0，v＝+R_I)和(u＝0，v＝-R_I)。这个映射完全破坏朝着输出图像顶部和底部方向的透视；因此这不是非常有用的ZCL修正。通过使用圆柱投影，图5a说明包络变换并且图5b说明对于在输出图像上的网格点集合的最终ZCL变换。

通过在圆柱投影的帧内修改包络变换(12)，可以得到ZCL变换的变型。然而，对于所有这样的情况都遇到相同的“无限伸展”限制。总计为修改在(12)中的第二关系的两个示例性变型，在以下给出：

$\begin{array}{c}{\mathrm{\θ}}_y=\mathrm{\π}\frac{y_f}{H_1}\left(\mathrm{Zenith\; Linear}\right)\\ {\mathrm{\θ}}_y=\frac{\mathrm{\π}}{2}-\arctan \left(\sinh \left(s_f(1-2\frac{y_f}{H_1})\right)\right)\left(\mathrm{Mercator}\right)\end{array}---\left(16\right)$

由于方程(15)基于透镜映射方程并且不改变，所以其继续保持。通过将(15)与新的代替(16)结合，零内容损失变换可被计算。以顶点线性标记的第一变型相比于Lambert投影而改变了y方向上的比例；相同无限伸展在极处仍被看到。第二变型实际上是Mercator圆柱投影，其中s_f是控制竖直伸展的比例因子。这只在限制s_f→∞中变成零内容损失变换，在此情况中存在无限竖直伸展。然而，即使对于小的(s_f≥4)(其可以是为了最实用目的的“零内容损失”)，引入的扭曲也非常严重。

参照图6，根据本发明的实施例，模拟180°锥形UWA(圆形)透镜图像被用作输入图像来说明示例性零内容损失变换如何执行。在图6中描绘的场景包括三个尺寸相似且邻近的房间，其中房间620和房间640与房间600成直角。换句话说，房间前面形成立方体的3个内部面。位于立方体中心的UWA透镜正直接(并且沿着垂直平分线)看着中间房间600。清楚地看到在从中心在径向方向上增加的由透镜引入的扭曲。朝着图像边缘，物体变得更加“弯曲”。然而作为UWA透镜，其确实捕捉了包括天花板660和地板680的各部分的180°半球视野中的一切。通过增加面向相反方向的第二类似透镜，图6的设置可容易地被延伸至360°视野。因此，关于一个鱼眼透镜而所指出的可被延伸至两个鱼眼。在图7中示出的另一模拟图像说明了从270°透镜获取的输入图像，其中整个侧房间720和侧房间740(图像中示出)处于FOV内，尽管如预期那样严重地扭曲。图6和图7都由遵从透镜映射方程(4)的透镜形成。

基于施加给图6的输入图像的圆柱投影(15)，图8至图10示出ZCL变换的结果。采用了美国专利7,324,706的教导，通过在其去扭曲方案中实现给定变换以得到图8至图10的输出。图8基于Lambert投影，图9基于顶点线性投影，并且图10基于方程(16)的Mercator投影(s_f＝2)。在极处的无限伸展是明显的；这特别在其中在中心处的地毯朝着相反方向出现撕裂的地板上可见。换句话说，靠近极的所有透视丢失。使得水平轮廓线还比朝视场的左和右方向扭曲透视的原始UWA透镜图像更加弯曲。例如，这个映射给出了三个房间都沿一条直线坐落的错觉。此外，左右房间的斜的天花板/地板边界在边缘处变得完全水平，而较少扭曲的透视会使这些直线维持斜的。然而，如对于透视所需的那样，竖直轮廓线是伸直的。这些属性使得圆柱投影不那么适合于旨在改善透视的ZCL变换。然而，解决在边缘处的竖直线和斜线确实使这些变换有用于全景，此处顶点角通常被修剪到更小范围。

根据优选实施例，不同包络变换可被构造为避免由圆柱投影导致的上述伪像。通过使用可被修改以调整剩余扭曲的区域和量的参数化包络变换，这个方法针对与具有透视修正的ZCL变换而被特别定制。此外，其包括修正机制以恢复真实局部透视。这个技术支持任何UWA透镜，包括非圆形锥形UWA透镜。在ZCL修正的背景下支持任意透镜是实施方法(如参照图1描述的那样)的直接结果，借此，包络映射与透镜映射分开地定义。

因此，考虑具有可覆盖大于180°FOV的并且不限于捕捉圆形图像的基础包络的锥形UWA透镜。等同包络由图11中示出的椭圆体的部分表面给出：

$\frac{x^2}{r_x^2}+\frac{y^2}{r_y^2}+\frac{z^2}{r_z^2}=1---\left(17\right)$

θ≤θ_max

包络1100是位于θ_max之上的椭圆体的部分。这里r_x，y，z表示半轴长度。椭圆体生成球体并且提供三个参数，半轴长度，以修改包络变换。透镜再次假设被设置在原点处朝+z轴看。r_x和r_y分别在x和y方向上提供缩放比例(scaling)控制，而r_z给出对应于放大的z方向上的缩放比例控制。图11的椭圆体包络1100针对半轴的一般值而绘制。因此，边界θ＝θ_max是椭圆形1150。注意到，大体上边界不位于椭圆体的平面上。边界1150将被称为包络边界或e-边界。

参照图11，包络变换将输出矩形图像W₁×H₁(未示出)映射到椭圆体表面1100上。在构造的第一步中，图像矩形边界被映射到包络的边界1150。沿z轴看去，边界1150看起来似乎是椭圆的(对于球体它变为圆)，如图12中的1250所说明的那样。我们定义叫作边界分割角的角0＜ψ₀＜π/2，其将边界划分成4个区部(注意对于区部θ＝θ_max)：

顶e-边界： $-{\mathrm{\ψ}}_0+\frac{\mathrm{\π}}{2}\≤\mathrm{\φ}\≤{\mathrm{\ψ}}_0+\frac{\mathrm{\π}}{2}$

底e-边界： $-{\mathrm{\ψ}}_0-\frac{\mathrm{\π}}{2}\≤\mathrm{\φ}\≤{\mathrm{\ψ}}_0-\frac{\mathrm{\π}}{2}$

左e-边界： ${\mathrm{\ψ}}_0+\frac{\mathrm{\π}}{2}\≤\mathrm{\φ}\≤-{\mathrm{\ψ}}_0+\frac{3\mathrm{\π}}{2}$

右e-边界： ${\mathrm{\ψ}}_0-\frac{\mathrm{\π}}{2}\≤\mathrm{\φ}\≤-{\mathrm{\ψ}}_0+\frac{\mathrm{\π}}{2}---\left(18\right)$

类似地，存在输出图像(未示出)的4个明显边界，被称为图像边界或i-边界：

顶i-边界：y_f＝0，0≤x_f≤W₁

底i-边界：y_f＝H₁，0≤x_f≤W₁

左i-边界：x_f＝0，0≤y_f≤H₁

右i-边界：x_f＝W₁，0≤y_f≤H₁    (19)

通过找到将x或y带到φ的函数：边界映射，i-边界被映射到对应的e-边界(顶到顶等等)。对于顶和底边界，可使用x的任何单调函数并且对于左和右边界，可使用y的任何单调函数。为了保持关于水平和竖直中心轴的对称(通用于大多数透镜)，优选关于边界中心对称的映射，特别地i-边界中心被映射到e-边界中心。示例性边界映射可由以下线性函数给出：

顶映射： $\mathrm{\φ}={\mathrm{\φ}}_T\left(x_f\right)=\frac{\mathrm{\π}}{2}+{\mathrm{\ψ}}_0-{2\mathrm{\ψ}}_0\frac{x_f}{W_1}$

底映射： $\mathrm{\φ}={\mathrm{\φ}}_B\left(x_f\right)=-\frac{\mathrm{\π}}{2}-{\mathrm{\ψ}}_0+{2\mathrm{\ψ}}_0\frac{x_f}{W_1}$

左映射： $\mathrm{\φ}={\mathrm{\φ}}_L\left(y_f\right)=\frac{\mathrm{\π}}{2}+{\mathrm{\ψ}}_0+2(\frac{\mathrm{\π}}{2}-{\mathrm{\ψ}}_0)\frac{y_f}{H_1}$

右映射： $\mathrm{\φ}={\mathrm{\φ}}_R\left(y_f\right)=\frac{\mathrm{\π}}{2}-{\mathrm{\ψ}}_0-2(\frac{\mathrm{\π}}{2}-{\mathrm{\ψ}}_0)\frac{y_f}{H_1}---\left(20\right)$

对称暗示在映射之间的以下有用关联：

φ_T(x_f)＝-φ_B(x_f)       (21)

φ_L(y_f)＝π-φ_R(y_f)

从上面的映射中，使用以下可计算x-y-z坐标：

x＝r_xyz sinθ_max cosφ

y＝r_xyz sinθ_max sinφ    (22)

z＝r_xyzcosθ_max

其中r_xyz是从中心到e-边界上的点的距离，其不像球体，随极角变化。它可通过将(22)插入到(17)中来计算，成为：

$\begin{array}{c}{r}_{\mathrm{xyz}}=\frac{r_x{r}_y{r}_z}{\sqrt{D_{\mathrm{xyz}}}}\\ D_{\mathrm{xyz}}=r_y^2{r}_z^2{\cos }^2\mathrm{\φ}{\sin }^2{\mathrm{\θ}}_{\max }+r_x^2{r}_z^2{\sin }^2\mathrm{\φ}{\sin }^2{\mathrm{\θ}}_{\max }+r_x^2{r}_z^2{\cos }^2{\mathrm{\θ}}_{\max }\end{array}---\left(23\right)$

方程(22)给出边界1250的包络变换。图12示出圆形点1260和正方形1270的集合在输出图像边界上的边界映射。圆周1260对应于左/右边界上的点，并且正方形1270对应于顶/底边界上的点。

代替(20)的更复杂的边界映射可被使用以得到不同变换。另一示例是去选择φ以取决于x或y，使得x或y中的相等改变对应于沿边界曲线的等距离移动。这需要计算弧长，并且将在以下提供示例以用于内部(非边界)点的映射。无关乎映射，方程(22)保持有效。

下一阶段包括将边界映射延伸到所有内部点，从而得到完全包络变换。这个想法是通过使图像扫描线(像素行)在椭圆体周围卷起来将它们映射到包络，其中它们的终点位于左和右e-边界上。考虑在输出图像中的像素行：

在y_f＝y_f0，0≤x_f≤W₁处的行   (24)

这个行的终点，(0，y_f0)和(W₁，y_f0)，具有映射到由已由边界映射1260确定的包络。我们如下标记在包络边界上的这些终点：

$\left.\begin{array}{c}{x}_L=r_{\mathrm{xyz}}\sin {\mathrm{\θ}}_{\max }\cos {\mathrm{\φ}}_{L0}\\ y_L=r_{\mathrm{xyz}}\sin {\mathrm{\θ}}_{\max }\sin {\mathrm{\φ}}_{L0}\\ z_L=r_{\mathrm{xyz}}\cos {\mathrm{\θ}}_{\max }\\ {\mathrm{\φ}}_{L0}={\mathrm{\φ}}_L\left(y_{f0}\right)\end{array}\right\}$ 左终点 $\left.\begin{array}{c}{x}_R=r_{\mathrm{xyz}}\sin {\mathrm{\θ}}_{\max }\cos {\mathrm{\φ}}_{R0}\\ y_R=r_{\mathrm{xyz}}\sin {\mathrm{\θ}}_{\max }\sin {\mathrm{\φ}}_{R0}\\ z_R=r_{\mathrm{xyz}}\cos {\mathrm{\θ}}_{\max }\\ {\mathrm{\φ}}_{R0}={\mathrm{\φ}}_R\left(y_{f0}\right)\end{array}\right\}$ 右终点(25)

注意到(21)暗示：

x_I＝-x_R

y_L＝y_R   (26)

z_L＝z_R

从关于y轴的左右对称中，像素行(并且对于所有行)的中心被映射到椭圆体上的x＝0的部分椭圆(partial ellipse)，这将给出函数θ(y_f)。这个映射是像素列的映射：x_f＝W₁/2，并且将被称为极映射。将行中心映射到x＝0的曲线是符合边界映射的，这分别将顶行和底行的中心映射到x＝0的曲线上的点(θ＝θ_max，φ＝π/2)和(θ＝θ_max，φ＝-π/2)。至于边界映射，可使用任意单调映射。示例线性极映射由以下给出：

对于上半部 $y_f\≤\frac{H_1}{2}:\mathrm{\φ}=\frac{\mathrm{\π}}{2},\mathrm{\θ}={\mathrm{\θ}}_T\left(y_f\right)={\mathrm{\θ}}_{\max }(1-\frac{2y_f}{H_1})$

对于下半部 $y_f>\frac{H_1}{2}:\mathrm{\φ}=-\frac{\mathrm{\π}}{2},\mathrm{\θ}={\mathrm{\θ}}_B\left(y_f\right)={\mathrm{\θ}}_{\max }(1-\frac{2y_f}{H_1})---\left(27\right)$

这个映射与上面描述的边界映射相连，并且将图像的中心映射到+z轴上的椭圆体极上。在y-z平面上，便于以朝+z轴的正向来限定取自+y轴的方位角γ。这个角度通过以下来与θ关联：

$\begin{array}{c}\mathrm{\&gamma;}=\frac{\mathrm{\&pi;}}{2}-\left(\mathrm{sgn\&phi;}\right)\&times;\mathrm{\&theta;}\\ \mathrm{sgn\&phi;}\&equiv;\left\{\begin{array}{c}+1,\mathrm{\&phi;}\&GreaterEqual;0\\ -1,\mathrm{\&phi;}<0\end{array}\right.\end{array}---\left(28\right)$

角γ的范围是[π/2-θ_max，π/2+θ_max]。从(22)和(28)中，包络上的对于中心竖直线(即像素行中心)的坐标由以下给出：

x＝0

y＝r_yz cos γ   (29)

z＝r_yz sin γ

注意到这是在椭圆体上的x＝0的曲线，因此x＝0。就球体而言，离中心的y-z平面距离r_yz又不为常量。而是，其是从(17)计算，将是γ的函数：

$\begin{array}{c}{r}_{\mathrm{yz}}=\frac{r_y{r}_z}{\sqrt{D_{\mathrm{yz}}}}\\ D_{\mathrm{yz}}=r_y^2{\sin }^2\mathrm{\&gamma;}+r_z^2{\cos }^2\mathrm{\&gamma;}\end{array}---\left(30\right)$

在包络上的、对应于行中心的点将被表示为(x_C，y_C，z_C)。图13示出点1350集合的极映射，以对应于输出图像上的中心点。

因而计算为每个像素行在包络上提供了三个点，以对应于左/右终点和中心：

$\begin{array}{c}{\stackrel{\&RightArrow;}{x}}_L=(x_L,y_L,z_L)\\ {\stackrel{\&RightArrow;}{x}}_R=(x_R,y_R,z_R)\\ {\stackrel{\&RightArrow;}{x}}_C=(x_C,y_C,z_C)\end{array}---\left(31\right)$

现在剩余行点可由位于内插这三个点的椭圆体包络上的任何规范的曲线来映射。我们将这些曲线称作行映射曲线或行映射。规范意味着保持像素行的几何形状的任何曲线，特别地曲线应该为数学平滑并且所有曲线(对于所有像素行)的总计应该形成覆盖椭圆体的平滑表面。这是提供改变包络变换的广泛灵活性的综述。

参照图14，作为特定示例，我们采用由(31)中的三个点唯一确定的平面1420与椭圆体1400相交而定义的曲线。如在图14中所看到的，在此场景下，行映射曲线将为在椭圆体周围卷起的椭圆1440。通过从将平面与椭圆体相交而产生的椭圆的平滑来自动获得平滑状况。每行的三个点的唯一性也确保了每个这样平面是唯一的。针对这个示例接下来论述曲线的明确确定。

点(31)位于椭圆体以及相交平面上。这导致对构造进行简化的各种约束。平面的法线可从点(31)计算出，为：

$\begin{array}{c}{\stackrel{\&RightArrow;}{v}}_1\&equiv;{\stackrel{\&RightArrow;}{x}}_R-{\stackrel{\&RightArrow;}{x}}_C\\ {\stackrel{\&RightArrow;}{v}}_2\&equiv;{\stackrel{\&RightArrow;}{x}}_L-{\stackrel{\&RightArrow;}{x}}_C\\ \stackrel{\&RightArrow;}{n}=\frac{{\stackrel{\&RightArrow;}{v}}_2\&times;{\stackrel{\&RightArrow;}{v}}_1}{\left|\right|{\stackrel{\&RightArrow;}{v}}_2\&times;{\stackrel{\&RightArrow;}{v}}_1\left|\right|}\end{array}---\left(32\right)$

通过在(32)中使用(26)，可被示出n_x＝0。从到曲线上的任意点(x，y，z)的向量必须垂直于法线，因为其位于相交平面上：

(x-x_C，y-y_C，z-z_C)·(0，n_y，n_z)＝0   (33)

这导致在曲线上的y与z之间的关系：

$z=-(y-y_C)\frac{n_y}{n_z}+z_C---\left(34\right)$

n_x＝0的特别情况需要单独处理；然而在这个情况中，椭圆完全地位于x-z平面，并且可从2D椭圆方程和点(31)容易地确定。明确地，对于(34)找到：

z(y)＝I(y+J)

$\begin{array}{c}I\&equiv;\frac{r_{\mathrm{xyz}}\cos {\mathrm{\&theta;}}_{\max }-r_{\mathrm{yz}}\sin \mathrm{\&gamma;}}{r_{\mathrm{xyz}}\cos \mathrm{\&psi;}\sin {\mathrm{\&theta;}}_{\max }-r_{\mathrm{yz}}\sin \mathrm{\&gamma;}}\\ J\&equiv;-r_{\mathrm{yz}}\cos \mathrm{\&gamma;}+\frac{r_{\mathrm{yz}}\sin \mathrm{\&gamma;}}{I}\\ \mathrm{\&psi;}\&equiv;{\mathrm{\&phi;}}_L\left(y_f\right)-\frac{\mathrm{\&pi;}}{2}={\mathrm{\&psi;}}_0+2(\frac{\mathrm{\&pi;}}{2}-{\mathrm{\&psi;}}_0)\frac{y_f}{H_1}\end{array}---\left(35\right)$

椭圆体的方程(17)可被继而用于根据x确定y。替换(35)，方程(37)变为：

$\frac{x^2}{r_x^2}+\frac{y^2}{r_y^2}+\frac{{\left(I(y+J)\right)}^2}{r_z^2}=1---\left(36\right)$

解(36)给出：

$\begin{array}{c}y\left(x\right)=\frac{-b_y\&PlusMinus;\sqrt{b_y^2-4a_y{c}_y}}{2a_y}\\ a_y=\frac{1}{r_y^2}+\frac{I^2}{r_z^2},b_y=2\frac{I^{2}J}{r_z^2},c_y=\frac{x^2}{r_x^2}+\frac{I^2{J}^2}{r_z^2}-1\end{array}---\left(37\right)$

现在相交椭圆根据x由(35)和(37)完整确定。x的范围是在椭圆形的终点之间：

x_L≤x≤x_R   (38)

回想到椭圆上的终点被映射到像素行的终点。

其保持将0≤x_f≤W₁(沿着输出中的给定行的像素)映射到(38)。可使用任何单调平滑函数，例如简单线性映射：

$x=x_L+(x_R-x_L)\frac{x_f}{W_1}---\left(39\right)$

不同函数导致沿x方向的不同局部缩放比例。在一个示例性实施例中，另一方法基于在包络上的横向相等距离来描绘轮廓，这类似于用于圆柱投影的关系(12)，尽管非球体包络复杂化了数学运算。在相交平面1420上，曲线1440是标准椭圆。因此，曲线可通过去往在此平面1420上定义的矩形二维坐标系而被分析。此外，因为在移至坐标系中没有涉及缩放比例，所以所有距离被保持。定义轴能够通过点并且垂直通过线段，具有由符号y_C确定的正向。这是坐落在椭圆体y-z平面中的一条直线。注意到线段还位于相交平面中。轴可被选择为使得：(a)椭圆的原点处于中心，或者(b)沿着线段对于这两个情况的椭圆方程采用形式：

$\begin{array}{c}\frac{{\tilde{x}}^2}{{\tilde{r}}_x^2}+\frac{{\tilde{y}}^2}{{\tilde{r}}_y^2}=1\left(a\right)\\ \frac{{\tilde{x}}^2}{{\tilde{r}}_x^2}+\frac{{(\tilde{y}-b_e)}^2}{{\tilde{r}}_y^2}=1\left(b\right)\end{array}----\left(40\right)$

二者仅相差偏移b_e。额外的点可在椭圆上的通过使用在x-y-z系中这些点必须满足椭圆体方程的事实而被计算。特别地，对于情况(b)我们可计算与轴的截距。截距之一与点关联，其被表示为y₁，并且另一相反截距表示为y₂。同样在情况(b)中，沿轴的截距被发现为-x_R(负)和x_R(正)。根据截距，(40)中的未知量可被写为：

$\begin{array}{c}{b}_e=\frac{y_1+y_2}{2}\\ {\tilde{r}}_y=\left|\frac{y_1-y_2}{2}\right|\\ {\tilde{r}}_x=\sqrt{x_R^2{(1-\frac{b_e^2}{{\tilde{r}}_y^2})}^{-1}}\end{array}---\left(41\right)$

这些量可被用来确定(椭圆体上的部分的)椭圆的弧长。弧长S_arc在坐标系(a)中更容易被计算，并且采用形式：

$\begin{array}{c}{s}_{\mathrm{arc}}=2\underset{{\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_0}{\overset{\frac{\mathrm{\&pi;}}{2}}{\&Integral;}}{\tilde{r}}_{\mathrm{xy}}\left(\stackrel{\&OverBar;}{\mathrm{\&alpha;}}\right)d\stackrel{\&OverBar;}{\mathrm{\&alpha;}}\\ {\tilde{r}}_{\mathrm{xy}}\left(\stackrel{\&OverBar;}{\mathrm{\&alpha;}}\right)=\frac{{\tilde{r}}_x{\tilde{r}}_y}{\sqrt{{{\tilde{r}}_y}^2}{\cos }^2\stackrel{\&OverBar;}{\mathrm{\&alpha;}}+{{\tilde{r}}_x}^2{\sin }^2\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}\\ {\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_0=-\mathrm{sgn}\left(y_1\right)\mathrm{sgn}\left(b_e\right)\arctan \left(\frac{\left|b_e\right|}{x_R}\right)\end{array}---\left(42\right)$

此处是在平面中的标准极角。方程(42)给出与特定像素行对应的椭圆体上的曲线的长度。我们选择从x_f到x的映射，使得x_f的相等改变对应于椭圆上的相等横向弧长。这通过为每个x_f发现满足以下的角来实现：

$x_f\frac{s_{\mathrm{arc}}}{W_1}=-\underset{\mathrm{\&pi;}-{\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_0}{\overset{{\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x}{\&Integral;}}{\tilde{r}}_{\mathrm{xy}}\left(\stackrel{\&OverBar;}{\mathrm{\&alpha;}}\right)d\stackrel{\&OverBar;}{\mathrm{\&alpha;}}---\left(43\right)$

负号和下限的偏移为x_f的次序所要求，即当x_f增大时，减小。这根据x_f提供类似于用于圆柱投影的(12)，继而经由以下给出所需的x_f到x的映射：

$x={\tilde{r}}_{\mathrm{xy}}\left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)\&times;\cos \left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)---\left(44\right)$

注意到，积分(42)和(43)可使用已知技术(例如求积法)来数字地计算。方程(35)、(37)和(44)，连同映射(20)、(27)一起，给出最后包络变换，以将输出图像映射到大体椭圆体包络。

由θ_max定义的包络边界已被看作是与φ不相关。然而，公开的方法同样适用于具有如(6)中的取决于φ的θ_max。主要不同在于常量θ_max需要被θ_max(φ)替代，其中φ首先由边界映射来确定。椭圆体包络的另一敏感问题是包络边界不位于一个平面上，而行映射曲线(椭圆)是平面的。当椭圆接近顶/底e-边界时，它们需要平滑地接到边界曲线。这可通过分别从在顶和底像素行之下和之上的几个行生成椭圆来处理，随后椭圆与跨剩余行的边界曲线进行内插。这对于球体包络不是问题，在其中球体边界是平面的。

上面方法包括用于定制的多个参数或方式：

I.椭圆体半轴长：r_x，r_y，r_z

II.边界分割角：ψ₀

III.边界映射：φ_T(x_f)，φ_B(x_f)，φ_L(y_f)，φ_R(y_f)

IV.极映射：θ_T(y_f)θ_B(y_f)

V.行映射曲线：对于像素行(x_f，y_f，z_f)→(x，y，z)

这提供广范灵活性以用于修改变换，从而开发不同类型的ZCL修正。对于270°和180°UWA透镜的包络变换被针对输出图像上的点集合示出在图15和图16中。对于这两种情况，使用了在上面((20)，(27)，(35)，(37)和(44))开发的特定映射，其中参数设置为：

270°：r_x＝r_z＝1，r_y＝2，

180°：r_x＝r_y＝1，r_z＝0.75，

两种情况都使用了椭圆体包络，其中第二种情况更靠近球体包络。

零内容损失修正变换通过将包络映射与透镜映射结合而再次建立。如前面提及的，计算包络变换不需要透镜映射的知识。从透镜上需要的信息仅是其视场特性或θ_max，以及其就是锥形UWA透镜。这暗示着相同包络变换可被用于圆形和非圆形UWA透镜，假设它们具有相同的θ_max值的话。换句话说，方法与透镜的成像行为无关。这还意味着可解释在制造UWA透镜期间或从其它源引入的、导致该透镜不理想行为的扭曲，假设它们以在透镜映射方程中被特征化的话。对于透镜映射方程(4)，零内容损失修正变为：

$\begin{array}{c}u=\mathrm{\&alpha;\&theta;}\cos \mathrm{\&phi;}\\ v=\mathrm{\&alpha;\&theta;}\sin \mathrm{\&phi;}\\ \mathrm{\&alpha;}=R_I{\mathrm{\&theta;}}_{\max }^{-1},R_I\end{array}$ 为透镜透镜的半径

$\mathrm{\&theta;}(x,y,z)=\arccos \frac{z}{\sqrt{x^2+y^2+z^2}},\mathrm{\&phi;}(x,y,z)=\arctan \left(\frac{y}{x}\right)$

$x\left(x_f\right)={\tilde{r}}_{\mathrm{xy}}\left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)\&times;\cos \left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)$

$y\left(x\right)=\frac{{-b}_y\&PlusMinus;\sqrt{b_y^2-4a_y{c}_y}}{{2a}_y}$

z(y)＝I(y+J)                              (45)

只有主要方程列出在(45)中。以180°包络变换(见图16)设置将(45)应用到图6的输入图像，给出了图17中示出的输出图像。在这个修正中，图6的原始UWA图像中的所有内容都是可视的，这进一步使方法有效为生成ZCL图像。通过给出标准(SLR)相机图片的印象，基本上改善了总体透视。在图8至图10中的圆柱投影结果上的改善被清楚地看到。在极处，透视在没有无限伸展的情况下被很好地恢复。这在没看见撕裂的地毯中是非常显而易见的。在UWA图像中的弯曲的竖直轮廓线在没有过度弯曲斜的轮廓线的情况下几乎被完全伸直(根据透视需要)。这在更高的程度上保持朝着左房间和右房间的透视。天花板斜线被保持斜的。当房间处于圆柱投影中时，它们不显现为沿着直线摆放，而是在更高的程度上保持它们的左右视点。与UWA图像相比，在修正图像的中心三分之一中的物体(例如中心房间、架子、油画、通风孔、椅子)具有更佳的透视。图像的最重要部分的、在中心中的这些改善，不以损失任何内容为代价。这对于其中需要监视全视野中移动的安保应用非常重要，即使主焦点可能处于视野的中间。图18示出图7的270°UWA透镜输入图像的ZCL图像。此处球体包络与在图19中示出的包络映射一起使用，其中鉴于具有来自相机后面的物体的图像的大部分的这种广FOV，再次看到更加改善的透视。ZCL图像保留所有内容(在没有对极放大的情况下使靠近圆周的轮廓线变直)，从而提供更加靠近标准相机的图像。

通过改变包络参数可进行修正的改变，包括得到允许全景拼接(stitching)的ZCL图像，而没有对极“放大”。使用圆柱投影得到的变换还可使用适当的参数选择来恢复。因而，图8和图9的零内容损失图像可被视作上面一般圆柱体构造的特定情况。特别地，为了恢复图9，采用ψ₀＝0。此外，不关乎捕捉到的图像形状(圆形、椭圆形等等)，还可处理具有相同θ_max的任何UWA透镜。图20示出来自其图像显现为椭圆的UWA透镜的模拟图像。这种UWA透镜具有覆盖更多(相比于正方形更加常见为矩形的)传感器的的益处。这提供了包含图像数据的更多输入像素并且可导致改善的质量。在这个情况中，透镜映射方程(2)采用形式：

φ′＝φ

r′＝α_er_exyθ

$r_{\mathrm{exy}}=\frac{r_{\mathrm{ex}}{r}_{\mathrm{ey}}}{\sqrt{r_{\mathrm{ex}}^2{\sin }^2\mathrm{\&phi;}+r_{\mathrm{ey}}^2{\cos }^2\mathrm{\&phi;}}}---\left(46\right)$

在(45)中使用(46)(而非(4))的透镜映射导致了如图17中的相同图像。公开的ZCL帧支持所有这样的更加复杂的透镜。如预期地，存在具有非精确透视修正的某些(残留的)扭曲剩余，这是当将UWA视图映射到2D图像时所预期的。然而，残留扭曲可在ZCL帧内的关注区域中选择性地消除，如以下概述的那样。

根据本发明实施例，全视野ZCL修正可与局部精确透视修正结合。如关于标准非广角透镜相机所提及的那样，标准透视相机的基础包络是包围FOV并且垂直于光轴的平面。关联的包络变换是2D输出图像坐标到包络平面上的2D坐标的线性映射。这表明为了沿由（θ_p1，φ_p1)规定的特定方向得到对UWA透镜的局部透视修正，包络局部地需要成为垂直于通过（θ_p1，φ_p1)的轴的平面。为了保持远离（θ_p1，φ_p1)附近的ZCL修正，包络应该保持具有光滑过渡的椭圆体。因此，用于局部透视修正的方法包括在关注区域中将两个包络(椭圆体和平面)与其变换平滑地拼接在一起，并且保留在关注区域之外的ZCL变换。设和为在(x_f，y_f)上定义的两个包络变换，以将(x_f，y_f)映射到(x，y，z)。(为了局部透视修正公式化，我们采用(x_f，y_f)中的原点为图像的中心，右和上为正。)全(x_f，y_f)域将被表示为A_D。域被分成三个分开区间：关注区域A_I，围绕A_I的过渡区域A_T，以及包含所有未在A_I或A_T中的点的基本区域A_B。拼接建立新的包络转换其等于A_B上的等于A_I上的并且在A_T上的和之间内插。这由以下方程来描述：

(x_f，y_f)∈A_D＝A_B∪A_T∪A_I

$(x,y,z)={\stackrel{\&RightArrow;}{F}}_{\mathrm{es}}(x_f,y_f)$

其中f₁，f₂是适当的内插函数，我们采用其为标量函数。注意到，由于包络变换的定义包括定义包络，所以方程(47)暗示着定义新的拼接包络。还有用的是经由从(x_f，y_f)到(x，y，z)的全局变换来定义(x，y，z)空间中的区域。如果是这样的全局定义的映射，则区域和拼接采用以下形式：

$(x,y,z)\&Element;{\stackrel{\&OverBar;}{A}}_D={\stackrel{\&OverBar;}{A}}_B\&cup;{\stackrel{\&OverBar;}{A}}_T\&cup;{\stackrel{\&OverBar;}{A}}_I$

$(x,y,z)={\stackrel{\&RightArrow;}{F}}_{\mathrm{es}}(x_f,y_f)$

此处的条(bar)区分两个方法。这个拼接可被视作移动关注区域中的像素以恢复透视，其继而扭转和扭曲过渡区域中的像素，并且保留基本区域中的原始ZCL修正。因而我们将残留扭曲从关注区域推出到过渡区域。函数变为ZCL包络变换(45)，其被重写为：

${\stackrel{\&RightArrow;}{F}}_{e1}(x_f,y_f)=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{\tilde{r}}_{\mathrm{xy}}\left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)\&times;\cos \left({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_x\left(x_f\right)\right)\\ \frac{{-b}_y\&PlusMinus;\sqrt{b_y^2-4a_y{c}_y}}{{2a}_y}\\ I(y+J)\end{array}\right]---\left(49\right)$

函数被采用为透视包络变换，其在下面被构造。

为了构造透视包络变换，我们首先采用+z轴为光轴（θ_p1＝0，φ_p1＝0)以用于对构造进行简化。在这个情况中，包络为在z＝z_m1处的、与z轴正交的平面。通过改变z_m1，放大的量可被改变，因此z的位置保持可变。对应于方向（θ_p1，φ_p1)，我们可在输出图像坐标空间(x_f，y_f)中关联唯一点(表示为(x_fp1，y_fp1))，在ZCL包络变换(45)下该方向被映射到该点。通过定义包络变换，这个点存在并且可从(45)计算出。点(x_fp1，y_fp1)是关注区域A_I的中心，关于这个点需要局部透视修正。已知（θ_p1，φ_p1)而可计算(x_fp1，y_fp1)，并且反之亦然。针对这些定义，关于（θ_p1＝0，φ_p1＝0)的透视包络变换可被写为：

x＝s_x(x_f-x_fp1)

y＝s_y(y_f-y_fp1)

z＝z_m1

$s_x=s_y=\frac{z_{m1}\tan \left({\mathrm{\&theta;}}_{\mathrm{pFOV}}\right)}{l_p}---\left(50\right)$

比例因数(s_x，s_y)由在(x_f，y_f)中的透视修正区域的透视视场2θ_pFOV和尺寸l_p确定而示出。关于任意方向（θ_p1，φ_p1)≠(0，0)的透视包络变换可通过旋转(50)来计算。为了将(0,0)方向带入任意（θ_p1，φ_p1)方向，使用了绕负y轴旋转±θ_p1度(即，当从负y轴看去时在xz平面中逆时针θ_p1度)紧接着绕正z轴旋转的旋转。此处在当从正或负x轴测量使得时，与φ_p1对等。如果-π/2≤φ_p1≤π/2，则对θ_p1使用负号，否则使用正号。我们还包括绕正z轴初始旋转φ_0p1，以允许旋转透视修正，从而在周围的零内容损失修正内得到更佳的校正(数学平滑)。最终的透视包络变换采用以下形式：

${\stackrel{\&RightArrow;}{F}}_{e2}(x_f,y_f)=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R({\mathrm{\&phi;}}_{0p1},{\mathrm{\&theta;}}_{p1},{\mathrm{\&phi;}}_{p1})\left[\begin{array}{c}{s}_x(x_f-x_{\mathrm{fp}1})\\ s_y(y_f-y_{\mathrm{fp}1})\\ z_{m1}\end{array}\right]$

$R({\mathrm{\&phi;}}_{0p1},{\mathrm{\&theta;}}_{p1},{\mathrm{\&phi;}}_{p1})=R_z\left({\stackrel{\&OverBar;}{\mathrm{\&phi;}}}_{p1}\right)R_y(\&PlusMinus;{\mathrm{\&theta;}}_{p1})R_z\left({\mathrm{\&phi;}}_{0p1}\right)$

$R_y\left(\mathrm{\&theta;}\right)=\left[\begin{array}{ccc}\cos \left(\mathrm{\&theta;}\right)& 0& -\sin \left(\mathrm{\&theta;}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\&theta;}\right)& 0& \cos \left(\mathrm{\&theta;}\right)\end{array}\right]$

$R_z\left(\mathrm{\&theta;}\right)=\left[\begin{array}{ccc}\cos \left(\mathrm{\&theta;}\right)& -\sin \left(\mathrm{\&theta;}\right)& 0\\ \sin \left(\mathrm{\&theta;}\right)& \cos \left(\mathrm{\&theta;}\right)& 0\\ 0& 0& 1\end{array}\right]---\left(51\right)$

可调整角φ_0p1以控制在过渡区域中的“扭转”量，一般地φ_0p1≈-φ_p1的值给出良好的结果。图21a示出关于(θ_p1＝65°，φ_p1＝-35°)方向的两个包络变换，ZCL椭圆体2100和透视平面2150。其留待定义区域并计算拼接。

对于具有由(6)定义的锥形FOV的UWA透镜，自然地在(x，y，z)空间中关于给定方向使用圆形关注区域。理由是(x，y，z)空间给出了透镜正于其中捕捉且沿其寻找透视视图的真实世界方向。这些圆形区域基本上是某个角度的锥体与透视包络平面的相交。使用(48)和(50)，圆形关注区域和过渡区域以及基本区域可被写为：

$\begin{array}{c}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\stackrel{\&RightArrow;}{G}(x_f,y_f)=\left[\begin{array}{c}{s}_x(x_y-x_{\mathrm{fp}1})\\ s_y(y_f-y_{\mathrm{fp}1})\\ 0\end{array}\right]\\ r\&equiv;\left|\right|\stackrel{\&RightArrow;}{G}(x_f,y_f)\left|\right|\\ {\stackrel{\&OverBar;}{A}}_I:r\&le;r_I\\ {\stackrel{\&OverBar;}{A}}_T:r_I<r\&le;r_T\\ {\stackrel{\&OverBar;}{A}}_B:r_T<r\end{array}---\left(52\right)$

(51)中的旋转确保了在所需方向上这些区域被转换到正确的圆形区域。现在可在r中实行内插。作为示例，与可调节指数κ_e结合的线性函数用于内插。具有关于(θ_p1，φ_p1)或等同地(x_fp1，y_fp1)的局部透视修正的最终零内容损失包络变换为：

两个分量变换为如图(45)中的和如图(51)中的图21b示出结果得到的拼接包络映射。最终，具有局部透视修正的ZCL修正通过将透镜映射方程(4)应用到(52)来得到，类似于在(45)的前四个方程中所做的。关于任何方向，可使用上面方法来实行局部透视调整。还可以定义其中需要局部透视修正的多个关注区域。这通过延伸(47)的拼接以包括所有不相交的关注区域的联合而实现，该关注区域的每个具有其自身的透视平面包络，并且通过开始零内容损失包络变换而独立地内插。这个示例在下面示出。因此，该方法提供了为局部地透视自适应(LPA)的零内容损失修正。

接下来论述图22至图25以说明零内容损失LPA修正。图22是UWA参考图像(如图6中所示的那样)，其具有在虚线轮廓内的两个关注区域2210和2220。两个区域都对应于30°锥形视场(θ_pFOV＝15°)，其中在此示例性说明中2210处于方向(θ_p1，φ_p1)＝(65°，-35°)而2220处于方向(θ_p1，φ_p1)＝(55°，140°)。在关注区域的近邻处的区域2230和2240是过渡区域。在向这些方向看去的透视图像中，轮廓将是完美的圆形。如预期地，UWA将圆形很大地扭曲为椭圆状轮廓。图23示出在施加ZCL修正之后的参考图像，其与图17相同，但是现在具有高亮显示的关注区域2310和2320。如之前论述的那样，全图像透视被大大改善；然而如在笔直轮廓线的弯曲中看到的那样，扭曲依然保留。针对绘制的轮廓，残留扭曲变得清晰。在局部透视修正视图中，轮廓为圆形而非所看到的蛋状曲线。接下来零内容损失LPA修正被施加到用于关注区域2310的局部修正透视。图24示出使用z_m1的值为1的结果，比r_z＝0.75值稍微大的这个值将提供稍微局部缩放。现在透视被完全局部修正，其中轮廓为圆形并且在圆形内所有轮廓线笔直。注意到过渡区域2430现在如何变得扭曲，如同残留扭曲被推出到过渡区域中。远离过渡区域2430，没有接触ZCL修正。在圆形2430内的图像被稍微旋转以平滑连接周围的ZCL修正。这通过使用φ_0p1＝25°来实现；通过改变这个角，旋转可被改变并且继而在过渡区域中的扭转可被改变。旋转不扭曲透视修正。在2410中的透视修正的图像，现在可被分析用于特征和其它视频分析处理，正如标准相机图像那样(这在下面进一步论述)。同时作为ZCL修正，整个场景依然可用于观察和分析。图25示出施加到关注区域2510和2520的类似修正。现在透视修正被在两个圆形中局部实现。遵循相同进程，多个区域可被修正。此外，通过改变过渡区域的大小，扭曲的伸展可被控制。

上面示例已与小圆形关注区域一起工作。还可以局部透视修正大区域并且使用非圆形关注区域。有用的非圆形几何形状在输出图像上定义矩形区域，在该区域中需要如下的透视修正：

此处，{l_Ix，l_Iy，l_Tx.l_Ty}定义矩形区域的尺寸。图26a示出基于矩形区域的零内容损失LPA修正，以用于关于z轴方向(直接地在透镜前面)的宽视场(θ_pFOV＝45°)。在零内容损失修正内的前视野的全透视修正被看到。图26b示出具有施加的缩放的前视野修正。图26c示出结合的右视野(方向(θ_p1，φ_p1)＝(45°，0°))和左视野(方向(θ_p1，φ_p1)＝(45°，180°))的类似修正；此处扭曲被推入到中间房间中并且推到地板和天花板。最后，图26d结合用于左、中、右视野的修正，以给出三个透视修正的区域。

应当理解到，为零内容损失的上面修正包括来自原始场景的所有内容(图22)。根据一个实施例，可以只提取来自ZCL LPA修正的关注区域，以在过渡区域和基本区域中消除所有其它像素，从而呈现透视修正视野的集合。图27说明这种提取的示例，其中包围360°区域(由例如两个鱼眼来捕捉)的四个房间被单独地修正透视并且独立地显示。此外，还能够在每个视野中选择更小的关注区域以用于进一步处理，如之前公开的那样。清楚地，在这个应用类型中，被丢弃的像素信息不是主要关注的。示例是视频-会议设置，其中参与者的脸部是最重要的特征。

根据另一实施例，公开的方法用来便于可选的后续视频内容分析(VCA)，还被称为视频分析。为了执行图像中的物体和模式识别，或者总体地自动分析视频，需要好的输入图像。这意味着各种扭曲种类必须被最小化。例如，视频监视相机可配备有一个或多个运动传感器，光/声传感器等等，其可在一个时间段内触发记录事件。在这个情况中，需要记录的视频的内容来识别移动物体例如如图28中说明的人脸。实施方法可被用来选择在移动物体周围的关注区域2810和2820，并且修正透视而同时视频的其它内容和其与关注物体的关联被保留。图29示出在脸部2810和2820附近的关注区域如何被修正。在这个示例中，脸部被进一步放大(并且还可能被进一步旋转)以帮助图像识别装置。同时，作为零内容损失映射，所有场景信息被保持以用于额外检测或并行分析。这个自适应修正不仅适用于FOV内的多个区域，而且还可被施加到具有不同时间戳的多个视频帧。因此，图29还可被解释为在不同时间监督在不同位置处的一个人。

在一个优选实施例中，公开的方法在电子处理器中实现。处理器可被集成到图像捕捉设备、图像显示设备或图像处理设备。公开的方法还可被实现为软件以用在计算机可读介质中。

尽管上面描述提供了实施例的示例，但是应理解到，所描述的实施例的一些特征和/或功能在不偏离所描述的实施例的操作的精神和原则的情况下是易于修改的。因此，上面所描述的种种旨在为本发明说明性的而非限制性的，并且本领域技术人员将理解的是，在不偏离如本发明所附权利要求中定义的本发明范围的情况下可以进行各种变型和修改。

Claims (27)

1.一种用于变换通过至少一个超广角(UWA)透镜捕捉到的输入图像的方法，所述UWA透镜以将3D物体空间映射到显示输入图像的平面上的对应变换为特征，所述方法包括：

(a)获得通过至少一个UWA透镜捕捉到的输入图像数据；

(b)构造完全包围至少一个UWA透镜的视场的2D表面包络；

(c)构造将输出图像平面映射到表面包络的包络变换；

(d)连结UWA透镜映射和包络变换以获得零内容损失变换；并且

(e)将零内容损失变换施加到输入图像数据以获得输出图像。

以便图像透视在输出图像中得到基本上改善。

2.根据权利要求1所述的方法，其中表面包络和包络变换中的至少一个被修改以针对至少一个关注区域中的透视修正进行局部调整。

3.根据权利要求2所述的方法，其中所述至少一个关注区域被手动选择。

4.根据权利要求2所述的方法，其中所述至少一个关注区域被自动选择以响应于捕捉到的图像的改变。

5.根据权利要求2所述的方法，其中缩放比例变换、缩放变换、旋转变换和反射变换中的至少一个被施加到至少一个透视修正的关注区域。

6.根据权利要求5所述的方法，其中所述至少一个修正的关注区域被提供以用于视频内容分析。

7.根据权利要求2所述的方法，其中在从透镜的一个方向上的关注区域处的局部透视修正由以下得到：

(i)构造与将透镜连接到关注区域中心的轴垂直的平面包络；

(ii)在关注区域中平滑拼接平面包络和表面包络以及其变换。

8.根据权利要求7所述的方法，其中局部放大通过沿着将透镜连接到关注区域的轴来移动平面包络而实现。

9.根据权利要求1所述的方法，其中所述至少一个UWA透镜覆盖高达360°视场。

10.根据权利要求1所述的方法，其中透镜映射由透镜制造商提供。

11.根据权利要求1所述的方法，其中透镜映射是数学建模的。

12.根据权利要求1所述的方法，其中透镜映射是经验特征化的。

13.根据权利要求1所述的方法，其中表面包络和包络变换以参数化形式来构造。

14.根据权利要求1所述的方法，其中圆柱投影用于将输出图像平面映射到表面包络。

15.根据权利要求1所述的方法，其中将输出图像平面映射到表面包络被表示为函数。

16.根据权利要求1所述的方法，其中输入图像是圆形的，并且包络被选择为球体的部分表面，其边界位于透镜的视场处。

17.根据权利要求1所述的方法，其中输入图像是非圆形的，并且包络被选择为椭圆体的部分表面，其边界位于透镜的最大视场处。

18.根据权利要求16所述的方法，其中包络变换映射包括边界和多个像素行的输出矩形图像，所述变换通过以下来构造：

(i)将在输出图像边界上的像素映射到椭圆体包络的边界；

(ii)将多个像素行的中心映射到椭圆体上的椭圆；并且

(iii)将多个像素行中的每行的非边界像素映射到椭圆体上的曲线，所述曲线通过内插包含中心像素的映射和对应的两个边界像素的映射的平面来构造。

19.根据权利要求1所述的方法，其中零内容损失输出图像以其全部来显示。

20.根据权利要求1所述的方法，其中全景从零内容损失输出图像中提取以用于显示。

21.根据权利要求1所述的方法，其中多个透视修正区域从输出图像提取以独立地显示。

22.根据权利要求21所述的方法，其中缩放比例变换、缩放变换、旋转变换和反射变换中的至少一个被施加到透视修正的区域。

23.一种用于变换通过至少一个超广角(UWA)透镜捕捉到的图像的电子处理器，所述UWA透镜以将3D物体空间映射到显示输入图像的平面上的对应变换为特征，所述处理器包括：

(a)用于获得通过至少一个UWA透镜捕捉到的输入图像数据的装置；

(b)用于选择包含至少一个UWA透镜的视场的2D表面包络的装置；

(c)用于构造将输出图像平面映射到表面包络上的包络变换的装置；

(d)用于连结UWA透镜映射和包络变换以获得零内容损失变换的装置；以及

(e)用于将零内容损失变换施加到输入图像数据以获得输出图像的装置；

以便图像透视在输出图像中得到基本上改善。

24.根据权利要求23所述的处理器，其中所述处理器还包括：用于修改表面包络和包络变换中的至少一个以针对在至少一个关注区域中的透视修正进行局部调整的装置。

25.根据权利要求24所述的处理器，其中所述处理器还包括：用于使能至少一个关注区域的手动选择的装置。

26.根据权利要求24所述的处理器，其中所述处理器还包括：用于使能至少一个关注区域的自动选择以响应于捕捉到的图像的改变的装置。

27.根据权利要求24所述的处理器，其中所述处理器还包括：用于将缩放比例变换、缩放变换、旋转变换和反射变换中的至少一个施加到至少一个透视修正的关注区域的装置。