CN103839227B - 鱼眼图像校正方法和装置 - Google Patents

Abstract

公开了一种鱼眼图像校正方法和装置。该鱼眼图像校正方法包括：根据用户设置，选择多种透视映射模式中的一种透视映射模式；获取在所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；获取与所获取的空间坐标对应的鱼眼图像上的像素位置；以及利用鱼眼图像上的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

Description

鱼眼图像校正方法和装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种鱼眼图像校正方法和装置。

背景技术

鱼眼镜头是一种焦距极短并且视角接近或等于180°的镜头。16毫米或者焦距更短的镜头通常即可认为是鱼眼镜头，它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，鱼眼镜头的前镜片直径成抛物状且向镜头前部凸出(与鱼的眼睛颇为相似，所以称为“鱼眼镜头”)。

鱼眼镜头是一种特殊的超广角镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头与普通的超广角镜头的不同在于：普通的超广角镜头竭力校正画面边缘出现的畸变，力争使拍出的画面与实物相一致；而鱼眼镜头有意地保留影像的桶形畸变，用鱼眼镜头捕捉的画面除了中心部位以外，其它所有的直线都会变成弯曲的弧线(鱼眼图像的变形主要是由于鱼眼镜头的成像面不是平面而是近似于球状的曲面而导致的)。这里，将利用鱼眼镜头捕捉图像的处理称为鱼眼映射，将由鱼眼镜头捕捉的图像称为鱼眼图像。

由于鱼眼镜头的超广角特性，鱼眼镜头在虚拟实景、视频监控、智能交通、机器人导航等领域得到广泛的应用。但是，对于普通用户而言，由鱼眼镜头捕捉的高度形变的鱼眼图像中的内容是非常难以理解的。所以，在以上所述的各种应用鱼眼镜头的系统中，在将鱼眼图像呈现给用户之前，需要对鱼眼图像进行校正，以得到近似的符合人眼视觉的平面图像(即，符合透视投影规则的图像)。这里，出于描述简单的目的，将对鱼眼图像进行校正得到的近似的符合人眼视觉的平面图像称为校正图像。

目前，存在二维(2D)鱼眼图像校正方法和三维(3D)鱼眼图像校正方法两类鱼眼图像校正方法。其中，2D鱼眼图像校正方法直接将鱼眼图像中的像素点映射到校正图像中，3D鱼眼图像校正方法首先将鱼眼图像中的像素点投影到空间中，再根据校正模型将空间中的映射点投影到校正图像中。具体的2D鱼眼图像校正方法和3D鱼眼图像校正方法参见南京邮电大学硕士学位论文“鱼眼图像校正算法研究”中描述的内容。

从以上所述的可以看出，无论是2D鱼眼图像校正方法还是3D鱼眼图像校正方法，都需要将鱼眼图像映射到特定的透视平面上。在现有的用于将鱼眼图像映射到特定的透视平面上的方法中，通常选取与鱼眼镜头的光轴垂直的平面作为该特定的透视平面。

当前，现有的鱼眼图像校正方法通常仅能针对特定应用场景进行鱼眼图像校正，而不能兼容地应用于多种应用场景。另外，在现有的鱼眼图像校正方法中，通常只有鱼眼图像的一部分信息被保留在了对鱼眼图像进行校正得到的校正图像上。

发明内容

鉴于以上所述的一个或多个问题，本发明提供了一种能够兼容地应用于多种应用场景的鱼眼图像校正方法和装置。

根据本发明实施例的鱼眼图像校正方法包括：根据用户设置，选择多种透视映射模式中的一种透视映射模式；获取在所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；获取与所获取的空间坐标对应的鱼眼图像上的像素位置；以及利用鱼眼图像上的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

根据本发明实施例的鱼眼图像校正装置包括：模式选择单元，用于根据用户设置选择多种透视映射模式中的一种透视映射模式；第一映射单元，用于获取在所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；第二映射单元，用于获取与所获取的空间坐标对应的鱼眼图像上的像素位置；以及像素值计算单元，用于利用鱼眼图像上的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

在根据本发明实施例的鱼眼图像校正装置和方法中，用户可以根据具体的应用场景或者自己的喜好进行设置，从而实现对透视映射模式的选择。所以，根据本发明实施例的鱼眼图像校正装置和方法可以兼容地应用于多种应用场景。另外，由于针对具体的应用场景选择了一种合适的透视映射模式，所以鱼眼图像中的更多的信息可以被保留在对鱼眼图像进行校正得到的校正图像中。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1是示出根据本发明实施例的鱼眼图像校正装置的框图；

图2是示出根据本发明实施例的鱼眼图像校正方法的流程图；以及

图3示出了前透视平面、左和右透视平面、以及上和下透视平面上的校正图像被展开在同一个平面上时这些校正图像之间的位置关系。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

本发明提供了一种新颖的鱼眼图像校正方法和装置。该鱼眼图像校正方法和装置为用户提供了分别适用于诸如虚拟实景、视频监控、智能交通、以及机器人导航之类的不同应用的多种透视映射模式，并且利用了由鱼眼镜头的超宽视场捕捉的更多的信息。

鱼眼镜头通过选择向图像提供凸外观特征的鱼眼映射而不选择一般镜头所使用的透视映射来实现超大视场(FOV)的图像捕捉。随着被摄物体与鱼眼镜头的光轴之间的距离的增大，由鱼眼镜头捕捉到的鱼眼图像的放大率降低，导致鱼眼图像具有强烈的径向形变。所以，期望在将由鱼眼镜头捕捉的图像呈现给用户之前，将鱼眼图像校正为近似的符合人眼视觉的平面图像。为了将鱼眼图像校正为近似的符合人眼视觉的平面图像(即，校正图像)，需要将鱼眼图像投射到特定的透视平面上。

本发明的鱼眼图像校正方法属于3D鱼眼图像校正方法，即，本发明的鱼眼图像校正方法利用空间坐标为中介，来实现鱼眼图像上的像素坐标与校正图像上的像素坐标之间的映射。

在根据本发明实施例的鱼眼图像校正方法和装置中，预先设置了以下三种透视映射模式供用户选择：正面映射模式、立方体展开映射模式、以及竖直和水平全景映射模式。在使用根据本发明实施例的鱼眼图像校正方法和装置进行鱼眼校正时，用户可以根据具体的适用场景或者根据自己的喜好选择上述三种映射模式中的一种映射模式进行鱼眼图像校正。

图1示出了根据本发明实施例的鱼眼图像校正装置的框图。如图1所示，根据本发明实施例的鱼眼图像校正装置包括模式选择单元102、第一映射单元104、第二映射单元106、以及像素值计算单元108。

其中，模式选择单元102用于根据用户设置选择多种透视映射模式中的一种透视映射模式；第一映射单元104用于获取在模式选择单元102所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；第二映射单元106用于获取与第一映射单元104所获取的每个空间坐标相对应的鱼眼图像中的像素位置；以及像素值计算单元108用于利用鱼眼图像中的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

图2示出了根据本发明实施例的鱼眼图像校正方法的流程图。如图2所示，根据本发明实施例的鱼眼图像校正方法包括以下步骤：S202，根据用户设置选择多种透视映射模式中的一种透视映射模式；S204，获取在步骤S202中选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；S206，获取与步骤S204中获取的每个空间坐标相对应的鱼眼图像中的像素位置；以及S208，利用鱼眼图像中的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

其中，步骤S202可以由模式选择单元102执行，步骤S204可以由第一映射单元104执行，步骤S206可以由第二映射单元106执行，并且步骤S208可以由像素值计算单元108执行。这里需要说明的是，这里对各个功能单元的划分只是示例性的，并且其中的一个或多个功能单元可以合并为一个功能单元，或者其中的一个或多个功能单元可以分别进一步划分为多个功能单元。相应地，步骤S202至S208可以由合并得到的一个功能单元执行，或者可以分别由多个功能单元执行。

在根据本发明实施例的鱼眼图像校正装置和方法中，用户可以根据具体的应用场景或者自己的喜好进行设置，从而实现对透视映射模式的选择。另外，由于针对具体的应用场景选择了一种合适的透视映射模式，所以鱼眼图像中的更多的信息可以被保留在对鱼眼图像进行校正得到的校正图像中。

下面，具体说明步骤S202至S208的处理。

S202，选择透视映射模式。

这里，可以根据用户的设置，自动选择正面映射模式、立方体展开映射模式、以及竖直和水平全景映射模式中的一种映射模式。例如，可以在鱼眼图像校正装置中设置选择按钮，以根据用户对选择按钮的按压来自动选择映射模式；或者，可以在鱼眼图像校正装置中设置参数输入框，以根据用户在参数输入框中的输入数据来自动选择映射模式。当然，本领域技术人员将明白，以上仅是选择映射模式的方式的示例，并且选择映射模式的方式并不限于此。

S204，获取与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标。

在选定映射模式之后，首先应该确定在选定映射模式下鱼眼图像将被映射到的透视平面，然后才能获取与透视平面上的校正图像中的每个像素位置相对应的空间坐标。

这里假设，鱼眼镜头的焦点为空间坐标系的原点，鱼眼镜头的光轴为空间坐标系的z轴；鱼眼图像所在平面上的坐标系的原点处于鱼眼图像的左上角的像素位置，x轴以向右的方向为正方向，y轴以向下的方向为正方向。

1)正面映射模式

在正面映射模式下，选择垂直于鱼眼镜头的光轴的任意一个平面作为透视平面。透视平面上的校正图像的尺寸取决于用户规定的校正图像的竖直视场角度和水平视场角度、以及用户设置的透视平面与空间坐标系的原点(即，鱼眼镜头的焦点)之间的距离。这里，在空间坐标系中用τ＝{z＝ξ_f}来表示透视平面，用FOV_h表示校正图像的竖直视场角度，用FOV_v表示校正图像的水平视场角度。其中，τ＝{z＝ξ_f}表示该透视平面与空间坐标系的原点的距离为ξ_f。透视平面上的校正图像的中心处于鱼眼镜头的光轴上(即，空间坐标系的z轴上)，并且其高度为宽度为

透视平面上的坐标系的原点处于透视平面上的校正图像的左上角的像素位置，x轴以向右的方向为正方向，y轴以向下的方向为正方向。更具体地，透视平面上的坐标系的x轴与空间坐标系的x轴的方向相同，并且透视坐标平面上的坐标系的y轴与空间坐标系的y轴的方向相反。

对于透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

2)立方体展开映射模式

在立方体展开映射模式中，需要确定五个透视平面：前透视平面、左透视平面、右透视平面、上透视平面、以及下透视平面。这五个透视平面上的校正图像与鱼眼图像共同构成了一个立方体。

这里，前透视平面上的校正图像、左透视平面上的校正图像、右透视平面上的校正图像、上透视平面上的校正图像、以及下透视平面上的校正图像被展开放置在同一个平面上。其中，前透视平面上的校正图像位于中心，左透视平面上的校正图像位于前透视平面上的校正图像的左侧，右透视平面上的校正图像位于前透视平面上的校正图像的右侧，上透视平面上的校正图像位于前透视平面上的校正图像的上侧，并且下透视平面上的校正图像位于前透视平面上的校正图像的下侧。图3示出了前透视平面、左和右透视平面、以及上和下透视平面上的校正图像被展开在同一个平面上时这些校正图像之间的位置关系。

下面的计算都是在上述五个透视平面上的校正图像被展开放置在的同一个平面(这里，为了说明简单，下面将该平面称为展开平面)的前提下进行的。展开平面上的坐标系的原点在空间坐标系中的位置取决于用户设置的前透视平面与鱼眼镜头的焦点之间的距离、以及用户规定的前透视平面上的校正图像的水平视场角度和竖直视场角度。

这里，前透视平面的定义与正面映射模式相同，是垂直于鱼眼镜头的光轴的透视平面。前透视平面上的校正图像的尺寸取决于用户规定的校正图像的竖直视场角度和水平视场角度、以及用户设置的前透视平面与空间坐标系的原点(即，鱼眼镜头的焦点)之间的距离。这里，在空间坐标系中用τ＝{z＝ξ_f}来表示前透视平面，用FOV_h表示校正图像的水平视场角度，用FOV_v表示校正图像的竖直视场角度。其中，τ＝{z＝ξ_f}表示前透视平面与空间坐标系的原点的距离为ξ_f。前透视平面上的校正图像的中心处于鱼眼镜头的光轴上(即，空间坐标系的z轴上)，并且其高度为宽度为

展开平面上的坐标系的原点在空间坐标系中的坐标位置为( ξf)，展开平面上的坐标系的x轴与空间坐标系的x轴的方向相同，并且展开平面上的坐标系的y轴与空间坐标系的y轴的方向相反。

对于前透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

左透视平面和右透视平面被定义为与鱼眼镜头的光轴平行但是垂直于鱼眼镜头的水平轴的平面。在空间坐标系中，用表示左透视平面，用表示右透视平面。左透视平面和右透视平面上的校正图像的高度均为并且它们的宽度均为ξ_f。

对于左透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

对于右透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

上透视平面和下透视平面被定义为与鱼眼镜头的光轴平行但是垂直于鱼眼镜头的竖直轴的平面。在空间坐标系中，用表示上透视平面，用表示下透视平面。上透视平面和下透视平面上的校正图像的高度均为ξ_f，并且它们的宽度均为

对于上透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

对于下透视平面上的校正图像中的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

3)竖直和水平全景映射模式

在竖直和水平全景映射模式中，需要确定两个透视平面：用于竖直全景映射模式的竖直全景透视平面和用于水平全景映射模式的水平全景透视平面。

在空间坐标系中，用表示竖直全景透视平面。从竖直全景透视平面的公式可以看出，竖直全景透视平面是一个围绕x轴的桶状面展开后得到的平面。竖直全景透视平面上的校正图像的尺寸取决于用户规定的校正图像的水平视场角度FOV_h、以及鱼眼图像的尺寸。这里，假设鱼眼图像的宽度为W，高度为H。竖直全景透视平面上的校正图像的高度与鱼眼图像的高度H相同，竖直全景透视平面上的校正图像的宽度为(2πH*tan(FOV_h/2))。在竖直全景透视平面上的坐标系中，原点位于竖直全景透视平面上的校正图像的左上角的像素位置，x轴的方向为向右为正方向，y轴的方向为向下为正方向。

对于竖直全景透视平面上的校正图像上的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

在以上等式中，

在空间坐标系中，用表示水平全景透视平面。从水平全景透视平面的公式可以看出，水平全景透视平面是一个围绕y轴的桶状面展开后得到的平面。水平全景透视平面上的校正图像的尺寸取决于用户规定的校正图像的竖直视场角度FOV_v、以及鱼眼图像的尺寸。这里，假设鱼眼图像的宽度为W，高度为H。竖直全景透视平面上的校正图像的宽度与鱼眼图像的宽度W相同，水平全景透视平面上的校正图像的高度为(2πW*tan(FOV_v/2))。在水平全景透视平面上的坐标系中，原点位于水平全景透视平面上的校正图像的左上角的像素位置，x轴的方向为向右为正方向，y轴的方向为向下为正方向。

对于水平全景透视平面上的校正图像上的任意一个像素位置χ_τ＝(x_τ，y_τ)，可以根据以下等式来计算与该像素位置相对应的空间坐标χ＝(x，y，z)：

S206，获取与步骤S204中获取的每个空间坐标相对应的鱼眼图像中的像素位置。

在获取给定透视平面上的校正图像中的每个像素位置相对应的空间坐标后，需要利用所获取的空间坐标找出与校正图像中的每个像素位置相对应的鱼眼图像中的像素位置。

这里，通过以下处理来获得与步骤S204中获取的每个空间坐标相对应的鱼眼图像中的像素位置。

1)根据以下等式将空间坐标χ＝(x，y，z)投射到单位球面上。更具体地说，根据以下等式对空间坐标χ＝(x，y，z)进行归一化，以获取归一化的空间坐标χ_s＝(X_s，Y_s，Z_s)：

其中，

2)将归一化的空间坐标χ_s＝(X_s，Y_s，Z_s)沿z轴的负方向平移ξ个单位，即平移向量为g_p＝(0，0，ξ)，以得到平移后的空间坐标χ_p＝(X_p，Y_p，Z_p)：

χ_p＝(X_s，Y_s，Z_s-ξ)

其中，ξ是取决于鱼眼镜头的镜面形状的参数。不同形状的镜面，具有不同的ξ值。这里，镜面的形状可以为椭球形、球形等。

3)根据以下等式获取平移后的空间坐标χ_p＝(X_p，Y_p，Z_p)的齐次坐标m_u：

4)根据以下等式向上述齐次坐标m_u添加径向和切向变形，以得到添加了变形后的齐次坐标m_d：

m_d＝m_u+D(m_u)

其中，D(·)是描述径向与切向形变的函数。由于描述径向和切向形变的函数是取决于鱼眼镜头的，不同的鱼眼镜头具有不同的D(·)，并且通常由生产鱼眼镜头的厂家提供，所以这里不再累述。

5)通过将添加了变形后的齐次坐标m_d与投影矩阵相乘，将m_d映射到鱼眼图像上。即，根据以下等式获取与添加了变形后的齐次坐标m_d相对应的鱼眼图像中的初始像素位置p＝(x_p，y_p)：

其中，K是投影矩阵，(u₀，υ₀)是鱼眼镜头的主点在空间坐标系中的x和y轴坐标，γ是鱼眼镜头的广义焦距，γ_s是鱼眼镜头的斜率，并且γ_r是鱼眼镜头的宽高比。

6)对鱼眼图像中的与空间坐标χ＝(x，y，z)的初始像素位置p＝(x_p，y_p)进行平移(即，沿鱼眼图像中的x轴的负方向对x_p平移W/2个单位，并且沿鱼眼图像中的y轴的负方向对y_p平移H/2个单位)，得到与空间坐标χ＝(x，y，z)相对应的鱼眼图像中的最终像素位置χ_f＝(x_f，y_f)。

在安装有鱼眼镜头的相机中，诸如鱼眼图像的宽度和高度、描述径向与切向形变的函数D(·)、投影矩阵K、鱼眼镜头的主点的空间坐标、以及鱼眼镜头的广义焦距γ、斜率γ_s和宽高比γ_r等的参数与鱼眼镜头的形状、安装鱼眼镜头的相机中的传感器、鱼眼图像的尺寸等有关。不同的鱼眼镜头会使图像产生不同的变形，并且变形的特性由鱼眼镜头的映射函数定义的。所以，上述参数都可以被视为安装有鱼眼镜头的相机的常量。在进行鱼眼图像校正之前，这些常量可以通过鱼眼标定估计出来，或者可以由安装有鱼眼镜头的相机的生产者直接提供。

S208，利用鱼眼图像中的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值。

在通过步骤S204和S206的处理找出与校正图像中的每个像素位置相对应的鱼眼图像中的像素位置之后，需要利用鱼眼图像中的一个或多个相关像素位置处的像素值来获取校正图像中的每个像素位置处的像素值。

具体地，假设与校正图像中的任意一个像素位置(x₁，y₁)相对应的鱼眼图像中的像素位置为(x₀，y₀)，那么可以利用鱼眼图像中以(x₀，y₀)为中心的八个像素位置以及(x₀，y₀)本身的原始像素值来计算鱼眼图像中的像素位置(x₀，y₀)处的新像素值，并将所计算出的(x₀，y₀)处的新像素值作为校正图像中的像素位置(x₁，y₁)的像素值。

这里，假设(x₀，y₀)是一个实数点，那么对于鱼眼图像I来说，像素位置(x₀，y₀)处的新像素值可以通过下式插值得到：

其中，a是Lanczos滤波窗口尺寸，L(·)是Lanczos核，其定义如下：

从上式可见，Lanczos内插需要大量的sinc函数计算。为了更高效的实现，在本发明的实施例中，可以使用查找表来加速计算，并选择a等于1。

1)首先初始化查找表LL，查找表长度由采样精度决定。本发明采用采样精度为0.01，所以查找表长度为300。

其中1≤x≤300。

2)结合以上等式，上述插值等式可以被变换为以下等式：

在利用上述查找表LL的情况下，(x₀，y₀)处的新像素值的计算仅包括加法运算而不包括其他的复杂运算，所以运算量大幅下降，从而使得获取(x₀，y₀)处的新像素值的处理大大加快。

综上所述，在根据本发明实施例的鱼眼图像校正装置和方法中，用户可以根据具体的应用场景或者自己的喜好进行设置，从而实现对透视映射模式的选择。所以，根据本发明实施例的鱼眼图像校正装置和方法可以兼容地应用于多种应用场景中。另外，由于针对具体的应用场景选择了一种合适的透视映射模式，所以鱼眼图像中的更多的信息可以被保留在对鱼眼图像进行校正得到的校正图像中。而且，由于在利用鱼眼图像中的一个或多个相关像素位置的像素值求解校正图像中的每个像素位置的像素值的过程中应用了查找表，所以大大加快了求解速度。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (8)

1.一种鱼眼图像校正方法，包括：

根据用户设置，选择多种透视映射模式中的一种透视映射模式；

获取在所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；

获取与所获取的空间坐标对应的鱼眼图像上的像素位置；以及

利用鱼眼图像上的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值，其中

对于与所述校正图像中的任意一个像素位置相对应的空间坐标χ＝(x，y，z)，通过以下处理来获取与所述空间坐标χ＝(x，y，z)相对应的所述鱼眼图像上的像素位置χ_f＝(x_f，y_f)：

通过对所述空间坐标χ＝(x，y，z)进行归一化，获取归一化的空间坐标χ_s

通过沿z轴对所述归一化的空间坐标χ_s进行平移，获取平移后的空间坐标χ_p；

获取所述平移后的空间坐标χ_p的齐次坐标m_u；

通过向所述齐次坐标m_u添加径向和切向变形，获取变形后的齐次坐标m_d；

通过将所述变形后的齐次坐标m_d与投影矩阵K相乘，获取与所述空间坐标χ＝(x，y，z)相对应的所述鱼眼图像上的初始像素位置P＝(x_p，y_p)；

通过对所述初始像素位置P＝(x_p，y_p)进行平移，得到所述鱼眼图像上的与所述空间坐标χ＝(x，y，z)相对应的最终像素位置χ_f＝(x_f，y_f)。

2.根据权利要求1所述的鱼眼图像校正方法，其中，对于所述校正图像中的任意一个像素位置(x₁,y₁)，利用所述鱼眼图像中的与所述像素位置(x₁,y₁)相对应的像素位置(x₀，y₀)处的像素值以及所述像素位置(x₀，y₀)周围的多个像素位置处的像素值来计算所述像素位置(x₁,y₁)处的像素值。

3.根据权利要求2所述的鱼眼图像校正方法，其特征在于，通过对所述像素位置(x₀，y₀)处的像素值以及所述像素位置(x₀，y₀)周围的八个像素位置处的像素值进行内插来计算所述像素位置(x₁,y₁)处的像素值。

4.根据权利要求1所述的鱼眼图像校正方法，其中，在获取与所述校正图像中的每个像素位置相对应的空间坐标之前，还要根据用户预先设置的水平视场角度和竖直视场角度、以及所述鱼眼图像的尺寸中的至少一者来确定所述校正图像的尺寸。

5.一种鱼眼图像校正装置，包括：

模式选择单元，用于根据用户设置选择多种透视映射模式中的一种透视映射模式；

第一映射单元，用于获取在所选择的透视映射模式下与给定透视平面上的校正图像中的每个像素位置相对应的空间坐标；

第二映射单元，用于获取与所获取的空间坐标对应的鱼眼图像上的像素位置；以及

像素值计算单元，用于利用鱼眼图像上的一个或多个像素位置处的像素值计算校正图像中的每个像素位置处的像素值，其中

对于与所述校正图像中的任意一个像素位置相对应的空间坐标χ＝(x，y，z)，所述第二映射单元通过以下处理来获取与所述空间坐标χ＝(x，y，z)相对应的所述鱼眼图像上的像素位置χ_f＝(x_f，y_f)：

通过对所述空间坐标χ＝(x，y，z)进行归一化，获取归一化的空间坐标χ_s；

通过沿z轴对所述归一化的空间坐标χ_s进行平移，获取平移后的空间坐标χ_p；

获取所述平移后的空间坐标χ_p的齐次坐标m_u；

通过向所述齐次坐标m_u添加径向和切向变形，获取变形后的齐次坐标m_d；

通过将所述变形后的齐次坐标m_d与投影矩阵K相乘，获取与所述空间坐标χ＝(x，y，z)相对应的所述鱼眼图像上的初始像素位置P＝(x_p，y_p)；

通过对所述初始像素位置P＝(x_p，y_p)进行平移，得到所述鱼眼图像上的与所述空间坐标χ＝(x，y，z)相对应的最终像素位置χ_f＝(x_f，y_f)。

6.根据权利要求5所述的鱼眼图像校正装置，其中，对于所述校正图像中的任意一个像素位置(x₁,y₁)，所述像素值计算单元利用所述鱼眼图像中的与所述像素位置(x₁,y₁)相对应的像素位置(x₀，y₀)处的像素值以及所述像素位置(x₀，y₀)周围的多个像素位置处的像素值来计算所述像素位置(x₁,y₁)处的像素值。

7.根据权利要求6所述的鱼眼图像校正装置，其特征在于，所述像素值计算单元通过对所述像素位置(x₀，y₀)处的像素值以及所述像素位置(x₀，y₀)周围的八个像素位置处的像素值进行内插来计算所述像素位置(x₁,y₁)处的像素值。

8.根据权利要求5所述的鱼眼图像校正装置，其中，所述第一映射单元在获取与所述校正图像中的每个像素位置相对应的空间坐标之前，还要根据用户预先设置的水平视场角度和竖直视场角度、以及所述鱼眼图像的尺寸中的至少一者来确定所述校正图像的尺寸。