CN101739707B - 基于椭圆形鱼眼图像的畸变校正方法 - Google Patents

Abstract

本发明公开了一种基于椭圆形鱼眼图像的畸变校正方法，其特征是首先在摄像机坐标系下使用椭圆抛物面建立椭圆鱼眼图像成像模型，然后使用像素坐标系对模型的参数进行近似的标定，最后使用建立的模型对得到的鱼眼图进行畸变校正。本发明提供一种针对180度视角的基于椭圆形鱼眼图像的畸变校正方法，尤其是在未知摄像机参数的情况下能快速简洁的得到椭圆形鱼眼图像校正后的透视图像。

Description

基于椭圆形鱼眼图像的畸变校正方法

技术领域

本发明涉及鱼眼图像的校正方法，更具体地说是一种椭圆形鱼眼图像的畸变校正方法。

背景技术

在计算机视觉、虚拟现实、机器人导航及视觉监控等领域中，往往需要得到更大角度范围的图像，即使广角镜头在使用上也会存在种种限制，然而鱼眼摄像机可以满足这些要求，其视角范围可以很大甚至接近全视角范围，可以有效满足以上领域的需要，因此目前能够得到大视角的鱼眼图像的鱼眼镜头得到广泛的使用。

鱼眼图像与现实中日常看到的透视图像有很大不同，在获得很大的视角的同时，其得到的鱼眼图像存在着较大程度的变形和失真，所以在对鱼眼图像使用之前往往需要进行畸变校正。通过已有的鱼眼图像校正算法可以实现对一些鱼眼图像的校正和部分校正，得到各种可实际应用的大视角透视图像。

目前，我们通过鱼眼镜头产生的鱼眼图像往往都是圆形的鱼眼图像，而对这种圆形鱼眼图像的畸变处理中往往使用球面模型或者其他一些模型。随着摄像机镜头技术的发展，国外已经出现一种产生椭圆形鱼眼图像的鱼眼镜头，如ImmerVision公司生产的一系列新型鱼眼镜头，其镜片组中使用两组柱面透镜，产生的鱼眼图像就是一种180度视角的椭圆形鱼眼图像，图1所示为新型鱼眼镜头产生的椭圆形鱼眼图像。在一些领域中，使用新型鱼眼镜头产生的椭圆形鱼眼图像远比普通镜头产生的圆形鱼眼图像有更大的优点，例如视频监控中，往往监控区域形状是多样的，如要对一个长方形走廊进行监控，普通鱼眼摄像机无法做到对某一方向或区域给予更多的关注，而新型鱼眼摄像机在使用中确定好方向，可以通过对走廊的延伸方向区域采集更多的像素点而给予其更多的关注，再通过椭圆鱼眼图像畸变校正程序，就能更有效的利用鱼眼摄像机得到更多更清晰的有用信息。

传统的鱼眼图像畸变校正方法都是针对圆形鱼眼图像的，迄今为止还没有一种用于实现椭圆鱼眼图像校正的有效方法。

发明内容

本发明是为避免现有技术局限在处理圆形鱼眼图像的弊端，提供一种针对180度视角的基于椭圆形鱼眼图像的畸变校正方法，尤其是在未知摄像机参数的情况下能快速简洁的得到椭圆形鱼眼图像校正后的透视图像。

本发明解决技术问题采用如下技术方案：

本发明椭圆形鱼眼图像的校正方法的特点是按如下步骤进行：

步骤1、建立椭圆抛物面模型，并在所述椭圆抛物面模型上建立鱼眼成像变换关系和鱼眼图像到透视图像的变换关系；

所述椭圆抛物面模型的建立过程为：在空间直角坐标系OXYZ中建立一椭圆抛物面，设置所述空间直角坐标系OXYZ的原点为O点，所述椭圆抛物面关于空间直角坐标系OXYZ中的X轴及Y轴对称，所述椭圆抛物面的顶点在Z轴的正半轴上，开口朝向空间直角坐标系OXYZ中Z轴的负方向；令所述椭圆抛物面与空间直角坐标系OXYZ中X轴、Y轴和Z轴的交点分别为X₁(r₁，0，0)、Y₁(0，r₂，0)、Z₁(0，0，r₃)，则所述椭圆抛物面在所述空间直角坐标系OXYZ中的椭圆抛物面模型为：

$\frac{r_3\×x^2}{{r_1}^2}+\frac{r_3\×y^2}{{r_2}^2}=r_3-z---\left(1\right)$

式中：x，y，z分别为所述椭圆抛物面模型的三个未知参数；

所述鱼眼成像变换关系为所述空间直角坐标系OXYZ中任意一物点D(x″，y″，z″)点投影到空间直角坐标系OXYZ中XOY成像平面上的像点A(x，y)点的变换关系，连接空间直角坐标系OXYZ的原点O与所述物点D(x″，y″，z″)点交所述椭圆抛物面于转换点B(x，y，z)点，做所述转换点B(x，y，z)点到XOY成像平面的垂线，并与所述XOY成像平面交于像点A(x，y)点；则所述鱼眼成像变换关系为：

$\left\{\begin{array}{c}x=\frac{r_1{r}_2{x}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{x}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\\ y=\frac{r_1{r}_2{y}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{y}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\end{array}\right.---\left(2\right)$

在所述空间直角坐标系OXYZ中指定z＝z′表示的平面为透视图像平面f，所述z＝z′中的z′为任一正实数，所述鱼眼图像到透视图像的变换关系为所述空间直角坐标系OXYZ中XOY成像平面上的像点A(x，y)点投影到空间直角坐标系OXYZ中透视图像平面上的透视点C(x′，y′)点的变换关系；所述透视图像平面为连接原点O和所述转换点B(x，y，z)点并延长至与所述透视图像平面f相交，交点为所述透视点C(x′，y′)点；则所述鱼眼图像到透视图像的变换关系为：

$\left\{\begin{array}{c}{x}^{\′}=\frac{z^{\′}x}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\\ y^{\′}=\frac{z^{\′}y}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\end{array}\right.---\left(3\right)$

步骤2、标定步骤1中所述椭圆抛物面模型的参数

设定鱼眼像机按正方形采集像素，拍摄一幅鱼眼图像，所述鱼眼图像椭圆面长半轴与短半轴的像素数并分别记为a和b；

在所述鱼眼图像上标记一条由被拍摄空间中直线映射在所述鱼眼图像中的映射曲线，在所述映射曲线上间隔采集三个映射点，将所述三个映射点的像素坐标转换到空间直角坐标系OXYZ中；

令r₁＝a、r₂＝b，r₃＝(a+b)/2，设定z＝z′，由式(3)得到所述三个映射点和原点O在透视图像上的坐标，根据所述三个映射点和原点O在透视图像上的坐标关系按修改原则、以迭代的方式修改模型中参数r₃的数值，直至使所述三个映射点在透视图像上呈一直线，并且与所述原点O在透视图像上的映射点不在一条直线上，记录此时的r₃的数值；

所述修改原则为：若所得透视图像上三个映射点和原点O形成为凸四边形，则增大r₃值；若形成为凹四边形，则减小r₃的值；

步骤3、对鱼眼图像进行畸变校正

设定生成的透视图像分辨率，在所述空间直角坐标系OXYZ中任意指定一点做为透视图像中心点O′，连接原点O与所述透视图像中心点O′，设定与OO′垂直并过O′点的平面为透视图像平面g；

在所述透视图像平面g上，以所述O′点为原点，以过O′点垂直于所述空间直角坐标系OXYZ中的Y轴的直线为X′轴，以过O′点且垂直于X′轴的直线为Y′轴，建立以像素为单位的平面直角坐标系X′O′Y′，在所述平面直角坐标系X′O′Y′上标记一整数坐标点C₁(x′₁，y′₁)，将所述整数坐标点C₁(x′₁，y′₁)转换到空间直角坐标系OXYZ中，由式(2)得到像素点C₁(x′₁，y′₁)点在所述XOY成像平面中的像点A₁(x₁，y₁)，在所述XOY成像平面中找到与像点A₁(x₁，y₁)相邻的四个整数像素点，对所述四个整数像素点使用四点插值方法计算出像点A₁(x₁，y₁)的像素值，记所述像点A₁(x₁，y₁)的像素值为所求的X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值；使用所求得X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值的方法求得所述透视图像平面g上每一像素点的像素值，得到透视中心为O′的透视图像，完成鱼眼图像畸变的校正。

与已有技术相比，本发明有益效果体现在：

1、在处理鱼眼图像过程中，由于摄像机镜头的光学成像模型大多是未知的，本发明使用椭圆形抛物面成像垂直映像模型来对其进行建模，椭圆抛物面具有很多好的光学性质，其参数可调范围很大，比其它的一些常用模型能更好的拟合光学镜头成像模型，因此在畸变校正时会有更好的效果。

2、在鱼眼摄像机的参数信息未知的情况下，鱼眼图像校正过程中需要确定的的模型参数过多，计算较为复杂，为了简化计算过程，本发明使用摄像机视点坐标系，设定鱼眼摄像机按正方形采集像素，使用像素坐标系，近似的用像素数作为模型的参数，并用一种优化的迭代逼近算法求出模型的另一个参数。这样极大的减少了计算量，并且有效的实现了通过少量信息对椭圆抛物面模型的标定，最终能够较好的实现鱼眼图像的校正。

3、在对椭圆形鱼眼图像的校正时，本发明使用的是多视角转移算法来生成各个视角的透视图像，这种方法得到的透视图像能突出细节信息，并且更加具有真实感。实验证明，这套系统算法可以在所给信息量较少的情况下很好的实现对180度椭圆形鱼眼图像的畸变校正处理，并且计算量较少，甚至可以扩展到摄像机实时视频处理领域。

附图说明

图1为新型鱼眼镜头产生的椭圆形鱼眼图像。

图2为椭圆形鱼眼图像校正的实现过程流程图。

图3为椭圆抛物面鱼眼镜头成像模型。

图4为鱼眼图像到任意视角透视图像的映射模型。

具体实施方式

本发明椭圆形鱼眼图像的校正过程分三步进行，如图2所示，其实现过程详细描述如下：

1、建立椭圆抛物面模型，并在所述椭圆抛物面模型上建立鱼眼成像变换关系和鱼眼图像到透视图像的变换关系；

所述椭圆抛物面模型的建立过程为：如图3所示，在空间直角坐标系OXYZ中建立一椭圆抛物面，设置所述空间直角坐标系的原点为O点，所述椭圆抛物面关于空间直角坐标系中的X轴及Y轴对称，所述椭圆抛物面的顶点在Z轴的正半轴上，开口朝向空间直角坐标系中Z轴的负方向；令所述椭圆抛物面与空间直角坐标系中X轴、Y轴和Z轴的交点分别为X₁(r₁，0，0)、Y₁(0，r₂，0)、Z₁(0，0，r₃)，则所述椭圆抛物面在所述空间直角坐标系中的椭圆抛物面模型为：

$\frac{r_3\×x^2}{{r_1}^2}+\frac{r_3\×y^2}{{r_2}^2}=r_3-z---\left(1\right)$

式中：x，y，z分别为所述椭圆抛物面模型的三个未知参数；

所述鱼眼成像变换关系为所述空间直角坐标系中任意一物点D(x″，y″，z″)点投影到空间直角坐标系中XOY成像平面上的像点A(x，y)点的变换关系，连接空间直角坐标系的原点O与所述物点D(x″，y″，z″)点交所述椭圆抛物面于转换点B(x，y，z)点，做所述转换点B(x，y，z)点到XOY成像平面的垂线，并与所述XOY成像平面交于像点A(x，y)点；则所述鱼眼成像变换关系为：

$\left\{\begin{array}{c}x=\frac{r_1{r}_2{x}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{x}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\\ y=\frac{r_1{r}_2{y}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{y}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\end{array}\right.---\left(2\right)$

在所述空间直角坐标系中指定z＝z′表示的平面为透视图像平面f，所述z＝z′中的z′为任一正实数，所述鱼眼图像到透视图像的变换关系为所述空间直角坐标系中XOY成像平面上的像点A(x，y)点投影到空间直角坐标系中透视图像平面上的透视点C(x′，y′)点的变换关系；所述透视图像平面为连接原点O和所述转换点B(x，y，z)点并延长至与所述透视图像平面f相交，交点为所述透视点C(x′，y′)点；则所述鱼眼图像到透视图像的变换关系为：

$\left\{\begin{array}{c}{x}^{\′}=\frac{z^{\′}x}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\\ y^{\′}=\frac{z^{\′}y}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\end{array}\right.---\left(3\right)$

2、设定鱼眼像机按正方形采集像素，拍摄一幅鱼眼图像，所述鱼眼图像椭圆面长半轴与短半轴的像素数分别记为a和b；对摄像机坐标系下建立的鱼眼成像模型进行标定，已知摄像机的视点中心点是坐标系原点，要标定的是摄像机的内部参数r₁、r₂和r₃。

在所述鱼眼图像上标记一条由被拍摄空间中直线映射在所述鱼眼图像中的映射曲线，在所述映射曲线上间隔采集三个映射点，将所述三个映射点的像素坐标转换到空间直角坐标系中，所述像素坐标转换关系为：图像上任一像素点坐标P′(s，t)，转换到P′(s-a，b-t)。

令r₁＝a、r₂＝b，r₃＝(a+b)/2，设定z＝z′，由式(3)得到所述三个映射点和原点O在透视图像上的坐标。为了更好的描述迭代计算过程，首先设定三种条件：如果三个映射点在透视图像上呈一直线，并且与所述原点O在透视图像上的映射点O′不在一条直线上，条件1成立，如果所得透视图像上三个映射点和原点O′形成为凸四边形，条件2成立，如果所得透视图像上三个映射点和原点O′形成为凹四边形，条件3成立。根据所述三个映射点和原点O在透视图像上的坐标所形成的位置关系按下段的修改原则以迭代的方式修改模型中参数r₃的数值，直至使所述三个映射点在透视图像上呈一直线，并且所述原点O在透视图像上的映射点不在这条直线上，记录此时的r₃的数值；

所述修改原则为：如果条件1成立，则停止运算，记录此时的r₃的数值。如果条件2成立，则以等比例r₃＝2r₃增大r₃值，直至条件1或者条件3成立，若条件1成立则停止运算，记录此时的r₃的数值，若是条件3成立，则说明满足条件1的r₃的取值在r₃与r₃/2区之间，此时使用折半查法找到满足条件1的最优的r₃。如果条件3成立，则以等比例r₃＝r₃/2缩小r₃的值，直至条件1或者条件2成立，若条件1成立则停止运算，记录此时的r₃的数值，若是条件2成立，则说明满足条件1的r₃的取值在r₃与2r₃区之间，此时使用折半查法找到满足条件1的最优的r₃。

3、对鱼眼图像进行畸变校正

设定生成的透视图像分辨率，参考图4，在所述空间直角坐标系中任意指定一点做为透视图像中心点O′，连接原点O与所述透视图像中心点O′，设定与OO′垂直并过O′点的平面为透视图像平面g；

在所述透视图像平面g上以所述O′点为原点，以过O′点垂直于所述空间直角坐标系中的Y轴的直线为X′轴，以过O′点垂直于X′轴的直线为Y′轴，建立以像素为单位的平面直角坐标系X′O′Y′，在所述平面直角坐标系X′O′Y′标记一整数坐标点C₁(x′₁，y′₁)，将所述整数坐标点C₁(x′₁，y′₁)转换到空间直角坐标系中，由式(2)得到像素点C₁(x′₁，y′₁)点在所述XOY成像平面中的像点A₁(x₁，y₁)，在所述XOY成像平面中找到与像点A₁(x₁，y₁)相邻的四个整数像素点，对所述四个整数像素点使用四点插值方法计算出像点A₁(x₁，y₁)的像素值，记所述像点A₁(x₁，y₁)的像素值为所求的X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值。使用所求得X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值的方法求得所述透视图像平面g上每一像素点的像素值，得到透视中心为O′的透视图像，完成鱼眼图像畸变的校正。

Claims (1)

1.基于椭圆形鱼眼图像的畸变校正方法，其特征是按如下步骤进行：

步骤1、建立椭圆抛物面模型，并在所述椭圆抛物面模型上建立鱼眼成像变换关系和鱼眼图像到透视图像的变换关系；

所述椭圆抛物面模型的建立过程为：在空间直角坐标系OXYZ中建立一椭圆抛物面，设置所述空间直角坐标系OXYZ的原点为O点，所述椭圆抛物面关于空间直角坐标系OXYZ中的X轴及Y轴对称，所述椭圆抛物面的顶点在Z轴的正半轴上，开口朝向空间直角坐标系OXYZ中Z轴的负方向；令所述椭圆抛物面与空间直角坐标系OXYZ中X轴、Y轴和Z轴的交点分别为X₁(r₁，0，0)、Y₁(0，r₂，0)、Z₁(0，0，r₃)，则所述椭圆抛物面在所述空间直角坐标系OXYZ中的椭圆抛物面模型为：

$\frac{r_3\×x^2}{{r_1}^2}+\frac{r_3\×y^2}{{r_2}^2}=r_3-z---\left(1\right)$

式中：x，y，z分别为所述椭圆抛物面模型的三个未知参数；

所述鱼眼成像变换关系为所述空间直角坐标系OXYZ中任意一物点D(x″，y″，z″)点投影到空间直角坐标系OXYZ中XOY成像平面上的像点A(x，y)点的变换关系，连接空间直角坐标系OXYZ的原点O与所述物点D(x″，y″，z″)点交所述椭圆抛物面于转换点B(x，y，z)点，做所述转换点B(x，y，z)点到XOY成像平面的垂线，并与所述XOY成像平面交于像点A(x，y)点；

则所述鱼眼成像变换关系为：

$\left\{\begin{array}{c}x=\frac{r_1{r}_2{x}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{x}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\\ y=\frac{r_1{r}_2{y}^{\′\′}\sqrt{{r_1}^2{r_2}^2{z}^{\′\′2}+4{r_2}^2{r_3}^2{x}^{\′\′2}+4{r_1}^2{r_3}^2{y}^{\′\′2}}-{r_1}^2{r_2}^2{y}^{\′\′}{z}^{\′\′}}{2r_3({r_1}^2{y}^{\′\′2}+{r_2}^2{x}^{\′\′2})}\end{array}\right.---\left(2\right)$

在所述空间直角坐标系OXYZ中指定z＝z′表示的平面为透视图像平面f，所述z＝z′中的z′为任一正实数，所述鱼眼图像到透视图像的变换关系为所述空间直角坐标系OXYZ中XOY成像平面上的像点A(x，y)点投影到空间直角坐标系OXYZ中透视图像平面上的透视点C(x′，y′)点的变换关系；连接原点O和所述转换点B(x，y，z)点并延长至与所述透视图像平面f相交，交点为所述透视点C(x′，y′)点；则所述鱼眼图像到透视图像的变换关系为：

$\left\{\begin{array}{c}{x}^{\′}=\frac{z^{\′}x}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\\ y^{\′}=\frac{z^{\′}y}{r_3(1-\frac{x^2}{{r_1}^2}-\frac{y^2}{{r_2}^2})}\end{array}\right.---\left(3\right)$

步骤2、标定步骤1中所述椭圆抛物面模型的参数

设定鱼眼像机按正方形采集像素，拍摄一幅鱼眼图像，所述鱼眼图像椭圆面长半轴与短半轴的像素数并分别记为a和b；

在所述鱼眼图像上标记一条由被拍摄空间中直线映射在所述鱼眼图像中的映射曲线，在所述映射曲线上间隔采集三个映射点，将所述三个映射点的像素坐标转换到空间直角坐标系OXYZ中；

令r₁＝a、r₂＝b，r₃＝(a+b)/2，设定z＝z′，由式(3)得到所述三个映射点和原点O在透视图像上的坐标，根据所述三个映射点和原点O在透视图像上的坐标关系按修改原则、以迭代的方式修改模型中参数r2的数值，直至使所述三个映射点在透视图像上呈一直线，并且与所述原点O在透视图像上的映射点不在一条直线上，记录此时的r3的数值；

所述修改原则为：若所得透视图像上三个映射点和原点O形成为凸四边形，则增大r₃值；若形成为凹四边形，则减小r₃的值；

步骤3、对鱼眼图像进行畸变校正

设定生成的透视图像分辨率，在所述空间直角坐标系OXYZ中任意指定一点做为透视图像中心点O′，连接原点O与所述透视图像中心点O′，设定与OO′垂直并过O′点的平面为透视图像平面g；

在所述透视图像平面g上，以所述O′点为原点，以过O′点垂直于所述空间直角坐标系OXYZ中的Y轴的直线为X′轴，以过O′点且垂直于X′轴的直线为Y′轴，建立以像素为单位的平面直角坐标系X′O′Y′，在所述平面直角坐标系X′O′Y′上标记一整数坐标点C₁(x′₁，y′₁)，将所述整数坐标点C₁(x′₁，y′₁)转换到空间直角坐标系OXYZ中，由式(2)得到像素点C₁(x′₁，y′₁)点在所述XOY成像平面中的像点A₁(x₁，y₁)，在所述XOY成像平面中找到与像点A₁(x₁，y₁)相邻的四个整数像素点，对所述四个整数像素点使用四点插值方法计算出像点A₁(x₁，y₁)的像素值，记所述像点A₁(x₁，y₁)的像素值为所求的X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值；使用所求得X′O′Y′坐标系上C₁(x′₁，y′₁)点的像素值的方法求得所述透视图像平面g上每一像素点的像素值，得到透视中心为O′的透视图像，完成鱼眼图像畸变的校正。

Images