CN104778656B - 基于球面透视投影的鱼眼图像校正方法 - Google Patents

Abstract

本发明涉及一种基于球面透视投影的鱼眼图像校正方法，其包括如下步骤：步骤1、建立鱼眼图像到校正图像的关系；步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。本发明可以有效消除鱼眼图像中的桶形畸变，提升鱼眼图像校正的准确性以及灵活性。

Description

基于球面透视投影的鱼眼图像校正方法

技术领域

本发明涉及一种校正方法，尤其是一种基于球面透视投影的鱼眼图像校正方法，属于数字图像处理的技术领域。

背景技术

鱼眼镜头是一种视场角大于等于180°的短焦镜头。其比广角镜头和超广角镜头具有更大的视场角，在取景过程中可以达到远超于一般镜头的范围。鱼眼镜头的发明起初应用于摄影的艺术创作，但随着鱼眼镜头光学结构的发展和其在图像采集方面的天然优势，其应用已逐渐扩展到天文、球幕电影、建筑测量、管道检测、医疗内窥检查等领域。在全景监控方面，鱼眼镜头相较于多镜头式系统还具有结构紧凑、体积较小、不易损坏、技术要求低等特点，所以在安全和军事领域，由鱼眼镜头为核心的全景监控系统也成为了近年来全景监控研究的热点之一。

鱼眼镜头获取的图像称为鱼眼图像。鱼眼镜头具备远超一般镜头的取景范围，也导致鱼眼图像中引入了大量的桶形畸变。桶形畸变即图像的横向放大率随视场增大而减小的畸变。它使对称于光轴的正方形物体呈桶形。鱼眼图像中，对应于大视场角的边缘的扭曲程度比中心严重得多，会出现明显的失真。现实世界中对象的直线特征，在鱼眼图像中往往不能维持。所以，为了更好地阅读和鱼眼图像中的信息，就需要将鱼眼图像进行校正，尽可能地消除图像中的畸变，这也为进一步的图像拼接、场景建模、模式识别等工作提供了必要的支撑。

鱼眼图像的校正可以在一定程度上通过适当的透镜组合去进行，但校正会受限于透镜本身的折射、反射和透射特性。一般地，校正不考虑鱼眼镜头的光学组成，而只针对于鱼眼图像本身，在此阶段的校正在本质上是图像处理中的空间变换，这种校正也可以称之为几何校正。几何校正的核心思想为构建一种模型，将鱼眼图像中的点向后映射至目标图像，或从目标图像出发，向前映射到鱼眼图像，而后通过一定的约束条件，确定模型中的参数，完成校正。

目前，鱼眼图像校正模型构建的思路主要可以分为以下几类：

1、鱼眼图像的主要畸变为桶形畸变，其具有在径向上，随着远离图像中心，空间图像分辨率会非线性的降低的特点。根据这种非线性的特点，提出了很多直接的从鱼眼图像到目标图像的映射模型。此类模型中，多项式模型由于不会涉及到对数、三角函数的运算，是相对来说较标准的模型

2、从鱼眼镜头成像的成像投影进行分析，鱼眼镜头的成像面可以看作半球面或抛物面。此类建模方法首先将畸变的鱼眼图像图像映射到成像面上。而后再处理球面或抛物面上的图像。此类方法通常需要确定鱼眼图像的中心以及映射球面的半径。

3、还有一类基于内容的鱼眼图像校正模型，这是一类交互式地，考虑图像内容的方法。该方法由用户标注图像中主要的直线特征，并同时根据图像平滑性、各类约束构建能量函数，最后通过求能量函数的最优解得到校正结果。

但上述的鱼眼图像校正过程复杂，校正精度低，难以满足校正要求。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于球面透视投影的鱼眼图像校正方法，其可以有效消除鱼眼图像中的桶形畸变，提升鱼眼图像校正的准确性以及灵活性。

按照本发明提供的技术方案，一种基于球面透视投影的鱼眼图像校正方法，所述鱼眼图像校正方法包括如下步骤：

步骤1、根据鱼眼镜头成像的投影方式，建立鱼眼图像到校正图像的关系，以得到所需的校正图像模型；

步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，所述空白的校正图像与待校正的鱼眼图像相匹配；对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；

步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。

所述步骤1包括如下步骤：

步骤1.1、根据鱼眼镜头成像的投影方式，将鱼眼图像映射为球面图像，且使得球面所在的球体半径等于鱼眼图像的半径R；

步骤1.2、从上述球面图像的球心触发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，所述虚拟成像孔距离球心的距离为tR；

步骤1.3、将上述球面图像通过虚拟成像孔进行小孔成像，以得到所需的校正图像模型。

所述鱼眼镜头成像的投影方式包括等距投影、等体积投影、正交投影以及体视投影。

所述空白校正图像与待校正的鱼眼图像大小相一致；对于亚像素坐标进行双线性插值，以得到亚像素值。

本发明的优点：根据鱼眼镜头成像的投影方式，来建立鱼眼图像与校正图像的关系，t是唯一的需要确定的参数（再确定鱼眼镜头成像投影方式后），使得相较于传统的基于鱼眼镜头成像投影的成像模型，在并没有提高复杂度的情况下，具有了可以提升精度的灵活性，即在可以确定参数的场合，调整该参数提高校正精确性；在难以确定参数的场合，可以通过设定的默认值进行校正，提高了适用范围。

附图说明

图1为本发明的流程图。

图2为本发明将鱼眼图像映射为球面图像的示意图。

图3为本发明将选取虚拟成像孔且得到校正图像的示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示：为了能有效消除鱼眼图像中的桶形畸变，提升鱼眼图像校正的准确性以及灵活性，本发明鱼眼图像校正方法包括如下步骤：

步骤1、根据鱼眼镜头成像的投影方式，建立鱼眼图像到校正图像的关系，以得到所需的校正图像模型；

具体地，如图2和图3所示，所述步骤1包括如下步骤：

步骤1.1、根据鱼眼镜头成像的投影方式，将鱼眼图像映射为球面图像，且使得球面所在的球体半径等于鱼眼图像的半径R；

步骤1.2、从上述球面图像的球心触发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，所述虚拟成像孔距离球心的距离为tR；

步骤1.3、将上述球面图像通过虚拟成像孔进行小孔成像，以得到所需的校正图像模型。

一般地，鱼眼镜头通常采用等距投影、等体积投影、正交投影和体视投影四种投影方式。本发明在实施过程中采用体视投影的方式，其满足关系式：

r = 2f tan(ω /2)

式中，r为P点到鱼眼图像中心的距离，f为有效焦距，ω为入射光线与主光轴夹角；当ω = 90°时，有r = 2f。

令鱼眼图像上的点P在球面图像上对应的点的坐标为P’(R,β,ω)，其中ω为入射光线与主光轴夹角，β为点P与鱼眼图像中x轴的夹角。

从步骤1.1中得到的球面图像的球心出发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，该点距球心距离tR，其中t是此距离与球面所在球体半径R的比值。

将半球面的图像通过虚拟成像孔做小孔成像，映射到距离虚拟成像孔距离tR（原离球面方向）的平面上，可以得到与鱼眼图像大小相同的校正图像模型。即校正图像模型的大小与原鱼眼图像的大小相同。

P’’是得到的球面点P’在校正图像模型中对应的点。根据三角形的相似关系，满足如下关系式：

r’ = tR*tan(α)

式中，α是P’通过虚拟成像孔与主光轴的夹角，r’是P’’距离校正图像中心的距离；根据正弦定理，满足关系式：

R/sin(α) = tR/sin(ω - α)

由于切向畸变很小，在此处可忽略，有β’ = β，其中β’是P’’在校正图像模型中的切向角。

由上述可知，建立鱼眼图像到校正图像的映射关系，以得到校正图像模型，即鱼眼图像中根据鱼眼镜头成像的投影方式映射至球面图像，球面图像通过虚拟的成像孔进行小孔成像得到校正图像模型。

步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，所述空白的校正图像与待校正的鱼眼图像相匹配；对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；

步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。

本发明实施例中，空白校正图像与待校正的鱼眼图像大小一样，当将空白校正图像内每个像素点均赋予对应的亚像素值时，则通过空白的校正图像得到所需的鱼眼校正图像。

数字图像通常用二维矩阵来表示，设鱼眼图像中心在像素矩阵中的位置是(m,n)，则校正图像模型中一点P’’在鱼眼图像矩阵中的位置是(i, j)。当n != j时，P’’与x轴的夹角为：

β‘ = arctan((m-i)/(j-n))

由于切向畸变远小于径向畸变，所以可以认为P’’在鱼眼图像中对应点P的β = β ‘。P’’在球面图像中对应点P’ 通过虚拟成像孔，与主光轴的夹角为：

α = arctan(r’/ tR)

式中r’ 为P’’距离校正图像中心的距离。

入射光线通过原成像孔，与主光轴的夹角为：

ω =t* arcsin(t * sin(α)) + α。

通过鱼眼镜头成像的投影方式，此处采用体视投影，则有r = 2f tan(ω /2)，式中r为P点到鱼眼图像中心的距离。那么P点在鱼眼图像矩阵中的位置为 ((m – r*(sinβ)),(n + r*(cosβ)))，此时P点矩阵位置通常不是整数，所以P点为亚像素。

对亚像素坐标采用双线性插值，得到P点的像素值，在空白校正图像中赋给对应的P’’。

本发明实施例中，t是唯一的需要确定的参数（再确定鱼眼镜头成像投影方式后），使得相较于传统的基于鱼眼镜头成像投影的成像模型，在并没有提高复杂度的情况下，具有了可以提升精度的灵活性，即在可以确定参数的场合，调整该参数提高校正精确性；在难以确定参数的场合，可以通过设定的默认值进行校正，所以并没有缩小该校正模型的适用范围。

当校正参数t = 1时，算法恰为体视投影模型。随着t的减小，桶形畸变逐渐减少，当t足够小时，甚至会产生枕形畸变。当t > 1时，桶形畸变则会加剧。t的缺省值设为0.65-0.75之间较为合适。

Claims (1)

1.一种基于球面透视投影的鱼眼图像校正方法，其特征是，所述鱼眼图像校正方法包括如下步骤：

步骤1、根据鱼眼镜头成像的投影方式，建立鱼眼图像到校正图像的关系，以得到所需的校正图像模型；

所述步骤1包括如下步骤：

步骤1.1、根据鱼眼镜头成像的投影方式，将鱼眼图像映射为球面图像，且使得球面所在的球体半径等于鱼眼图像的半径R；

步骤1.2、从上述球面图像的球心触发，沿半球底面法向量远离半球面方向的射线上任取一点作为虚拟成像孔，所述虚拟成像孔距离球心的距离为tR；

步骤1.3、将上述球面图像通过虚拟成像孔进行小孔成像，以得到所需的校正图像模型；

所述鱼眼镜头成像的投影方式包括等距投影、等体积投影、正交投影以及体视投影；

步骤2、提供待校正的鱼眼图像，根据上述得到的校正图像模型提供空白的校正图像，所述空白的校正图像与待校正的鱼眼图像相匹配；对空白的校正图像内的像素点采用向后映射，以确定空白校正图像中的像素点在鱼眼图像中对应的亚像素坐标；对确定的亚像素坐标进行线性插值，以得到亚像素值，再将所述亚像素值赋予所述空白校正图像内的像素点；所述空白校正图像与待校正的鱼眼图像大小相一致；

步骤3、遍历空白校正图像内的每个像素点，直至空白校正图像内每个像素点均赋予对应的亚像素值，以得到所需的鱼眼校正图像。