CN104268867A - 一种自适应的鱼眼镜头快速校正方法 - Google Patents

Abstract

本发明公开了一种自适应的鱼眼镜头快速校正方法，包括以下步骤：构建等距投影模型，提取不同位置的直线，获得点集；相机参数进行初始化，对点集进行噪声滤除；遵循直线必须投影为直线的原则对直线的图像平面进一步优化；采用立方体展开方式，将优化后的图像投影到单位视球的最大内接立方体的六个面上，输出投影；对同一设备的一次性标定进行二次校正，如果输出投影结果有偏差，重新校正。本发明能够快速对鱼眼镜头进行快速校正，无需大量计算，结果准确，方便快捷。

Description

一种自适应的鱼眼镜头快速校正方法

技术领域

本发明涉及一种自适应的鱼眼镜头快速校正方法。

背景技术

普通相机在日常生活中应用广泛，三维空间中的点都可以根据针孔模型(r＝ftanθ)来实现透视投影成像过程。当θ大于60°之后，r呈现指数增长，当要达到180°视场时，需要无穷大的r来满足成像，而这在实际中是不可获得的。在某些场景下，需要用一个摄像头来获取广角视频，因此很多厂家推出了鱼眼镜头。由于鱼眼相机本身的大视野，可以给用户提供很多的周围信息。在车载上，可以提高行车尤其是倒车时的安全性；对于同样分辨率的图像来说，可以储存更多的信息，选择不同的感兴趣区域进行多区域跟踪。鱼眼图像也应用在在火星车来进行避障。随着鱼眼相机的日常应用日益广泛，原始的鱼眼图像并不符合人眼的成像特性，无法给用户带来直观的感受。所以对鱼眼的快速自适应校正势在必行。

为了满足人们的看图习惯，有必要将鱼眼镜头获取的图像校正到正常图像的显示效果。目前大多数鱼眼校正算法较复杂且自适应性不强，需要研究出快速自适应的鱼眼校正算法。

国内外关于鱼眼矫正的方法有很多。大部分标定方法都需要利用棋盘格标定板来进行。棋盘格标定方法虽然只需要提供多幅不同位姿的棋盘格标定板图像，但是由于鱼眼成像引起的强烈畸变，直线在图像中变成了弧线，且为了保证标定的精度，标定需要利用棋盘格的几何性质，所以标定板上的所有角点都需要手工标注。这项操作不仅引入了标记误差，而且耗时巨大，很难满足实时性的需求。

而现有的其它校正方法虽然精度相对较高，但如果应用于监控、手机、车载等领域，很难保证实施性的要求，而且要求的场景局限性较大。我们所希望的是可以不依赖于场景、可以自适应的鱼眼图像快速标定方法。

发明内容

本发明为了解决上述问题，提出了一种自适应的鱼眼镜头快速校正方法，本方法操作简单、满足实时性的需求，且可应用于监控、手机和车载等多个领域。

为了实现上述目的，本发明采用如下技术方案：

一种自适应的鱼眼镜头快速校正方法，包括以下步骤：

(1)构建等距投影模型，提取不同位置的直线，获得点集；

(2)相机参数进行初始化，对点集进行噪声滤除；

(3)遵循透视投影中直线必须投影为直线的原则对图像平面进一步优化；

(4)采用立方体展开方式，将优化后的图像投影到单位视球的最大内接立方体的六个面上，输出投影；

(5)对同一设备的一次性标定进行二次校正，如果输出投影结果有偏差，重复步骤(1)-(3)，重新校正。

所述步骤(1)中，选择等距投影模型为r＝fθ；其中，θ是入射角，f为初始焦距，r为图像上点到图像中心的距离，定义如下：

$r=\sqrt{x^2+y^2},x=u-c_x,y=v-c_y---\left(1\right)$

其中，(u,v)为像素坐标系下坐标，(x,y)为图像坐标系下坐标，c＝(c_x,c_y)为图像中心。

所述步骤(1)中，由于空间直线在图像上为弧形的一部分，需要提示用户输入共线的多个点进行椭圆拟合，从而填充整条弧线。

所述步骤(1)中，用抛物线来近似拟合图像中弧线，在图像上最少选取空间共线的三点，分别位于线段的起点、中点和终点，在求出的抛物线每行交点的邻近区域内查找梯度最大的点，对直线上的点集进行扩充，记获得的特征点集为P＝{x,x_i＝(x_i,y_i)}}，其中i的取值范围为[1，得到的点的个数]。

所述步骤(2)中，设图像尺寸为w×h，初始的成像中心c为图像中心(w/2，h/2)，假设已知相机视场(FOV)为Ψ，根据选择的等距投影模型(r＝fθ)，得到初始的焦距：

f＝r_max/(Ψ/2)                  (2)

r_max为图像上最大的成像半径。

所述步骤(2)中，通过等距离投影模型，x一一映射到球面上的点X，将特征点集P转化为球面上点集P_s，X、Y、Z分别为Pg的空间坐标值；

$\left\{\begin{array}{c}X=\sin \mathrm{\θ}\cos \mathrm{\α}=\frac{x}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Y=\sin \mathrm{\θ}\sin \mathrm{\α}=\frac{y}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Z=\cos \mathrm{\θ}=\cos (\sqrt{x^2+y^2}/f)\end{array}\right.---\left(3\right)$

所述步骤(2)中，由于空间中的直线在球面坐标系下是过球心的大圆g，而每个大圆由其法向量n＝[sinΘcosΦ,sinΘsinΦ,cosΘ]唯一确定；利用Ransac算法，每次任意提取m(m≥3)个点，通过svd分解，得到一个法向量n；如果点p在此大圆上，理想的情况是p·n＝0；所以，假设内点阈值t，当p·n<t，p即可被认为是内点，由此，得到内点点集P′_s；通过LM(Levenberg-Marquardt)算法得到优化目标函数F₁，从而得到f,c的第一步初始值：

$F_1={\mathrm{\&Sigma;}}_{i=1}^{k}X(f,c)\&CenterDot;n(f,c)---\left(4\right)$

k为内点个数。

所述步骤(3)中，转换透视图像坐标，r_u＝ftanθ＝ftan(r/f)            (5)

r_u对应转换后透视图上的距离，r为鱼眼图像中距离；

$\left\{\begin{array}{c}{x}_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{x}{r}\\ y_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{y}{r}\end{array}\right.---\left(6\right)$

x_u＝(x_u,y_u)为透视图上对应点坐标；设内点的最优直线为L:y＝ax+b，a、b为常数，则每个点到最优直线的距离为d＝|y_u-ax_u-b|；优化目标函数F₂，得到最终的内参标定结果f，c：

$F_2={\mathrm{\&Sigma;}}_{i=1}^{k}d(f,c)---\left(7\right)$

所述步骤(4)中，将图像投影到单位视球的最大内接立方体的六个面上，每个面上的图像都满足透视投影，从而得到全部360°视场范围的信息，由于鱼眼镜头视场约为180°，五个面即可获得全部原始的视场范围。

所述步骤(5)中，同一个分辨率下设备的内参是固定的，在不同分辨率下是成等比例；在同一图像分辨率下，校正后图像上的点坐标由鱼眼图像中的点唯一确定，首次对设备进行校正后，存储两者映射关系的查找表，在二次校正时，只需要读取存储的查找表，即可快速的输出校正结果。

本发明的有益效果为：

(1)能够对鱼眼镜头进行快速校正，无需大量计算，结果满足视觉需求，方便快捷；

(2)适用范围广泛，场景局限性小；

(3)对于同一设备，可以避免二次校正，直接输出结果；

附图说明

图1为本发明的鱼眼图像示意图；

图2为本发明的抛物线拟合示意图；

图3为本发明的图像立方体展开结果示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

1、投影模型选择：

对于视场相对较小的普通相机来说，通常采用针孔模型来描述透视投影成像过程，但事实上由于鱼眼镜头180°左右的视场和针孔模型本身的缺陷，有多种投影模型可以用来描述鱼眼成像，其中计算较为简单、应用最普遍的是等距投影模型：

r＝fθ

其中θ是入射角。r为图像上点到图像中心的距离，定义如下

(u,v)为像素坐标系下坐标，(x,y)为图像坐标系下坐标，c＝(c_x,c_y)为图像中心。

2、任意场景的特征信息提取

因为在实际的应用中，惯常的方法对场景要求较高，所以要选择满足自适应的自标定需求就要求提取多数场景中常见的特征物体，并加以填充利用，获得空间上的非测量信息。在实际场景中，最容易出现且辨识度较高的就是各式各样、不同位置的直线。如图1的走廊图像所示，天花板，地板，门框都分布着许多的直线。

由于空间直线在图像上近似为椭圆的一部分，所以可以提示用户输入共线的几个点进行椭圆拟合，从而填充整条弧线。但是由于椭圆拟合本身对输入点的局限性，需要输入点尽可能分布在椭圆的不同位置，对图像上直线的范围有较高要求。而有限范围内的抛物线和真实椭圆弧线差异不大。三点即可确定一条抛物线，如图2所示，每条空间直线仅手工标注三个点，以点为标记，拟合出的抛物线以线为标记。可以看出，抛物线的轨迹和真实的直线成像边缘基本接近。

所以，在图像上选取空间共线的三点，分别位于线段的起点、中点和终点，在求出的抛物线的每行邻近区域内查找梯度最大的点，即可从而有效的对直线上的点集进行扩充，记获得的点集为P＝{x,x_i＝(x_i,y_i)}}。

3、两步几何约束快速标定

第一步，相机参数初始化和点集P噪声滤除：

设图像尺寸为w×h，初始的成像中心c为图像中心(w/2，h/2)，假设已知相机视场(FOV)为Ψ，根据选择的等距投影模型(r＝fθ)，可以得到初始的焦距：

f＝r_max/(Ψ/2)(2)

r_max以图1、图2为例，为图像上最大的成像半径。

通过等距离投影模型，x可以通过式(3)一一映射到球面上的点X，特征点集P转化为球面上点集P_s。

$\left\{\begin{array}{c}X=\sin \mathrm{\&theta;}\cos \mathrm{\&alpha;}=\frac{x}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Y=\sin \mathrm{\&theta;}\sin \mathrm{\&alpha;}=\frac{y}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Z=\cos \mathrm{\&theta;}=\cos (\sqrt{x^2+y^2}/f)\end{array}\right.---\left(3\right)$

我们知道，空间中的直线在球面坐标系下是过球心的大圆g，而每个大圆可以由其法向量n＝[sinΘcosΦ,sinΘsinΦ,cosΘ]唯一确定。利用Ransac算法，每次任意提取m(m≥3)个点，通过svd分解，可以得到一个法向量n。如果点p在此大圆上，理想的情况是p·n＝0。所以，假设内点阈值t，当p·n<t，p即可被认为是内点，由此，可以快速得到内点点集P′_s。

然后，通过LM(Levenberg-Marquardt)算法优化目标函数F₁,从而得到f,c的第一步初始值。

$F_1={\mathrm{\&Sigma;}}_{i=1}^{k}X(f,c)\&CenterDot;n(f,c)---\left(4\right)$

k为内点个数。虽然优化后可以得到最优解，但是在实际投影中，很难保证该直线在图像中透视投影结果为直线。，所以需要在图像平面上作进一步的直线约束。

第二步，遵循直线必须投影为直线的图像平面进一步优化：

当我们得到内点点集P′，通过式(5)可以转换到透视图像坐标

r_u＝ftanθ＝ftan(r/f)(5)

r_u对应转换后透视图上的距离，r为鱼眼图像中距离。

$\left\{\begin{array}{c}{x}_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{x}{r}\\ y_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{y}{r}\end{array}\right.---\left(6\right)$

x_u＝(x_u,y_u)为透视图上对应点坐标。设内点的最优直线为L:y＝ax+b。则每个点到最优直线的距离为为d＝|y_u-ax_u-b|。

所以优化目标函数F₂，得到最终的内参标定结果f,c。

$F_2={\mathrm{\&Sigma;}}_{i=1}^{k}d(f,c)---\left(7\right)$

4、输出投影模式选择。

通常的校正图像都通过转换后的透视图像来呈现。但是针孔模型的有限视场范围，使得校正后的图像在视觉上效果较差；如果使用非透视图像，呈现效果就不够直观。

这里采用常见的立方体展开(cube mapping)方式，将图像投影到单位视球的最大内接立方体的六个面上，每个面上的图像都满足透视投影，从而得到全部360°视场范围的信息。由于鱼眼镜头视场约为180°，五个面已经可以获得全部原始的视场范围。

展开的效果图如图3所示。

5、同一设备的一次性标定和重校正。

同一个分辨率下设备的内参是固定的，在不同分辨率下基本成等比例。在同一图像分辨率下，校正后图像上的点坐标由鱼眼图像中的点唯一确定，所以在首次对设备进行校正后，可以存储两者映射关系的查找表，在二次校正时，只需要读取存储的查找表，即可快速的输出校正结果。当用户认为输出结果有所偏差时，可以根据1-3的步骤进行重新校正，而不依赖于任何第三方帮助。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种自适应的鱼眼镜头快速校正方法，其特征是：包括以下步骤：

(1)构建等距投影模型，提取不同位置的直线，获得点集；

(2)相机参数进行初始化，对点集进行噪声滤除；

(3)遵循透视投影中直线必须投影为直线的原则对图像平面进一步优化；

(4)采用立方体展开方式，将优化后的图像投影到单位视球的最大内接立方体的六个面上，输出投影；

(5)对同一设备的一次性标定进行二次校正，如果输出投影结果有偏差，重复步骤(1)-(3)，重新校正。

2.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(1)中，选择等距投影模型为r＝fθ；其中，θ是入射角，f为初始焦距，r为图像上点到图像中心的距离，定义如下：

$r=\sqrt{x^2+y^2},x=u-c_x,y=v-c_y---\left(1\right)$

其中，(u,v)为像素坐标系下坐标，(x,y)为图像坐标系下坐标，c＝(c_x,c_y)为图像中心。

3.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(1)中，由于空间直线在图像上为弧形的一部分，需要提示用户输入共线的多个点进行抛物线拟合，从而填充整条弧线。

4.如权利要求3所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(1)中，在图像上至少选取空间共线的三点，分别位于线段的起点、中点和终点，三点即确定一条抛物线，在抛物线每个像素行的交点邻近区域内查找梯度最大的点，对直线上的点集进行扩充，记获得的特征点集为P＝{x,x_i＝(x_i,y_i)}}，i的取值范围为[1,点的个数]。

5.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(2)中，设图像尺寸为w×h，初始的成像中心c为图像中心(w/2，h/2)假设已知相机视场(FOV)为Ψ，根据选择的等距投影模型(r＝fθ)，得到初始的焦距：

f＝r_max/(Ψ/2)            (2)

r_max为图像上最大的成像半径。

6.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(2)中，通过等距离投影模型，x一一映射到球面上的点X，将特征点集P转化为球面上点集P_s，X、Y、Z分别为Pg的空间坐标值；

$\left\{\begin{array}{c}X=\sin \mathrm{\&theta;}\cos \mathrm{\&alpha;}=\frac{x}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Y=\sin \mathrm{\&theta;}\sin \mathrm{\&alpha;}=\frac{y}{\sqrt{x^2+y^2}}\sin (\sqrt{x^2+y^2}/f)\\ Z=\cos \mathrm{\&theta;}=\cos (\sqrt{x^2+y^2}/f)\end{array}\right.---\left(3\right).$

7.如权利要求6所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(2)中，由于空间中的直线在球面坐标系下是过球心的大圆g，而每个大圆由其法向量n＝[sinΘcosΦ,sinΘsinΦ,cosΘ]唯一确定；利用Ransac算法，每次任意提取m个点，m≥3，通过svd分解，得到一个法向量n；如果点p在此大圆上，p·n＝0；所以，假设内点阈值t，当p·n<t，p即被认为是内点，由此，得到内点点集P′_s；通过LM算法得到优化目标函数F₁，从而得到f,c的第一步初始值：

$F_1={\mathrm{\&Sigma;}}_{i=1}^{k}X(f,c)\&CenterDot;n(f,c)---\left(4\right)$

k为内点个数。

8.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(3)中，转换透视图像坐标，r_u＝ftanθ＝ftan(f_d/f)              (5)

r_u对应转换后透视图上的距离，r为鱼眼图像中距离；

$\left\{\begin{array}{c}{x}_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{x}{r}\\ y_u=r_u\cos \mathrm{\&alpha;}=r_u\&times;\frac{y}{r}\end{array}\right.---\left(6\right)$

x_u＝(x_u,y_u)为透视图上对应点坐标；设内点的最优直线为L:y＝ax+b，a、b为常数，则每个点到最优直线的距离为d＝|y_u-ax_u-b|；优化目标函数F₂，得到最终的内参标定结果f，c：

$F_2={\mathrm{\&Sigma;}}_{i=1}^{k}d(f,c)---\left(7\right).$

9.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(4)中，将图像投影到单位视球的最大内接立方体的六个面上，每个面上的图像都满足透视投影，从而得到全部360°视场范围的信息。

10.如权利要求1所述的一种自适应的鱼眼镜头快速校正方法，其特征是：所述步骤(5)中，同一个分辨率下设备的内参是固定的，在不同分辨率下是成等比例；在同一图像分辨率下，校正后图像上的点坐标由鱼眼图像中的点唯一确定，首次对设备进行校正后，存储两者映射关系的查找表，在二次校正时，只需要读取存储的查找表，即快速的输出校正结果。