CN102663734A - 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 - Google Patents

Abstract

一种鱼眼镜头的标定及鱼眼图像的畸变矫正方法。本发明属于数字图像处理领域，非常适用于视觉导航、移动监控等场合。由于使用大广角的成像会导致严重的畸变，所以一般要求对其矫正，以利于人眼观察。本发明主要技术特征表现在：首先建立空间坐标系1对鱼眼图像使用最小二乘法拟合圆进行标定处理，从而确定鱼眼镜头的中心，半径，然后在空间坐标系UV中建立一个圆柱投影模型，将鱼眼影像的像点（设为）、物球面上的点（与前点所在底平面成垂直投影关系，设为），还有投影在柱面上的点（设为

，线段

与

平行关系）的形成一一对应关系，从而达到了对鱼眼图像进行矫正处理的目的。

Description

鱼眼镜头的标定及鱼眼图像的畸变矫正方法

技术领域

本发明属于数字图像处理领域，涉及鱼眼镜头标定及其复原方法。

背景技术

对于实时任务，对图像处理质量要求高的任务，如移动机器人导航的定位或使用图像传感、广角、高处理速度的智能交通工具是必要的。普通的镜头只能获取正前方40°-50°场景范围的图像信息，存在较大的盲区，难以满足需要大范围观测的场合，而全景视觉弥补了这一缺点，不论是由单一镜头组成还是由多个镜头组成，都能观测到半球域甚至整个观测空间。由于鱼眼镜头具有大广角，可以一次性轻松地获得全景视觉，所以利用其完成成像任务是最佳选择。然而通过鱼眼镜头产生的畸变是非常严重的，尤其是部分区域产生的畸变。因此，从鱼眼镜头图像转换到标准的图像是关键。所以需要一种矫正函数去掉这些畸变。已经有一些畸变校正的方法得到了发展。例如，一个半球投影的数学模型建立的从鱼眼图像到投射图像的转换，和提出用分裂和最小二乘支持向量机算法整个图像畸变在图像处理之前，光学中心的图像需要校准。

发明内容

本发明目的是解决对鱼眼镜头所成影像造成的畸变的问题，提供一种鱼眼镜头的图像标定及其图像复原的方法。

该方法首先用鱼眼镜头得到鱼眼图像，并根据最小二乘法拟合圆法对鱼眼镜头进行标定，得到标定参数，然后再利用鱼眼投影曲线，使用柱面投影，根据成像平面确定映射关系，对鱼眼图像进行畸变校正，最后将校正后的图像拼接。

本发明提供的鱼眼镜头的标定及鱼眼图像的畸变矫正方法，包括如下步骤：

步骤1：进行鱼眼镜头的标定工作。用鱼眼镜头得到鱼眼图像，并根据最小二乘法拟合圆法对鱼眼镜头进行标定得到标定参数；在此建立平面坐标系1，与第2步，第3步区分。

在一个成像平面，使用最小二乘拟合方法确定鱼眼图像的中心坐标和半径。一个圆圈可以被定义为：

R²＝(x-A)²+(y-B)²

上式中，坐标(A，B)是圆的中心，R是圆的半径：

R²＝x²-2Ax+A²+y²-2By+B²

让a＝-2x₀，b＝-2y₀，c＝x₀ ²+y₀ ²-R²，然后，圆曲线的一般形式表现为：

x²+y²+ax+by+c＝0

当拟合参数a、b、c是已知的时候，A，B和R可以计算出来。如果(X_i，Y_i)(i＝1，2，3，...N)是从鱼眼图像的边缘之间选择的采样点坐标。利用最小二乘原理拟合，实际数据之间误差的平方和Q(a，b，c)：

$Q(a,b,c)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)}^2$

然而，Q(a，b，c)大于等于零。有三个未知参数：a、b、c。为了得到这些参数，对a，b，c求偏导，令偏导等于0，即可得到极值点，比较所有极值点的函数值即可得到该误差的最小值；

1式： $\frac{\∂Q(a,b,c)}{\∂a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)X_i=0$

2式： $\frac{\∂Q(a,b,c)}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)Y_i=0$

3式： $\frac{\∂Q(a,b,c)}{\∂c}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)=0$

为使表述简化，先用C，D，E，F，G代表以下4式中的各式：

4式： $\left\{\begin{array}{c}C=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\\ D=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ E=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i)\\ F=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ G=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\end{array}\right.$

通过1式，3式，4式，整合得到下式：

Ca+Db+E＝0

通过2式，3式，4式，整合得到下式：

Da+Fb+G＝0

然后a，b，c可表示为：

$\left\{\begin{array}{c}a=\frac{\mathrm{DG}-\mathrm{EF}}{\mathrm{CF}-D^2}\\ b=\frac{\mathrm{CG}-\mathrm{DE}}{D^2-\mathrm{CF}}\\ c=-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)+a\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i+b\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i}{N}\end{array}\right.$

最后，圆中心坐标(A，B)和半径R可以通过下式获得：

$\left\{\begin{array}{c}A=-\frac{a}{2}\\ B=-\frac{b}{2}\\ R=\frac{1}{2}\sqrt{a^2+b^2-4c}\end{array}\right..$

步骤2：开始进行鱼眼图像的畸变矫正工作。根据步骤1采集到的鱼眼图像，建立圆柱体透视投影模型，得到空间点的柱面透视投影，将鱼眼镜头与成像面坐标系可归为OXYZ，采用与成像面同半径的柱面作为视平面，其坐标系为UV，原点为O，横坐标轴为X，纵坐标轴为Y，Z为垂直于XY平面的坐标轴。

步骤3：建立步骤2得到的空间点的柱面透视投影与步骤1采集到的鱼眼图像之间的映射关系，将成像面的影像逆投影到柱面上(进行鱼眼图像的畸变矫正)。

将成像面的影像逆投影到柱面上。如像平面上某点q₂，对应到半径为R的球面上点q₁，作oq₂的平行线并与柱面交会交点q，从而实现将鱼眼影像的q₂点、物球面上的q₁、柱面的q点一一对应。将oq与Z轴的夹角α定义为入射角，oq₂与X轴的夹角β定义为水平方位角，||oq₂||即q₂到圆心的距离r。柱面上q点的(u，v)坐标能推出其(α，β)的值，则就找到了柱面上的投影点q和球面上的投影点q₁的一一对应关系，柱面的长度H和宽度W可以表示为， $\left\{\begin{array}{c}H=R\\ W=2\mathrm{\πR}\end{array}\right.,$ R为该柱面底面圆半径，该R与前述球面半径值相同，若将柱面分成W×H个点，以左上角(即点(0，-R，R)为起始点，那柱面第u行点入射角α：表示为：柱面第v列的水平方位角β表示为：

(u，v)表示在柱面上的第u行，第v列，即为确定的一点。

本发明的优点和积极效果：

本发明可以使鱼眼镜头接受的图像得到快速，准确地矫正及复原。因此满足了不同实验，科学任务等的要求。其采用的矫正原理简明，算法简单快速，实用性强。较其它转换方法，更适合于高端设备如嵌入式系统的图像处理，机器视觉等的科学实验研究工作。

附图说明

图1是等距离投影原理。

图2是采样点图像参数。

图3是本发明实施例中标定的鱼眼图像，(a)是对应于表1中a的抽样，(b)是对应于表1中b的抽样，(c)是对应于表1中c的抽样。

图4是柱面投影示意图。

图5是畸变校正后的图像。

具体实施方式

实施例1：

步骤1：进行鱼眼镜头的标定工作。用鱼眼镜头得到鱼眼图像，原理如图1。并根据最小二乘法拟合圆法对鱼眼镜头进行标定得到标定参数，在一个成像平面，最小二乘拟合方法确定中心坐标和半径的鱼眼图像。其基本原理为，一个圆圈可以被定义为：

R²＝(x-A)²+(y-B)²

上式中，坐标(A，B)是圆的中心，R是圆的半径：

R²＝x²-2Ax+A²+y²-2By+B²

让a＝-2x₀，b＝-2y₀，c＝x₀ ²+y₀ ²-R²

然后，圆曲线的一般形式表现为：

x²+y²+ax+by+c＝0

当拟合参数a、b、c是已知的时候，a，b和R可以计算出来。

设(X_i，Y_i)(i＝1，2，3，...N)是从鱼眼图像的边缘之间选择的采样点坐标，如图2。图中半径与图1中半径不同。

利用最小二乘原理拟合圆，让Q(a，b，c)代表误差平方和：

然而，Q(a，b，c)大于等于零。有三个未知参数：a、b、c。

为了得到这些参数，对a，b，c求偏导，令偏导等于0，即可得到极值点，比较所有极值点的函数值即可得到该误差的最小值；

1式： $\frac{\∂Q(a,b,c)}{\∂a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)X_i=0$

2式： $\frac{\∂Q(a,b,c)}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)Y_i=0$

3式： $\frac{\∂Q(a,b,c)}{\∂c}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)=0$

为使表述简化，先用C，D，E，F，G代表以下4式中的各式：

4式： $\left\{\begin{array}{c}C=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\\ D=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ E=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i)\\ F=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ G=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\end{array}\right.$

通过1式，3式，4式，整合得到下式：

Ca+Db+E＝0

通过2式，3式，4式，整合得到下式：

Da+Fb+G＝0

然后a，b，c可表示为：

$\left\{\begin{array}{c}a=\frac{\mathrm{DG}-\mathrm{EF}}{\mathrm{CF}-D^2}\\ b=\frac{\mathrm{CG}-\mathrm{DE}}{D^2-\mathrm{CF}}\\ c=-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)+a\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i+b\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i}{N}\end{array}\right.$

然后，圆中心坐标(A，B)和半径R可以通过下式获得：：

$\left\{\begin{array}{c}A=-\frac{a}{2}\\ B=-\frac{b}{2}\\ R=\frac{1}{2}\sqrt{a^2+b^2-4c}\end{array}\right..$

实验结果如表1所示，

表1、实验结果

图像	中心	半径
			a	(671.529，485.263)	519.101
b	(670.983，484.773)	519.288
			c	(671.500，484.981)	519.304

步骤2：开始进行畸变矫正工作，根据采集到的鱼眼图像，建立圆柱体透视投影模型，得到空间点的柱面透视投影，建立的柱面模型如图4所示，柱面为所要投射的区域。鱼眼图像在半球域上，将鱼眼镜头与成像面坐标系可统一为OXYZ，采用与成像面同半径的柱面作为视平面，其坐标系为UV。

步骤3：建立空间点的圆柱体透视投影与鱼眼图像之间的映射关系，将成像面的影像逆投影到柱面上。如成像面某点q₂，对应到半径为R的球面上点q₁，作oq₂的平行线并与柱面交会交点q，从而实现将鱼眼影像的q₂点、物球面上的q₁、柱面的q点一一对应。将oq与Z轴的夹角α(锐角)定义为入射角，oq₂与X轴的夹角β定义为水平方位角，||oq₂||即q₂到圆心的距离r。

步骤4：任取柱面上q点的(u，v)坐标能推出其(α，β)的值((u，v)表示在柱面上的第u行，第v列)，则就找到了柱面上的投影点q在球面上的投影点q₁的一一映射关系。其中α，是线段oq₁与坐标轴Z的角度称之为入射角，β是线段oq₂与坐标轴X的交叉角(锐角)，称为方位角。柱面的高度H和宽度W可以轻松地从上图推算出来。 $\left\{\begin{array}{c}H=R\\ W=2\mathrm{\πR}\end{array}\right.,$ 如果柱面分为W*H个点和出发点是定义为左上角(即点(0，-R，R))，那么它的角α可以表示为：

β可以表示为：

此处，(u，v)表示在柱面上的第u行，第v列，即为确定的一点。实验后，效果图如图5。

Claims (3)

1.一种鱼眼镜头的图像标定及其复原方法，其特征在于该方法包括：

步骤1、用鱼眼镜头得到鱼眼图像，并根据最小二乘法拟合圆法对鱼眼镜头进行标定得到标定参数；

步骤2、根据步骤1采集到的鱼眼图像，建立柱面透视投影模型，得到空间点的柱面透视投影；

步骤3、建立步骤2得到的空间点的柱面透视投影与步骤1采集到的鱼眼图像之间的映射关系，进行鱼眼图像的畸变矫正。

2.根据权利要求1所述的方法，其特征在于步骤1所述的最小二乘法拟合圆法对鱼眼镜头进行标定得到标定参数的步骤是：

求实际数据和估计数据之间的距离的平方和最小的方法；圆的方程表示为：

R²＝(x-A)²+(y-B)²

上式中，坐标(A，B)是圆的中心，R是圆的半径：

R²＝x²-2Ax+A²+y²-2By+B²

让a＝-2x₀，b＝-2y₀，c＝x₀ ²+y₀ ²-R²然后，圆曲线的一般形式表现为：

x²+y²+ax+by+c＝0

根据最小二乘法原理，要使实际数据之间误差的平方和Q(a，b，c)为最小，Q(a，b，c)表示为：

$Q(a,b,c)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(X_i^2+Y_i^2+{\mathrm{aX}}_i+\mathrm{bY}+c_i)}^2;$

对a，b，c求偏导，令偏导等于0，即可得到极值点，比较所有极值点的函数值即可得到该误差的最小值；

1式： $\frac{\∂Q(a,b,c)}{\∂a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)X_i=0$

2式： $\frac{\∂Q(a,b,c)}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)Y_i=0$

3式： $\frac{\∂Q(a,b,c)}{\∂c}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}2(X_i^2+Y_i^2+{\mathrm{aX}}_i+{\mathrm{bY}}_i+c)=0$

为使表述简化，先用C，D，E，F，G代表以下4式中的各式：

4式： $\left\{\begin{array}{c}C=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\\ D=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ E=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i)\\ F=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^2-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\\ G=N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i^3+N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i^2{Y}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i\end{array}\right.$

通过1式，3式，4式，整合得到下式：

Ca+Db+E＝0

通过2式，3式，4式，整合得到下式：

Da+Fb+G＝0

然后a，b，c可表示为：

$\left\{\begin{array}{c}a=\frac{\mathrm{DG}-\mathrm{EF}}{\mathrm{CF}-D^2}\\ b=\frac{\mathrm{CG}-\mathrm{DE}}{D^2-\mathrm{CF}}\\ c=-\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i^2+Y_i^2)+a\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i+b\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{Y}_i}{N}\end{array}\right.$

最后，圆中心坐标(A，B)和半径R可以通过下式获得：

$\left\{\begin{array}{c}A=-\frac{a}{2}\\ B=-\frac{b}{2}\\ R=\frac{1}{2}\sqrt{a^2+b^2-4c}\end{array}\right..$

3.根据权利要求1所述的方法，其特征在于步骤3所述的建立和步骤2所得到的空间点的柱面透视投影与步骤1采集到的鱼眼图像之间的映射关系的步骤是：

将鱼眼镜头与成像面坐标系可归为OXYZ，采用与成像面同半径的柱面作为视平面，其坐标系为UV；将成像面的影像逆投影到柱面上，像平面上某点q₂，对应到半径为R的球面上点q₁，作oq₂的平行线并与柱面交会交点q，从而实现将鱼眼影像的q₂点、物球面上的q₁、柱面的q点一一对应；将oq与Z轴的夹角α定义为入射角，oq₂与X轴的夹角β定义为水平方位角，||oq₂||即q₂到圆心的距离r；得到柱面上q点的(u，v)坐标能推出其(α，β)的值，则就找到了柱面上的投影点q和球面上的投影点q₁的一一对应关系(Z轴方向上坐标一致)柱面的长度H和宽度W可以表示为， $\left\{\begin{array}{c}H=R\\ W=2\mathrm{\πR}\end{array}\right.,$ R为该柱面底面圆半径，该R与前述球面半径值相同，将柱面分成W×H个点，以左上角点(0，-R，R)为起始点，那柱面第u行点入射角α：表示为：柱面第v列的水平方位角β表示为：

(u，v)表示在柱面上的第u行，第v列，即为确定的一点。

Images