CN102298771A - 全景泊车辅助系统的鱼眼图像快速校正方法 - Google Patents

Abstract

本发明公开了一种全景泊车辅助系统的鱼眼图像快速校正方法，包括以下步骤：（1）利用自适应的Harris算法构建黑白棋盘格；（2）利用球面透视投影的约束条件建立鱼眼图像点与球面校正图像点之间的映射关系；（3）将球面校正图像点按照经纬表达方式展开成平面经纬图像点；（4）将鱼眼图像点以及与其相对应的平面经纬图像点储存成映射表；（5）根据映射表，采用双线性插值算法进行鱼眼图像点的实时校正。因此，本发明具有首次自动标定，标定后能快速校正鱼眼畸变，通用性好的特点，避免了繁琐的步骤和人工干预，适合在产品中使用。同时，它具有校正速度快的特点，满足实时的需求。

Description

全景泊车辅助系统的鱼眼图像快速校正方法

技术领域

本发明涉及一种鱼眼镜头畸变的快速校正方法，属于车辆工程应用领域。

背景技术

随着我国经济的飞速发展，交通运输车辆的不断增多，由此产生的交通问题越来越成为人们关注的问题。我国每年因交通死亡人数在10万人左右，占全世界的五分之一。这些交通事故中又以倒车事故发生的频率为最。倒车事故发生的原因是多方面的，倒车镜有死角、驾驶者目测距离有误差、视线模糊等原因造成倒车时的事故率远远高于汽车前进时的事故率，尤其是非职业驾驶员以及女性更为突出。

目前，汽车倒车雷达系统已经升级了技术，改良了性能，不管从结构和外观上，还是从性能价格上，都有很大的发展和提升，目前使用较多的是数码显示、荧屏显示和视频实时显示这三种方式。其中，数码显示通过一个小小的显示器，其上有倒车雷达探测到的数据，来实时显示后方障碍物与后保保险杠的距离。荧屏显示则就更进一步，它在车辆全身布置多个的传感器，然后通过平面图象，实时显示车辆周围障碍物与车辆之间的距离。但这样的图像多为计算机绘制，且传感器的精度不能做到非常逼真的水平。因此就出现了视频实时倒车系统，即倒车影像监视系统。该系统让驾驶员在倒车时，可以清楚的观察车后的状况，因此更加直观可视，对于倒车安全来说是非常实用的配置之一。当挂倒车挡时，该系统会自动接通位于

车尾的高清摄像头，将车后状况清晰的显示于液晶显示屏上，并在显示器上通过电脑合成当前方向盘的转动角度所对应的车辆行车路线，从而准确而直观地把握车后的状况。此后随着汽车技术的进一步发展，人们已经不再仅仅满足于看到汽车后面的实时影像，对于其他盲区如车身侧面、前保险杠以及转弯时的死角等，都有了进一步探寻的需求。

基于单个后视摄像头的可视倒车雷达只能看到车身正后方，无法同时看清车身四周状况，存在视角盲区，因此有了车身周围360度全景影像倒车需求，即全景泊车辅助系统。该系统可更加直观和安全可靠的辅助倒车，因此必然成为泊车系统的趋势。目前，仅宝马X6、英菲尼迪EX35等极少数豪华车型引入了全景泊车系统。全景泊车系统在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。

为了实现实时提供给驾驶员泊车所需要的汽车全景图像，消除了车辆四周的视觉盲区，来帮助驾驶员更加精确的泊车的目标，生成全景视觉图像的算法主要包含去鱼眼失真、平面投影映射和图像合成。其中，去鱼眼失真(即鱼眼图像校正)是关键步骤，直接决定了后续步骤图像处理的质量。

发明内容

本发明针对现有技术的不足，提供一种全景泊车辅助系统的鱼眼图像快速校正方法，其具有首次自动标定，标定后能快速校正鱼眼畸变，通用性好的特点，避免了繁琐的步骤和人工干预，适合在产品中使用。同时，它具有校正速度快的特点，满足实时的需求。

为实现以上的技术目的，本发明将采取以下的技术方案：

一种全景泊车辅助系统的鱼眼图像快速校正方法，包括以下步骤：(1)利用自适应的Harris算法对鱼眼摄像头所采集到的鱼眼图像点进行棋盘格角点的提取，以将鱼眼摄像头所采集到的鱼眼图像点构成黑白棋盘格；(2)利用球面透视投影的约束条件：构成黑白棋盘格直线的各鱼眼图像点的球面透视投影为球面图像上的大圆，求解出鱼眼图像点投影到球面校正图像点的变形校正参数，以建立鱼眼图像点与球面校正图像点之间的映射关系；(3)将球面校正图像点按照经纬表达方式展开成平面经纬图像点，球面校正图像点的经度展开为平面经纬图点的水平坐标，而球面校正图像点的纬度展开为平面经纬图点的垂直坐标；(4)将鱼眼图像点以及与其相对应的平面经纬图像点储存成映射表；(5)根据映射表，采用双线性插值算法进行鱼眼图像点的实时校正。

所述步骤(1)中的自适应Harris算法为：①对高斯窗口和高斯方差σ²赋最大初值；②采用离散二维高斯函数

对鱼眼摄像头所采集到的鱼眼图像进行高斯滤波处理，求取该离散二维高斯函数的I_x、I_y，其中I_x是指该离散二维高斯函数关于x的一阶导数，而I_y则是该离散二维高斯函数关于y的一阶导数；③计算角点量R： $R=(I_x^2*I_y^2-(I_x*I_y)(I_x*I_y))/(I_x^2*I_y^2),$ 式中：

④若角点量R不满足判断条件时，采用折半赋值的方法先对阀值以及非极大值抑制的领域宽度进行调整后再次进行角点量R的计算，若角点量R还是不满足判断条件时，再对高斯窗口、高斯方差σ²进行调整，直到角点量R满足判断条件；该判断条件依据以下两条准则建立：A、每个棋盘格角点的邻域内避免出现k个棋盘格角点；B、棋盘格角点的区间为(L/m，W/m)，其中：L为鱼眼图像长度，W为鱼眼图像宽度，该鱼眼图像的棋盘格角点数为m*m。

步骤(2)所述鱼眼图像点与球面校正图像点之间的映射关系为：

其中：c¹，c²，c³，a¹，a²分别为鱼眼图像点投影到球面校正图像点的变形校正参数，(r，θ)为鱼眼图像点的极坐标，为鱼眼图像点进行球面投影后对应球面校正图像点的极坐标。

所述步骤(3)所述的经度纬度

根据以上的技术方案，可以实现以下的有益效果：

1、本发明为达到较好的角点提取效果，避免人工参与，针对Harris算法的这3个不足，提出了一种简单实用的自适应角点检测算法；

2、本发明快速，准确，边缘失真现象不明显；

3、涉及到较多的非线性运算，为了达到实时校正的目的，本发明采用查表法来提高运算速度，查表法求值所需的计算就是根据输入值确定表的地址，根据地址就可得到相应的值，因而运算量较小。

附图说明

图1为黑白棋格标定板；

图2为黑白棋格标定板的鱼眼畸变图；

图3为黑白棋格标定板提取出角点的连接线；

图4为球系坐标图；

图5为平面经纬图；

图6为算法流程图。

具体实施方式

附图非限制性地公开了本发明所涉及实施例的示意图；以下将结合附图详细地说明本发明的技术方案。

如图1至6所示，本发明所述全景泊车辅助系统的鱼眼图像快速校正方法的设计流程是：1、自动查找标定板棋盘格角点

标定方法中需要利用到黑白棋盘格这一工具，如图1所示，其目的就是为了检测出黑白棋盘格中的角点，用于标定工作。黑白棋盘格角点检测的准确与否将会对标定结果的精确性产生很大的影响。经过鱼眼成像后，棋盘格产生畸变，如图2所示。Harris算子计算简单，算法稳定，是目前使用最广泛的角点提取算法之一。普通的Harris算法的具有一定的局限性，主要表现在：

(1)在用高斯函数对图像进行平滑处理的时候，需要设定高斯方差和高斯模板大小。高斯方差和高斯模板大小不易确定。

(2)在对角点进行非极大值抑制时，角点提取效果依赖于阈值的设定。

(3)在求局部极大值时的邻域大小也将会影响提取角点的数目和容忍度。

为了达到较好的角点提取效果，避免人工参与，针对Harris算法的这3个不足，提出了一种简单实用的自适应角点检测算法。

根据棋盘格图像具有角点分布均匀，个数确定的特点，提出棋盘格角点需要满足的两个准则：

(1)每个角点的附近邻域内避免出现多个角点。

(2)角点数目和图像的长、宽有关，据此得出角点区间。

对于准则1：确定棋盘格角点的邻域内避免出现k个棋盘格角点，实际算法中可以制定为某个棋盘格角点的邻域避免出现3个其他的棋盘格角点。理论上，棋盘格角点的领域内不应该存在其他的棋盘格角点，但是，由于图像处理过程中，可能存在其他的杂点，导致棋盘格角点的领域内出现其他的棋盘格角点，因此，棋盘格角点的邻域内的其他棋盘格角点数目的确定由工程实践来决定。

对于准则2：

棋盘格角点的区间由实际操作中制定，比如图像长为L，宽为W，角点数为m*m，则棋盘格角点的区间可认为是(L/m，W/m)。

棋盘格角点的领域即为棋盘格角点的区间。

当角点不满足上述准则时，采取分步方法对参数进行调整。首先对阈值和的非极大值抑制的邻域宽度进行调整，因为二者对棋盘格角点的提取精度影响最为强烈。其次，当仅仅通过这两个参数的调整仍不符合条件时，对高斯窗口大小和高斯方差σ²进行调整。通过分步调整参数思想，可以不同程度地减少运算时间，提高运算效率。

综上分析，将算法列举如下：

(1)对高斯窗口和高斯方差σ²赋最大初值；

(2)利用差分算子对图像进行滤波，求得I_x，I_y，并进行高斯滤波处理；离散二维高斯函数为

$G(x,y)=e^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}}=e^{-\frac{r^2}{{2\mathrm{\σ}}^2}}$

(3)计算角点量R；

$R=(I_x^2*I_y^2-(I_x*I_y)(I_x*I_y))/(I_x^2*I_y^2)$

式中： $I_x^2=I_x*I_x,$ $I_y^2=I_y*I_y$

(4)对设置阈值和非极大值抑制的邻域宽度。如果角点个数不满足两条准则时，用折半赋值的思想对阈值和非极大值抑制的邻域宽度进行调整，直到角点数位于规定的区间范围内，转(5)。否则，转(1)；

(5)结束。

2、建立鱼眼图像与校正图像映射关系

2003年英向华等在平面透视约束的基础上提出球面透视投影约束，在其算法描述中，使用两组5次多项式来逼近鱼眼变形校正模型。在全景泊车辅助系统中对鱼眼图像校正的要求是：快速，准确。本发明采用球面透视投影约束算法，选取3次多项式对鱼眼变形校正模型进行拟合。

其中，(r，θ)为鱼眼图像某点的极坐标，为该点球面投影后对应球面点的极坐标。

球面透视投影的约束为：在球面透视模型情况下，场景中的直线应该投影为球面图像上的大圆。为了得到变形校正参数的无偏估计，选取的投影曲线应该均匀地分布在鱼眼图像上。通过变形校正参数将这些采样点映射为球面点。本发明选取的投影曲线为步骤1中检测到的黑白棋格角点所连成的交叉曲线，如图3所示。

求解出鱼眼图像点到球面校正点之间的映射关系后，可以求得球面校正点的坐标。英向华等提出的方法需将球面投影到半立方体才能得到满意的效果，如果投影到平面，边缘失真会很严重。本发明根据球面坐标求出经度和纬度，最后将其经纬展开得到平面校正图像。

为符合我们习惯的经纬表达方式，将图5的坐标系转换成图4，假设单位球面上任意一点P，它的经度展开为水平坐标，纬度展开为垂直坐标。如果整个球面都展开，那将是一张2：1的矩形图，半球面展开就是一张正方形图，如图5。经过上节的参数校正，我们可以将鱼眼图像点P(r，θ)通过参数{c¹，c²，c³，a¹，a²}转换成球面坐标(φ′，θ′)，P′与P″分别是P向XOZ平面与XOY平面投影得到的垂足，φ′为OP与Z轴的夹角，θ′为OP″与X轴正方向的夹角。由图4算出

本发明的经度和纬度的定义按照常规地理意义上对经纬度的定义：如图5，将x轴上方的点称为北纬，x轴下方的点称为南纬，x轴上的点为赤道；y轴左边的点称为西经，y轴右边的点称为东经。

经度的计算公式也变成：

纬度的计算公式为：

以图像中任意一点p为例说明，已知p点对应的极坐标为(r，θ)，由上述公式可以得到球面坐标(φ′，θ′)，计算出经度为东经ξ；纬度为北纬σ，在图5可以找到其对应的校正点。

对图像中每个像素通过上述计算，就可以将鱼眼图像恢复还原。

3、双线性插值

在上述的步骤2中，设校正后的图像上的点M(x，y)对应映射鱼眼图像上的点Q(x，y)，该点的浮点坐标为(i+u，j+v)，其中i、j均为非负整数，u、v为[0，1)区间的浮点数，则这个像素得值f(i+u，j+v)可由原鱼眼图像中坐标为(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)所对应的周围四个像素的值决定，即：

f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)其中f(i，j)表示原鱼眼图像(i，j)处的的像素值。

4、建立快速查找映射表

由于涉及到较多的非线性运算，为了达到实时校正的目的，本发明采用查表法来提高运算速度，查表法求值所需的计算就是根据输入值确定表的地址，根据地址就可得到相应的值，因而运算量较小。

本发明将校正后图像的每一个像素所对应的原始鱼眼图像的位置记录下来，形成一张可快速查找的表。

综上所述，本发明所述的全景泊车辅助系统的鱼眼图像快速校正方法，包括以下步骤：

步骤一、利用自适应的Harris算法检测出棋盘格角点；

步骤二、利用步骤一检测到的棋盘格角点和球面透视投影的约束求解出鱼眼图像点到球面校正点之间的映射关系，然后根据球面坐标求出经度和纬度。

步骤三、建立校正图像的每个像素点与原始鱼眼图像的映射表。鱼眼图像初始化标定完毕。

步骤四、采用查表方式结合双线性插值算法进行实时鱼眼图像校正。

Claims (4)

1.一种全景泊车辅助系统的鱼眼图像快速校正方法，其特征在于，包括以下步骤：(1)利用自适应的Harris算法对鱼眼摄像头所采集到的鱼眼图像点进行棋盘格角点的提取，以将鱼眼摄像头所采集到的鱼眼图像点构成黑白棋盘格；(2)利用球面透视投影的约束条件：构成黑白棋盘格直线的各鱼眼图像点的球面透视投影为球面图像上的大圆，求解出鱼眼图像点投影到球面校正图像点的变形校正参数，以建立鱼眼图像点与球面校正图像点之间的映射关系；(3)将球面校正图像点按照经纬表达方式展开成平面经纬图像点，球面校正图像点的经度展开为平面经纬图点的水平坐标，而球面校正图像点的纬度展开为平面经纬图点的垂直坐标；(4)将鱼眼图像点以及与其相对应的平面经纬图像点储存成映射表；(5)根据映射表，采用双线性插值算法进行鱼眼图像点的实时校正。

2.根据权利要求1所述全景泊车辅助系统的鱼眼图像快速校正方法，其特征在于，所述步骤(1)中的自适应Harris算法为：①对高斯窗口和高斯方差σ²赋最大初值；②采用离散二维高斯函数

对鱼眼摄像头所采集到的鱼眼图像进行高斯滤波处理，求取该离散二维高斯函数的I_x、I_y，其中I_x是指该离散二维高斯函数关于x的一阶导数，而I_y则是该离散二维高斯函数关于y的一阶导数；③计算角点量R： $R=(I_x^2*I_y^2-(I_x*I_y)(I_x*I_y))/(I_x^2*I_y^2),$ 式中：

④若角点量R不满足判断条件时，采用折半赋值的方法先对阀值以及非极大值抑制的领域宽度进行调整后再次进行角点量R的计算，若角点量R还是不满足判断条件时，再对高斯窗口、高斯方差σ²进行调整，直到角点量R满足判断条件；该判断条件依据以下两条准则建立：A、每个棋盘格角点的附近邻域内避免出现k个棋盘格角点；B、棋盘格角点的区间为(L/m，W/m)，其中：L为鱼眼图像长度，W为鱼眼图像宽度，该鱼眼图像的棋盘格角点数为m*m。

3.根据权利要求1所述全景泊车辅助系统的鱼眼图像快速校正方法，其特征在于，步骤(2)所述鱼眼图像点与球面校正图像点之间的映射关系为：

其中：c¹，c²，c³，a¹，a²分别为鱼眼图像点投影到球面校正图像点的变形校正参数，(r，θ)为鱼眼图像点的极坐标，

为鱼眼图像点进行球面投影后对应球面校正图像点的极坐标。

4.根据权利要求3所述全景泊车辅助系统的鱼眼图像快速校正方法，其特征在于，所述步骤(3)所述的经度

纬度

Images