CN103824296A - 基于单位正方形的车辆全景显示系统鱼眼图像校正方法 - Google Patents

Abstract

本发明涉及一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法包括以下步骤：根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A；根据区域A的大小确定校正所需使用的单位正方形大小；将单位正方形组合框放入区域A中；用Harris角点探测器对包括n个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正；利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。该方法实现简单，对处理器要求低,有很强的通用性和实时性。

Description

基于单位正方形的车辆全景显示系统鱼眼图像校正方法

技术领域

本发明涉及车辆工程应用领域，尤其涉及一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法。

背景技术

汽车成为现代社会不可缺少的交通工具，它改变了人们的生活方式，推动了社会经济的发展和人类文化的进步。最近几年，汽车进入家庭的步伐逐渐加快，目前中国民用汽车保有量已超过1亿辆，超过德国，仅次于美国。同时，中国人口众多，各大城市人口密度很高，车与车，人与车的矛盾也特别尖锐，道路上事故频发，发生交通事故的数量大大高于发达国家，也高于其他发展中国家。据交通管理局和国家统计局统计数据得知，我国每年因为交通事故直接经济损失达数十亿元，而且还呈逐年上升趋势，而在这些日益增多的交通事故中，倒车时发生的事故超过一半，这和现在越来越拥堵的城市路况以及众多非专业司机有密切的关系，女性司机和刚获得驾驶执照的驾驶员倒车时出现事故的概率更大。

在主动安全系统所采用的传感器中，摄像机具有低成本、易维护和高集成性等优点，因此得到了广泛的应用,尤其是在倒车辅助驾驶系统之中,倒车摄像头系统已经开始在中国乘用车市场慢慢普及。随着计算机技术的不断发展,图像处理技术和计算机视觉技术越来越多地被应用到汽车电子领域。由于安装在汽车尾部的倒车摄像头只能检测汽车后方的区域,而车两侧和前方的视觉盲区无疑增加了交通事故发生的概率,而且现在单一摄像头拍摄到的图像都存在一定失真,不符合驾驶员的视觉习惯。在狭隘而拥堵的停车场，尤其是在左右两边都已有车的情况下，如果仅靠后方摄像头输入的图像来辅助驾驶，驾驶员在泊车时视野当中仍然存在很多盲区，这都很容易导致安全事故的发生。而全景显示系统能提供最好的视觉效果，让汽车四个方向的图像同时显示，产生一种从汽车正上方俯视全车的鸟瞰全景图，完全消除汽车四周环境盲区，从而为驾驶员驾驶提供一个全方位环境信息的视图,让驾驶员驾驶更轻松,并且减少发生事故的概率。

这种全景显示系统需要4路或者4路以上的摄像头输入的视频信号，这4路或者4路以上安装在车辆前后左右每个方向上面，用来感知个个方向上环境信息，然后再把每个摄像头输入视频拼接成一个全景鸟瞰图，显示在驾驶室中控台的显示器上面。由于摄像头安装位置限制，不能安装的太高，所有每个摄像头不能采用普通透视摄像头，需要加装鱼眼镜头才能在较低的安装高度上获得较宽视野的环境信息，而鱼眼镜头拍摄的图像会出现严重的失真，所以在开始视频拼接之前需要对鱼眼图像进行校正，经过准确校正的图像才能拼接出清晰的全景显示图。

鱼眼图像的校正就是把鱼眼镜头拍摄的严重畸变的图像校正得到能反应被拍摄物体正确形状的图像。作为全景显示系统软件的第一个部分，鱼眼图像校正算法只有准确地校正鱼眼图像，后期的拼接融合算法才能得到清晰的全景显示图，所以它也是全景显示系统中最重要的最关键的一步。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于单位正方形还原的车辆全景显示系统鱼眼图像校正方法,该方法实现简单，对处理器要求低,有很强的通用性和实时性。

本发明解决其技术问题所采用的技术方案是：一种基于单位正方形还原的车辆全景显示系统鱼眼图像校正方法，包括以下步骤：

（1）根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A；

（2）根据区域A的大小确定校正所需使用的单位正方形大小，所述单位正方形满足区域A的长H和宽W与单位正方形的边长L的比值均为整数；

（3）将单位正方形组合框放入区域A中，使区域A正好包括n个完整的单位正方形；

（4）用Harris角点探测器对包括n个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；

（5）利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正；

（6）利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。

按上述方案，所述步骤（4）中利用Harris角点探测器对鱼眼图像中角点进行提取时需要用到三个参数：高斯平滑函数的标准差σ，局部窗口的大小w和角点判断阈值T；高斯平滑函数：

是用来对鱼眼图像进行高斯滤波处理，对灰度图像水平方向一阶方向微分X的平方进行卷积得到A1，对灰度图像竖直方向一阶方向微分Y的平方进行卷积得到B1，对X·Y进行卷积得到C1；R(x,y)=det[M(x,y)]-0.04·trace²[M(x,y)]其中， $M(x,y)=\left[\begin{array}{cc}A1& C1\\ C1& B1\end{array}\right]$ 是反映局部图像窗口灰度变化程度的近似Hessian矩阵，当R(x,y)>T的时候就可以判断此点为角点。σ越大，被检测的角点数量越少，角点位置精度越差；w越大，被检测角点数量越少；T越大，被检测角点数量越少；通过改变σ，w和T三个参数确保Harris角点检测器把区域A内所有角点都检测到。在输出图像检测结果的时候，对每个角点进行编号，并按照先竖行后横行的顺序，依次提取每个角点的坐标。

按上述方案，所述步骤（5）中校正的具体步骤如下：

5.1）设校正之后区域A的图像为I，I大小为U*V个像素点；

5.2）采用步骤2）中确定的单位正方形对图像I进行单位正方形划分，并获得所有单位正方形的角点在图像I中的坐标；

5.3）根据正方形的几何约束，得到图像I中单位正方形中任一点a(v,u)在鱼眼图像的对应点b(x,y)坐标；设校正前每个单位正方形四个角点坐标为：b1(x1,y1),b2(x2,y2),b3(x3,y3)和b4(x4,y4)；校正后单位正方形四个角点坐标为：a1(v1,u1),a2(v2,u2),a3(v3,u3)和a4(v4,u4)，其映射关系为

$x=x1+\frac{(x3-x1)*(v-v1)}{v3-v1}+\[x2+\frac{(x4-x2)*(v-v2)}{v4-v2}-x1-\frac{(x3-x1)*(v-v1)}{v3-v1}\]*\frac{u3-u}{u3-u4};$

$\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{(y3-y4)*(u-u4)}{u3-u4}-y2-\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{v-v1}{v3-v1}$

5.4）按上述映射关系获得校正后的图像I。

本发明产生的有益效果是：本发明方法通过使用单位正方形还原来校正图像，实现简单，对处理器要求低,有很强的通用性和实时性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的方法流程图；

图2是本发明选取区域A的示意图；

图3是本发明鱼眼摄像头拍摄区域A的图像；

图4是本发明Harris角点检测算法对角点进行检测的结果图；

图5是本发明单位正方形还原过程的示意图；

图6是本发明两个单位正方形具体对应关系的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于单位正方形还原的车辆全景显示系统鱼眼图像校正方法，包括以下步骤：

根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A；

根据区域A的大小确定校正所需使用的单位正方形大小，所述单位正方形满足区域A的长H和宽W与单位正方形的边长L的比值均为整数；

将单位正方形组合框放入区域A中，使区域A正好包括n个完整的单位正方形；

根据驾驶员对视野的需要，在汽车某个方向上选在一个长方形的区域A，如示意图2和图3，同时，选择单位正方形的边长L，可使用棋盘格表示连续的单位正方形，其中L=25cm。在区域A中布满含有棋盘格的地盘纸，需要说明的是：不是棋盘格地板纸所在的地方都是区域A，而是区域A只是其中的一部分，为了把整个区域都覆盖到，所以用了很大一块地板纸。

用Harris角点探测器对包括n个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；

利用Harris角点探测器对鱼眼图像中角点进行提取并且对每个提取的角点进行编号；为了把区域A所有角点都检测到，在使用Harris角点探测器时需要修改探测器的三个参数：高斯平滑函数的标准差σ，局部窗口的大小w和角点判断阈值T。通过改变σ，w和T三个参数确保Harris角点检测器把区域A内所有角点都能检测到。需要补充的是，如果选取的区域A很大，边缘的角点由于也处在鱼眼图像的边缘，会存在很大的畸变，这时，Harris角点检探测器不能检测这少部分角点，所以只能手动提取这些角点。

在输出图像检测结果的时候，对每个角点进行编号，如图4。并按照先竖行后横行的顺序，图4中选取区域A中每个角点的编号，然后按照点的编号从图像中依次提取每个角点的坐标。

选择校正之后区域A的图像I大小为U*V个像素点，高为U，宽为V；然后，对I进行划分，由于在世界坐标系中，区域A由n个单位正方形组成，所以校正之后图像I也由n个单位正方形组成，I可以分成n个正方形。如示意图5，如果区域A在世界坐标系中由12个单位正方形组成，那么鱼眼图像中区域A也同样由12个单位正方形组成，修正后的图像I需要和世界坐标系中区域A保持一致，所以也由12个单位正方形组成。

通过均匀分割图像I，可以计算出每个正方形四个角点在I中的坐标分别为a1(v1,u1),a2(v2,u2),a3(v3,u3)和a4(v4,u4)，而这四个角点在鱼眼图像中的坐标在前面步骤中已经得到，分别为b1(x1,y1),b2(x2,y2),b3(x3,y3)和b4(x4,y4)。

如图6的对应关系，过a点做一条垂直线和水平线，分别交于正方形a₁a₂a₃a₄四个边，得到四个点X₁X₂X₃X₄，根据每个点在对应边上面的比例关系可以得到b₁b₂b₃b₄四个边上面对应的四个点Y₁Y₂Y₃Y₄，连接Y₁Y₃和Y₂Y₄，得到他们的交点b，通过这种对应关系可以得到I中单位正方形中任一点a(v,u)在鱼眼图像的对应点b(x,y)，关系如下：

$x=x1+\frac{(x3-x1)*(v-v1)}{v3-v1}+\[x2+\frac{(x4-x2)*(v-v2)}{v4-v2}-x1-\frac{(x3-x1)*(v-v1)}{v3-v1}\]*\frac{u3-u}{u3-u4}---(1-1)$

$\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{(y3-y4)*(u-u4)}{u3-u4}-y2-\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{v-v1}{v3-v1}(1-2)$

计算出来的b(x,y)的图像坐标x，y不一定是整数，所以需要运用双线性插值法计算得到b(x,y)的灰度值，进而求得校正之后图像I中点a(v,u)的灰度值。

运用上述方法对图像I中每个像素进行计算，最后得到校正之后的图像I。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法，其特征在于，包括以下步骤：

（1）根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A；

（2）根据区域A的大小确定校正所需使用的单位正方形大小，所述单位正方形满足区域A的长H和宽W与单位正方形的边长L的比值均为整数；

（3）将单位正方形组合框放入区域A中，使区域A正好包括n个完整的单位正方形；

（4）用Harris角点探测器对包括n个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；

（5）利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正；

（6）利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。

2.根据权利要求1所述的校正方法，其特征在于，所述步骤（4）中利用Harris角点探测器对鱼眼图像中角点进行提取的具体步骤如下：

使用高斯平滑函数：

对鱼眼图像进行高斯滤波处理；对灰度图像水平方向一阶方向微分X的平方进行卷积得到A1，对灰度图像竖直方向一阶方向微分Y的平方进行卷积得到B1，对X·Y进行卷积得到C1；

计算R(x,y)=det[M(x,y)]-0.04·trace²[M(x,y)]，其中， $M(x,y)=\left[\begin{array}{cc}A1& C1\\ C1& B1\end{array}\right]$ 是反映局部图像窗口灰度变化程度的近似Hessian矩阵，当R(x,y)>T的时候就可以判断此点为角点；

其中σ为高斯平滑函数的标准差，T为角点判断阈值。

3.根据权利要求2所述的校正方法，其特征在于，利用Harris角点探测器对鱼眼图像中角点进行提取时通过调整以下三个参数：高斯平滑函数的标准差σ，局部窗口的大小w和角点判断阈值T确保区域A内所有角点都检测到；调整原则为：σ越大，被检测的角点数量越少，角点位置精度越差；w越大，被检测角点数量越少；T越大，被检测角点数量越少。

4.根据权利要求1所述的校正方法，其特征在于，所述步骤（5）中校正的具体步骤如下：

5.1）设校正之后区域A的图像为I，I大小为U*V个像素点；

5.2）采用步骤2）中确定的单位正方形对图像I进行单位正方形划分，并获得所有单位正方形的角点在图像I中的坐标；

5.3）根据正方形的几何约束，得到图像I中单位正方形中任一点a(v,u)在鱼眼图像的对应点b(x,y)坐标；设校正前每个单位正方形四个角点坐标为：b1(x1,y1),b2(x2,y2),b3(x3,y3)和b4(x4,y4)；校正后单位正方形四个角点坐标为：a1(v1,u1),a2(v2,u2),a3(v3,u3)和a4(v4,u4)，其映射关系为

$x=x1+\frac{(x3-x1)*(v-v1)}{v3-v1}+\[x2+\frac{(x4-x2)*(v-v2)}{v4-v2}-x1-\frac{(x3-x1)*(v-v1)}{v3-v1}\]*\frac{u3-u}{u3-u4};$

$\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{(y3-y4)*(u-u4)}{u3-u4}-y2-\frac{(y1-y2)*(u-u2)}{u1-u2}\frac{v-v1}{v3-v1}$

5.4）按上述映射关系获得校正后的图像I。

Images