CN107274336B - 一种针对车载环境的全景图像拼接方法 - Google Patents
一种针对车载环境的全景图像拼接方法 Download PDFInfo
- Publication number
- CN107274336B CN107274336B CN201710446146.2A CN201710446146A CN107274336B CN 107274336 B CN107274336 B CN 107274336B CN 201710446146 A CN201710446146 A CN 201710446146A CN 107274336 B CN107274336 B CN 107274336B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- search
- template
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000013519 translation Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 24
- 241000251468 Actinopterygii Species 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 11
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000009415 formwork Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000005755 formation reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005603 centrifugal distortion Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对车载环境的全景图像拼接方法，在常用的全景图像拼接的基础上，为车载系统全景拼接提供了一种有效的全景拼接方案。运用了改进的加权融合成像模型对鱼眼图像进行校正，俯视投影阶段以直接线性变换法为基础，加入平移和旋转参数对实验过程中测量误差进行了修正；图像配准阶段运用基于边缘模板的图像配准方法，以布置的白色框线四角为配准模板，配准过程中需要筛选模板边缘点，生成边缘模板描述符，这样使得配准更为准确；图像融合阶段以加权平均法为基础，加入三角函数项，使得相邻图像间重合区域像素差异减小。本发明提高了配准的准确度和融合的效果，并且过程简单，适用于车载环境，具有很好的应用前景。
Description
技术领域
本发明属于数字图像处理技术领域，更为具体地讲，涉及一种针对车载环境的全景图像拼接方法。
背景技术
图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图。图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理等技术。其中，全景图像拼接其基本步骤主要包括以下几个方面：图像的畸变校正、图像的投影变换、图像的配准、全景图像拼接(融合)。
车载环境中，采用的是鱼眼镜头，具有严重的桶形畸变，拼接过程中需要去除图像的畸变即进行图像的畸变校正。目前常用的鱼眼图像校正方法有经纬度校正方法、成像模型校正方法、张正友标定方法。经纬映射校正是将鱼眼图像单位圆按照经纬度坐标映射到矩形图像上。其中同一经度上的点具有相同的横坐标，同一纬度上的点具有相同的纵坐标。经度越大的线，其畸变的程度越大。成像模型校正方法具体是将鱼眼图像上每个像素坐标点映射到球面点，然后投影到实际景物平面点。根据像素点径向距离与入射角角度的成像模型关系，来实现校正，常用的成像模型有等距投影模型和正交投影模型。张正友标定法是一种精确恢复的校正方法，该方法以针孔成像模型为基础，在此基础上考虑了鱼眼镜头的各种畸变，包括常见的径向畸变、离心畸变、薄棱镜畸变等。然后通过实验和目标函数来求得相机的内外参数，从而得到精确的鱼眼校正模型。其中经纬度校正方法操作简单，但是校正精度不高，张正友标定方法操作较复杂，但是校正精度最高，成像模型校正方法介于两者之间。
图像的畸变校正即鱼眼校正过后需要进行图像的投影变换，得到图像的俯视图。常用的俯视投影方法有逆投影变换和直接线性变换。逆投影变换从校正后图像出发，通过图像坐标系、世界坐标系、摄像机坐标系的各坐标系转换来计算对应透视图中的像素点。整个逆投影变换算法涉及到坐标系的定义，坐标转换以及像素点之间的投影。直接线性变换相比于逆投影变换过程，不需要知道摄像头视场角、位姿等参数，该方法需要进行简单的标定实验工作，在图像坐标系下提取四个顶点图像坐标，并同时在世界坐标系下测量四个点的距离值，从而得到了两种坐标系变换下的单应性矩阵，并利用单应性矩阵完成俯视图变换。
投影变换过后需要进行相邻图像的配准，常用的配准方法有基于灰度信息的图像配准方法和基于特征的图像配准方法。基于灰度信息的图像配准方法是最常用的图像配准方法。该配准方法思想为：以其中一幅图像重合区域作为模板，在另外一幅图像中从左上角开始逐行逐列遍历图像，计算子图图像与模板图像之间的相似度，选择相似度最小的子图位置作为两幅图像的配准位置。不同于基于灰度的图像配准方法，基于特征的配准方法利用的是图像的特征信息，通过对图像特征的匹配计算图像间的透视变换矩阵，最终运用透视变换矩阵来完成对整个图像的配准过程。
配准过后需要进行全景图融合，常用的图像融合方法有加权平均法、中值滤波法、多分辨率法。加权平均法利用重叠区域内的像素位置距离重合区域边缘的距离来作为两幅融合图像的权值因子，越靠近远离区域的边缘，权值因子越小，这种方法通过对重合区域进行线性融合从而改善了重合区域灰度不连续的问题，对重合区域像素起到了平滑的效果。中值滤波法的思想是：在重合区域内，一个固定的大小的滑动窗口从左上角开始逐行扫描，计算窗口区域内两幅待融合图像像素的中值，该中值作为窗口中心点的像素值。多分辨率图像融合方法的思想是：运用小波分解两幅待融合的图像，按照需要确定对原始图像小波分解的层数。在每一层上对两幅图像进行融合决策处理。最后依次从最底层的融合的小波图像向上复原，得到重构后的两幅图像的融合结果图。
发明内容
本发明的目的在于克服现有技术的不足，提出一种针对车载环境的全景图像拼接方法，以适用于汽车的嵌入式运行环境，并提升图像投影变换的效果，快速配准，减小对重合区域图像质量的影响。
为实现上述发明目的，本发明针对车载环境的全景图像拼接方法，其特征在于，包括以下步骤：
(1)、融合两种常用成像模型进行鱼眼图像校正
对等距投影模型和正交投影模型进行加权融合，加权融合公式如下：
其中，w为像素点入射角，r1代表运用等距投影模型校正的像素点径向距离，r2代表运用正交投影模型校正的像素点径向距离，f为鱼眼图像的半径，λ表示两种模型的校正比值差异，α是渐变因子，表示两种常用模型之间的渐变程度；
对汽车运动过程中采集的四个方向的鱼眼图像，根据上述公式获得像素点径向距离r与入射角w，采用成像模型校准法，进行畸变校正即鱼眼校正；
(2)、旋转平移模型修正俯视投影误差
对于一个方向的鱼眼镜头，在其的前方放置棋盘格，运用opencv开源库函数找到图像中棋盘格标定的四个顶点图像坐标(ui，vi)，然后用米尺测量四个顶点世界坐标(xi，yi)，其中，i顶点编号，i＝1,2,3,4，世界坐标以鱼眼镜头光心投影地面点为中心，y轴为鱼眼镜头的前方，x轴为汽车侧向；
在汽车四周设置平行于x轴的白色框线，在图像中，在白色框线上的两端分别选择一个参考点，两个参考点的连线平行于白色框线，其图像坐标分别为(u′1,v′1)、(u′2,v′2)；
x轴、y轴方向偏移量搜索范围内，以搜索步长s得到两个方向的偏移量Δx、Δy，角度搜索范围内，以搜索步长t得到旋转角度β，然后，将四个顶点世界坐标(xi，yi)代入以下公式：
得到校准的四个顶点世界坐标
然后根据以下公式，计算两个坐标系之间的单应矩阵H：
其中，s为比例因子，L1、L2、L4、L5、L6、L8、L9、L10为单应矩阵H的元素值，是需要求解的参数；
根据两个参考点图像坐标(u′1,v′1)、(u′2,v′2)，代入以下公式：
得到，两个参考点的世界坐标(x′1,y′1)、(x′2,y′2)；
计算差值c＝|y′2-y′1|；
在偏移量以及角度搜索范围内，找到使得差值c最小的单应矩阵H；
汽车四个方向都采用上述方法，分别获得差值c最小的单应矩阵H，最后分别依据差值c最小的单应矩阵H对对应的鱼眼图像校正后的图像进行俯视变换，得到四个方向的俯视图；
(3)、基于边缘模板的图像配准
在汽车周围铺一圈有丰富边缘信息的白色框作为配准模板进行匹配，图像配准为：
3.1)、将一个方向的俯视图作为参考图像，将另一个相邻方向的俯视图作为搜索图像，确定一个M×N大小的模板，将参考图像中搜索图像一侧区域作为搜索区域，在搜索区域中，以模板滑动方式，找到边缘点最多的子图即白色框线四角，该子图即可作为配准模板；
3.2)、筛选出配准模板的边缘点：首先去除一些邻域内边缘梯度模值不为最大的边缘点，其次去除低对比度的边缘点；
记录边缘点坐标位置，并将边缘点作为配准模板的特征描述符
3.3)、遍历搜索图像，在搜索图中找到与配准模板特征描述符相似度最高的子图，子图的位置即为配准的坐标位置；
(4)三角函数加权融合
根据参考图像中配准模板的位置以及搜索图像中配准的坐标位置，确定重合区域；
以像素点到重合区域边界距离的三角函数值为权值，对参考图像、搜索图像进行了加权融合处理，得到融合图像，其中，加权融合为：
其中，Da为像素点到搜索图像侧边界的距离，D为重合区域的长度，A(x，y)为搜索图像重合区域的像素值，B(x，y)参考图像重合区域的像素值，S(x，y)为融合图像的像素值，(x，y)像素点坐标；
按照步骤(3)、(4)对四个方向的俯视图进行相邻方向的图像配准、融合，得到一幅全景图像，从而完成全景图像拼接。
本发明的目的是这样实现的。
本发明针对车载环境的全景图像拼接方法，在常用的全景图像拼接的基础上，为车载系统全景拼接提供了一种有效的解决方案。本发明运用了改进的加权融合成像模型对鱼眼图像进行校正，在图像内部校正效果接近于等距投影模型，在图像边缘校正效果接近于正交投影模型，并且整个校正过程简单，非常适用于汽车的嵌入式运行环境；俯视投影阶段以直接线性变换法为基础，加入平移和旋转参数对实验过程中测量误差进行了修正；图像配准阶段运用基于边缘模板的图像配准方法，以布置的白色框线四角为配准模板，在相邻方向的俯视图中找到配准位置，配准过程中需要筛选模板边缘点，生成边缘模板描述符，这样使得配准更为准确；图像融合阶段以加权平均法为基础，加入三角函数项，使得相邻图像间重合区域像素差异减小。本发明不需要知道视场角，摄像机俯仰角等相机参数，方法简单有效，并且加入的平移和旋转模型参数补偿了实验过程中测量误差，配准和融合阶段运用了传统的配准融合方法，并在过程中进行了一定的改进，提高了配准的准确度和融合的效果，并且过程简单，适用于车载环境，具有很好的应用前景。
附图说明
图1是本发明针对车载环境的全景图像拼接方法的流程图；
图2是融合的成像模型校正方法U、V方向误差变化直方图，其中，(a)是U方向上的误差变化直方图，(b)是V方向上的误差变化直方图；
图3是八个渐变因子下α的鱼眼图像校正效果图，其中，(a)α＝0.5；(b)α＝1；(c)α＝1.5；(d)α＝2；(e)α＝2.5；(f)α＝3；(g)α＝3.5；(h)α＝4；
图4是传统俯视变换前后的对比图，其中，(a)为校正过后的图像，(b)为俯视变换后图像；
图5是俯视修正前后对比图，其中，(a)俯视变换修正前；(b)俯视变换修正后；
图6是不同角度下的俯视效果对比图，其中，(a)为中心(0，0)，角度为-1度的俯视效果图，(b)为中心(0，0)，角度为0度的俯视效果图，(c)为中心(0，0)，角度为1度的俯视效果图；
图7是基于边缘模板的配准结果图，其中，(a)为左侧搜索图，(b)为配准结果图，(c)为配准模板；
图8是三角函数加权融合前后对比图，其中，(a)未经融合效果图；(b)三角函数加权融合效果图；
图9是汽车运动过程中采集三帧图像的全景合成效果图，其中，(a)第10帧全景图，(b)第20帧全景图图像，(c)第30帧全景图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
本发明的主要特点在于：1)拼接过程中鱼眼校正阶段融合了常用的等距投影模型内部校正效果好和正交投影模型边缘校正效果好的优点，从整体上改善了鱼眼图像的校正效果；2)拼接过程中俯视投影阶段以直接线性变换法为基础，针对标定点测量误差，运用旋转平移模型对误差进行修正，改善俯视效果；3)拼接过程中图像配准阶段通过布置边缘信息丰富的白色框线，运用边缘模板进行配准，得到了相邻两幅图像即俯视图的相对位置关系；4)拼接过程中图像配准阶段图像融合阶段，通过以加权平均法为基础，加入三角函数项，使得相邻图像间重合区域像素差异减小。
图1是本发明针对车载环境的全景图像拼接方法的流程图。
如图1所示，本发明包括包括四个步骤，即S1～S4，其中重点在于如何简单准确的对鱼眼图像进行校正、俯视投影、图像配准、图像融合。
首先，步骤S1：从校正后图像出发，计算入射角度，通过成像模型公式得到对应的径向距离，从而找到对应的鱼眼图像像素点，实验过程中加权融合了两种常用成像模型，以两种模型下的径向距离比和入射角度为权值因子，当入射角度较小时，代表图像内部区域，等距投影权值较大，当入射角度较大时，代表图像边缘区域，正交投影权值较大，从而综合了两种模型的优点。
步骤S2：俯视投影阶段标定棋盘格四个顶点，在图像中提取四个顶点图像像素坐标，然后用米尺测量四个顶点世界坐标。计算两种坐标下的单应矩阵，运用单应矩阵进行俯视变换，针对世界坐标测量误差的问题，运用旋转平移模型，标定两个与世界坐标轴平行的点，计算出使得两个标定点坐标差值最小对应的旋转角度和平移向量，最终得到准确的俯视图。
步骤S3：图像配准阶段以实验布置的白色框的四个角为配准模板，提取模板边缘点位置坐标，作为模板的特征描述符，通过计算配准图像相似度找到准确的配准位置。相似度采用归一化积方法，去除光照差异的影响。
步骤S4：图像配准阶段图像融合阶段，通过以加权平均法为基础，加入三角函数项，使得相邻图像间重合区域像素差异减小。
下面结合附图，对本发明各个步骤进行详细说。
1、融合两种常用成像模型进行鱼眼图像校正
首先考虑到经纬度校正精度不高，标定法操作复杂，针对车载环境，选择既能满足应用精度要求，又方法简单的成像模型校正方法，方法原理可参见：Liu Y G,Peng P,FangM,et al.A Generic Camera Model and Calibration Method for Conventional,Wide-Angle,and Fish-Eye Lenses[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2006,28(8):1335-40。
考虑到常用的两种成像模型各有对应的校正良好的区域，本发明综合两种成像模型的优点，对等距投影模型和正交投影模型进行加权融合，加权融合校正公式如下：
其中，w为像素点入射角，r1代表运用等距投影模型校正的像素点径向距离，r2代表运用正交投影模型校正的像素点径向距离，f为鱼眼图像的半径，λ表示两种模型的校正比值差异，α是渐变因子，表示两种常用模型之间的渐变程度；
上述公式中，第一项代表等距投影模型公式，第二项代表正交投影模型公式，第四项为加权融合两种模型的关系式。实验过程中可以调节渐变因子α，得到不同渐变过程中的校正误差和效果图。
对上述鱼眼校正，选取了摆放的棋盘格的四个顶点作为误差测量点，首先运用最精确的标定法确定四个顶点的校正点坐标，然后计算出上述不同渐变因子模型下的四个顶点的校正点坐标，算出两个像素方向上的误差值，从而找到对应误差最小的渐变因子即为最优渐变因子。校正过程中渐变因子取值为0.5到4，并以0.5为步长，不同渐变因子下U、V方向的误差变化直方图如图2(a-b)所示，其中，(a)是U方向上的误差变化直方图，(b)是V方向上的误差变化直方图。由直方图看出渐变因子α为1.5时误差最小。
实验过程中在不同渐变因子下对鱼眼图像进行了校正，校正效果如图3(a-h)所示，从图3中可以发现当渐变因子α为1.5时校正效果最好，地面上的白色框线和棋盘格的线条在校正图中变得笔直。与上述校正误差分析结果一致。
2、旋转平移模型修正俯视投影误差
鱼眼校正后为合成全景图需要进一步进行俯视投影变换，考虑到实验中摄像机俯仰角视场角等摄像机姿态参数难以测量，而直接线性变换不需要测量这些参数，只需标定四对顶点坐标，计算简单，本发明俯视投影变换以直接线性变换为基础模型，直接线性变换原理可参见：Yang L F.Homography estimation based on normalized direct lineartransform[J].Journal of Fuyang Teachers College,2011。
实验过程中运用opencv开源库函数找到棋盘格标定的四个顶点图像坐标，然后用米尺测量实验环境中四个顶点世界坐标，世界坐标以摄像机光心投影地面点为中心，Y轴为汽车行驶方向，X轴为汽车侧向。计算两个坐标系之间的单应矩阵，单应矩阵计算公式如下：
其中，(X，Y)为世界坐标，(u，v)为图像像素坐标，俯视变换前后的对比图如图4(a-b)所示，其中(a)为校正过后的图像，(b)为俯视变换后图像。
观察俯视效果图，发现本应该水平的棋盘格略微有些倾斜，原因在于实验假定棋盘格水平放置，实际上棋盘格摆放的时候有倾斜，测量世界坐标时有误差，实验求得的单应矩阵H与真实值有偏差。
针对此问题，本发明提出了修正的直接线性变换方法，在传统的直接线性方法上，考虑了实际误差，使得得到的俯视图效果更好。对于一个方向的鱼眼镜头，在其的前方放置棋盘格，运用opencv开源库函数找到图像中棋盘格标定的四个顶点图像坐标(ui，vi)，然后用米尺测量四个顶点世界坐标(xi，yi)，其中，i顶点编号，i＝1,2,3,4，世界坐标以摄像机(鱼眼镜头)光心投影地面点为中心，y轴为鱼眼镜头的前方，x轴为汽车侧向，如汽车前方的鱼眼镜头，y轴为汽车行驶方向，x轴为汽车前侧向；
在汽车四周设置平行于x轴的白色框线，在图像中，在白色框线上的两端分别选择一个参考点，两个参考点的连线平行于白色框线，其图像坐标分别为(u′1,v′1)、(u′2,v′2)；
x轴、y轴方向偏移量搜索范围内，以搜索步长s得到两个方向的偏移量Δx、Δy，角度搜索范围内，以搜索步长t得到旋转角度β，然后，将四个顶点世界坐标(xi，yi)代入以下公式：
得到校准的四个顶点世界坐标
然后根据以下公式，计算两个坐标系之间的单应矩阵H：
其中，s为比例因子，L1、L2、L4、L5、L6、L8、L9、L10为单应矩阵H的元素值，是需要求解的参数；
根据两个参考点图像坐标(u′1,v′1)、(u′2,v′2)，代入以下公式：
得到，两个参考点的世界坐标(x′1,y′1)、(x′2,y′2)；
计算差值c＝|y′2-y′1|；
在偏移量以及角度搜索范围内，找到使得差值c最小的单应矩阵H；
汽车四个方向都采用上述方法，分别获得差值c最小的单应矩阵H，最后分别依据差值c最小的单应矩阵H对对应的鱼眼图像校正后的图像进行俯视变换，得到四个方向的俯视图；
在本实施例中，x，y方向偏移量搜索范围分别为-10mm～10mm，搜索步长为0.1mm，角度范围为-10度～10度，搜索步长为0.1度，
在本实施例中，最终得到最佳的角度为2.6度，最佳中心偏移为(1.2,2.1)，修正后的俯视前后对比图如图5(a)、(b)所示，可以看出发现水平的棋盘格略微有些倾斜的问题得到了修正。
整个过程在MATLAB上运行。本实施例展示在三个不同参数下的俯视效果对比图如图6(a-c)所示，其中(a)为中心(0，0)，角度为-1度的俯视效果图，(b)为中心(0，0)，角度为0度的俯视效果图，(c)为中心(0，0)，角度为1度的俯视效果图。从图6可见，角度对于俯视图的倾斜有影响。
3、基于边缘模板的图像配准
俯视变换后需要对相邻图像进行配准。由于经过前面多个步骤图像损失了许多信息，重合区域没有大量的特征点以供配准。
在汽车周围铺一圈有丰富边缘信息的白色框作为配准模板进行匹配，图像配准为：
3.1)、将一个方向的俯视图作为参考图像，将另一个相邻方向的俯视图作为搜索图像，确定一个M×N大小的模板，将参考图像中搜索图像一侧区域作为搜索区域，在搜索区域中，以模板滑动方式，找到边缘点最多的子图即白色框线四角，该子图即可作为配准模板；
3.2)、筛选出配准模板的边缘点：首先去除一些邻域内边缘梯度模值不为最大的边缘点，其次去除低对比度的边缘点；
记录边缘点坐标位置，并将边缘点作为配准模板的特征描述符
3.3)、遍历搜索图像，在搜索图中找到与配准模板特征描述符相似度最高的子图，子图的位置即为配准的坐标位置；
在本实施例中，以前方图像和左边图像配准为例，首先针对前方图像，运用sobel梯度算子提取图像水平方向的梯度和垂直方向的梯度。定义一个M×N大小的模板，以前方图像棋盘格左边区域为搜索区域，在搜索区域中找到边缘点最多的子图，该子图即可作为配准模板。实验定义了一个90*70的模板。
为了准确描述模板边缘信息，去除图像中的噪声边缘点，实验首先对边缘点进行了筛选。本实验方法筛选过程分两步，首先去除一些邻域内边缘梯度模值不为最大的边缘点，其次去除低对比度的边缘点。第一步非极大值抑制计算过程如下：计算模板的边缘的梯度大小和方向，如果边缘点的梯度大小与左右像素点比较不是最大，则认为该点不是边缘点。并统计此法筛选出的边缘点个数count和平均的梯度大小avg。第二步去除低对比度边缘点具体计算过程如下：实验中设定对比度最大值0.8，对比度最小值0.5，梯度大于0.8*avg，则认为一定是边缘点，称为绝对边缘点，梯度小于0.5*avg，则认为不是边缘点。其他情况，如果其八邻域中没有绝对边缘点，则认为不是边缘点。
在本实施例中，以左侧图像为搜索图，在搜索图中寻找与配准模板相似性最高的子图即为两幅图像的配准位置。实验中以左边摄像头俯视图为搜索图。在目标图像上以模板重心为坐标滑动窗口，计算模板的边缘点与窗口相应位置的相关度，相关度计算使用了归一化互相关系数算法。
经过以上步骤可以找到相邻两幅图像的配准位置，本实验的配准结果如图7(a-c)所示，其中，(a)为左侧搜索图；(b)为配准结果图；(c)为配准模板，(b)中白色方框左上角为找到的配准位置。
(4)三角函数加权融合
通常的加权融合算法以像素点到重合区域边界的距离为权值来对两幅图像进行融合，考虑到经典的加权平均融合算法对重合区域有较严重的模糊作用，容易使重合区域图像质量变差。
在本发明中，根据参考图像中配准模板的位置以及搜索图像中配准的坐标位置，确定重合区域；
以像素点到重合区域边界距离的三角函数值为权值，对参考图像、搜索图像进行了加权融合处理，得到融合图像，其中，加权融合为：
其中，Da为像素点到搜索图像侧边界的距离，D为重合区域的长度，A(x，y)为搜索图像重合区域的像素值，B(x，y)参考图像重合区域的像素值，S(x，y)为融合图像的像素值，(x，y)像素点坐标。
在改进的加权平均融合算法中，运用距离的三角函数权重值来融合。融合前后对比图如图8(a-b)所示，其中(a)为未经融合的图像，(b)为采用三角函数加权融合策略的效果图。
按照步骤(3)、(4)对四个方向的俯视图进行相邻方向的图像配准、融合，得到一幅全景图像，从而完成全景图像拼接。
在本实施例中，在汽车运动过程中采集四个方向摄像头鱼眼图像，按照上述方法对图像进行全景拼接，我们列出了三帧实验结果，分别对应序列的第10、20、30帧。在图9中，展示了这三帧图像的全景拼接结果图，三幅全景图直接有前后的时序关系。从第一张全景图可以看出汽车周围没有障碍物，仅有地面的车道线标志，第二张全景图后方出现了经过的汽车的轮胎，第三张全景图中经过的汽车出现在全景图的中部，图像的景物显示信息符合汽车运动过程中的场景。因此可以通过全景图信息了解汽车周围的环境变化情况。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种针对车载环境的全景图像拼接方法，其特征在于，包括以下步骤：
(1)、融合两种常用成像模型进行鱼眼图像校正
对等距投影模型和正交投影模型进行加权融合，加权融合公式如下：
其中，w为像素点入射角，r1代表运用等距投影模型校正的像素点径向距离，r2代表运用正交投影模型校正的像素点径向距离，f为鱼眼图像的半径，λ表示两种模型的校正比值差异，α是渐变因子，表示两种常用模型之间的渐变程度；
对汽车运动过程中采集的四个方向的鱼眼图像，根据上述公式获得像素点径向距离r与入射角w，采用成像模型校准法，进行畸变校正即鱼眼校正；
(2)、旋转平移模型修正俯视投影误差
对于一个方向的鱼眼镜头，在其的前方放置棋盘格，运用opencv开源库函数找到图像中棋盘格标定的四个顶点图像坐标(ui，vi)，然后用米尺测量四个顶点世界坐标(xi，yi)，其中，i顶点编号，i＝1,2,3,4，世界坐标以鱼眼镜头光心投影地面点为中心，y轴为鱼眼镜头的前方，x轴为汽车侧向；
在汽车四周设置平行于x轴的白色框线，在图像中，在白色框线上的两端分别选择一个参考点，两个参考点的连线平行于白色框线，其图像坐标分别为(u′1,v′1)、(u′2,v′2)；
x轴、y轴方向偏移量搜索范围内，以搜索步长s得到两个方向的偏移量Δx、Δy，角度搜索范围内，以搜索步长t得到旋转角度β，然后，将四个顶点世界坐标(xi，yi)代入以下公式：
得到校准的四个顶点世界坐标
然后根据以下公式，计算两个坐标系之间的单应矩阵H：
其中，s为比例因子，L1、L2、L4、L5、L6、L8、L9、L10为单应矩阵H的元素值，是需要求解的参数；
根据两个参考点图像坐标(u′1,v′1)、(u′2,v′2)，代入以下公式：
得到，两个参考点的世界坐标(x′1,y′1)、(x′2,y′2)；
计算差值c＝|y′2-y′1|；
在偏移量以及角度搜索范围内，找到使得差值c最小的单应矩阵H；
汽车四个方向都采用上述方法，分别获得差值c最小的单应矩阵H，最后分别依据差值c最小的单应矩阵H对对应的鱼眼图像校正后的图像进行俯视变换，得到四个方向的俯视图；
(3)、基于边缘模板的图像配准
在汽车周围铺一圈有丰富边缘信息的白色框作为配准模板进行匹配，图像配准为：
3.1)、将一个方向的俯视图作为参考图像，将另一个相邻方向的俯视图作为搜索图像，确定一个M×N大小的模板，将参考图像中搜索图像一侧区域作为搜索区域，在搜索区域中，以模板滑动方式，找到边缘点最多的子图即白色框线四角，该子图即可作为配准模板；
3.2)、筛选出配准模板的边缘点：首先去除一些邻域内边缘梯度模值不为最大的边缘点，其次去除低对比度的边缘点；
记录边缘点坐标位置，并将边缘点作为配准模板的特征描述符
3.3)、遍历搜索图像，在搜索图中找到与配准模板特征描述符相似度最高的子图，子图的位置即为配准的坐标位置；
(4)三角函数加权融合
根据参考图像中配准模板的位置以及搜索图像中配准的坐标位置，确定重合区域；
以像素点到重合区域边界距离的三角函数值为权值，对参考图像、搜索图像进行了加权融合处理，得到融合图像，其中，加权融合为：
其中，Da为像素点到搜索图像侧边界的距离，D为重合区域的长度，A(x，y)为搜索图像重合区域的像素值，B(x，y)参考图像重合区域的像素值，S(x，y)为融合图像的像素值，(x，y)像素点坐标；
按照步骤(3)、(4)对四个方向的俯视图进行相邻方向的图像配准、融合，得到一幅全景图像，从而完成全景图像拼接。
2.根据权利要求1所述的全景图像拼接方法，其特征在于，步骤(1)中所述的α是渐变因子＝1.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710446146.2A CN107274336B (zh) | 2017-06-14 | 2017-06-14 | 一种针对车载环境的全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710446146.2A CN107274336B (zh) | 2017-06-14 | 2017-06-14 | 一种针对车载环境的全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107274336A CN107274336A (zh) | 2017-10-20 |
| CN107274336B true CN107274336B (zh) | 2019-07-12 |
Family
ID=60066714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710446146.2A Expired - Fee Related CN107274336B (zh) | 2017-06-14 | 2017-06-14 | 一种针对车载环境的全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107274336B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230241B (zh) * | 2018-01-09 | 2021-03-16 | 济南中维世纪科技有限公司 | 一种设备带角度侧装的鱼眼图像校正方法 |
| CN108830810A (zh) * | 2018-06-07 | 2018-11-16 | 辽宁工业大学 | 一种基于正交投影的鱼眼镜头图像畸变矫正方法 |
| CN108833874B (zh) * | 2018-07-04 | 2020-11-03 | 长安大学 | 一种用于行车记录仪的全景图像色彩校正方法 |
| CN109064392B (zh) * | 2018-08-07 | 2023-05-02 | 广州视源电子科技股份有限公司 | 确定单应矩阵的方法及其系统以及图像转换方法及其系统 |
| CN109544447B (zh) * | 2018-10-26 | 2022-10-21 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| CN110084743B (zh) * | 2019-01-25 | 2023-04-14 | 电子科技大学 | 基于多航带起始航迹约束的图像拼接与定位方法 |
| CN112116661A (zh) * | 2019-06-20 | 2020-12-22 | 北京地平线机器人技术研发有限公司 | 一种高精地图的构建方法及装置 |
| CN110880161B (zh) * | 2019-11-21 | 2023-05-09 | 大庆思特传媒科技有限公司 | 一种多主机多深度摄像头的深度图像拼接融合方法及系统 |
| CN111179165B (zh) * | 2019-11-29 | 2023-07-28 | 南京泓众电子科技有限公司 | 一种全景图像生成方法及装置 |
| CN111284503B (zh) * | 2020-03-10 | 2021-12-10 | 宁波远景汽车零部件有限公司 | 一种汽车安全出行装置 |
| CN111739090B (zh) * | 2020-08-21 | 2020-12-04 | 歌尔光学科技有限公司 | 视场的位置确定方法及装置和计算机可读存储介质 |
| CN112308927B (zh) * | 2020-10-26 | 2024-05-17 | 南昌智能新能源汽车研究院 | 一种全景相机与激光雷达的融合装置及其标定方法 |
| CN113191974B (zh) * | 2021-04-29 | 2023-02-03 | 青岛科技大学 | 一种基于机器视觉获取船舶全景影像的方法及系统 |
| CN115376313A (zh) * | 2022-07-26 | 2022-11-22 | 四川智慧高速科技有限公司 | 一种基于监控摄像头组的图像融合与畸变矫正的实现方法 |
| CN116468598B (zh) * | 2023-03-16 | 2023-11-17 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 高分航空影像与低分卫星影像匹配方法、设备及存储设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881016A (zh) * | 2012-09-19 | 2013-01-16 | 中科院微电子研究所昆山分所 | 基于车联网的车辆周围360°环境重构方法 |
| WO2014074202A9 (en) * | 2012-08-20 | 2014-07-24 | The Regents Of The University Of California | Monocentric lens designs and associated imaging systems having wide field of view and high resolution |
| CN105354796A (zh) * | 2015-10-12 | 2016-02-24 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
| CN105447850A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 一种基于多视点图像的全景图拼接合成方法 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
| CN106627373A (zh) * | 2017-01-13 | 2017-05-10 | 广东工业大学 | 一种用于智能泊车的图像处理方法和系统 |
-
2017
- 2017-06-14 CN CN201710446146.2A patent/CN107274336B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014074202A9 (en) * | 2012-08-20 | 2014-07-24 | The Regents Of The University Of California | Monocentric lens designs and associated imaging systems having wide field of view and high resolution |
| CN102881016A (zh) * | 2012-09-19 | 2013-01-16 | 中科院微电子研究所昆山分所 | 基于车联网的车辆周围360°环境重构方法 |
| CN105354796A (zh) * | 2015-10-12 | 2016-02-24 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
| CN105447850A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 一种基于多视点图像的全景图拼接合成方法 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
| CN106627373A (zh) * | 2017-01-13 | 2017-05-10 | 广东工业大学 | 一种用于智能泊车的图像处理方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 全景视觉泊车辅助系统研究与设计;曾帆光;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170315;C035-216 * |
| 基于鱼眼相机的实时视频拼接技术研究;孙炬辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915;I138-1206 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107274336A (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107274336B (zh) | 一种针对车载环境的全景图像拼接方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN112367514B (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
| CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
| JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
| CN108876749A (zh) | 一种鲁棒的镜头畸变校正方法 | |
| CN106157246B (zh) | 一种全自动的快速柱面全景图像拼接方法 | |
| CN102291527B (zh) | 基于单个鱼眼镜头的全景视频漫游方法及装置 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN105869160A (zh) | 利用Kinect实现三维建模和全息显示的方法及系统 | |
| GB2557398A (en) | Method and system for creating images | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN113160339A (zh) | 一种基于沙姆定律的投影仪标定方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| CN110322485A (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
| CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
| CN111080709A (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
| CN105894443A (zh) | 一种基于改进的surf算法的实时视频拼接方法 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN109658366A (zh) | 基于改进ransac和动态融合的实时视频拼接方法 | |
| CN109801360A (zh) | 基于图像的胃肠三维重构和可视化方法 | |
| CN116625258A (zh) | 链条间距测量系统及链条间距测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190712 |