CN106780344B - 基于偏差转移和拆分的汽车360°环视图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于偏差转移和拆分的汽车360°环视图像拼接方法，所述方法包括：S1、对四路俯视图像进行感兴趣区域的提取；S2、提取各俯视图像间重叠区域的特征点，计算仿射变换矩阵；S3、对相对的两路俯视图像进行图像分割，并独立配准；S4、对配准后两路俯视图像的两部分图像进行偏角的调整；S5、对两路俯视图像的两部分图像进行对准拼接和全幅图像的融合。本发明通过将累积偏差由拼缝处转移、拆分到相对的两路俯视图像中，以两路俯视图像的小变形代替拼缝处严重错位和失真的现象，在避免拼缝处失真、错位的同时，保证了全景系统不存在黑缝盲区，且改善了俯视图像的大范围扭曲现象，对于汽车360°环视全景具有重要的现实意义。

Description

基于偏差转移和拆分的汽车360°环视图像拼接方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种基于偏差转移和拆分的汽车360°环视图像拼接方法。

背景技术

随着汽车电子行业的快速发展，汽车360°环视全景系统快速发展，并且已经逐步推广开来。作为高级驾驶员辅助系统(ADAS)的重要组成部分，汽车360°环视全景系统有着无可替代的作用。该系统能将够将汽车周身一定范围内的物体无死角的直观呈现出来，在低速行驶、倒车、窄路会车等复杂车况下能够有效解决驾驶员视野受阻的问题。

目前，市面上汽车配备的360°环视全景系统几乎都是2D的俯视全景。2D俯视全景系统的形成流程为：

(1).四路车用鱼眼镜头采集车身四周图像；

(2).原始鱼眼畸变图像的矫正；

(3).矫正后图像的俯视图变换；

(4).四路俯视图像的环视拼接和融合。

环视图像拼接作为最终形成360°环视全景的重要环节，其与传统的图像拼接有所差别，其难点主要体现在：360°环视图像拼接最终形成的是360°视角、封闭的环视图像，而由于前置环节—鱼眼图像畸变矫正和俯视变换会引入累计偏差，最终会在环视图像拼接时造成图像拼接处的缺失、错位或失真等现象，严重影响全景系统的视觉效果。

现有的解决方法主要有：

(1).在图像拼接处人为设置黑缝，该方法规避了拼接处的错位等问题，但环视系统会在拼接黑缝处呈现盲区；

(2).针对拼接时的最后一幅俯视图像进行大角度不规则扭曲以贴合其他三幅俯视图像，该方法在拼接处避免了缺失、错位等现象的同时，却带来其中一幅图像不规则扭曲的问题。

因此，针对上述技术问题，有必要提供一种基于偏差转移和拆分的汽车360°环视图像拼接方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于偏差转移和拆分的汽车360°环视图像拼接方法，该环视图像拼接方法在满足汽车360°环视系统性能的同时，能有效减弱环视图像拼接处错位、失真等现象。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于偏差转移和拆分的汽车360°环视图像拼接方法，所述方法包括：

S1、对四路俯视图像进行感兴趣区域的提取；

S2、提取各俯视图像间重叠区域的特征点，计算仿射变换矩阵；

S3、对相对的两路俯视图像进行图像分割，并独立配准；

S4、对配准后两路俯视图像的两部分图像进行偏角的调整；

S5、对两路俯视图像的两部分图像进行对准拼接和全幅图像的融合。

作为本发明的进一步改进，所述步骤S1具体包括：

利用图像裁剪函数对四路俯视图像进行矩形感兴趣区域的提取，并按序保存。

作为本发明的进一步改进，所述四路俯视图像包括前视图、左视图、右视图和后视图。

作为本发明的进一步改进，所述步骤S2具体包括：

利用Harris角点检测对各俯视图像间重叠区域处标定板的特征角点进行提取，记录角点坐标；

利用RANSAC方法对各俯视图像间的配对角点进行提纯；

利用配对角点分别计算各俯视图像间的仿射变换矩阵。

作为本发明的进一步改进，所述步骤S3～S5中的两路俯视图像为左视图和右视图。

作为本发明的进一步改进，所述步骤S3具体包括：

分别将左视图、右视图分割为上下两部分，利用仿射变换矩阵分别对左视图、右视图上部分图像与前视图进行配准，对左视图、右视图下部分图像与后视图像进行配准。

作为本发明的进一步改进，所述步骤S4具体包括：

对配准后形成的上下两部分配准图像进行水平方向倾角的计算，对该倾角逐行进行图像的水平调整。

作为本发明的进一步改进，所述步骤S5具体包括：

对水平调整后的上下两部分配准图像进行对准拼接形成完整的360°环视图像，通过加权融合方法对图像拼缝处进行图像融合，形成最终的360°环视全景图。

本发明的有益效果是：

本发明通过将累积偏差由拼缝处转移、拆分到相对的两路俯视图像中，以两路俯视图像的小变形代替拼缝处严重错位和失真的现象，在避免拼缝处失真、错位的同时，保证了全景系统不存在黑缝盲区，且改善了俯视图像的大范围扭曲现象，对于汽车360°环视全景具有重要的现实意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于偏差转移和拆分的汽车360°环视图像拼接方法的流程示意图；

图2为本发明一具体实施方式中特征角点提取和相应变换矩阵的示意图；

图3为本发明一具体实施方式中图像分割和配准的示意图；

图4为本发明一具体实施方式中配准后图像偏角调整及对准拼接的示意图；

图5a、5b分别为现有技术中拼接方法和本实施方式中环视拼接方法的效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明的一种基于偏差转移和拆分的汽车360°环视图像拼接方法，该方法包括：

S1、对四路俯视图像进行感兴趣区域的提取；

S2、提取各俯视图像间重叠区域的特征点，计算仿射变换矩阵；

S3、对相对的两路俯视图像进行图像分割，并独立配准；

S4、对配准后两路俯视图像的两部分图像进行偏角的调整；

S5、对两路俯视图像的两部分图像进行对准拼接和全幅图像的融合。

以下对本发明一具体实施方式中汽车360°环视图像拼接方法的各步骤进行详细说明。

S1、对四路俯视图像进行感兴趣区域的提取。

四路鱼眼畸变图像经矫正和俯视变换后形成四路俯视图像；以360°环视全景系统设计的视野覆盖范围为依据，在四路俯视图像中利用图像裁剪函数分别提取出感兴趣区域，并记录为前视图、左视图、右视图和后视图。

S2、提取各俯视图像间重叠区域的特征点，计算仿射变换矩阵。

参图2所示，利用Harris角点检测分别提取前视图和左视图重叠区域处标定格板的对应特征角点，并分别记录角点坐标为pt1和pt2；利用RANSAC方法对特征角点对(pt1，pt2)进行匹配提纯；计算特征角点对(pt1，pt2)间的仿射变换矩阵H1为：

pt1＝H1×pt2。

同理，可计算出右视图到前视图的仿射变换矩阵H2、左视图到后视图的仿射变换矩阵H3、右视图到后视图的仿射变换矩阵H4。

S3、对相对的两路俯视图像进行图像分割，并独立配准。

本实施方式中的两路俯视图像以左视图和右视图为例进行说明，参图3所示，将左视图、右视图分别分割为上下两部分图像：左视图上部分、左视图下部分、右视图上部分和右视图下部分。不失一般性，本实施方式中可对左、右视图等分分割。

然后将左视图上部分图像按仿射变换矩阵H1向前视图配准、右视图上部分图像按仿射变换变换矩阵H2向前视图配准、左视图下部分图像按仿射变换矩阵H3向后视图配准、右视图下部分图像按仿射变换矩阵H4向后视图配准；配准后经拼接裁剪在重叠区域形成拼缝。

S4、对配准后两路俯视图像的两部分图像进行偏角的调整。

参图3、图4所示，由于逐步累积的偏差，左视图、右视图会在分割处呈现水平方向的倾斜，若将上下部分图像直接对准拼接，将在左视图、右视图分割处呈现严重的错位、失真等现象。

本实施方式中分别计算左视图、右视图分割处的水平倾角θ；以配准后左视图、右视图各部分图像的中心轴为旋转轴，对配准后的左视图、右视图各部分图像逐行进行倾角的水平调整，调整角度按θ逐行递减，最终在分割处形成水平线。

S5、对两路俯视图像的两部分图像进行对准拼接和全幅图像的融合。

参图4所示，对水平倾角调整后的上下两部分图像进行对准拼接形成完整的360°环视图像；然后通过加权融合方法对相邻俯视图像重叠区域的拼缝和上下两部分图像的分割处进行融合，最终形成360°环视全景图。

综上所示，本实施方式首先对左视图和右视图进行分割得到左视图上、下部分和右视图上、下部分，通过左视图上部分、右视图上部分与前视图的配准，左视图下部分、右视图下部分与后视图的配准，将累积的偏差转移并拆分到左视图和右视图的分割处，使得各俯视图像重叠区域拼接处的失真、错位等现象尽可能减弱；然后对配准后形成的上下两部分配准图像进行倾角的水平调整，能在一定程度上减弱累积偏差在左、右视图分割处的错位、失真效应，便于上下两部分配准图像最终形成环视全景图像。这种汽车360°环视图像拼接方法在满足环视全景系统性能的前提下，利用左、右视图整体的的微弱变形代替原拼接方法在拼缝处的较大错位和失真，对360°环视全景系统的发展具有积极意义。

参图5a、5b所示分别为现有技术中拼接方法和本实施方式中环视拼接方法的效果图，对比现有方法，本发明能够避免拼缝处失真、错位，同时拼接图像不存在黑缝盲区和大范围扭曲现象。

应当理解的是，上述实施方式中对左视图和右视图进行图像分割，并独立配准，在其他实施方式中也可以对前视图和后视图进行图像分割并独立配准，对应地，对配准后前视图和后视图的两部分图像进行偏角的竖直调整，然后对前视图和后视图的两部分图像进行对准拼接和全幅图像的融合，同样可以实现360°环视图像拼接，该方法与上述实施方式类似，此处不再详细举例进行说明。

由上述技术方案可以看出，本发明通过将累积偏差由拼缝处转移、拆分到相对的两路俯视图像中，以两路俯视图像的小变形代替拼缝处严重错位和失真的现象，在避免拼缝处失真、错位的同时，保证了全景系统不存在黑缝盲区，且改善了俯视图像的大范围扭曲现象，对于汽车360°环视全景具有重要的现实意义。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于偏差转移和拆分的汽车360°环视图像拼接方法，其特征在于，所述方法包括：

S1、对四路俯视图像进行感兴趣区域的提取；

S2、提取各俯视图像间重叠区域的特征点，计算仿射变换矩阵；

S3、对相对的两路俯视图像进行图像分割，并独立配准，两路俯视图像为左视图和右视图，具体包括：

分别将左视图、右视图分割为上下两部分，利用仿射变换矩阵分别对左视图、右视图上部分图像与前视图进行配准，对左视图、右视图下部分图像与后视图像进行配准；

S4、对配准后两路俯视图像的两部分图像进行偏角的调整，具体包括：

对配准后形成的上下两部分配准图像进行水平方向倾角的计算，对该倾角逐行进行图像的水平调整；

S5、对两路俯视图像的两部分图像进行对准拼接和全幅图像的融合，具体包括：

对水平调整后的上下两部分配准图像进行对准拼接形成完整的360°环视图像，通过加权融合方法对图像拼缝处进行图像融合，形成最终的360°环视全景图。

2.根据权利要求1所述的基于偏差转移和拆分的汽车360°环视图像拼接方法，其特征在于，所述步骤S1具体包括：

利用图像裁剪函数对四路俯视图像进行矩形感兴趣区域的提取，并按序保存。

3.根据权利要求2所述的基于偏差转移和拆分的汽车360°环视图像拼接方法，其特征在于，所述四路俯视图像包括前视图、左视图、右视图和后视图。

4.根据权利要求1所述的基于偏差转移和拆分的汽车360°环视图像拼接方法，其特征在于，所述步骤S2具体包括：

利用Harris角点检测对各俯视图像间重叠区域处标定板的特征角点进行提取，记录角点坐标；

利用RANSAC方法对各俯视图像间的配对角点进行提纯；

利用配对角点分别计算各俯视图像间的仿射变换矩阵。

Images