CN108076276A - 一种基于测距模板的实时全景拼接方法 - Google Patents

Abstract

本发明涉及一种基于测距模板的实时全景拼接方法，在上位机使用优化的拼接算法，离线计算不同距离的各图像的校正映射关系、配准变换矩阵及相应的融合参数，生成对应的全景拼接模板，存放在全景相机的存储器中；全景相机系统启动后，系统中的所有镜头采集图像，调用存储器对应的全景拼接模板对各图像进行校正；依据相邻图像重叠区相同景物采用双目测距方法计算出拼接处景物的距离；依据测距得到的景物距离信息，读取相应距离模板中的变换映射矩阵完成各个图像的配准；读取存储器模板中的投影矩阵、融合参数，完成各图像融合、投影，产生拼接后的全景图。本发明可在全景相机内部直接实现拼接，简化了复杂的算法实现过程，提高了拼接速度，利于实时性要求。

Description

一种基于测距模板的实时全景拼接方法

技术领域

本发明涉及一种图像全景拼接技术，具体的说是一种基于测距模板的实时全景拼接方法。

背景技术

传统的全景相机，只负责图片信息采集及数据传输，而拼接工作在计算机上进行，速度较慢，不具有实时性。为达到实时特性效果，最理想的情况是在全景相机内部完成实时拼接。然而传统的图像拼接方法多是寻优的过程，计算复杂，直接应用会造成硬件的存储量及吞吐量巨大，限制了应用范围。现有全景相机的机内实时拼接，多是小数据量的拼接。全景相机机内实时拼接具有高硬件资源消耗、低拼接效果的缺陷，解决方法很难实现一种既能处理大数据量传输、运行复杂拼接算法、消耗较低资源，同时又能达到实时、高质量拼接效果的要求。

发明内容

针对现有技术中由于实时拼接全景相机存在高硬件资源消耗、低拼接效果等不足，本发明要解决的技术问题是提供一种大数据量实时全景拼接方法，满足低硬件资源使用，同时达到较高拼接质量的效果的基于测距模板的实时全景拼接方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于测距模板的实时全景拼接方法，包括以下步骤：

在上位机使用优化的拼接算法，离线计算不同距离的各图像的校正映射关系、配准变换矩阵及相应的融合参数，生成对应的全景拼接模板，存放在全景相机的存储器中；

全景相机系统启动后，系统中的所有镜头采集图像，调用存储器对应的全景拼接模板对各图像进行校正；

依据相邻图像重叠区相同景物采用双目测距方法计算出拼接处景物的距离；

依据测距得到的景物距离信息，读取相应距离模板中的变换映射矩阵完成各个图像的配准；

读取存储器模板中的投影矩阵、融合参数，完成各图像融合、投影，产生拼接后的全景图。

本发明具有以下有益效果及优点：

1. 本发明方法可以在全景相机内部直接实现拼接，将传统复杂的全景拼接图像的算法转化为只需调用参数利用简单运算就可实现全景拼接，简化了复杂的算法实现过程，提高了拼接速度，利于实时性要求。

2.本发明应用远景、中景、近景多套模板满足不同距离、不同重叠度（只要存在重叠区就可实现拼接）图像的拼接效果。

3. 本发明方法克服多镜头光心节点不一致所造成的图像拼接质量差的问题，应用模板的方法改善了实时拼接质量。

4. 本发明通过存储模板的方法实现图像拼接，减少了硬件资源的消耗，提高了性价比。

附图说明

图1为本发明方法中的模板制作流程图。

图2为本发明方法流程图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1、2所示，本发明一种基于测距模板的实时全景拼接方法，包括以下步骤：

在上位机使用优化的拼接算法，离线计算不同距离的各图像的校正映射关系、配准变换矩阵及相应的融合参数，生成对应的全景拼接模板，存放在全景相机的存储器中；

全景相机系统启动后，系统中的所有镜头采集图像，调用存储器对应的全景拼接模板对各图像进行校正；

依据相邻图像重叠区相同景物，采用双目测距方法计算出拼接处景物的距离；

依据测距得到的景物距离信息，读取相应距离模板中的变换映射矩阵完成各个图像的配准；

读取存储器模板中的投影矩阵、融合参数，完成各图像融合、投影，产生拼接后的全景图。

如图1所示，在上位机使用优化的拼接算法制作对应的全景拼接模板，根据图像采集多镜头的空间角度位置，需要优化选择图像预处理、配准、变换及融合算法达到较好的拼接质量。

由于本发明选用广角圆形鱼眼镜头，采集的数据并非线性数据，直接拼接处理存在较大的复杂性，因此往往对鱼眼图像先进行校正，将鱼眼图像的数据从非线性转化为易处理的线性图像。

图像配准需要识别和判断出相邻两幅图像之间的重叠区域，位移，旋转等变换关系，只有在确定了这些关系之后，才能在数学上准确的描述出两者的位置数据。

对于一组图片，在依次计算并确定其相互之间的位置关系之后，需要进一步将其拼接成一幅完整的图片即图像的融合技术。融合图像技术的关键问题是如何最大化改善重叠区域的重影，在存在对齐误差的同时，又不影响图像内容。通过不断优化算法，寻找出适合该空间镜头分布结构的拼接算法。

4. 配准校正后的图像。依据测距得到的距离信息，读取相应距离模板中的变换映射矩阵完成各个图像的配准。

5. 读取存储器模板中的投影矩阵、融合参数，完成各图像融合、投影，产生拼接后的全景图。

本发明方法将优化后的达到拼接效果要求的全景拼接算法对应各相关变换、映射存储、投影矩阵、融合的相关参数存储，作为拼接模板，预先得到对应的全景拼接模板。将耗时的、含有复杂矩阵运算、迭代运算的图像拼接算法转化为可直接调用的参数，只需进行简单的基本运算便可以实现全景图像拼接。简化运算的结果可以提高实时拼接的速度，并降低了硬件资源，提高了全景相机的性价比，简化了实际工作的复杂度，提高了速度及效率。同时为了远景、近景图像能同时达到良好拼接效果，需要采用双镜头测距方法测量景物的实际距离。考虑到多镜头光心节点很难一致，致使光路存在改变，近景与远景时每个镜头图片的重叠区对物体的表现是不同的。由于远近距离图片存在差异，因此依据不同距离制作相应的拼接模板，以适应不同距离图像拼接的要求。

Claims (1)

1.一种基于测距模板的实时全景拼接方法，其特征在于包括以下步骤：

在上位机使用优化的拼接算法，离线计算不同距离的各图像的校正映射关系、配准变换矩阵及相应的融合参数，生成对应的全景拼接模板，存放在全景相机的存储器中；

全景相机系统启动后，系统中的所有镜头采集图像，调用存储器对应的全景拼接模板对各图像进行校正；

依据相邻图像重叠区相同景物采用双目测距方法计算出拼接处景物的距离；

依据测距得到的景物距离信息，读取相应距离模板中的变换映射矩阵完成各个图像的配准；

读取存储器模板中的投影矩阵、融合参数，完成各图像融合、投影，产生拼接后的全景图。