CN109934765A - 高速相机全景图像拼接方法 - Google Patents

Abstract

本发明涉及一种高速相机全景图像拼接方法，包括将高速相机设置在转台上，高速相机的曝光间隔至多设置为转台转角位移等于相机横向视场角时所经历的时间；使转台匀速旋转360°，同时高速相机按照所述的曝光间隔对目标成像；高速相机获取的每幅原始目标图像对应的转台转角位移通过码盘的码盘值确定；将所有原始目标图像依据对应的码盘值按成像的时间排序，并采用非线性算法对相邻两幅原始目标图像进行配准，去掉重叠区域，获得去重后的目标图像；将所有去重后的目标图像按所述排序拼接在一起，形成360°全景图。本发明利用码盘值对图像进行排序，效率高，提高了图像的拼接效率，从而能够快速获得全景图像。

Description

高速相机全景图像拼接方法

技术领域

本发明涉及图像拼接技术领域，尤其涉及一种高速相机全景图像拼接方法。

背景技术

目前，随着电子信息技术的飞速发展，图像信息作为最直接最有效的信息，已经得到了全世界的广泛重视。无论在人工智能，还是工业自动化技术中，都离不开成像技术，而如何获取更大视场的图像信息，成为了重要课题。

现有的广角相机相对来说可以获取到更广阔视场角内的图像，但其视场角依然有限。若想要获取360°视场内的图像信息，只能依靠图像拼接技术。而如何准确快速的实现图像拼接以获得全景图像成为了重要的研究课题。

已有的全景图像拼接基本流程为：获取图像、对图像进行预处理、图像配准、建立变换模型及统一坐标变换，最后将所有图像拼接到一起得到全景图像。这种全景图像的获得方法计算量大，无法实现快速的图像拼接，并且获得的全景图像中重叠区域大；同时，其复杂的图像处理算法也不利于硬件实现。

因此，针对以上不足，需要提供一种能够快速拼接以获得全景图像的技术，使图像拼接效率高并且重叠区域少。

发明内容

本发明要解决的技术问题在于，针对现有技术中全景图像的拼接方法计算量大，拼接效率低的缺陷，提供一种高速相机全景图像拼接方法。

为了解决上述技术问题，本发明提供了一种高速相机全景图像拼接方法，包括将高速相机设置在转台上，高速相机的曝光间隔至多设置为转台转角位移等于相机横向视场角时所经历的时间；

使转台匀速旋转360°，同时高速相机按照所述的曝光间隔对目标成像；高速相机获取的每幅原始目标图像对应的转台转角位移通过码盘的码盘值确定；

将所有原始目标图像依据对应的码盘值按成像的时间排序，并采用非线性算法对相邻两幅原始目标图像进行配准，去掉重叠区域，获得去重后的目标图像；将所有去重后的目标图像按所述排序拼接在一起，形成360°全景图。

在根据本发明所述的高速相机全景图像拼接方法中，所述对相邻两幅原始目标图像进行配准包括，估算相邻两幅原始目标图像重叠区域的大小。

在根据本发明所述的高速相机全景图像拼接方法中，所述对相邻两幅原始目标图像进行配准还包括，根据估算的相邻两幅原始目标图像重叠区域的大小计算相邻两幅原始目标图像的20个非线性相关矩阵，所述20个非线性相关矩阵分别对应不同大小的疑似重叠区域；

对每个非线性相关矩阵的两个峰值求和得到一个Sum值，由20个非线性相关矩阵获得的20个Sum值组成一维向量，计算所述一维向量梯度变化最大的点，由所述梯度变化最大的点计算出相邻两幅原始目标图像的精确重叠区域。

在根据本发明所述的高速相机全景图像拼接方法中，在原始目标图像中去掉所述精确重叠区域，获得去重后的目标图像。

在根据本发明所述的高速相机全景图像拼接方法中，所述高速相机的曝光间隔t为：

t≤c/v_s，

式中c为相机横向视场角，v_s为转台转速。

在根据本发明所述的高速相机全景图像拼接方法中，第n幅原始目标图像对应的码盘值α_n为：

式中α₁为第一幅原始目标图像对应的码盘值，α_max为码盘值的最大值，n为原始目标图像的顺序数。

在根据本发明所述的高速相机全景图像拼接方法中，估算相邻两幅原始目标图像重叠区域的大小包括：

计算相邻两幅原始目标图像重叠区域的像素数Δpix：

式中m为高速相机的横向像素数。

在根据本发明所述的高速相机全景图像拼接方法中，根据相邻两幅原始目标图像重叠区域的像素数Δpix在Δpix±10的像素范围内截取20个图像对为：

式中ΔP_i为截取的第i个图像对P_i在m-(Δpix-g)+x区域，1≤x≤m，并且1≤y≤n区域的图像；x为原始目标图像在X轴的图像像素坐标，y为原始目标图像在Y轴的图像像素坐标；其中区域变换数g为：-10≤g≤10，i＝1，2，3，……，20。

在根据本发明所述的高速相机全景图像拼接方法中，对截取的每个图像对进行傅里叶变换获得非线性相关矩阵map(x,y)：

式中FFT为傅里叶变换，IFFT为傅里叶逆变换，k为匹配系数，k＝0.5。

在根据本发明所述的高速相机全景图像拼接方法中，由每个非线性相关矩阵map(x,y)获得两个峰值，分别为max₁和max₂，则：

Sum＝max₁+max₂。

实施本发明的高速相机全景图像拼接方法，具有以下有益效果：本发明采用码盘对转台的转角位移进行测量，使高速相机依次采集的图像分别对应一个码盘值，依据原始目标图像对应的码盘值可以将原始目标图像按成像时间顺序进行排序；排序后再采用非线性算法确认相邻原始目标图像否存在重叠区域，去除重叠区域后获得全景图像。本发明采用非线性相关算法确定是否存在重叠区域，算法简单高效，运算速度快，有利于硬件实现。

本发明方法利用码盘值对图像进行排序，效率高，提高了图像的拼接效率，从而能够快速获得全景图像；本发明同时极大的减少了全景图像中的重叠区域，提高了全景图像的成像质量。

附图说明

图1为根据本发明的高速相机全景图像拼接方法的示例性流程图；

图2为相邻两幅原始目标图像重叠区域的示意图；

图3为非线性相关矩阵的示意图；

图4为对20个Sum组成的一维向量进行二阶求导获得的曲线图；图中A为极值点；

图5为采用本发明方法获得的全景图像拼接效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施方式一、本发明的第一方面，提供了一种高速相机全景图像拼接方法，结合图1所示，包括将高速相机设置在转台上，高速相机的曝光间隔至多设置为转台转角位移等于相机横向视场角时所经历的时间；

使转台匀速旋转360°，同时高速相机按照所述的曝光间隔对目标成像；高速相机获取的每幅原始目标图像对应的转台转角位移通过码盘的码盘值确定；

将所有原始目标图像依据对应的码盘值按成像的时间排序，并采用非线性算法对相邻两幅原始目标图像进行配准，去掉重叠区域，获得去重后的目标图像；将所有去重后的目标图像按所述排序拼接在一起，形成360°全景图。

本实施方式中高速相机的曝光间隔与相机横向视场角和转台转速相关；转台转速是指转台在稳定工作时的转速；当曝光间隔等于转台转过相机横向视场角所经历的时间时，相邻两幅原始目标图像在理论上可以认为无重叠，但实际使用中会由于误差等因素产生重叠区。若曝光间隔大于转台转过相机横向视场角所经历的时间，将造成相邻两幅原始目标图像不连续，因此不符合本发明的要求。在实际使用中，可以根据需要选取曝光间隔，例如选取小于转台转过相机横向视场角所经历的时间作为曝光间隔，这种情况相邻两幅原始目标图像通常都存在重叠区域，在后续的处理过程中需要对重叠区域进行去除。根据转台的转速调整高速相机的曝光间隔时间，可使连续拍摄的两幅图像重叠区域尽可能小。

对于相邻的两幅原始目标图像，确定二者的重叠区域后，可以选择保留前一原始目标图像中的重叠区域而删除后一原始目标图像中的相应重叠区域，从而使图像拼装后，获得无重复区的全景图像。对所有原始目标图像按时间排序，可以按时间的正序排列或按时间的倒序排列，不影响最终全景图的获得。

本实施方式中，可以获取每个曝光间隔内对应变换的码盘值大小；转台转过360°的同时，相机对应获取一系列图像；将获得的原始目标图像及成像时对应的码盘值同时传递给用于后续计算的计算机，即可依据码盘值对原始目标图像进行排序。

本实施方式中获得的原始目标图像在理论上存在成像无重叠区的情况，如果经计算确认无重叠区域，直接将原始目标图像进行拼接即可。

进一步，结合图2所示，所述对相邻两幅原始目标图像进行配准包括，估算相邻两幅原始目标图像重叠区域的大小。

本实施方式中可以根据转台的转速、相机横向视场角及曝光间隔，在整体上估算相邻图像会产生的重叠区域的大小，作为后续进一步求解精确重叠区域的依据。

再进一步，结合图2和图3所示，所述对相邻两幅原始目标图像进行配准还包括，根据估算的相邻两幅原始目标图像重叠区域的大小计算相邻两幅原始目标图像的20个非线性相关矩阵，所述20个非线性相关矩阵分别对应不同大小的疑似重叠区域；

对每个非线性相关矩阵的两个峰值求和得到一个Sum值，由20个非线性相关矩阵获得的20个Sum值组成一维向量，计算所述一维向量梯度变化最大的点，由所述梯度变化最大的点计算出相邻两幅原始目标图像的精确重叠区域。

本实施方式中，由于根据码盘值进行图像拼接，其拼接精度比较高，产生的重叠区域面积较少，不会超过20个像素，因此选择计算图像的20个非线性相关矩阵，对应于20个像素。若选择像素值过大，会增加系统资源的消耗，降低系统的实时性。20个像素是经过验证确定的最优值。

本实施方式在估算获得相邻两幅原始目标图像重叠区域的基础上，通过20次变换不同大小的疑似重叠区域进行计算，获得20个非线性相关矩阵，从而确定相邻两幅原始目标图像的精确重叠区域。所述疑似重叠区域是在估算获得的重叠区域的范围内进行不同大小的选取获得的重叠区域，用以经过计算，确定精确重叠区域。对于相邻的两幅原始目标图像，最初无法确定其有多少个像素面积的图像是重叠的；本实施方式中，对应于设定的20个像素，采用20次变换不同大小的疑似重叠区域依次进行计算，假设图像的像素是M*N，由于图像的纵向位移无变化，所以可能是1*N个像素的面积重叠，也可能是2*N的面积重叠；在变换疑似重叠区域进行计算时，可以从1*N个像素面积开始计算，依次增加为2*N，3*N……，可能在计算到15*N的时候或其它值时获得梯度变化最大值；经实验验证，20可以做为最优值。

由梯度变化最大的点可以确定与之对应的疑似重叠区域，此疑似重叠区域即作为最终获得的精确重叠区域。

进一步，在原始目标图像中去掉所述精确重叠区域，获得去重后的目标图像。

对所有相邻原始目标图像分别进行计算获得精确重叠区域后，去掉前后两幅图像中一幅图像上的重叠区，即可进行拼接。

作为示例，所述高速相机的曝光间隔t为：

t≤c/v_s，

式中c为相机横向视场角，v_s为转台转速。

由曝光间隔t的计算公式，可以确定t的最大值。

进一步，第n幅原始目标图像对应的码盘值α_n为：

式中α₁为第一幅原始目标图像对应的码盘值，α_max为码盘值的最大值，n为原始目标图像的顺序数。

所述码盘值为记录转台转过方位的累加数，当转台旋转360°后，码盘值会清零，重新开始计数。高速相机每拍摄一幅图像，码盘会同步记录拍摄图像时的码盘值。

再进一步，结合图2所示，估算相邻两幅原始目标图像重叠区域的大小包括：

计算相邻两幅原始目标图像重叠区域的像素数Δpix：

式中m为高速相机的横向像素数。

由于使用转台辅助相机进行拍摄，相机在纵向不发生位移变化，因此只考虑横向重叠，两幅图像的重叠区域Δpix如图2所示。图2中B表示估算的相邻两幅原始目标图像重叠区域的像素数Δpix，C1表示由Δpix向前一幅原始目标图像扩大10个像素的范围，进行精确重叠区域的计算；C2表示由Δpix向后一幅原始目标图像扩大10个像素的范围，进行精确重叠区域的计算。

再进一步，根据相邻两幅原始目标图像重叠区域的像素数Δpix在Δpix±10的像素范围内截取20个图像对为：

式中ΔP_i为截取的第i个图像对P_i在m-(Δpix-g)+x区域，1≤x≤m，并且1≤y≤n区域的图像；x为原始目标图像在X轴的图像像素坐标，y为原始目标图像在Y轴的图像像素坐标；其中区域变换数g为：-10≤g≤10，i＝1，2，3，……，20。此处ΔP_i(x,y)表示一个图像对中的一幅，而ΔP_i+1(x,y)为另一幅。区域变换数g取不同整数值时(除去0)，得到20个不同疑似重叠区域，可以计算出20个非线性相关矩阵map(x,y)。ΔP_i+1的定义与ΔP_i同理，对应于图像对P_i+1。

再进一步，对截取的每个图像对进行傅里叶变换获得非线性相关矩阵map(x,y)：

式中FFT为傅里叶变换，IFFT为傅里叶逆变换，k为匹配系数，k＝0.5。

再进一步，结合图3所示，由每个非线性相关矩阵map(x,y)获得两个峰值，分别为max₁和max₂，则：Sum＝max₁+max₂。

图3中，横纵坐标无实际意义，显示为数学计算后出现的矩阵，Z坐标代表矩阵中数字的大小。

g取不同整数值时，对应每个图像对可以得到20个非线性相关矩阵，即得到20个Sum值，将这20个Sum值组成一维向量，计算该向量梯度变化最大的点；根据梯度变化最大的点对应的g值计算出的重叠区域大小即为前后两幅图像的精确重叠区域。所述梯度变化最大的点通过对所述一维向量求二阶导数确定。如图4所示。

图4所示，是通过本发明的非线性相关公式计算出来的矩阵二维图，横纵坐标无实际意义。本发明中非线性相关是通过数学的方法计算两个矩阵的相关度，通过对比相关度的方法最终确定两幅图像到底有多大面积是相关的，它表示通过求二阶导数的方法进一步判断重叠的面积到底是多大，其20个点用离散的方法求完导数为19个点，纵坐标数值表示求解获得的导数的大小。

图5所示，为了保证图像显示的比例，并尽可能多的显示图像区域，在实际使用时将显示区域划分为三个部分，依次截取拼接图像的固定长度放置在上中下三个区域显示。即上一部分的结尾都能和下一部分的开始位置完整衔接。

综上所述，本发明利用码盘值对获取的图像进行排序，效率高；并采用非线性相关算法确认是否存在重叠区域，算法简单高效，适用于全景图像的快速生成。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高速相机全景图像拼接方法，其特征在于，包括将高速相机设置在转台上，高速相机的曝光间隔至多设置为转台转角位移等于相机横向视场角时所经历的时间；

使转台匀速旋转360°，同时高速相机按照所述的曝光间隔对目标成像；高速相机获取的每幅原始目标图像对应的转台转角位移通过码盘的码盘值确定；

将所有原始目标图像依据对应的码盘值按成像的时间排序，并采用非线性算法对相邻两幅原始目标图像进行配准，去掉重叠区域，获得去重后的目标图像；将所有去重后的目标图像按所述排序拼接在一起，形成360°全景图。

2.根据权利要求1所述的高速相机全景图像拼接方法，其特征在于，所述对相邻两幅原始目标图像进行配准包括，估算相邻两幅原始目标图像重叠区域的大小。

3.根据权利要求2所述的高速相机全景图像拼接方法，其特征在于，所述对相邻两幅原始目标图像进行配准还包括，根据估算的相邻两幅原始目标图像重叠区域的大小计算相邻两幅原始目标图像的20个非线性相关矩阵，所述20个非线性相关矩阵分别对应不同大小的疑似重叠区域；

对每个非线性相关矩阵的两个峰值求和得到一个Sum值，由20个非线性相关矩阵获得的20个Sum值组成一维向量，计算所述一维向量梯度变化最大的点，由所述梯度变化最大的点计算出相邻两幅原始目标图像的精确重叠区域。

4.根据权利要求3所述的高速相机全景图像拼接方法，其特征在于，在原始目标图像中去掉所述精确重叠区域，获得去重后的目标图像。

5.根据权利要求1至4中任一项所述的高速相机全景图像拼接方法，其特征在于，所述高速相机的曝光间隔t为：

t≤c/v_s，

式中c为相机横向视场角，v_s为转台转速。

6.根据权利要求1至5中任一项所述的高速相机全景图像拼接方法，其特征在于，第n幅原始目标图像对应的码盘值α_n为：

式中α₁为第一幅原始目标图像对应的码盘值，α_max为码盘值的最大值，n为原始目标图像的顺序数。

7.根据权利要求1至6中任一项所述的高速相机全景图像拼接方法，其特征在于，估算相邻两幅原始目标图像重叠区域的大小包括：

计算相邻两幅原始目标图像重叠区域的像素数Δpix：

式中m为高速相机的横向像素数。

8.根据权利要求7所述的高速相机全景图像拼接方法，其特征在于，根据相邻两幅原始目标图像重叠区域的像素数Δpix在Δpix±10的像素范围内截取20个图像对为：

式中ΔP_i为截取的第i个图像对P_i在m-(Δpix-g)+x区域，1≤x≤m，并且1≤y≤n区域的图像；x为原始目标图像在X轴的图像像素坐标，y为原始目标图像在Y轴的图像像素坐标；其中区域变换数g为：-10≤g≤10，i＝1，2，3，……，20。

9.根据权利要求8所述的高速相机全景图像拼接方法，其特征在于，对截取的每个图像对进行傅里叶变换获得非线性相关矩阵map(x,y)：

式中FFT为傅里叶变换，IFFT为傅里叶逆变换，k为匹配系数，k＝0.5。

10.根据权利要求9所述的高速相机全景图像拼接方法，其特征在于，由每个非线性相关矩阵map(x,y)获得两个峰值，分别为max₁和max₂，则：

Sum＝max₁+max₂。