CN104346788B

CN104346788B - 一种拼接图像的方法和装置

Info

Publication number: CN104346788B
Application number: CN201310322364.7A
Authority: CN
Inventors: 陈敏杰; 张乐; 彭晓峰; 朱洪波; 牛海军; 林福辉; 常广鸣; 刘阳; 潘跃
Original assignee: Spreadtrum Communications Shanghai Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2013-07-29
Filing date: 2013-07-29
Publication date: 2017-05-24
Anticipated expiration: 2033-07-29
Also published as: CN104346788A

Abstract

一种拼接图像的方法和装置，所述方法包括：基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；按照所述位置匹配后的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。本发明技术方案能实现快速、高效的图像拼接，同时还能保证较高的拼接精度。

Description

一种拼接图像的方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种拼接图像的方法和装置。

背景技术

随着数字成像技术的发展，数字成像设备因其具有传统成像设备无可比拟的优势，在各个领域得到越来越广泛的应用。但是在一些特殊的应用场景，普通的数字成像设备还不能满足人们的需求，比如普通数字成像系统的视角（FOV，Field of View）要远小于人眼，无法获得与人眼视角相同的全景图像。故而，研发人员提出了图像拼接的方法，即对给定的一系列顺序拍摄相互重叠的图像，通过相关算法自动的拼接出一幅具有高FOV的全景图像。

可以理解的，图像拼接算法一般包含两个步骤，即图像匹配和图像融合，其中，图像匹配的目的是确定相邻图像间准确的位置关系。现有技术中，图像匹配算法主要是基于特征的图像匹配算法，包括特征提取、特征描述、特征匹配等几个步骤。但是特征匹配的算法复杂度较高，会导致图像拼接速度比较慢，不适合图像处理器配置不高或者对拼接速度要求较高的应用场景。比如，当数字成像系统应用于手机等通信终端时，其中的处理器可能并不能承担大量的图像处理任务，而且用户对图像拼接的速度有较高的要求，因此需要一种快速的图像拼接的方法，以满足用户要求。

相关技术可以参考公开号为US5764366A的美国专利申请。

发明内容

本发明解决的问题是如何快速、高效地拼接图像，并确保较高的拼接精度。

为解决上述问题，本发明提供一种拼接图像的方法，包括：

基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；

按照所述位置匹配后的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。

可选的，所述第一图像为拼接后的图像。

可选的，所述基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配包括：

对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2ⁿ，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定；

将所述第一图像的尺度为m+1的子图像中与所述第二图像的尺度为m+1的子图像的归一化正交相关系数最高的位置确定为第一匹配位置；

将所述第一匹配位置经过亚像素估计，得到第二匹配位置。

可选的，所述将所述第一匹配位置经过亚像素估计，得到第二匹配位置包括：

基于所述第一图像的相邻尺度的各子图像之间的像素比，得到所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置；

对所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置。

可选的，所述按照所述位置匹配后的结果确定图像拼接边缘包括：

按照所述第二匹配位置确定亚像素拼接边缘，所述亚像素拼接边缘为所述第一图像的尺度为2的子图像与第二图像的尺度为2的子图像的拼接边缘；

基于所述第一图像的相邻尺度的各子图像之间的像素比将所述亚像素拼接边缘转换为所述图像拼接边缘。

可选的，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：将所述第二匹配位置对应的列确定为所述亚像素拼接边缘。

可选的，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：

根据所述第二匹配位置确定所述第一图像的尺度为2的子图像与所述第二图像的尺度为2的子图像的重叠区域；

基于所述重叠区域内各像素点的像素平方差动态规划出所述亚像素拼接边缘。

可选的，所述基于所述重叠区域的像素平方差动态规划出所述亚像素拼接边缘包括：

按照如下公式计算所述重叠区域各像素点的像素平方差e(h,w)：

e(h,w)=(I₁(h,w)-I₂(h,w+1)+I₁-I₂)²，其中，h、w分别为所述重叠区域内各像素点的行号、列号，I₁(h,w)表示所述第一图像的重叠区域内(h,w)位置的像素，I₂(h,w)表示所述第二图像的重叠区域内(h,w)位置的像素，I₁和I₂分别为所述第一图像和第二图像的重叠区域内的像素均值；

基于所述重叠区域内各像素点的像素平方差计算所述重叠区域内各像素点的累积像素平方差E(h,w)，公式如下：

E(h,w)=e(h,w)+min(e(h-1,w-1),e(h-1,w),e(h-1,w+1))，其中，min为求最小值运算；

确定所述重叠区域的最底部一行中的累积像素平方差最小的像素点的位置，向上回溯得到所述亚像素拼接边缘。

可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行基于二次规划的增益补偿。

可选的，所述对所述全景图像进行基于二次规划的增益补偿包括：

确定用于计算拼接形成所述全景图像中的各图像的补偿增益的代价函数；

基于各图像的补偿增益的限制条件将所述代价函数转化为二次规划计算，得到所述各图像各自的补偿增益，所述各图像的限制条件为各图像的补偿增益的和等于图像的个数。

可选的，所述拼接图像的方法还包括对增益补偿后的全景图像进行图像融合处理，所述图像融合处理包括：

将以所述图像拼接边缘为中心、宽度为融合距离的区域确定为融合区域，所述融合距离取值范围为[80,120]，单位为像素；

对所述融合区域内各像素点进行平滑处理。

可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行图像融合处理，所述图像融合处理包括：

对所述融合区域内各像素点进行平滑处理。

为解决上述问题，本发明技术方案还提供了一种拼接图像的装置，包括：

位置匹配单元，用于基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；

拼接单元，用于按照所述位置匹配单元的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。

可选的，所述位置匹配单元包括：

降采样单元，用于对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2ⁿ，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定；

第一匹配单元，用于将所述降采样单元得到的所述第一图像的尺度为m+1的子图像中与所述第二图像的尺度为m+1的子图像的归一化正交相关系数最高的位置确定为第一匹配位置；

亚像素估计单元，用于将所述第一匹配单元确定的所述第一匹配位置经过亚像素估计，得到第二匹配位置。

可选的，所述亚像素估计单元包括：

对应单元，用于基于所述第一图像的相邻尺度的各子图像之间的像素比，得到所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置；

拟合单元，用于对所述对应单元得到的所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置。

可选的，所述拼接单元包括：

确定单元，用于按照所述第二匹配位置确定亚像素拼接边缘，所述亚像素拼接边缘为所述第一图像的尺度为2的子图像与第二图像的尺度为2的子图像的拼接边缘；

转换单元，用于基于所述第一图像的相邻尺度的各子图像之间的像素比将所述确定单元得到的亚像素拼接边缘转换为所述图像拼接边缘。

可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述的拼接图像的装置还包括：

增益补偿单元，用于对所述全景图像进行基于二次规划的增益补偿。

可选的，所述拼接图像的装置还包括：

融合处理单元，用于对增益补偿后的全景图像进行图像融合处理。

融合处理单元，用于对所述全景图像进行图像融合处理。

与现有技术相比，本发明的技术方案具有以下优点：

结合金字塔结构的归一化正交相关系数算法和亚像素估计算法，使得位置匹配的计算时间和计算量都有大幅度的减少，能够更快的得到图像拼接边缘，使得图像拼接的处理过程更加的快速和高效；另外，在实现图像快速拼接的同时，还能保证位置匹配的结果具有相当的精确性，使拼接图像具有较高的拼接质量。

通过直接将第二位置所在的列确定为图像拼接边缘，能够以简单、快速的完成相邻的待拼接图像的拼接。

基于动态规划确定优化的图像拼接边缘，即基于待拼接图像的尺度为2的子图像的重叠区域内各像素点的像素平方差动态规划出一条代价最小的图像拼接边缘，以保证拼接后的图像中不会出现伪影。

第一图像也可以是由其他待拼接图像形成的拼接图像，由此还提供了一种快速、准确的全景图像拼接的方法，尤其是按照拍摄顺序依次进行图像拼接的全景图像拼接的方法，能为拍摄设备节约大量的内存空间，使全景图像拼接的效率更高。

通过对拼接形成的全景图像进行增益补偿，能够消除待拼接图像之间的亮度差异，优化相邻待拼接图像的视觉相似度。

通过对拼接形成的全景图像或经过增益补偿的全景图像进行图像融合处理，以调整相邻待拼接图像的色差，以使拼接图像达到更好的拼接效果。

附图说明

图1是本发明实施例一的拼接图像的方法的流程示意图；

图2是本发明实施例一的步骤S100的执行过程的流程示意图；

图3是本发明实施例一的第一图像和第二图像金字塔结构的子图像示意图；

图4是本发明实施例一的第一图像和第二图像的位置匹配示意图；

图5是本发明实施例一的确定图像拼接边缘的流程示意图；

图6是本发明实施例二的拼接图像的方法的流程示意图；

图7是本发明实施例三的拼接图像的方法的流程示意图；

图8是本发明实施例四的拼接图像的方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

实施例一

如图1所示，为本发明实施例一的拼接图像的方法的流程示意图，包括：

步骤S100：基于金字塔结构的归一化正交相关系数（NCC，Normalized CrossCorrelation）和亚像素估计对第一图像和第二图像进行位置匹配。其中，第一图像和第二图像是两个相邻的待拼接图像。本领域技术人员知晓，相邻的待拼接图像是指存在重叠区域的、可以被拼接的两个图像。以具有拍照功能的手机为例，当用户打开全景拍摄功能后，手机会根据拍摄角度的移动，自动生成多张依次相邻的拍摄图像，即待拼接图像。本实施例提供的拼接图像的方法可以用来完成任意两个相邻的待拼接图像的拼接。

首先仍以具有拍照功能的手机为例简单介绍一下全景拍摄的过程。用户打开全景拍摄功能，调整好拍摄位置后，然后就可以根据拍摄需要平移手机，拍摄软件会根据图像移动的情况自动的进行连续拍摄，生成多个拍摄图像。例如，按下拍摄启动键后，就生成了第一张待拼接图像，然后手机发生平移到第一张图像50%的位置时，就会自动拍照第二张待拼接图像。以此类推，直到用户认为达到预期的FOV，就按下拍摄停止按键。在本实施例中，第一图像和第二图像可以是任意两张相邻的待拼接图像，第一图像为先生成的图像，第二图像为后生成的图像。

步骤S100的执行过程可以如图2所示。

执行步骤S101：对第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像。其中m为大于或者等于2的整数，n∈{1,2,…,m}，第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2ⁿ。例如，对第一图像的第一次降采样得到的，是尺度为2的子图像，其分辨率为第一图像的1/2；第二次采样得到的，是尺度为3的子图像，其分辨率为第一图像的1/4；直到第m次降采样，得到尺度为m+1、分辨率是第一图像的1/2^m的子图像。m的取值根据所述第一图像和第二图像的分辨率确定。第一图像和第二图像也可以看作是尺度为1的子图像。具体的，一般要求尺度最高的子图像的分辨率为50×60（单位为像素）左右，因此，根据第一图像和第二图像的原始分辨率就可以确定m的具体取值，例如若拍摄图像的像素为800*600时，子图像的个数m=max(log₂(800/60),log₂(600/50))，可以的到此时对应的子图像有4个，其中max为取最大值运算。为了使下述描述更加易于理解，本实施例中以m等于2为例进行说明，如图3所示，分别为对第一图像和第二图像进行了3次降采样后形成的金字塔结构的各个子图像。

执行步骤S102：将第一图像尺度最高的子图像和第二图像尺度最高的子图像NCC最高的位置确定为第一匹配位置。NCC的计算公式如下：

（1）

其中，I_i，I_j分别为第一图像和第二图像尺度为m+1的子图像各位置点的像素值，分别为第一图像和第二图像尺度为m+1的子图像的像素平均值。经过计算，就可以确定出i和j的具体位置。在实际实现时，可以直接在第二图像尺度为m+1的子图像中选取一个B点（位于左上角的像素点），在第一图像尺度为m+1的子图像的合适范围内按照公式（1）进行计算，在第一图像尺度为m+1的子图中得到与B点NCC最高的A点，即第一匹配位置。具体的，参考图4，根据本实施例的拍摄特点，第二图像拍摄时一般会选取在取景图像移动到第一图像一定比例的位置，如50%位置。此时，就可以选取第二图像左上角的点（B点），在搜索范围内进行NCC的计算。搜索范围可以选择的稍微大一点，如图4所示，搜索范围大约为图像宽度0%～80%的范围。根据实际拍摄时的设定，可知与B点NCC最高的点应该落在范围更小的匹配范围内，一般设置为图像宽度40%～60%的范围内，即为匹配范围。经过计算，计算得到A点的NCC最高，则A点即为第一匹配位置。若计算后NCC最高的点落在匹配范围以外，则说明第二图像并不是与第一图像相邻的、可以拼接在一起的合适的图像。参照上述具有拍照功能的手机的全景拍摄过程的说明，可知是手机平移没有达到进行全景拍摄时平移的要求，因此，此时可以根据B点位置给出手机移动方向的提示信息，直到得到满足条件的第二图像后，再参照上述流程确定相应的搜索范围和匹配范围。也就是说仅当第二图像位置在匹配范围内才进行拼接操作。

步骤S103：对第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置。

从步骤S102可知，第一匹配位置是第一图像和第二图像的最高尺度的子图像的匹配位置，要完成位置匹配还要得到与其对应第一图像和第二图像尺度为2的子图像的第二匹配位置。根据相邻尺度的各子图像之间的像素比，可以依次得到第一匹配位置在亚像素图像中的对应的位置。具体的，仍参考图3，经过步骤S102的计算后第一图像的尺度为4的子图像中A点的位置坐标为x=45，y=-2（以如图3所示的图像坐标系为例：图像的左上角为坐标原点o，x轴沿图像上沿且向右为正方向，y轴沿图像左沿且向下为正方向，单位为像素），根据尺度为3的子图像的像素与尺度为4的子图像之间的像素比，以及根据金字塔结构的子图之间的像素的关系可以知道，相邻尺度的子图像中的对应位置的像素仅需要调整±1，即在尺度3分别计算x=89,90,91，y=-5,-4,-3共9个位置的NCC值，取其中最大值可以得到A点在尺度为3的子图像中的对应的位置的坐标为x=89，y=-3。依次可以得到，A点在尺度为2的子图像（即尺度为2的子图像）中的对应位置的坐标为x=178，y=-6。然后，在尺度2的子图像中，对9个位置的NCC值进行二次拉普拉斯拟合估计，得到第二匹配位置，即第一图像与第二图像的尺度为2的子图像的亚像素匹配位置。具体的，选取一个3×3的领域进行二次拉普拉斯函数的拟合估计，计算公式如下：

（2）

其中，X=(x,y)^T是像素点的位置坐标。令公式（2）中的偏导值为0，就可以计算出X的极值位置，即亚像素精度的第二匹配位置。例如，仍参考图3，第一匹配位置在尺度为2的子图像中对应的位置为x=178，y=-6，经过二次拉普拉斯拟合估计后，可以得到相应的第二匹配位置的坐标为x=177.6，y=-5.8，进而尺度为1的原图像的匹配坐标可以近似估计为x=355,y=-12

至此，步骤S100执行完毕。可以看出，通过金字塔结构的降采样，将NCC的计算放在尺度较高的子图像中进行，由于尺度最高的子图像的像素与原图像相比，像素被大大降低了（在实际应用中，像素降低的比例是非常可观的），因此使得NCC计算的复杂度也被降低了，计算速度得到了很大的提升。然后在尺度2中，使用基于二次拉普拉斯拟合运算亚像素估计算法，能很快确定出精度更高的第二匹配位置，进而跳过了较为耗时的尺度为1（即原始图像）第一图像和第二图像匹配步骤，进一步的简化了计算过程、加快了计算的速度。

步骤S100后，执行步骤S200：按照所述位置匹配后的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。在步骤S100中，计算得到了第二匹配位置的具体坐标（行号、列号），也就是说确定了第二图像尺度为2子图像中的B点与第一图像尺度为2的子图像中的A点为重合，根据这个匹配结果就可以确定出图像拼接边缘，然后沿这个图像拼接边缘将两个图像拼接在一起。最简单的确定图像拼接边缘的方法，是先将第二匹配位置对应的列确定为拼接边缘，然后根据第一图像与第一图像的尺度为2的子图像之间的像素比例关系，将该列的每个像素点的坐标值直接乘2得到第一图像的图像拼接边缘，沿这个图像拼接边缘将第二图像拼接到第一图像上。至此，就可以得到由第一图像和第二图像组成的拼接图像。

在实际操作中，考虑到图片中的图像在第一图像和第二图像中的相对位置可能发生变化以及第二匹配位置计算的精度等问题，按照上述方法完成的拼接图像中可能产生伪影效果。因此，另外一种确定图像拼接边缘的方法为基于动态规划的优化图像拼接边缘的方法。具体的，如图5所示，包括：

步骤S201：根据第二匹配位置确定第一图像和第二图像的重叠区域。仍参考图4，当确定了B点和A点的对应关系后，就可以确定第一图像和第二图像的重叠区域。

步骤S202：计算重叠区域各像素点的像素平方差e(h,w)，公式如下：

e(h,w)=(I₁(h,w)-I₂(h,w+1)+I₁-I₂)² （3）

其中，h、w分别为重叠区域内各像素点的行号、列号（即坐标值），I₁(h,w)表示所述第一图像的重叠区域内(h,w)位置的像素，I₂(h,w)表示所述第二图像的重叠区域内(h,w)位置的像素，I₁和I₂分别为所述第一图像和第二图像的重叠区域内的像素均值。

步骤S203：基于重叠区域内各像素点的像素平方差计算重叠区域内各像素点的累积像素平方差E(h,w)，公式如下：

E(h,w)=e(h,w)+min(e(h-1,w-1),e(h-1,w),e(h-1,w+1))，其中，min为求最小值运算。

步骤S204：确定重叠区域的最底部一行中的累积像素平方差最小的像素点的位置，向上回溯得到所述亚像素拼接边缘。具体的，根据步骤S202、S203提供的公式，计算得到在重叠区域内的最后一行（行号为h₀）中累积像素平方差最小的像素位置为（h₀，w₀），将其确定为亚像素边缘在最后一行开始的位置点。然后在第h₀-1行中，将E（h₀-1，w₀-1）、E（h₀-1，w₀）、E（h₀-1，w₀+1）最小的确定为亚像素边缘在第h₀-1行的位置点。依次类推，就可以向上回溯得到亚像素拼接边缘在第一行的位置点。将这些点连接起来，就得到了一条基于动态规划的代价最小的亚像素拼接边缘的路径。

步骤S205：基于第一图像与其尺度为2的子图像之间的像素比例关系，确定图像拼接边缘。具体的，直接将步骤S204中确定的亚像素拼接边缘各像素点的坐标值（即行号、列号）乘2即可得到图像拼接边缘。沿该图像拼接边缘，就可以将第一图像和第二图像拼接在一起，形成拼接图像。

本实施例提供的图像拼接的方法，结合金字塔结构的NCC算法和亚像素估计，能够实现完成图像拼接，由于位置匹配的计算是在像素较低的子图像中完成的，图像匹配的耗时被大大缩短。并且，图像拼接边缘的确定跳过了尺度为1的原图像，而在尺度为2的子图像中完成，也使得图像拼接的速度得到提高。另外，根据图像金字塔结构固有特点，匹配步骤中的算法复杂度的降低并不会降低图像匹配的精度，这样就保证了本发明实施例提供的拼接图像的方法，在完成快速拼接的同时，还能保证一定的拼接精度，能满足多数情况下用户对拼接图像精度的要求。

实施例二

本实施例提供的拼接图像的方法为一种拼接全景图像的方法，如图6所示，包括：

步骤S21：依次获取相邻的图像。例如，当用户进行全景拍摄时，图像都是依次生成的。如前所述，用户按下快门得到第一张图像，然后当拍摄图像平移的位置达到了系统设定，就会进行拍摄以得到第二张图像，以此类推，依次得到最后一张图像，因此这些图像之间是按照拍摄顺序依次相邻的。

步骤S22：将第二图像与第一图像进行位置匹配，确定图像拼接边缘，并完成拼接。本实施例中，所述第一图像具体是指获取的第一张图像或完成拼接后的图像，例如完成拼接的图像为第一张图像和第二张图像拼接成的图像，或者第一张图像、第二张图像和第三张图像拼接成的图像，等等。所述第二图像具体是指获取的第二张图像、第三张图像、……、直至获取的最后一张图像。

步骤S23：判断所述第二图像是否是最后一张获取的图像，若是，则说明所有的图像都已经获取到并已完成了拼接，此时则执行步骤S24：生成全景图像；若否，则说明后面还有待拼接的图像，因此返回步骤S21，继续拼接。

具体的，当拍摄得到第二张图片后，就可以执行步骤S22确定第一张图像与第二张图像的图像拼接边缘，并将两张图像拼接到一起，具体的拼接过程可以参考实施例一，第一张图像和第二张图像分别对应实施例一中的第一图像和第二图像。与此同时，相机可以继续拍摄以生成第三张图像。若第三张图像还不是最后一张图像，则继续返回步骤S21和步骤S22，获取第三张图像并将第三张图像直接拼接到由第一张图像和第二张图像形成的拼接图像上，具体的拼接过程仍参考实施例一。此时，由第一张图像和第二张图像形成的拼接图像和第三张图像分别对应实施例一中的第一图像和第二图像。直到拍摄结束，将最后一张图像拼接到由前面的图像形成的拼接图像上后，就生成了一张全景图像。

本实施例的全景图像拼接的方法，拼接速度快、效率高，且能保证一定的拼接精度。而且，在可以在拍摄的同时进行顺序拼接，不需要存储所有的图像，进一步提高了拼接速度，还节约了设备的内存空间。

实施例三

本实施例提供的拼接图像的方法为另一种拼接全景图像的方法，如图7所示，包括：

步骤S31：获取一系列依次相邻的图像。

步骤S32：确定所有相邻图像的图像拼接边缘。具体的确定过程，可参考实施例一中的相关步骤。

步骤S33：将所有图像拼接在一起，形成全景图像。

本实施例提供的全景图像拼接的方法，拼接效率高、速度快，且拼接精度较高。与实施例二不同的是，本实施例并不限定拼接的顺序，可以根据图像顺序依次进行拼接，也可以在图像处理能力较强的时候同时进行多个图像的拼接，以适应更多的应用场景。

实施例四

由于在不同拍摄场景中，光线照度会发生变化，因此可能导致拍摄图像可能使用不同的曝光参数设置。这样就会使相邻的图像可能会有很大的亮度差异。因此，本实施例还提供了一种拼接图像的方法，如图8所示，包括：

步骤S41：依次获取相邻的图像；

步骤S42：将第二图像与第一图像进行位置匹配，确定图像拼接边缘，并完成拼接；

步骤S43：判断所述第二图像是否是最后一张获取的图像；

若是，则执行步骤S44：生成全景图像；若否，则返回步骤S41，继续拼接。

步骤S41～步骤S44的执行，可参考实施例二中的步骤S21～步骤S24。

步骤S45：对全景图像进行基于二次规划的增益补偿。具体的，先确定用于计算各图像补偿增益的代价函数：

（4）

其中，N表示图像的数量，I_i，2第i个图像与第i+1个图像的重叠区域的像素均值，I_i+1，1表示第i+1个图像和第i个图像的重叠区域的像素均值，λ为正则化参数（RegularizedParameter），用于控制补偿增益的强弱，g_i表示第i个图像的补偿增益。

然后，基于N个图像的补偿增益的限制条件将所述代价函数转化为二次规划计算，得到所述N个图像各自的补偿增益。具体的，限制条件为各图像的补偿增益的和等于N。具体的，定义G=[g₁,g₂,...g_N]^T，将公式（4）转换成一个如公式（5）所示的二次规划的问题：

f=G^THG+f^TG （5）

其中，H包含已知各重叠区域均值。由于存在N个图像的限制条件为各图像的补偿增益的和等于N，因此增益系数g₁,g₂,...g_N存在解析解，公式如下：

(g₁,g₂,...g_N,λ)^T=H₀ ^-1b₀ （6）

其中，

步骤S46：对增益补偿后的全景图像进行融合处理。虽然步骤S45中的增益补偿已经优化了相邻图像的视觉相似度，但是在图像拼接边缘附近，还是可能存在相邻像素点色差较大的情况，使得图像拼接边缘附近的区域有明显的拼接痕迹。图像融合的目的，就是进一步的提高拼接效果，使拼接边缘附近的色差变化平滑。具体的，首先定义一个融合区域，即以图像拼接边缘为中心、宽度为融合距离d的区域。通常，d的取值范围为[80,120]，单位为像素。在本实施例中，取图像拼接边缘±50的范围为融合区域，即取d为100，单位为像素。在其他实施例中，d可以根据具体的应用场景和融合需求具体设定。然后计算图像拼接边缘相邻像素点的像素差值d(h)，公式如下：

d(h)=-I(h,w_hs)+I(h,w_hs+1) （7）

其中，I表示各像素点的像素值，h为图像拼接边缘各像素点的行号，w_hs和w_hs+1分别为图像拼接边缘第h行相邻两个像素点的列号。对融合区域各像素点按照以下公式进行融合：

I⁰(h,w)=I(h,w)+k(h)d(h) （8）

其中，

根据计算结果图像拼接边缘附近的各像素点的像素值进行调整，使得像素变化更加的平滑。

综上，本实施例提供的全景图像拼接的方法，不但拼接的速度快、效率高，而且使用具有解析解的增益补偿快速算法。经过增益补偿和图像融合处理后的全景图像，亮度均匀、拼接边缘平滑，具有很好的视觉效果。需要说明，在其他实施例中，若仅需要对全景图像中各相邻图像的亮度进行调整或者仅需要对全景图像中各相邻图像的像素差进行调整时，可以在完成全景图像拼接后仅执行步骤S45或者步骤S46。

实施例五

本实施例提供了一种拼接图像的装置，包括：

位置匹配单元，用于基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；拼接单元，用于按照所述位置匹配单元的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接；增益补偿单元，用于对所述全景图像进行基于二次规划的增益补偿；融合处理单元40，用于对增益补偿后的全景图像进行图像融合处理。

其中，所述位置匹配单元包括降采样单元，用于对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2ⁿ，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定；第一匹配单元，用于将所述第一图像的尺度为m+1的子图像中与所述第二图像的尺度为m+1的子图像的归一化正交相关系数最高的位置确定为第一匹配位置；亚像素估计单元，用于将所述第一匹配单元确定的所述第一匹配位置经过亚像素估计，得到第二匹配位置。所述拼接单元包括：确定单元，用于按照所述第二匹配位置确定亚像素拼接边缘，所述亚像素拼接边缘为所述第一图像的尺度为2的子图像与第二图像的尺度为2的子图像的拼接边缘；转换单元202，用于基于所述第一图像的相邻尺度的各子图像之间的像素比将所述确定单元得到的亚像素拼接边缘转换为所述图像拼接边缘。

本实施例的具体实施可参考实施例四，此处不再赘述。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种拼接图像的方法，其特征在于，包括：

基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，包括：

对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2ⁿ，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定，所述第一图像和第二图像为两个相邻的待拼接图像；

将所述第一匹配位置经过亚像素估计，得到第二匹配位置，包括：基于所述第一图像的相邻尺度的各子图像之间的像素比，得到所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置；对所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置；

2.如权利要求1所述的拼接图像的方法，其特征在于，所述第一图像为拼接后的图像。

3.如权利要求1所述的拼接图像的方法，其特征在于，所述按照所述位置匹配后的结果确定图像拼接边缘包括：

4.如权利要求3所述的拼接图像的方法，其特征在于，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：将所述第二匹配位置对应的列确定为所述亚像素拼接边缘。

5.如权利要求3所述的拼接图像的方法，其特征在于，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：

6.如权利要求5所述的拼接图像的方法，其特征在于，所述基于所述重叠区域的像素平方差动态规划出所述亚像素拼接边缘包括：

e(h,w)＝(I₁(h,w)-I₂(h,w+1)+I₁-I₂)²，其中，h、w分别为所述重叠区域内各像素点的行号、列号，I₁(h,w)表示所述第一图像的重叠区域内(h,w)位置的像素，I₂(h,w)表示所述第二图像的重叠区域内(h,w)位置的像素，I₁和I₂分别为所述第一图像和第二图像的重叠区域内的像素均值；

E(h,w)＝e(h,w)+min(e(h-1,w-1),e(h-1,w),e(h-1,w+1))，其中，min为求最小值运算；

7.如权利要求1所述的拼接图像的方法，其特征在于，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行基于二次规划的增益补偿。

8.如权利要求7所述的拼接图像的方法，其特征在于，所述对所述全景图像进行基于二次规划的增益补偿包括：

基于各图像的补偿增益的限制条件将所述代价函数转化为二次规划计算，得到所述各图像各自的补偿增益，所述限制条件为各图像的补偿增益的和等于图像的个数。

9.如权利要求7所述的拼接图像的方法，其特征在于，还包括对增益补偿后的全景图像进行图像融合处理，所述图像融合处理包括：

对所述融合区域内各像素点进行平滑处理。

10.如权利要求1所述的拼接图像的方法，其特征在于，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行图像融合处理，所述图像融合处理包括：

对所述融合区域内各像素点进行平滑处理。

11.一种拼接图像的装置，其特征在于，包括：

拼接单元，用于按照所述位置匹配单元的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接；

所述位置匹配单元包括：

亚像素估计单元，用于将所述第一匹配单元确定的所述第一匹配位置经过亚像素估计，得到第二匹配位置；所述亚像素估计单元包括：

12.如权利要求11所述的拼接图像的装置，其特征在于，所述拼接单元包括：

13.如权利要求11所述的拼接图像的装置，其特征在于，所述第一图像和第二图像拼接后的图像为全景图像，所述的拼接图像的装置还包括：

14.如权利要求13所述的拼接图像的装置，其特征在于，还包括：

15.如权利要求11所述的拼接图像的装置，其特征在于，所述第一图像和第二图像拼接后的图像为全景图像，所述的拼接图像的装置还包括：

融合处理单元，用于对所述全景图像进行图像融合处理。