CN105389787A

CN105389787A - 一种全景图像拼接方法及装置

Info

Publication number: CN105389787A
Application number: CN201510644698.5A
Authority: CN
Inventors: 陈子冲; 章国锋; 鲍虎军; 何轶
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2015-09-30
Filing date: 2015-09-30
Publication date: 2016-03-09

Abstract

本发明实施例提供一种全景图像拼接方法及装置，能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。该方法通过针对各个图像中的每个特征点的局部区域设计一个单应矩阵，使用设计的单应矩阵对特征点进行检验，删除错误的特征点，然后对图像进行网格化处理，基于网格顶点以及删除错误的特征点后的各个特征点构造全局能量函数，求解优化后的网格顶点，基于优化后的网格顶点对各个图像中的像素点进行坐标变换，然后使用变换后的各个像素点对各个图像进行拼接处理。

Description

一种全景图像拼接方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法及装置。

背景技术

随着数码相机，智能手机等手持设备的兴起，照片的拍摄和分享变得日益便捷，逐渐成为我们生活中一项重要的娱乐活动。由于单个相机的视角有限，因此许多拍照程序都提供一种全景拍摄模式，引导用户拍摄多张照片，然后自动合成一幅大视角全景图。在相机纯旋转的拍摄条件下，所有输入图像来自同一视点，这种情况经过大量研究，已经存在比较成熟的模型和解法，在实际中也得到了广泛应用。

但是在手持设备的使用过程中，实际上很难保证以单视点进行拍摄，即很难保证纯旋转的拍摄条件。因此不同图像之间产生视差。视差的出现是由于不同的光学投影中心导致的，当从两个或多个视点观察同一景物时，不同的视点在不同的视角下感知图像，通过三角测量原理可以计算出不同视角下获得的该景物的图像像素的位置偏差，也就是视差。不同的视点在不同的视角下感知图像上的同一物体存在一个透视变换关系，该透视变换关系可以用一个单应矩阵来表示。

现有技术中的全景拼接方法采用一个全局单应矩阵，即以一个单应矩阵来表示输入的图像之间的透视变换关系。以两个图像拼接为例，首先获的两个图像的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点，求解单应矩阵，最后，根据该单应矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所在平面的对应位置，即得到两幅图的拼接结果。然后再对图像进行颜色融合等处理，得到较好的拼接图。

但是这种拼接方法只能适用于摄像机纯旋转的条件下拍摄的图像。若摄像机并非纯旋转，产生位移时，一个全局的单应矩阵不能对图像进行配准，出现拼接误差使得拼接结果图像产生畸变。

现有技术没有一种有效的拼接方式能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。

发明内容

本发明实施例提供一种全景图像拼接方法及装置，能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。

第一方面，本发明实施例提供了一种全景图像拼接方法，该方法包括：

提取多幅待拼接图像中的图像的特征点；

在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合；

将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域的顶点坐标；

基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数；

求解使得所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标；

基于所述求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多幅变换后的待拼接图像；

将所述多幅变换后的待拼接图像进行拼接。

结合第一方面，在第一方面的第一种可能的实现方式中，所述基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数包括：

基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值；

基于与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标以及所述与所述任一特征点匹配的特征点的坐标，确定所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值；

基于所述任一特征点的表示坐标与所述与所述任一特征点匹配的特征点的表示坐标的差，构建所述配准项；所述任一特征点的表示坐标由所述任一特征点所在的矩形区域的顶点坐标的权值，以及所述任一特征点所在的矩形区域的顶点坐标表示；所述与所述任一特征点匹配的特征点的表示坐标由所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值，以及所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标表示。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述配准项通过如下公式表示：

其中，E_A(V)表示所述配准项；C表示所述第一特征点对集合；p_i表示所述第一特征点对集合的特征点；p_j表示与p_i匹配特征点；W_i表示包括p_i所在的矩形区域的顶点坐标的权值的权值矩阵，W_i用于使得W_iV表示p_i的表示坐标；W_j表示包括p_j所在的矩形区域的顶点坐标的权值的权值矩阵，W_j用于使得W_jV表示p_j的表示坐标；表示p_i所在的矩形区域包括特征点数量与p_j所在的矩形区域包括的特征点数量的和；V表示所述多个矩形区域的顶点坐标。

结合第一方面的第一种或者第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述全局能量函数还包括正则项，所述基于多个矩形区域的顶点坐标中的各个顶点坐标构建全局能量函数，还包括：

基于所述多个矩形区域的顶点坐标中的任一顶点的顶点坐标与所述多个矩形区域的相邻顶点坐标的平均顶点坐标的差，构建所述正则项，所述相邻顶点坐标为与所述任一顶点相邻的顶点的顶点坐标。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述正则项通过如下公式表示：

其中，E_R(V)表示所述正则项；V表示所述多个矩形区域的顶点坐标；v表示所述任一顶点；v_i表示所述与所述任一顶点相邻的顶点；|N_v|表示所述与所述任一顶点相邻的顶点的顶点个数；W_v是顶点v的索引矩阵，用于从所述V中提取顶点v的坐标；是顶点v_i的索引矩阵，用于从所述V中提取顶点v_i的坐标。

结合第一方面的第一种至第四种可能的实现方式中的任意一种，在第一方面的第五种可能的实现方式中，所述全局能量函数还包括尺度项，所述基于多个矩形区域的顶点坐标中的各个顶点坐标构建全局能量函数，还包括：

基于I_i上的特征点构建凸多边形，其中，I_i上的凸多边形的顶点为I_i上的特征点，I_i为所述多幅待拼接图像中的图像；

基于所述第一特征点对集合确定I_i上的特征点对应在I_j上的特征点；

基于构建的I_i上的凸多边形与I_i上的特征点的关系，以及I_j上的特征点构建I_j上的凸多边形，I_j为所述多幅待拼接图像中的与I_i具有重叠区域的图像；

将I_i上的凸多边形的周长与I_j上的凸多边形的周长的比值作为相对尺度比；

基于所述相对尺度比，确定I_i的绝对缩放因子；

获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积；

在所述求解使得所述全局能量函数的值最小的最优解过程中，将当前解作为所述多个矩形区域的临时顶点坐标；

基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述正则项通过如下公式表示：

其中，E_S(V)表示所述尺度项；V表示所述多个矩形区域的顶点坐标；I表示所述多幅待拼接图像；I_i ^*表示所述变换后的I_i；||B_t||、||B_b||、||B_l||和||B_r||分别表示I_i的上下左右四条边的边长；S(I_i)表示I_i的尺度信息；S(I_i ^*)表示所述变换后的I_i的尺度信息；s_i表示所述I_i的绝对缩放因子。

结合第一方面的第五种或者第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述基于所述相对尺度比，确定I_i的绝对缩放因子包括：

求解如下最优化问题，从而获取I_i的绝对缩放因子s_i：

其中，|I|表示所述多幅待拼接图像的图像个数；I表示所述多幅待拼接图像；C_I表示存在重叠区域的图像对集合；s_j表示图像I_j的绝对缩放因子；γ_ij表示所述相对尺度比。

结合第一方面的第一种至第七种可能的实现方式中的任意一种，在第一方面的第八种可能的实现方式中，所述全局能量函数还包括以下至少一项：直线约束项，方向约束项；

所述直线约束项通过如下公式表示：

其中，E_line(V)表示所述直线约束项；L表示预先提取到的所述多幅待拼接图像中直线构成的集合；l表示L中的直线；[a_l,b_l]_⊥表示与直线l垂直的单位向量；f_i表示在直线l上均匀的采集到的n个点中第i点；表示包括f_i的权值的矩阵，以使得表示f_i的坐标，所述f_i的权值为由f_i的坐标以及f_i所在的矩形区域的顶点坐标来表示的权值；V表示所述多个矩形区域的顶点坐标；

所述方向约束项通过如下公式表示：

其中，E_orientation(V)表示所述方向约束项；L_H表示所述多幅待拼接图像中的消失线中的垂直方向上的线的集合，所述消失线为产生透视变换的线；L_V表示所述消失线中的水平方向上的线的集合；p^a和q^a表示L_H中的消失线l_a的两个端点；p^b和q^b表示L_V中的消失线l_b的两个端点；表示点p^a的x坐标的权值矩阵，以使得表示p^a的x坐标；表示点p^b的y坐标的权值矩阵，以使得表示p^b的y坐标；表示点q^a的x坐标的权值矩阵，以使得表示q^a的x坐标；表示点q^b的y坐标的权值矩阵，以使得表示q^b的y坐标。

结合第一方面的第一种至第八种可能的实现方式中的任意一种，在第一方面的第九种可能的实现方式中，当所述全景图像拼接方法应用于360°全景应用场景时，所述全局能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：

其中，E_loop(V)表示所述闭合环路约束项；C_g表示所述多幅待拼接图像中首尾两幅图像之间匹配的特征点构成的有向边对集合；g_i表示有向边对集合中的一条有向边；g_j表示有向边对集合中与g_i匹配的有向边；和表示有向边g_i的两个端点的坐标；表示的权值矩阵，以使得表示表示的权值矩阵，以使得表示和表示有向边g_j的两个端点的坐标；表示的权值矩阵，以使得表示表示的权值矩阵，以使得表示V表示所述多个矩形区域的顶点坐标。

结合第一方面和第一方面的第一种至第九种可能的实现方式中的任意一种，在第一方面的第十种可能的实现方式中，所述将所述多幅变换后的待拼接图像进行拼接包括：

通过图割Graphcut算法对所述多幅变换后的待拼接图像进行优化；

将多幅优化后的待拼接图像进行拼接。

结合第一方面和第一方面的第一种至第十种可能的实现方式中的任意一种，在第一方面的第十一种可能的实现方式中，所述在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合包括：

在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第二特征点对集合；

基于第一区域的特征点以及第二区域的特征点，获取所述第一区域和所述第二区域之间的单应矩阵，所述第一区域为所述第二特征点对集合中任一特征点对中第一特征点所在区域，所述第二区域为所述任一特征点对中的第二特征点所在的区域，所述第一特征点与所述第二特征点不同，从而获取所述第二特征点对集合对应的单应矩阵集合；

确定属于所述单应矩阵集合的一个或多个单应矩阵，所述一个或多个单应矩阵对应的区域包括所述任一特征点对；

计算所述任一特征点对在所述一个或多个单应矩阵下的误差，在所述任一特征点对在所述一个或多个单应矩阵下的误差均大于预定阈值时，将所述任一特征点对从所述第二特征点对集合中删除，从而形成所述第一特征点对集合。

第二方面，本发明实施例提供了一种全景图像拼接装置，包括：

提取单元，用于提取多幅待拼接图像中的图像的特征点；

第一获取单元，用于在所述提取单元提取的所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合；

第二获取单元，将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域的顶点坐标；

构建单元，用于基于所述第一获取单元获取的所述第一特征点对集合中的特征点的坐标，以及所述第二获取单元获取的所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数；

计算单元，用于求解使得所述构建单元构建的所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标；

变换单元，用于基于所述计算单元得到的求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多幅变换后的待拼接图像；

拼接单元，用于将经过所述变换单元得到所述多幅变换后的待拼接图像进行拼接。

结合第二方面，在第二方面的第一种可能的实现方式中，所述构建单元，用于：

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述配准项通过如下公式表示：

其中，E_A(V)表示所述配准项；C表示所述第一特征点对集合；p_i表示所述第一特征点对集合的特征点；p_j表示与p_i匹配特征点；W_i表示包括p_i所在的矩形区域的顶点坐标的权值的权值矩阵，W_i用于使得表示p_i的表示坐标；W_j表示包括p_j所在的矩形区域的顶点坐标的权值的权值矩阵，W_j用于使得W_jV表示p_j的表示坐标；表示p_i所在的矩形区域包括特征点数量与p_j所在的矩形区域包括的特征点数量的和；V表示所述多个矩形区域的顶点坐标。

结合第二方面的第一种或者第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述全局能量函数还包括正则项，所述构建单元，还用于基于所述多个矩形区域的顶点坐标中的任一顶点的顶点坐标与所述多个矩形区域的相邻顶点坐标的平均顶点坐标的差，构建所述正则项，所述相邻顶点坐标为与所述任一顶点相邻的顶点的顶点坐标。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述正则项通过如下公式表示：

结合第二方面的第一种至第四种可能的实现方式中的任意一种，在第二方面的第五种可能的实现方式中，所述全局能量函数还包括尺度项，所述构建单元，还用于基于I_i上的特征点构建凸多边形，其中，I_i上的凸多边形的顶点为I_i上的特征点，I_i为所述多幅待拼接图像中的图像；

基于所述相对尺度比，确定I_i的绝对缩放因子；

获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积；

基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述正则项通过如下公式表示：

结合第二方面的第五种或者第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述构建单元，在基于所述相对尺度比，确定I_i的绝对缩放因子时，具体用于求解如下最优化问题，从而获取I_i的绝对缩放因子s_i：

结合第二方面的第一种至第七种可能的实现方式中的任意一种，在第二方面的第八种可能的实现方式中，所述全局能量函数还包括以下至少一项：直线约束项，方向约束项；

所述直线约束项通过如下公式表示：

所述方向约束项通过如下公式表示：

结合第二方面的第一种至第八种可能的实现方式中的任意一种，在第二方面的第九种可能的实现方式中，当所述全景图像拼接方法应用于360°全景应用场景时，所述全局能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：

其中，E_loop(V)表示所述闭合环路约束项；C_g表示所述多幅待拼接图像中首尾两幅图像之间匹配的特征点构成的有向边对集合；g_i表示有向边对集合中的一条有向边；g_j表示有向边对集合中与g_i匹配的有向边；和表示有向边g_i的两个端点的坐标；表示的权值矩阵，以使得表示的坐标；表示的权值矩阵，以使得表示的坐标；和表示有向边g_j的两个端点的坐标；表示的权值矩阵，以使得表示的坐标；表示的权值矩阵，以使得表示的坐标；V表示所述多个矩形区域的顶点坐标。

结合第二方面和第二方面的第一种至第九种可能的实现方式中的任意一种，在第二方面的第十种可能的实现方式中，所述拼接单元，用于：

将多幅优化后的待拼接图像进行拼接。

结合第二方面和第二方面的第一种至第十种可能的实现方式中的任意一种，在第二方面的第十一种可能的实现方式中，所述第一获取单元，用于：

本发明有益效果如下：通过将图像划分为网格，建立全局能量函数，使用稀疏的特征点对来牵引网格的变化，近似多视点的透视几何关系，降低了在摄像机非纯旋转、存在位移时的配准误差，使得拼接的图像畸变产生率降低。

附图说明

图1为本发明实施例提供的全景图像拼接方法流程图；

图2a为本发明实施例提供的网格变换前的矩形区域顶点以及矩形区域内的特征点示意图；

图2b为本发明实施例提供的网格变换后的矩形区域顶点以及矩形区域内的特征点示意图；

图3a所示为本发明实施例提供的网格变换前的顶点v以及顶点v的相邻顶点的示意图；

图3b所示为本发明实施例提供的网格变换后的顶点v以及顶点v的相邻顶点的示意图；

图4为本发明实施例提供的全景图像拼接装置示意图；

图5为本发明实施例提供的全景图像拼接装置示意图；

图6a为本发明实施例提供的采集到的两幅桌面图像示意图；

图6b为本发明实施例提供的经过现有技术方案对图6a所示的两幅桌面图像拼接效果图；

图6c为本发明实施例提供的经过本发明实施例提供的方案对图6a所示的两幅桌面图像拼接效果图；

图7a为本发明实施例提供的使用广角镜头采集到的15幅图像示意图；

图7b为本发明实施例提供的经过现有技术方案对图7a所示的15幅图像拼接效果图；

图7c为本发明实施例提供的经过本发明实施例提供的方案对图7a所示的15幅图像拼接效果图；

图8a为本发明实施例提供的对地球仪采集到的24幅图像示意图；

图8b为本发明实施例提供的经过现有技术方案对图8a所示的24幅图像拼接效果图；

图8c为本发明实施例提供的经过本发明实施例提供的方案对图8a所示的24幅图像拼接效果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种全景图像拼接方法及装置，能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。其中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

首先对本发明实施例中涉及的单应矩阵的获取方法进行如下描述：

在三维视觉中，摄像机的几何变换可以表示为一个3x3的旋转矩阵R和一个3维平移向量T。对于场景中一个三维点P，设它的世界坐标为P_w＝(x,y,z)，经过几何变换可以得到它在相机坐标系下的坐标P_c＝RP+T。然后基于摄像机的内参矩阵K，得到成像点的齐次坐标(x',y',z')＝KP_c，最后把齐次坐标转换为非齐次坐标得到二维点(x'/z',y'/z')。

假如两个相机，第一相机的旋转矩阵和平移向量分别为R₁和T₁，第二相机的旋转矩阵和平移向量为：R₂和T₂。

三维点P_w在两个相机的局部坐标系下分别是：

其中，表示P_w在第一相机的局部坐标系下的坐标，表示P_w在第二相机的局部坐标系下的坐标。

根据矩阵运算，两个相机坐标系下的点的关系也可以直接用一个旋转矩阵R*和一个平移向量T*表示如下：

假如摄像机以纯旋转的方式进行拍摄，则两帧相机之间只存在旋转R*，平移向量T*＝0，则满足

设分别是点P_w在两个摄像机下的成像点的齐次坐标，两齐次坐标之间的变换可以由一系列矩阵乘法表示。

p₂＝K₂R^*K₁ ^-1p₁

把K₂R^*K₁ ^-1记作H，H表示两帧之间透视变换的单应矩阵。由于单应矩阵是对齐次坐标进行运算，因此它具有数乘不变的性质，对于任意k，kH与H表达的是同一个透视变换，因此单应矩阵H具有8个自由度。

首先通过自动或手动的特征匹配方法，得到一个特征点对集合C＝{(p,q)|p∈I_i,q∈I_j}；其中，I_i，I_j表示存在重叠区域的两幅图像，(p,q)是同一点在两幅图像上的位置，q是p的匹配点。然后优化它们的配准误差：

其中，E(H)表示配准误差。H(p)是经过单应矩阵变换后的p点坐标。通过对配准误差优化得到矩阵H。

其中H(p)的获取过程如下：

首先把p点图像坐标转化成齐次坐标P＝(X_p,Y_p,1)，然后根据矩阵乘法求出p点变换后的齐次坐标为：

其中，

最后把HP的齐次坐标转化为二维图像坐标：

H(p)和q都是像素点的二维非齐次坐标，因此可以定义它们的欧式距离。代入H后要优化的||H(p)-q||²可以表示为：

其中，||H(p)-q||²相对于H不是线性的，因此基于直接线性变换(英文：DirectLinearTransform，简称：DLT)算法在两项中分别乘上分母，把||H(p)-q||²转化为如下的线性形式：

|h₀x_p+h₁y_p+h₂-x_q(h₆x_p+h₇y_p+h₈)|²+|h₃x_p+h₄y_p+h₅-y_q(h₆x_p+h₇y_p+h₈)|²。

然后将把H展开成一个9维向量，并把方程写成矩阵形式：

由上式可以看出，每对特征点可以构造两个线性方程，因此至少需要4对特征点才能确定8个自由度的单应矩阵。在实际应用中往往取更多的特征匹配，以便更鲁棒地对H进行求解。把多个特征点匹配构造的方程列在一起，构成一个n*9矩阵，然后对矩阵进行奇异值分解，求出对应特征值最小的特征向量，就是H的解。

本发明实施例提供了一种全景图像拼接方法，如图1所示，该方法包括：

步骤101，提取多幅待拼接图像中的图像的特征点，并在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合。

其中，提取多幅待拼接图像中的图像的特征点的方法可以采用尺度不变特征转换(英文：ScaleInvariantFeatureTransform，简称：SIFT)算法。特征点匹配的算法可以是基于像素差平方和的描述符、基于互相关的描述符、归一化互相关法等等方法，现有技术中能够进行特征点匹配的算法均适用于本发明实施例，本发明实施例对此不作具体限定。

步骤102，将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域的顶点坐标。

步骤103，基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的多个矩形区域的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数。

例如：对所述多幅待拼接图像划分后的多个矩形区域的顶点坐标建立1到m索引。具体可以把各个顶点的坐标表示为一个2m维度的向量V：

V＝[x₁y₁x₂y₂...x_my_m]^T；

然后构造关于V的全局能量函数。

步骤104，求解使得所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标。

步骤105，基于所述求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多幅变换后的待拼接图像。

具体可以通过迭代算法求解全局能量函数。

为了后续描述，本发明实施例中将步骤102至步骤105统称为网格变换。

步骤106，将所述多幅变换后的待拼接图像进行拼接。

步骤101在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合，可以通过如下方式实现：

D1：在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第二特征点对集合。

D2：基于第一区域的特征点以及第二区域的特征点，获取所述第一区域和所述第二区域之间的单应矩阵，所述第一区域为所述第二特征点对集合中任一特征点对中第一特征点所在区域，所述第二区域为所述任一特征点对中的第二特征点所在的区域，所述第一特征点与所述第二特征点不同，从而获取所述第二特征点对集合对应的单应矩阵集合。

其中，第一区域具体可以是以所述第二特征点对集合中任一特征点对中第一特征点为几何中心的预定范围区域，第二区域具体可以以所述任一特征点对中的第二特征点为几何中心的预定范围区域。

本发明实施例中的预定范围区域可以是矩形、正方形或者圆形等等。例如第一局部区域和第二局部区域为圆形，第一局部区域为以第一特征点为圆心，以R为半径的圆形，例如R设置为50个像素。

D3：确定属于所述单应矩阵集合的一个或多个单应矩阵，所述一个或多个单应矩阵对应的区域包括所述任一特征点对；分别计算所述任一特征点对在所述一个或多个单应矩阵下的误差，在确定得到的所述一个或多个单应矩阵下的误差均大于预定阈值时，将所述任一特征点从所述第一特征点对集合中删除，从而形成第一特征点对集合。

本方实施例中预定阈值设置为5个像素。

形成所述第一特征点对集合过程形成伪代码如下：

ProcedureVERIFY(Isrc，Idst)

SIFT特征匹配得到集合C

S_inlier:＝Φ

forall(p,q)∈Cdo

根据{(p′,q′)|p′∈N(p)}求解H

forall{(p′,q′)|p′∈N(p)}do

if|H(p′)-q′|²＜γthen

endif

endfor

returnS_inlier

endProcedure

具体的，可以在步骤103构造了基于V的全局能量函数后，对全局能量函数通过迭代优化算法进行能量最小化得到求解后的每个矩形区域的顶点坐标，即为顶点坐标的最优解，记为V^*。然后可以基于顶点坐标把图像变换到一个公共的坐标系，最后生成拼接结果。

可选地，可以构造如下公式表示的全局能量函数：

E(V)＝λ_AE_A(V)+λ_RE_R(V)+λ_SE_S(V)+E_X(V)；

其中，E(V)表示全局能量函数；E_A(V)表示配准项；E_R(V)表示正则项，为可选项；E_S(V)表示尺度项，为可选项；E_X(V)为额外约束项，为可选项。

配准项能够使得匹配到的特征点能够被映射到同一个位置；正则项用于鼓励相邻的矩形区域中相邻的顶点采取相近的几何变换；尺度项用来防止图像的尺度发生严重的缩放。λ_A，λ_R和λ_S分别是他们对应的系数，本发明实施例中以均设置为1为例。额外约束项是用来针对一些典型的例子，添加相应的额外约束可以达到更好的效果。针对城市建筑或者摄影机存在回路的场景，额外约束项可以是直线约束项；针对场景中包括一些垂直或者水平的消失线时，例如建筑场景中，额外约束项可以是方向约束项；针对360°全景应用场景，即摄影机旋转一周后回到原位置，则额外约束项可以是闭合环路约束项。

在所述全局能量函数包括配准项时，可以通过如下方式构建配准项：

A1：按照双线性插值算法，基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值。

A2：按照双线性插值算法，基于与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标以及所述与所述任一特征点匹配的特征点的坐标，确定所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值。

本发明实施例中以双线性插值算法为例来说明确定权值，现有技术中能够确定所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值方式均适用于本发明。

A3：基于所述任一特征点的表示坐标与所述与所述任一特征点匹配的特征点的表示坐标的差，构建所述配准项；所述任一特征点的表示坐标由所述任一特征点所在的矩形区域的顶点坐标的权值，以及所述任一特征点所在的矩形区域的顶点坐标表示；所述与所述任一特征点匹配的特征点的表示坐标由所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值，以及所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标表示。

具体的，将所述任一特征点标识为其所在的矩形区域的顶点坐标的加权和，并最小化投影后匹配点的配准误差。通过双线插值算法来确定权值。图2a所示为第一特征点集合中的特征点p，即经过网格变换前的特征点p，以及特征点p所在的矩形区域的4个顶点分别为v_a1,v_a2,v_a3,v_a4。图2b为特征点p经过网格变换后的特征点p^*，以及v_a1,v_a2,v_a3,v_a4经过网格变换后为则通过双线插值算法确定的p点相对于其所在的4个顶点的权值为：

w₁＝(v_a3x-p_x)(v_a3y-p_y)

w₂＝(p_x-v_a4x)(v_a4y-p_y)

w₃＝(p_x-v_a1x)(p_y-v_a1y)

w₄＝(v_a2x-p_x)(p_y-v_a2y)

网格变换前后p点相对于其所在的矩形区域的4个顶点的权值不变，采用权值构建的配准项为：

其中，E_A(V)表示配准项，C表示第一特征点对集合，p_i表示所述第一特征点对集合中的特征点；p_j表示与p_i匹配的特征点，p_i ^*为p_i经过网格变换后的特征点坐标，即所述p_i的表示坐标，p_j ^*为p_j经过网格变换后的特征点坐标，即所述p_j的表示坐标。

然后通过权值以及向量V表示后如下：

其中，W_i表示包括p_i所在的矩形区域的顶点坐标的权值的权值矩阵，W_i用于使得W_iV表示p_i的表示坐标；W_j表示包括p_j所在的矩形区域的顶点坐标的权值的权值矩阵，W_j用于使得W_jV表示p_j的表示坐标；表示归一化参数，V表示所述多个矩形区域的顶点坐标。权值矩阵W_i可以通过如下矩阵表示：

同理W_j也可以通过上述W_i矩阵形式表示。W_j和W_j均为2*2m的矩阵。为了防止一些特征丰富的区域被过度处理，对特征点进行归一化处理，即引入归一化参数，即具体可以p_i所在的矩形区域包括特征点数量与p_j所在的矩形区域包括的特征点数量的和作为归一化参数。经过归一化后，W_j和W_j中每行包括的4个非零元素的和为1。

可选地，在所述全局能量函数包括正则项时，那么构建全局能量函数中的正则项可以通过如下方式：

针对所述多个矩形区域的顶点坐标中的任一顶点坐标分别执行：

其中，所述平均顶点坐标为与所述任一顶点相连的顶点的顶点坐标的平均值，包括坐标系中x方向上的平均值以及y方向上的平均值。

由于配准项只会对包含特征点的各个矩形区域产生影响，因此为了拼接的误差更小，可以增加正则项，用于将该矩形区域的几何变换传播到其他的矩形区域。正则项鼓励相邻的矩形区域采用相近的几何变换。如图3a所示，为网格变换前的顶点v以及顶点v的相邻顶点为v₁,v₂,v₃,v₄，如图3b所示，为顶点v经过网格变换后为v^*以及v₁,v₂,v₃,v₄经过网格变换后为确定通过配准项优化后的所述顶点v的相邻顶点坐标，然后顶点v的相邻顶点坐标与优化后的顶点v的相邻顶点坐标的变换关系确定局部单应矩阵h。然后将该局部单应矩阵h施加到点v，得到v′，如图3b所示。如果能将v经过网格变换后正好与v′重叠，则是最理想状态，即v与其相邻顶点具有相同的几何变换。因此，以v实际变换后的位置到v′的欧氏距离作为惩罚项。

假设以仿射变换来对几何变换作近似处理，可以先基于v的4个相邻顶点变换前后的位置求解出仿射变换矩阵A，然后计算v′＝Av。由于仿射变换的线性性质，实际上并不需要计算矩阵A，而是可以将v′表示为其相邻顶点的加权和，并且变换前后权值不变。又因为建立的矩形区域是均匀的，因此v的4个相邻顶点所对应的权值相等，所以v′刚好可以表示成相邻顶点的平均值，于是正则项就被设定为矩形区域上的拉普拉斯算子，如下：

具体的，正则项可以通过如下公式来表示：

其中，E_R(V)表示正则项；V表示所述多个矩形区域的顶点坐标；v表示所述任一顶点；v_i表示所述与所述任一顶点相邻的顶点；|N_v|表示所述与所述任一顶点相邻的顶点的顶点个数；W_v是顶点v的索引矩阵；是顶点v_i的索引矩阵。索引矩阵可以定义形如：

用于从向量V中提取出顶点v和v_i的坐标。最终正则项E_R(V)使得相邻顶点采用相同的仿射变换。

可选地，在所述全局能量函数包括尺度项时，全局能量函数中的尺度项可以通过如下方式实现：

B1：基于I_i上的特征点构建凸多边形，其中，I_i上的凸多边形的顶点为I_i上的特征点，I_i为所述多幅待拼接图像中的图像。

B2：基于所述第一特征点对集合确定I_i上的特征点对应在I_j上的特征点，并基于构建的I_i上的凸多边形与I_i上的特征点的关系，以及I_j上的特征点构建I_j上的凸多边形，I_j为所述多幅待拼接图像中的与所述I_i具有重叠区域的图像。

具体的，构建I_j上的凸多边形时，I_j上每个特征点的连接方式，与构建I_i上的凸多边形时，与I_j上的特征点对应的I_i上特征点的连接方式相同。具体构建方法本发明不作具体限制，能够基于特征点构建凸多边形的方式均适用于本发明。

B3：将I_i上的凸多边形的周长与I_j上的凸多边形的周长的比值作为相对尺度比。

所述相对尺度比满足如下公式所示的条件：

其中，γ_ij表示图像I_i与图像I_j的相对尺度比，表示图像I_i上构建的凸多边形，e_i表示的边长，表示图像I_j上构建的凸多边形，e_j表示的边长。

B4：基于所述相对尺度比，确定I_i的绝对缩放因子。

基于所述相对尺度比，确定I_i的绝对缩放因子通过如下公式表示：

其中，I表示多幅待拼接图像构成的图像集合；C_I表示存在重叠区域的图像构成的集合，s_i表示图像I_i的缩放因子，s_j表示图像I_j的缩放因子。

B5：获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积。

B6：在所述求解使得所述全局能量函数的值最小的最优解过程中，将当前解作为所述多个矩形区域的临时顶点坐标；

B7：基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

B8：基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

I_i ^*的尺度信息由I_i的上下左右四条边的边长确定。

基于变化后的I_i的尺度信息与所述乘积的差，构建的所述尺度项可以通过如下公式表示：

其中，E_S(V)表示尺度项；V表示所述多个矩形区域的顶点坐标；I表示多幅待拼接图像构成的图像集合；I_i ^*表示所述变换后的I_i；||B_t||、||B_b||、||B_l||和||B_r||分别是I_i的上下左右四条边的边长；S(I_i)表示I_i的尺度信息；S(I_i ^*)表示所述变换后的I_i的尺度信息；s_i表示所述I_i的绝对缩放因子。

其中，所述||B_t||、||B_b||、||B_l||和||B_r||分别通过多个矩形区域的顶点坐标V中的各个顶点坐标表示，具体如下：

v_tl、v_tr、v_bl、v_br分别表示图像左上、右上、左下、右下四个顶点的网格坐标，||B_t||、||B_b||、||B_l||和||B_r||可以通过下式表示：

||B_t||＝||v_tr-v_tl||,||B_b||＝||v_br-v_bl||,||B_l||＝||v_bl-v_tl||,||B_r||＝||v_br-v_tr||。

在全局能量函数中仅考虑配准项，或者仅考虑配准项和正则项，则在全局能量函数求解时，可以构建线性方程组进行求解，但是构建出来的线性方程组永远存在一个V＝0的平凡解，这样可能没有实际意义。现有技术中一般采用一幅图像作为参考帧，固定不动，而把其它图像投影到该选定的图像的坐标系，这样图像的尺寸就可以得以保持。但是现有技术的方法对各个图像的尺寸的约束并不均匀，参考帧完全固定不动，因此约束项最为严格，而距离参考帧越远的图像，得到的约束越小。如果待拼接的图像较多，容易导致误差累积。因此尺度约束必须要同等对待所有图像。本发明实施例以图像的四条边来对尺度进行度量，图像内部区域可以通过正则项进行传导。

在本发明实施例中根据特征匹配结果先估计出每幅图像所需的绝对缩放因子。然后计算出每幅图像变换后的尺寸，然后再进行约束，那么所有图像都可以得到很好的尺寸约束。

可选地，在全局能量函数包括直线约束项时，所述直线约束项可以通过如下公式表示：

其中，E_line(V)表示直线约束项；L表示预先提取到的所述多幅待拼接图像中直线构成的集合；l为L中的任意一条直线；[a_l,b_l]_⊥表示与直线l垂直的单位向量；表示包括f_i的权值的矩阵，以使得表示f_i的坐标，所述f_i的权值为由f_i的坐标以及f_i所在的矩形区域的顶点坐标来表示的权值，具体确定方法可以参照配准项中权值确定方法；V表示所述多个矩形区域的顶点坐标。

具体的，提取多幅待拼接图像中的直线可以通过直线提取(英文：LineSegmentDetector，简称：LSD)算法实现。LSD是一种快速的直线提取算法。本发明实施例并不对直线提取方法作具体限定，现有技术提供的用于提取图像中的直线的方法均适用于本发明。在直线l上均匀的采集n个点，采样密度以每个矩形区域都有点为准。

可选地，有的应用场景中包括一些垂直或水平的消失线，例如建筑场景。所述消失线为产生透视变换的线。消失线可以包括直角线，即与地面平行且与画面垂直的线；还可以包括成角线，即与地面平行且与画面呈倾斜角度的线。两条互为平行的消失线，在视觉上呈现出越远越窄，并消失为一点。

这些消失线包括很强的先验信息，在保持这些消失线方向性的同时，可以对这些消失线施加方向约束，使得这些消失线在最后的全景图中处于垂直或者水平方向。因此，在这些应用场景中可以在全局能量函数添加方向约束项，所述方向约束项可以通过如下公式表示：

其中，E_orientation(V)表示方向约束项；L_H表示检测到的所述多幅待拼接图像中的消失线中的垂直方向上的线的集合；L_V表示检测到的所述多幅待拼接图像中的消失线中的水平方向上的线的集合；p^a和q^a表示L_H中的消失线l_a的两个端点；p^b和q^b表示L_V中的消失线l_b的两个端点；表示点p^a的x坐标的权值矩阵，使得表示p^a的x坐标；表示点p^a的y坐标的权值矩阵，使得标识p^a的y坐标；表示点q^a的x坐标的权值矩阵，使得为q^a的x坐标；表示点q^b的y坐标的权值矩阵，以使得表示q^b的y坐标；l^a表示L_V中的任意一条线；l^b表示L_H中的任意一条线；V表示所述多个矩形区域的顶点坐标。

具体的，在确定L_H与L_V的两个集合中任一消失线的两个端点时，可以采用随机采样一致性(英文：RandomSampleAndConsensus，简称：RANSAC)算法等等，本发明实施例对此不作具体限定。

在典型的360°全景应用场景中，摄像机旋转一周，回到第一帧的姿态，所以输入图像的第一帧和最后一帧也需要配准，这样生成的全景图首尾内容才能一致。但是这里不能直接施加配准项，因为起始和终止的图像在全景图上实际并不是重叠的，而是存在一个接近全进图长度的固定偏移量。因此我们不直接对特征点进行配准，而是选取特征点组成的有向边施加配准约束。

当所述全景图像拼接方法应用于360°全景应用场景时，所述全局能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：

其中，E_loop(V)表示闭合环路约束项，C_g表示所述多幅待拼接图像中首尾两幅图像之间匹配的特征点构成的有向边对集合；g_i表示有向边对集合中的一条有向边；g_j表示有向边对集合中与g_i匹配的有向边；和表示有向边g_i的两个端点；表示的权值矩阵，使得表示表示的权值矩阵，使得表示和表示有向边g_j的两个端点的坐标；表示的权值矩阵，使得等于表示的权值矩阵，使得等于V表示所述多个矩形区域的顶点坐标。

在对全局能量函数E(V)＝λ_AE_A(V)+λ_RE_R(V)+λ_SE_S(V)+E_X(V)求解时，由于其不是线性的，因此采用迭代算法进行优化。实际上能量函数中只有尺度项和直线约束项不是线性，因此可以在每一次迭代中将尺度项和直线约束项近似一个线性的函数，可以更方便的求解，

由于需要计算图像边长，尺度项E_S(V)不是一个线性函数。以图像的顶边B_t为例，设其单位方向向量为B_t ^*，则B_t的长度可以表示为：

|B_t|²＝B_t ^*TB_t＝B_t ^*T(W_tl-W_tr)V

其中W_tl，W_tr分别是左上和右上顶点的权值矩阵。如果B_t ^*是已知的，则这个函数就可以被V线性表达。假设在每轮迭代中，B_t的方向变化不大，因此以矩形区域的顶点坐标计算B_t的方向，来替换未知的B_t ^*，然后线性地进行求解并更新矩形区域的顶点坐标。同理图像的另外3条边B_b，B_l，B_r也分别可以通过B_b ^*,B_l ^*，B_r ^*来表示，这样就得出如下尺度项：

其中Wid和Hig是原图像的宽和高，对应公式原尺度项公式中的S(Ii)。在E_S1(V)中，B_t ^*TB_t+B_b ^*TB_b表示每次优化后图像的上边和下边边长之和，2s_iW是基于缩放因子直接计算得到的上边和下边边长之和。E_S1(V)表示网格优化前后的边长之差的平方和，使其最小化可以求解出尺度因子s_i。由于假设图像的边在每次迭代中方向变化不大，因此还需要对其进行方向上的约束：

其中，B′_t，B′_b，B′_l，B′_r分别是B_t ^*,B_b ^*,B_l ^*，B_r ^*的正交方向单位向量，E_S2(V)对边的旋转给予一定的惩罚，从而保证每次迭代后边的方向接近原方向。最终我们在每轮迭代中，把尺度项公式替换为如下线性函数进行求解：

E′_S(V)＝E_S1(V)+λE_S2(V)；

其中，λ是平衡鲁棒性和收敛速度的参数，在实验中取作0.5，这样迭代中边的变化比较平滑，并且收敛速度也非常快(通常在10次迭代以内就可以收敛)。

同理，在公式直线性约束中，由于a_l，b_l未知，直线性约束也是非线性的。我们同样假设直线在每轮迭代中变化不大，从而用多个矩形区域的顶点坐标V计算直线方向a_l，b_l，然后进行线性的求解，迭代更新。

基于前面所描述的线性近似，我们可以在每轮迭代当中线性地求解多个矩形区域的顶点坐标V，并逐步进行更新，最终得到全局最优解。

在每次迭代中，我们要求解的线性方程组形如：

其中，A_A、A_R、A_S和A_X分别是配准项、正则项、尺度项以及额外约束项对应的雅可比矩阵。0、0、b_S和b_X分别是配准项，正则项，尺度项和额外约束项对应的残差向量。整个方程的左边是一个n*2m的矩阵，并且约束的个数n远大于顶点个数m。基于最小二乘法，我们可以把罗列的矩阵变成求和的形式如下：

这样左边矩阵就缩小至2m*2m。除尺度项和直线约束项，其他能量函数项都是线性的，因此它们对应的雅克比矩阵和残差向量在整个迭代过程中保持不变。于是我们可以在初始化阶段先计算好这些矩阵和向量，然后在每次迭代的时候只需更新A_S、b_S和A_line、B_line，这样计算量又进一步减小了；其中，A_X表示可选约束项的雅可比矩阵，b_X是可选约束项的残差向量，A_line是A_X的一种，为直线约束项的雅可比矩阵，B_line是b_X的一种，为直线约束项的残差向量。

可选地，步骤107所述将所述多幅变换后的待拼接图像进行拼接，可以通过如下方式实现：

将多幅优化后的待拼接图像进行拼接。

具体的，通过图割Graphcut算法对所述多幅变换后的待拼接图像进行优化，可以通过如下方式实现：

构造Graphcut算法中的Graphcut能量函数，基于构造的Graphcut能量函数对经过像素点变换后的每幅图像进行优化。

经过网格变换之后，得到变换后的图像，图像之间可能存在重叠区域，需要对重叠区域决定像素来源，最终生成一幅全景图。因此对每个像素p^d，需要选择一幅变换后的图像使用该图像上的像素颜色作为全景图上该像素的颜色。

其中，对于存在重叠区域的两幅图像为I_i，I_j，对重叠部分的每一个像素，求出重叠部分断裂的代价，生成平滑项。

具体的，通过如下实现方式构造Graphcut算法中的Graphcut能量函数中的平滑项。

C1：确定第一特征点对集合中位于I_i上的特征点m，以及位于I_j上与所述特征点m匹配的特征点n。

C2：基于特征点m，n以及如下公式确定配准质量分数，即基于稀疏的特征点的配准误差估计稠密像素的配准误差：

其中，s_m,n表示配准质量分数，Ψ_i(m)表示图像I_i的特征点m对应的变换函数,所述图像I_i的特征点m对应的变换函数为基于求解后的各个矩形区域的顶点坐标对特征点m进行坐标变换对应的变换函数；Ψ_j(n)表示图像I_j的特征点n对应的变换函数，所述图像I_j的特征点n对应的变换函数为基于求解后的各个矩形区域的顶点坐标对特征点n进行坐标变换对应的变换函数；D表示图像I_i的对角线长，σ₁取值为A*D，A为预设值。

具体的，Ψ_i(m)＝W_mV^*，W_m为m点的权值矩阵，V^*表示经过网格变换后的多个矩形区域的顶点坐标。Ψ_j(n)＝W_nV^*，W_n为n点的权值矩阵。

本发明实施例中，σ₁取值为0.003D。在配准过程中，剔除配准误差大于0.01D的特征点。

C3：针对经过坐标变换后的图像I_i的像素点p^d，所述特征点m对所述像素点p^d的贡献权重为：

其中，表示特征点m对所述像素点p^d的贡献权重，σ₂取值为B*s_m,n*D，B为预设值。本发明实施例中，B取值为0.4。

贡献权重随着像素距离的增大而衰减，且衰减取决于特征点的配准质量。因为配准误差小的特征点往往意味着相机纯旋转或者场景的平面性较好，即仅存在一个主平面，这样构造的函数能够更好的对特征点周围区域进行表达，使得特征点周围更大面积的像素的配准质量值衰减更慢。

C4：针对经过坐标变换后的图像I_i的像素点p^d通过如下公式确定配准分数：

其中，表示图像I_i的像素点p^d对应的配准分数。

同理，针对经过坐标变换后的图像I_j的像素点p^e通过如下公式确定配准分数：

其中，表示图像I_j的像素点p^e对应的配准分数。

然后基于网格变换确定的配准分数位图S_align为：

C5：采用高斯函数确定颜色分数。

具体的，除了基于特征点估计配准分数位图外，需要对颜色差进行度量，选择的颜色差越接近，对应的平滑项值也越小。

颜色分数满足如下公式的条件：

其中μ，σ是所有重叠像素颜色欧式距离的均值和标准差，u表示变量。通过高斯函数，使得曲线更加平滑，当颜色差达到一定程度，分数就接近0，且不会再随色差明显变化。这样使得平滑项对那些未配准的像素不太敏感。另外，受光照环境和曝光时间等因素的影响，即使配准误差为0的像素，颜色也可能存在较大差异，通过均值和方差对颜色差进行归一化，就可以对全局的颜色进行矫正，排除全局色差的干扰，使得平滑项的计算更加合理。

C6：基于确定的配准分数以及颜色分数确定平滑项。

平滑项满足如下公式的条件：

其中，表示平滑项；q^d表示像素点P^d的相邻像素点；表示像素点P^d的标号；表示像素点q^d的标号。

通过如下公式得到：

描述了经过网格变换后的图像I_i，I_j之间重叠区域的不一致性。给定一条连接两幅图的缝，其代价可由缝上的累加值来度量。

Graphcut能量函数还可以包括数据项数据项用于评估单个像素取值的好坏。对于像素点P^d及其标号需要从图像中取像素点P^d对应的颜色置于全景图图中，但只包含部分场景，其像素点P^d可能并不包含有效像素。对此情况应给予一个很大的惩罚值τ，以防止出现无效像素。

如上P^d包含有效像素，则惩罚为0。

从而Graphcut能量函数通过如下公式表示：

最后用Graphcut能量函数进行优化，得到每个像素的标记，基于标记找到对应输入图像，把该像素的值拷贝到全景图上，得到结果。本发明实施例中τ取作1000，λ设为256。

可选地，本发明实施例中在对各个像素点进行graphcut算法优化后，通过泊松融合算法优化。

泊松融合基于如下事实：人眼对像素的绝对亮度并不敏感，而对像素的梯度较为敏感。因此在保持梯度的同时，令接缝处梯度为0，求出最小二乘意义下的解，就可以把接缝处的颜色差分散到整幅图像，从而使得接缝变得不易察觉。泊松算法优化的能量函数如下：

其中，I是所要优化的图像像素集合；B表示全景图边界像素集合；S表示接缝处像素集合；表示非接缝处像素集合；p^c和q^c表示两个相邻像素点；I(p^c)表示全景图中像素点p^c的像素值；表示像素点p^c在标号为的图像中对应的像素值；I(q^c)表示全景图中像素点q^c的像素值；表示像素点q^c在标号为的图像中对应的像素值；接缝处实际上就是待拼接的图像经过变换后的图像边界，多幅图像拼接时，变换后的图像边界就成为了接缝处。

泊松融合能量函数中各项的意义为：表示在边界处，像素颜色应接近上一步Graphcut得到的结果。表示在接缝处像素梯度为0，如此可以使得接缝在视觉上变得不易察觉。表示在非接缝处，图像的梯度接近上一步Graphcut得到的结果，这样就可以保证图像内容仍具有辨识度。如此构成一个稀疏的线性方程组，对RGB三通道分别求解，就得到最终的图像。

本发明实施例采用网格优化技术，利用高自由度的模型，对二维图像进行几何变换。通过优化全局能量函数，可以实现大视差的图片的全景拼接。并且对于各种典型场景还可以添加相应的可选约束项，以达到更好的拼接结果。

基于与图1所示的实施例同样的发明构思，本发明实施例提供了一种全景图像拼接装置，如图4所示，该装置包括：

提取单元401，用于提取多幅待拼接图像中的图像的特征点。

第一获取单元402，用于在所述提取单元401提取的所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合。

第二获取单元403，将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域的顶点坐标。

构建单元404，用于基于所述第一获取单元402获取的所述第一特征点对集合中的特征点的坐标，以及所述第二获取单元403获取的所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数。

计算单元405，用于求解使得所述构建单元404构建的所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标。

变换单元406，用于基于所述计算单元405得到的求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多幅变换后的待拼接图像。

拼接单元407，用于将经过所述变换单元406得到所述多幅变换后的待拼接图像进行拼接。

所述构建单元404，具体用于：基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值；

可选地，所述配准项可以通过如下公式表示：

可选地，所述全局能量函数还包括正则项，所述构建单元404，还用于基于所述多个矩形区域的顶点坐标中的任一顶点的顶点坐标与所述多个矩形区域的相邻顶点坐标的平均顶点坐标的差，构建所述正则项，所述相邻顶点坐标为与所述任一顶点相邻的顶点的顶点坐标。

其中，所述正则项可以通过如下公式表示：

可选地，所述全局能量函数还包括尺度项，所述构建单元404，还用于基于I_i上的特征点构建凸多边形，其中，I_i上的凸多边形的顶点为I_i上的特征点，I_i为所述多幅待拼接图像中的图像；

基于所述相对尺度比，确定I_i的绝对缩放因子；

获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积；

基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

其中，所述正则项可以通过如下公式表示：

可选地，所述构建单元404，在基于所述相对尺度比，确定I_i的绝对缩放因子时，具体用于求解如下最优化问题，从而获取I_i的绝对缩放因子s_i：

可选地，所述全局能量函数还包括以下至少一项：直线约束项，方向约束项；

所述直线约束项通过如下公式表示：

所述方向约束项通过如下公式表示：

所述拼接单元407，具体用于：通过图割Graphcut算法对所述多幅变换后的待拼接图像进行优化；将多幅优化后的待拼接图像进行拼接。

所述第一获取单元402，具体用于：

基于与图1所示的实施例同样的发明构思，本发明实施例还提供了全景图像拼接设备。如图5所示，该设备包括收发器501、处理器502、存储器503。收发器501、处理器502以及存储器503相互连接。本发明实施例中不限定上述部件之间的具体连接介质。本发明实施例在图5中以存储器503、处理器502以及收发器501之间通过总线504连接，总线在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本发明实施例中存储器503，用于存储处理器502执行的程序代码，可以是易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-accessmemory，缩写：RAM)；存储器503也可以是非易失性存储器(英文：non-volatilememory)，例如只读存储器(英文：read-onlymemory，缩写：ROM)，快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：HDD)或固态硬盘(英文：solid-statedrive，缩写：SSD)、或者存储器503是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器503可以是上述存储器的组合。

本发明实施例中处理器502，可以是一个中央处理单元(英文：centralprocessingunit，简称CPU)。

处理器502用于调动所述存储器503中存储的程序代码或指令，以执行图1所示的方法。

本发明图5所示的设备能够执行图1所示的方法，并能够和图4所示的装置实现相同的技术效果。

下面结合具体实例，对现有技术的方案与本发明实施例提供的方案的拼接效果进行比较：

例一：

采集到的桌面的两幅图像如图6a所示，现有技术的拼接结果如图6b所示，利用本发明实施例提供的方案得到的拼接结果如图6c所示，从图6b和图6c可以看到曲线性更好，因此本发明实施例提供的技术方案的配准误差更小，拼接结果质量更高。

例二：

使用广角镜头，通过纯旋转的方式采集了15幅图像，如图7a所示。15幅图像之间不存在视差，但是广角镜头会产生径向畸变，利用现有技术提供的拼接算法处理起来误差较大，如图7b所示，尤其7b最高的建筑，拼出来的结果向左倾斜，产生了畸变。利用本发明实施例提供的方案，在全局能量函数中添加了闭合环路约束项，使得首尾内容拼接一致，并且避免了图像的畸变，拼接结果质量更高，如图7c所示。

例三：

对地球仪沿赤道方向采集了24幅图像，如图8a所示，图像之间视差较大，并且场景非平面。利用现有技术提供的拼接方法得到的拼接结果如图8b所示，可以看到，无法对该24幅图像完整的拼接。利用本发明实施例提供的方案，能够对该24幅图像拼接成一幅完整的图像，如图8c所示，拼接结果质量相对很高。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种全景图像拼接方法，其特征在于，包括：

提取多幅待拼接图像中的图像的特征点；

将所述多幅变换后的待拼接图像进行拼接。

2.如权利要求1所述的方法，其特征在于，所述基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数包括：

3.如权利要求2所述的方法，其特征在于，所述配准项通过如下公式表示：

E_{A} (V) = \underset{(p_{i}, p_{j}) &Element; C}{Σ} \frac{1}{N_{p_{i}, p_{j}}} | | W_{i} V - W_{j} V | |^{2};

4.如权利要求2或3所述的方法，其特征在于，所述全局能量函数还包括正则项，所述基于多个矩形区域的顶点坐标中的各个顶点坐标构建全局能量函数，还包括：

5.如权利要求4所述的方法，其特征在于，所述正则项通过如下公式表示：

E_{R} (V) = \underset{v}{Σ} | | W_{v} V - \frac{1}{| N_{v} |} \underset{v_{i} &Element; N_{v}}{Σ} W_{v_{i}} V | |^{2};

6.如权利要求2至5任一项所述的方法，其特征在于，所述全局能量函数还包括尺度项，所述基于多个矩形区域的顶点坐标中的各个顶点坐标构建全局能量函数，还包括：

基于所述相对尺度比，确定I_i的绝对缩放因子；

获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积；

基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

7.如权利要求6所述的方法，其特征在于，所述正则项通过如下公式表示：

E_{S} (V) = \underset{I_{i} &Element; I}{Σ} | S (I_{i}^{*}) - s_{i} S (I_{i}) |^{2}

S (I_{i}) = [\begin{matrix} | | B_{t} | | + | | B_{b} | | \\ | | B_{l} | | + | | B_{r} | | \end{matrix}];

8.如权利要求6或7所述的方法，其特征在于，所述基于所述相对尺度比，确定I_i的绝对缩放因子包括：

求解如下最优化问题，从而获取I_i的绝对缩放因子s_i：

s_{i} = \underset{s}{\arg} m i n \underset{(I_{i}, I_{j}) &Element; C_{I}}{Σ} | γ_{i j} s_{j} - s_{i} |^{2};

s . t . \underset{I_{i} &Element; I}{Σ} s_{i} = | I |

9.如权利要求2至8任一项所述的方法，其特征在于，所述全局能量函数还包括以下至少一项：直线约束项，方向约束项；

所述直线约束项通过如下公式表示：

E_{l i n e} (V) = \underset{l &Element; L}{Σ} Σ_{i = 1}^{n - 1} ({[a_{l}, b_{l}]}_{&perp;} \cdot (W_{f_{i}} V - W_{f_{i + 1}} V));

所述方向约束项通过如下公式表示：

E_{o r i e n t a t i o n} (V) = \underset{l^{a} &Element; L_{H}}{Σ} | W_{p_{x}^{a}} V - W_{q_{x}^{a}} V |^{2} + \underset{l^{b} &Element; L_{V}}{Σ} | W_{p_{y}^{b}} V - W_{q_{y}^{b}} V |^{2};

10.如权利要求2至9任一项所述的方法，其特征在于，当所述全景图像拼接方法应用于360°全景应用场景时，所述全局能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：

E_{l o o p} (V) = \underset{(g_{i}, g_{j}) &Element; C_{g}}{Σ} | | g_{i} - g_{j} | |^{2}

g_{i} = (W_{p_{i}^{b}} - W_{q_{i}^{b}}) V;

g_{j} = (W_{p_{j}^{b}} - W_{q_{j}^{b}}) V

11.如权利要求1至10任一项所述的方法，其特征在于，所述将所述多幅变换后的待拼接图像进行拼接包括：

将多幅优化后的待拼接图像进行拼接。

12.如权利要求1至11任一项所述的方法，其特征在于，所述在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合包括：

13.一种全景图像拼接装置，其特征在于，包括：

提取单元，用于提取多幅待拼接图像中的图像的特征点；

14.如权利要求13所述的装置，其特征在于，所述构建单元，用于：

15.如权利要求14所述的装置，其特征在于，所述配准项通过如下公式表示：

E_{A} (V) = \underset{(p_{i}, p_{j}) &Element; C}{Σ} \frac{1}{N_{p_{i}, p_{j}}} | | W_{i} V - W_{j} V | |^{2};

16.如权利要求14或15所述的装置，其特征在于，所述全局能量函数还包括正则项，所述构建单元，还用于基于所述多个矩形区域的顶点坐标中的任一顶点的顶点坐标与所述多个矩形区域的相邻顶点坐标的平均顶点坐标的差，构建所述正则项，所述相邻顶点坐标为与所述任一顶点相邻的顶点的顶点坐标。

17.如权利要求16所述的装置，其特征在于，所述正则项通过如下公式表示：

E_{R} (V) = \underset{v}{Σ} | | W_{v} V - \frac{1}{| N_{v} |} \underset{v_{i} &Element; N_{v}}{Σ} W_{v_{i}} V | |^{2};

18.如权利要求14至17任一项所述的装置，其特征在于，所述全局能量函数还包括尺度项，所述构建单元，还用于基于I_i上的特征点构建凸多边形，其中，I_i上的凸多边形的顶点为I_i上的特征点，I_i为所述多幅待拼接图像中的图像；

基于所述相对尺度比，确定I_i的绝对缩放因子；

获取I_i的尺度信息与所述I_i的绝对缩放因子的乘积；

基于所述临时顶点坐标对I_i进行坐标变换，从而获取I_i ^*；

基于I_i ^*的尺度信息与所述乘积的差，构建所述尺度项。

19.如权利要求18所述的装置，其特征在于，所述正则项通过如下公式表示：

E_{S} (V) = \underset{I_{i} &Element; I}{Σ} | S (I_{i}^{*}) - s_{i} S (I_{i}) |^{2}

S (I_{i}) = [\begin{matrix} | | B_{t} | | + | | B_{b} | | \\ | | B_{l} | | + | | B_{r} | | \end{matrix}];

20.如权利要求18或19所述的装置，其特征在于，所述构建单元，在基于所述相对尺度比，确定I_i的绝对缩放因子时，具体用于求解如下最优化问题，从而获取I_i的绝对缩放因子s_i：

s_{i} = \underset{s}{\arg} m i n \underset{(I_{i}, I_{j}) &Element; C_{I}}{Σ} | γ_{i j} s_{j} - s_{i} |^{2};

s . t . \underset{I_{i} &Element; I}{Σ} s_{i} = | I |

21.如权利要求14至20任一项所述的装置，其特征在于，所述全局能量函数还包括以下至少一项：直线约束项，方向约束项；

所述直线约束项通过如下公式表示：

E_{l i n e} (V) = \underset{l &Element; L}{Σ} Σ_{i = 1}^{n - 1} ({[a_{l}, b_{l}]}_{&perp;} \cdot (W_{f_{i}} V - W_{f_{i + 1}} V));

所述方向约束项通过如下公式表示：

E_{o r i e n t a t i o n} (V) = \underset{l^{a} &Element; L_{H}}{Σ} | W_{p_{x}^{a}} V - W_{q_{x}^{a}} V |^{2} + \underset{l^{b} &Element; L_{V}}{Σ} | W_{p_{y}^{b}} V - W_{q_{y}^{b}} V |^{2};

22.如权利要求14至21任一项所述的装置，其特征在于，当所述全景图像拼接方法应用于360°全景应用场景时，所述全局能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：

E_{l o o p} (V) = \underset{(g_{i}, g_{j}) &Element; C_{g}}{Σ} | | g_{i} - g_{j} | |^{2}

g_{i} = (W_{p_{i}^{b}} - W_{q_{i}^{b}}) V;

g_{j} = (W_{p_{j}^{b}} - W_{q_{j}^{b}}) V

23.如权利要求13至22任一项所述的装置，其特征在于，所述拼接单元，用于：

将多幅优化后的待拼接图像进行拼接。

24.如权利要求13至23任一项所述的装置，其特征在于，所述第一获取单元，用于：