CN112950468A - 图像拼接方法、电子设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种图像拼接方法、电子设备及可读存储介质，属于图像处理领域。具体实现方案包括：获取第一图像和第二图像之间的特征匹配点集；所述第一图像和所述第二图像是同一拍摄场景下的相邻两帧图像；在所述第一图像和所述第二图像之间的重叠区域中，确定所述第一图像和所述第二图像的最佳缝合线；根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，并利用所述第一形变参数对所述第一图像进行形变，得到第三图像；其中，所述第一形变参数是所述第一图像的在将所述第一图像与所述第二图像的空间位置对齐时的形变参数；对所述第二图像和所述第三图像进行拼接。根据本方案，可以达到减少伪影、重影的拼接效果，提升拼接效果。

Description

图像拼接方法、电子设备及可读存储介质

技术领域

本发明属于图像处理领域，具体涉及一种图像拼接方法、电子设备及可读存储介质。

背景技术

全景成像技术的目的是将同一拍摄场景下不同位置不同角度拍摄的图像进行匹配拼接，形成一个具有更广视野的图像。目前，通常采用算法匹配拼接的方式获得全景图像。但由于不同图像拍摄角度的差异性，常会使得拼接后图像在过渡区或边缘区域出现不连续的现象，造成图像的拼接效果差。

发明内容

本发明实施例的目的是提供一种图像拼接方法、电子设备及可读存储介质，以解决现有图像拼接方法的拼接效果差的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像拼接方法，该方法包括：

获取第一图像和第二图像之间的特征匹配点集；其中，所述第一图像和所述第二图像是同一拍摄场景下的相邻两帧图像；

在所述第一图像和所述第二图像之间的重叠区域中，确定所述第一图像和所述第二图像的最佳缝合线；

根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，并利用所述第一形变参数对所述第一图像进行形变，得到第三图像；其中，所述第一形变参数是所述第一图像的在将所述第一图像与所述第二图像的空间位置对齐时的形变参数；

对所述第二图像和所述第三图像进行拼接。

可选的，所述确定所述第一图像和所述第二图像的最佳缝合线，包括：

根据第一差值和第二差值，构建差值图像；其中，所述第一差值是所述第一图像和所述第二图像在颜色空间上的差值，所述第二差值是所述第一图像和所述第二图像在几何空间上的梯度差值；

从所述差值图像中选取差值最小的路径作为所述最佳缝合线。

可选的，所述差值图像的表达式为：E(x，y)＝E_c(x，y)²+E_g(x，y)；

其中，E_c(x，y)＝I₁(x，y)-I₂(x，y)，表示所述第一差值；E_g(x，y)＝S_x(I₁(x，y)-I₂(x，y))²+S_y(I₁(x，y)-I₂(x，y))²，表示所述第二差值；S_x表示重叠区域水平方向的梯度值，S_y表示重叠区域垂直方向的梯度值；

其中，I₁(x，y)表示所述第一图像，I₂(x，y)表示所述第二图像。

可选的，所述根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，包括：

对所述第一图像进行网格划分，得到多个第一网格；

根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项、局部刚性约束项和最佳缝合线约束项，构建第一能量方程；

针对每个所述第一网格，根据所述第一能量方程，确定在将所述第一图像与所述第二图像的空间位置对齐时所述第一网格对应的第一目标网格的位置；其中，所述第一目标网格的位置使得所述第一能量方程的值最小；

根据所述第一网格的位置以及所述第一目标网格的位置，确定所述第一形变参数。

可选的，所述第一能量方程的表达式为：O₁(E)＝αE_d+βE_s+γE_l；

其中，E_d＝∑_i‖w_iV_i-P_i‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第一网格的四个顶点的坐标的加权平均和，P_i表示所述特征点i所在第一网格对应的第一目标网格的坐标；α为E_d的权重；

E_s(V₁)＝‖V₁-(V₂+u(V₃-V₂)+v(R₉₀(V₃-V₂)))‖²，表示局部刚性约束项；V₁、V₂、V₃分别表示所述第一网格中包裹特征点i的三角形的三个顶点的坐标；u和v表示系数；β为E_s的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第一网格的四个顶点的坐标的加权平均和，P_j表示在将所述第一图像与所述第二图像的空间位置对齐时所述等分点j的坐标；γ为E_l的权重。

可选的，所述对所述第二图像和所述第三图像进行拼接，包括：

根据所述最佳缝合线的位置，采用如下公式对所述第二图像和所述第三图像进行加权平均融合处理：

I＝f*I₂(x，y)+(1-f)*I₃(x，y)

其中，f的取值范围为[0，1]；f是基于所述第二图像中的像素点与所述最佳缝合线之间的距离确定，所述距离越小，f越大；I₂(x，y)表示所述第二图像，I₃(x，y)表示所述第三图像。

可选的，所述对所述第二图像和所述第三图像进行拼接之后，所述方法还包括：

对第四图像进行内容补全，得到目标图像；其中，所述第四图像是对所述第二图像和所述第三图像进行拼接得到的图像；

根据所述最佳缝合线和所述特征匹配点集，确定第二形变参数；其中，所述第二形变参数是所述目标图像的在将所述目标图像与所述第四图像的空间位置对齐时的形变参数；

利用所述第二形变参数对所述目标图像进行形变，得到合成图像。

可选的，所述根据所述最佳缝合线和所述特征匹配点集，确定第二形变参数，包括：

对所述目标图像进行网格划分，得到多个第二网格；

根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项和最佳缝合线约束项，构建第二能量方程；

针对每个所述第二网格，根据所述第二能量方程，确定在将所述目标图像与所述第四图像的空间位置对齐时所述第二网格对应的第二目标网格的位置；其中，所述第二目标网格的位置使得所述第二能量方程的值最小；

根据所述第二网格的位置以及所述第二目标网格的位置，确定所述第二形变参数。

可选的，所述第二能量方程的表达式为：O₂(E)＝α₀E_d′+γ₀E_l′；

其中，E_d′＝∑_i‖w_iV_i-P_i′‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第二网格的四个顶点的坐标的加权平均和，P_i′表示所述特征点i所在第二网格对应的第二目标网格的坐标；α₀为E_d′的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第二网格的四个顶点的坐标的加权平均和，P_j′表示在将所述目标图像与所述第四图像的空间位置对齐时所述等分点j的坐标；γ₀为E_l′的权重。

第二方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时可以实现上述图像拼接方法的步骤。

第三方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时可以实现上述图像拼接方法的步骤。

本发明实施例中，在获取相邻帧的第一图像和第二图像之后，可以根据第一图像和第二图像间的特征匹配点集和最佳缝合线，确定第一图像的在将第一图像与第二图像的空间位置对齐时的形变参数，并根据该形变参数对第一图像进行形变，得到第三图像，并对第二图像和第三图像进行拼接。由此，由于第三图像是对第一图像进行形变得到，且相应形变参数是在将第一图像与第二图像的空间位置对齐时所确定，因此实质上，第三图像处于第二图像的空间，第二图像和第三图像的局部对应区域更加吻合，因此对第二图像和第三图像进行拼接，可以达到减少伪影、重影的拼接效果，提升拼接效果。

附图说明

图1是本发明实施例提供的一种图像拼接方法的流程图；

图2是本发明实施例中形变参数确定过程的流程图；

图3是本发明实施例中对拼接后的图像进行后处理过程的流程图；

图4a是本发明实施例中拼接得到的全景图像原始图的效果示意图；

图4b是对图4a中的图像进行内容补充后的效果示意图；

图4c是对图4b中的图像进行形变处理后的效果示意图；

图5是本发明实施例提供的一种图像拼接装置的结构示意图；

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的图像拼接方法进行详细地说明。

请参见图1，图1是本发明实施例提供的一种图像拼接方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：

步骤11：获取第一图像和第二图像之间的特征匹配点集。

本实施例中，第一图像和第二图像是同一拍摄场景下的相邻两帧图像。进一步来说，第一图像为当前帧图像，第二图像为参考帧图像，并以第二图像为参考进行第一图像和第二图像的拼接。

需指出的，本发明实施例适用的场景包括但不限于全景成像场景、增强现实(AR)场景、虚拟现实(VR)场景等。比如在全景成像场景中，第一图像和第二图像可以是同一拍摄场景下不同位置不同角度拍摄的多帧图像中的相邻两帧图像；或者，第二图像为在多帧图像拼接过程中拼接得到的帧图像，第一图像为与该拼接得到的帧图像相邻的帧图像，并以该拼接得到的帧图像为参考继续进行图像拼接过程。

可选的，此步骤11中获取特征匹配点集的过程可以包括：首先，通过尺度不变特征变换(Scale-invariant feature transform，SIFT)图像特征检测算法对第一图像和第二图像进行特征点查找，为每个特征点建立其特征描述符；其中，查找的特征点可集中在孤立点、边缘、轮廓等灰度变化比较大的地方，相应特征包括但不限于颜色特征、灰度特征、纹理特征等；然后，以欧式距离作为特征描述符的相似性度量，对第一图像和第二图像进行特征点匹配，并通过随机抽样一致(Random Sample Consensus，RANSAC)方法剔除异常匹配点；最后，获取第一图像和第二图像之间的特征匹配点集。其中，SIFT图像特征检测算法主要有四步：第一步是在高斯差分尺度空间中提取极值点，第二步是特征点的定位，第三步是计算特征点的主方向，第四步是构造特征点的描述符。

步骤12：在第一图像和第二图像之间的重叠区域中，确定第一图像和第二图像的最佳缝合线。

本实施例中，为了尽可能降低由帧间图像的色差以及拼接重影对拼接结果产生的不良影响，可以首先通过计算全局单应性矩阵，确定帧间图像的重叠区域，然后在重叠区域中计算最佳缝合线，以根据最佳缝合线进行图像拼接，使得帧间图像的拼接效果过渡自然。

可选的，确定第一图像和第二图像之间的重叠区域的过程可以为：首先根据第一图像和第二图像之间的特征匹配点集，计算第一图像和第二图像的相对位置，然后根据该相对位置，确定第一图像和第二图像间的重叠区域。

步骤13：根据最佳缝合线和特征匹配点集，确定第一形变参数，并利用第一形变参数对第一图像进行形变，得到第三图像。

本实施例中，第一形变参数是第一图像的在将第一图像与第二图像的空间位置对齐时的形变参数。上述将第一图像与第二图像的空间位置对齐可理解为将第一图像变换至第二图像所对应的空间，此时变换后的第一图像相对于原第一图像发生了形变。

步骤14：对第二图像和第三图像进行拼接。

可选的，本实施例可以采用多种方式对第二图像和第三图像进行拼接，包括但不限于根据最佳缝合线的位置进行加权平均融合处理等。

本发明实施例的图像拼接方法，在获取相邻帧的第一图像和第二图像之后，可以根据第一图像和第二图像间的特征匹配点集和最佳缝合线，确定第一图像的在将第一图像与第二图像的空间位置对齐时的形变参数，并根据该形变参数对第一图像进行形变，得到第三图像，并对第二图像和第三图像进行拼接。由此，由于第三图像是对第一图像进行形变得到，且相应形变参数是在将第一图像与第二图像的空间位置对齐时所确定，因此实质上，第三图像处于第二图像的空间，第二图像和第三图像的局部对应区域更加吻合，因此对第二图像和第三图像进行拼接，可以达到减少伪影、重影的拼接效果，提升拼接效果。

本发明实施例中，最佳缝合线的思想是在帧间图像的重叠区域，寻找一条缝合线，使得缝合线的两边图像之间的颜色差异和结构差异同时达到最小，以使得帧间图像在拼接时，相应重叠区域完美过渡，不存在明显的拼接缝隙。因此在帧间图像的重叠区域中，可以根据帧间图像在颜色空间和几何空间上的差值，确定帧间图像的最佳缝合线。

可选的，上述确定第一图像和第二图像的最佳缝合线的过程可以包括：首先，根据第一差值和第二差值，构建差值图像；其中，该第一差值是第一图像和第二图像在颜色空间上的差值，该第二差值是第一图像和第二图像在几何空间上的梯度差值；然后，从该差值图像中选取差值最小的路径作为最佳缝合线。这样，借助整合颜色和结构差异的差值图像，可以准确选取最佳缝合线。

进一步的，上述差值图像的表达式可以为：E(x，y)＝E_c(x，y)²+E_g(x，y)。

其中，E_c(x，y)＝I₁(x，y)-I₂(x，y)，表示第一图像I₁(x，y)和第二图像I₂(x，y)间的颜色差值，即上述的第一差值。E_g(x，y)＝S_x(I₁(x，y)-I₂(x，y))²+S_y(I₁(x，y)-I₂(x，y))²，表示第一图像I₁(x，y)和第二图像间I₂(x，y)的空间梯度差值，即上述的第二差值。S_x表示重叠区域水平方向的梯度值，S_y表示重叠区域垂直方向的梯度值，可以通过Sobel算子实现。

一种实施方式中，在从差值图像中选取最佳缝合线时，可以在差值图像中，从第一行选择值最小的n个像素点作为起点，该n比如为10、15等，从这些起点开始往下传播生长，到最后一行，各自走过一条从上到下的路径，根据这个规则，每个起点都可以生成一条路径，在生成的路径中选择差异最小的一条路径作为最佳缝合线。

本发明实施例中，上述的第一形变参数可以采用多个形变算法比如as rigid aspossible算法、滑动最小二乘法(moving least square)等获得。此外，该第一形变参数也可通过对第一图像进行网格划分，并借助网格形变来得到。

可选的，在基于网格形变确定第一形变参数时，可以基于保护网格形变的能量约束项，比如特征点坐标约束项、局部刚性约束项和/过最佳缝合线约束项等，构建能量方程，并根据该能量方程确定形变参数。如图2所示，上述根据最佳缝合线和特征匹配点集，确定第一形变参数的过程可以包括：

步骤21：对第一图像进行网格划分，得到多个第一网格。

比如，此步骤可以随机进行网格划分，可以采用8*8、16*16、或32*32等方式进行网格划分。优选的，一个网格中至少包裹一个特征点。

步骤22：根据最佳缝合线和特征匹配点集，通过特征点坐标约束项、局部刚性约束项和最佳缝合线约束项，构建第一能量方程。

需指出的，此处是根据第一图像和第二图像之间的特征匹配点集来构建的第一能量方程，即仅仅保证重要特征点的网格的形变，以减少计算量。但除此之外，也可以根据第一图像的特征点集来构建的第一能量方程，以保证考虑第一图像的所有特征点的网格，提高第一图像的形变精度。

步骤23：针对每个第一网格，根据第一能量方程，确定在将第一图像与第二图像的空间位置对齐时该第一网格对应的第一目标网格的位置。其中，该第一目标网格的位置使得第一能量方程的值最小。即第一能量方程的目标是求取一组网格坐标点使得其值最小。

步骤24：根据第一网格的位置以及该第一网格对应的第一目标网格的位置，确定第一形变参数。即，根据每组的形变前后的第一网格的位置坐标，确定出第一图像的第一形变参数。

进一步的，上述的第一能量方程的表达式为：O₁(E)＝αE_d+βE_s+γE_l。

其中，E_d＝∑_i‖w_iV_i-P_i‖²，表示特征点坐标约束项。w_iV_i表示特征点i所在第一网格的四个顶点的坐标的加权平均和，即表示特征点i的坐标位置。P_i表示特征点i所在第一网格对应的第一目标网格的坐标。α为E_d的权重。

E_s(V₁)＝‖V₁-(V₂+u(V₃-V₂)+v(R₉₀(V₃-V₂)))‖²，表示局部刚性约束项。V₁、V₂、V₃分别表示第一网格中包裹特征点i的三角形的三个顶点的坐标，任意顶点V₁都可以用其他两个顶点坐标进行线性表示。u和v表示系数。β为E_s的权重。

表示最佳缝合线约束项。n表示最佳缝合线的等分点的个数，n为大于0的整数。w_jV_j表示等分点j所在第一网格的四个顶点的坐标的加权平均和，即等分点j的原始坐标位置。P_j表示在将第一图像与第二图像的空间位置对齐时等分点j的坐标位置。γ为E_l的权重。

可理解的，上述权重α、β和γ可以基于实际需求进行调整，本实施例不对此进行限制。

本发明实施例中，为了保证图像拼接效果，在对第二图像和第三图像进行拼接时，可以根据最佳缝合线的位置进行加权平均融合处理。上述步骤14中的拼接过程可以包括：

根据最佳缝合线的位置，采用如下公式对第二图像和第三图像进行加权平均融合处理：

I＝f*I₂(x，y)+(1-f)*I₃(x，y)

其中，f的取值范围为[0，1]。更进一步的，f的取值范围为[0.1，0.9]。f是基于第二图像I₂(x，y)中的像素点与最佳缝合线之间的距离确定，该距离越小，f越大。f比如为高斯函数。I₃(x，y)表示第三图像。

也就是说，为了使得第二图像和第三图像的重叠区域过渡平滑，本实施例中采用了渐入渐出的加权平均融合处理方式，即在重叠区域中，第二图像和第三图像的叠加权重与其到最佳缝合线的距离强相关，即距离越小，相应权重越大。这样，可以使得第二图像和第三图像的局部对应区域更加吻合，达到减少伪影、重影的拼接效果。

本发明实施例中，为了使得拼接后的图像呈现更好的视觉效果，同时又尽可能不丢失图像原有的信息，可以对拼接后的图像进行内容补全。而由于内容补全时可能使部分图像产生形变，因此可以通过对内容补全后的图像进行形变处理，来获取最终的拼接图像。

可选的，上述对第二图像和第三图像进行拼接之后，如图3所述，本实施例中的图像合成方法还可以包括：

步骤31：对第四图像进行内容补全，得到目标图像，该第四图像是对第二图像和第三图像进行拼接得到的图像。

此步骤中，对于存在不规则形状的拼接图像，可以通过图像缩放seam carving算法进行内容补全，形成一个矩形形状的图像。Seam carving算法是一种基于图像内容的缩放方法，此方法在进行图像缩放时可能会引起图像视觉主体的变形。

步骤32：根据最佳缝合线和特征匹配点集，确定第二形变参数；其中，该第二形变参数是目标图像的在将目标图像与第四图像的空间位置对齐时的形变参数。

步骤33：利用第二形变参数对目标图像进行形变，得到合成图像。

需指出的，此处最佳缝合线和特征匹配点集为上述实施例中所涉及的最佳缝合线和特征匹配点集。但除此之外，该特征匹配点集也可以替换为目标图像的所有特征点集，以提高所确定的形变参数的精度。该第二形变参数可以通过对目标图像进行网格划分，并借助网格形变来得到。

可选的，第二形变参数的确定方式与第一形变参数的确定方式类似，主要包括以下过程：

对目标图像进行网格划分，得到多个第二网格；比如，可以随机进行网格划分，可以采用8*8、16*16、或32*32等方式进行网格划分；

根据最佳缝合线和特征匹配点集，通过特征点坐标约束项和最佳缝合线约束项，构建第二能量方程；

针对每个第二网格，根据第二能量方程，确定在将目标图像与第四图像的空间位置对齐时第二网格对应的第二目标网格的位置；其中，第二目标网格的位置使得第二能量方程的值最小；

根据第二网格的位置以及该第二网格对应的第二目标网格的位置，确定第二形变参数。即，根据每组的形变前后的第二网格的位置坐标，确定出目标图像的第二形变参数。

进一步的，上述的第二能量方程的表达式为：O₂(E)＝α₀E_d′+γ₀E_l′。

其中，E_d′＝∑_i‖w_iV_i-P_i′‖²，表示特征点坐标约束项。w_iV_i表示特征点i所在第二网格的四个顶点的坐标的加权平均和，即表示特征点i的坐标位置。P_i′表示特征点i所在第二网格对应的第二目标网格的坐标。α₀为E_d′的权重。

表示最佳缝合线约束项。n表示最佳缝合线的等分点的个数，n为大于0的整数。w_jV_j表示等分点j所在第二网格的四个顶点的坐标的加权平均和，即等分点j的原始坐标位置。P_j′表示在将目标图像与第四图像的空间位置对齐时等分点j的坐标。γ₀为E_l′的权重。

可理解的，以将本发明实施例中的图像拼接方法应用于超广视角的全景成像为例，获取全景图像的过程可以包括：S1：针对同一拍摄场景下不同位置不同角度拍摄的多帧图像，在图像拼接过程中，获取各相邻帧图像间的特征匹配点集，并对每帧间图像(一帧为当前帧图像，一帧为参考帧图像)执行以下过程；S2：在帧间图像的重叠区域中，根据帧间图像在颜色空间和几何空间上的差值，确定最佳缝合线；S3：根据最佳缝合线和特征匹配点集，通过特征点坐标约束项、局部刚性约束项和最佳缝合线约束项构建能量方程，基于网格形变对当前帧图像进行形变，获取形变后的图像；S4：根据最佳缝合线位置，对形变后的图像与参考帧图像进行加权平均融合处理，获取拼接后的图像。S5：对拼接后的图像进行内容补全，获取补全后的图像；S6：针对补全前的图像(参考帧图像)和补全后的图像(当前帧图像)，根据最佳缝合线和特征匹配点集，通过特征点坐标约束项最佳缝合线约束项构建能量方程，基于网格形变对补全后的图像进行形变处理，获取最终的全景图像。

需指出的，在获取全景图像的过程中，对于内容补全处理，可以如上所述的对每帧间图像进行拼接之后立即进行内容补全处理，也可以在对所有的帧间图像的拼接完成之后，得到全景图像原始图，如图4a所示，然后对该全景图像原始图进行内容补全处理，得到补全后的全景图像，如图4b所示，并对该补全后的全景图像进行形变处理，得到最终的全景图像，如图4c所示。

请参见图5，图5是本发明实施例提供的一种图像拼接装置的结构示意图，该装置应用于电子设备，如图5所示，该图像拼接装置50包括：

获取模块51，用于获取第一图像和第二图像之间的特征匹配点集；其中，所述第一图像和所述第二图像是同一拍摄场景下的相邻两帧图像；

确定模块52，用于在所述第一图像和所述第二图像之间的重叠区域中，确定所述第一图像和所述第二图像的最佳缝合线；

第一形变模块53，用于根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，并利用所述第一形变参数对所述第一图像进行形变，得到第三图像；其中，所述第一形变参数是所述第一图像的在将所述第一图像与所述第二图像的空间位置对齐时的形变参数；

拼接模块54，用于对所述第二图像和所述第三图像进行拼接。

可选的，所述第一形变模块53包括：

第一构建单元，用于根据第一差值和第二差值，构建差值图像；其中，所述第一差值是所述第一图像和所述第二图像在颜色空间上的差值，所述第二差值是所述第一图像和所述第二图像在几何空间上的梯度差值；

选取单元，用于从所述差值图像中选取差值最小的路径作为所述最佳缝合线。

可选的，所述差值图像的表达式为：E(x，y)＝E_c(x，y)²+E_g(x，y)；

其中，E_c(x，y)＝I₁(x，y)-I₂(x，y)，表示所述第一差值；E_g(x，y)＝S_x(I₁(x，y)-I₂(x，y))²+S_y(I₁(x，y)-I₂(x，y))²，表示所述第二差值；S_x表示重叠区域水平方向的梯度值，S_y表示重叠区域垂直方向的梯度值；

其中，I₁(x，y)表示所述第一图像，I₂(x，y)表示所述第二图像。

可选的，所述第一形变模块53包括：

第一划分单元，用于对所述第一图像进行网格划分，得到多个第一网格；

第二构建单元，用于根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项、局部刚性约束项和最佳缝合线约束项，构建第一能量方程；

第一确定单元，用于针对每个所述第一网格，根据所述第一能量方程，确定在将所述第一图像与所述第二图像的空间位置对齐时所述第一网格对应的第一目标网格的位置；其中，所述第一目标网格的位置使得所述第一能量方程的值最小；

第二确定单元，用于根据所述第一网格的位置以及所述第一目标网格的位置，确定所述第一形变参数。

可选的，所述第一能量方程的表达式为：O₁(E)＝αE_d+βE_s+γE_l；

其中，E_d＝∑_i‖w_iV_i-P_i‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第一网格的四个顶点的坐标的加权平均和，P_i表示所述特征点i所在第一网格对应的第一目标网格的坐标；α为E_d的权重；

E_s(V₁)＝‖V₁-(V₂+u(V₃-V₂)+v(R₉₀(V₃-V₂)))‖²，表示局部刚性约束项；V₁、V₂、V₃分别表示所述第一网格中包裹特征点i的三角形的三个顶点的坐标；u和v表示系数；β为E_s的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第一网格的四个顶点的坐标的加权平均和，P_j表示在将所述第一图像与所述第二图像的空间位置对齐时所述等分点j的坐标；γ为E_l的权重。

可选的，所述拼接模块54具体用于：

根据所述最佳缝合线的位置，采用如下公式对所述第二图像和所述第三图像进行加权平均融合处理：

I＝f*I₂(x，y)+(1-f)*I₃(x，y)

其中，f的取值范围为[0，1]；f是基于所述第二图像中的像素点与所述最佳缝合线之间的距离确定，所述距离越小，f越大；I₂(x，y)表示所述第二图像，I₃(x，y)表示所述第三图像。

可选的，该图像拼接装置50还包括：

补全模块，用于对第四图像进行内容补全，得到目标图像；其中，所述第四图像是对所述第二图像和所述第三图像进行拼接得到的图像；

第二形变模块，用于根据所述最佳缝合线和所述特征匹配点集，确定第二形变参数，并利用所述第二形变参数对所述目标图像进行形变，得到合成图像；其中，所述第二形变参数是所述目标图像的在将所述目标图像与所述第四图像的空间位置对齐时的形变参数。

可选的，所述第二形变模块包括：

第二划分单元，用于对所述目标图像进行网格划分，得到多个第二网格；

第三构建单元，用于根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项和最佳缝合线约束项，构建第二能量方程；

第三确定单元，用于针对每个所述第二网格，根据所述第二能量方程，确定在将所述目标图像与所述第四图像的空间位置对齐时所述第二网格对应的第二目标网格的位置；其中，所述第二目标网格的位置使得所述第二能量方程的值最小；

第四确定单元，用于根据所述第二网格的位置以及所述第二目标网格的位置，确定所述第二形变参数。

可选的，所述第二能量方程的表达式为：O₂(E)＝α₀E_d′+γ₀E_l′；

其中，E_d′＝∑_i‖w_iV_i-P_i′‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第二网格的四个顶点的坐标的加权平均和，P_i′表示所述特征点i所在第二网格对应的第二目标网格的坐标；α₀为E_d′的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第二网格的四个顶点的坐标的加权平均和，P_j′表示在将所述目标图像与所述第四图像的空间位置对齐时所述等分点j的坐标；γ₀为E_l′的权重。

可理解的，本发明实施例的图像拼接装置50，可以实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例还提供了一种电子设备60，包括处理器61，存储器62，存储在存储器62上并可在所述处理器61上运行的程序或指令，该程序或指令被处理器61执行时实现上述图像拼接方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时可实现上述图1所示方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台服务分类设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像拼接方法，其特征在于，包括：

获取第一图像和第二图像之间的特征匹配点集；其中，所述第一图像和所述第二图像是同一拍摄场景下的相邻两帧图像；

在所述第一图像和所述第二图像之间的重叠区域中，确定所述第一图像和所述第二图像的最佳缝合线；

根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，并利用所述第一形变参数对所述第一图像进行形变，得到第三图像；其中，所述第一形变参数是所述第一图像的在将所述第一图像与所述第二图像的空间位置对齐时的形变参数；

对所述第二图像和所述第三图像进行拼接。

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像和所述第二图像的最佳缝合线，包括：

根据第一差值和第二差值，构建差值图像；其中，所述第一差值是所述第一图像和所述第二图像在颜色空间上的差值，所述第二差值是所述第一图像和所述第二图像在几何空间上的梯度差值；

从所述差值图像中选取差值最小的路径作为所述最佳缝合线。

3.根据权利要求2所述的方法，其特征在于，

所述差值图像的表达式为：E(x，y)＝E_c(x，y)²+E_g(x，y)；

其中，E_c(x，y)＝I₁(x，y)-I₂(x，y)，表示所述第一差值；E_g(x，y)＝S_x(I₁(x，y)-I₂(x，y))²+S_y(I₁(x，y)-I₂(x，y))²，表示所述第二差值；S_x表示重叠区域水平方向的梯度值，S_y表示重叠区域垂直方向的梯度值；

其中，I₁(x，y)表示所述第一图像，I₂(x，y)表示所述第二图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述最佳缝合线和所述特征匹配点集，确定第一形变参数，包括：

对所述第一图像进行网格划分，得到多个第一网格；

根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项、局部刚性约束项和最佳缝合线约束项，构建第一能量方程；

针对每个所述第一网格，根据所述第一能量方程，确定在将所述第一图像与所述第二图像的空间位置对齐时所述第一网格对应的第一目标网格的位置；其中，所述第一目标网格的位置使得所述第一能量方程的值最小；

根据所述第一网格的位置以及所述第一目标网格的位置，确定所述第一形变参数。

5.根据权利要求4所述的方法，其特征在于，

所述第一能量方程的表达式为：O₁(E)＝αE_d+βE_s+γE_l；

其中，E_d＝∑_i‖w_iV_i-P_i‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第一网格的四个顶点的坐标的加权平均和，P_i表示所述特征点i所在第一网格对应的第一目标网格的坐标；α为E_d的权重；

E_s(V₁)＝‖V₁-(V₂+u(V₃-V₂)+v(R₉₀(V₃-V₂)))‖²，表示局部刚性约束项；V₁、V₂、V₃分别表示所述第一网格中包裹特征点i的三角形的三个顶点的坐标；u和v表示系数；β为E_s的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第一网格的四个顶点的坐标的加权平均和，P_j表示在将所述第一图像与所述第二图像的空间位置对齐时所述等分点j的坐标；γ为E_l的权重。

6.根据权利要求1所述的方法，其特征在于，所述对所述第二图像和所述第三图像进行拼接，包括：

根据所述最佳缝合线的位置，采用如下公式对所述第二图像和所述第三图像进行加权平均融合处理：

I＝f*I₂(x，y)+(1-f)*I₃(x，y)

其中，f的取值范围为[0，1]；f是基于所述第二图像中的像素点与所述最佳缝合线之间的距离确定，所述距离越小，f越大；I₂(x，y)表示所述第二图像，I₃(x，y)表示所述第三图像。

7.根据权利要求1所述的方法，其特征在于，所述对所述第二图像和所述第三图像进行拼接之后，所述方法还包括：

对第四图像进行内容补全，得到目标图像；其中，所述第四图像是对所述第二图像和所述第三图像进行拼接得到的图像；

根据所述最佳缝合线和所述特征匹配点集，确定第二形变参数；其中，所述第二形变参数是所述目标图像的在将所述目标图像与所述第四图像的空间位置对齐时的形变参数；

利用所述第二形变参数对所述目标图像进行形变，得到合成图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述最佳缝合线和所述特征匹配点集，确定第二形变参数，包括：

对所述目标图像进行网格划分，得到多个第二网格；

根据所述最佳缝合线和所述特征匹配点集，通过特征点坐标约束项和最佳缝合线约束项，构建第二能量方程；

针对每个所述第二网格，根据所述第二能量方程，确定在将所述目标图像与所述第四图像的空间位置对齐时所述第二网格对应的第二目标网格的位置；其中，所述第二目标网格的位置使得所述第二能量方程的值最小；

根据所述第二网格的位置以及所述第二目标网格的位置，确定所述第二形变参数。

9.根据权利要求8所述的方法，其特征在于，

所述第二能量方程的表达式为：O₂(E)＝α₀E_d′+γ₀E_l′；

其中，E_d′＝∑_i‖w_iV_i-P_i′‖²，表示特征点坐标约束项；w_iV_i表示特征点i所在第二网格的四个顶点的坐标的加权平均和，P_i′表示所述特征点i所在第二网格对应的第二目标网格的坐标；α₀为E_d′的权重；

表示最佳缝合线约束项；n表示所述最佳缝合线的等分点的个数，w_jV_j表示等分点j所在第二网格的四个顶点的坐标的加权平均和，P_j′表示在将所述目标图像与所述第四图像的空间位置对齐时所述等分点j的坐标；γ₀为E_l′的权重。

10.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-9中任一项所述的图像拼接方法的步骤。

11.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-9中任一项所述的图像拼接方法的步骤。

Images