CN109767388A - 基于超像素提升图像拼接质量的方法、移动终端、相机 - Google Patents

Abstract

本发明属于图像拼接技术领域，公开了一种基于超像素提升图像拼接质量的方法、移动终端、相机；对图像进行SIFT特征提取，利用描述子进行特征匹配，得到匹配对集合；对匹配对集合进行内点的筛选，并根据直接线性算法DLT，利用筛选得到的内点集合构造系数矩阵A；对图像进行超像素划分，并计算超像素的中心坐标；利用超像素中心坐标和匹配对集合，计算得到超像素的权重矩阵W；利用超像素的权重矩阵W乘以系数矩阵A，并对该乘积进行奇异值分解，得到超像素的映射变换矩阵；利用映射变换矩阵对超像素进行映射变换，得到拼接图像。本发明可以高效的对齐需要拼接的图像，解决了图像拼接过程中的重影和错位问题。

Description

基于超像素提升图像拼接质量的方法、移动终端、相机

技术领域

本发明属于图像拼接技术领域，尤其涉及一种基于超像素提升图像拼接质量的方法、移动终端、相机。

背景技术

目前，业内常用的现有技术是这样的：目前，随着移动端手机的不断发展和迭代，人们对于相机的要求也越来越高，人们已经不满足于拍摄单张图像，而是希望将拍摄的图像拼接起来，图像拼接也成为计算机视觉领域的研究热点。基于特征点的图像拼接目前依然是图像拼接中的主流算法，最具代表性的就是AutoStitch，该软件集合了全局单应性对齐、球面投影、BA优化和多频段融合等算法。但是该软件对拼接的图像有两个要求，第一要求图像的重合区域要近似一个平面，第二要求拍摄的时候相机的光心要近似重合，对于不满足上述两个条件的拼接图像，拼接得到的结果就会出现重影和错位问题。之后的人们针对一个单应矩阵的对齐能力不够，提出了Dual-Homography Warping(DHW)方法，即双映射变换矩阵对齐图像的方法，将图像中的场景划分为背景平面和前景平面，利用两个单应矩阵对上述两个场景进行对齐，解决了现实中的大部分现实场景拼接问题。之后人们有继续优化拼接方法，出现了Smoothly Varying Affine(SVA)多个仿射变换对齐图像，可以对具有较大视差的图像进行拼接。之后在As-Projective-As-Possible(APAP)中将对齐图像的能力发挥到最大，该方法将图像划分为密集的网格，每个网格都对应一个映射变换矩阵，该方法可以很好的对齐现实中的场景。但是该方法的对齐能力是建立在对图像进行密集的网格划分之上的，根据论中的实验数据，该方法划分的网格数量在一万个左右，所以该算法在时间复杂度和空间复杂度上并不是很理想。

综上所述，现有技术存在的问题是：对于重叠区域不在一个平面，或者图像之间存在较大视差的情况，现有算法不能很好的对其图像，或者对齐的效率太低，处理速度太慢。

解决上述技术问题的难度和意义：如何保证算法在对图像进行拼接时，待拼接图像的重叠区域不在同一个景深平面或者图像之间存在较大的视差时既能够对齐图像，使得拼接的图像无重影和错位等问题；又能够快速的完成图像的拼接，做到对齐能力强同时满足拼接速度快。

发明内容

针对现有技术存在的问题，本发明提供了一种基于超像素提升图像拼接质量的方法、移动终端、相机。

本发明是这样实现的，一种基于超像素提升图像拼接质量的方法，所述基于超像素提升图像拼接质量的方法包括：

(1)对图像进行SIFT特征提取，并利用提取的特征描述子进行特征匹配，得到匹配对集合；

(2)利用RNASAC算法对匹配对集合进行内点的筛选，根据直接线性算法DLT，利用筛选得到的内点集合构造系数矩阵A；

(3)对图像进行超像素的划分，并计算超像素的中心坐标；

(4)利用超像素的中心坐标和筛选得到的内点，计算超像素的权重矩阵W；

(5)利用超像素的权重矩阵W和全局系数矩阵A，根据奇异值分解技术计算超像素的映射变换矩阵H；

(6)利用超像素的映射变换矩阵对图像进行映射变换，并对映射变换后的图像进行插值处理，得到最终的拼接结果。

进一步，所述步骤一中提取图像中的特征点，并计算特征点对应的特征描述子，利用特征描述子进行特征匹配，得到对应的匹配对集合，具体包括：采用SIFT算法提取图像中的特征点，SIFT算法会从图像中提取出位置、尺度和旋转的不变量，将这些不变量称为特征点；在特征点周围计算梯度信息，根据梯度信息建立特征描述子；计算图像之间特征描述子的距离，得到对应的特征匹配对集合。

进一步，所述步骤二中利用RANSAC算法对特征匹配对集合筛选得到内点，并根据内点集合构造全局系数矩阵A具体包括：对特征匹配对集合进行筛选，得到符合条件的内点集合；不同图像之间匹配的两个点(u、v)与(x、y)通过下面的映射关系表示：

上述等式中H是一个3×3的矩阵，自由度为8，具体形式如下：

将H代入上述可得：

cu＝h₁x+h₂y+h₃

cv＝h₄x+h₅y+h₆

c＝h₇x+h₈y+h₉

对三个等式化简整理得：

h₁x+h₂y+h₃+h₄*0+h₅*0+h₆*0-h₇*xu-h₈*yu-h₉u＝0

h₁*0+h₂*0+h₃*0+h₄x+h₅y+h₆-h₇*xv-h₈*yv-h₉v＝0

RANSAC算法筛选内点先从特征匹配对集合中随机的选出4对匹配的特征点，计算得到H矩阵；使用H矩阵将剩余的特征点进行映射变换，判断经过映射变换的点是否符合内点要求；重复上述过程多次，统计符合条件的内点数目最多的情况，就是筛序得到的内点集合；

利用筛选得到的内点集合，根据上述等式构造全局系数矩阵A，第i对匹配的内点为(x_i,y_i)和(u_i,v_i)，那么系数矩阵A的第i行和第i+1行为：

A[2*i:]＝(x_i,y_i,1,0,0,0,-x_iu_i,-y_iu_i,-u_i)；

A[2*i+1:]＝(0,0,0,x_i,y_i,1,-x_iv_i,-y_iv_i,-v_i)；

筛选得到N对内点，构造得到(2N,9)大小的系数矩阵A。

进一步，所述步骤三中对图像进行超像素的划分，并根据划分的超像素计算中心坐标位置；先给每一个像素点建立描述子，包括颜色、亮度描述信息；再根据聚类的思想，计算图像像素点的描述子之间的距离，将像素点描述子之间距离近的归为一类，称这一类像素点为一个超像素；对超像素内的像素点坐标进行平均，得到超像素的中心坐标。

进一步，所述步骤四中利用图像的超像素中心和内点匹配对集合，计算超像素的权重矩阵W，具体如下：先计算内点(x_i,y_i)与超像素中心(z_x,z_y)的距离d_i：

之后由d_i计算内点(x_i,y_i)对应的权值w_i，计算公式如下：

由N对匹配的内点计算得到第k个超像素对应的权重矩阵为W_k，W_k的表达式如下：

W_k＝diag([w_k,1,w_k,1,w_k,2,w_k,2,......,w_k,N,w_k,N])；

权重矩阵W_k是一个(2N,2N)大小的对角矩阵，除对角线以外，其它的所有的元素都为0。

进一步，所述步骤五中利用超像素的权重矩阵W乘以系数矩阵A，并对其乘积进行奇异值分解得到超像素的映射变换矩阵；定义M为W和A的乘积，即：M＝W×A，根据直接线性算法，对矩阵M进行奇异值分解，得到超像素对应的映射变换矩阵。

进一步，所述步骤六中利用映射变换矩阵对超像素进行映射变换，并对映射变换结果进行插值处理，得到最终的拼接结果；根据图像中的超像素对应的映射变换矩阵，将超像素映射变换到另一幅图像上去；由于映射变换会对图像有一定程度的拉伸，造成经过映射变换后的超像素内部或者超像素之间会有像素点的像素值为零，对缺失像素值的像素点进行插值处理，得到最终的拼接结果。

本发明的另一目的在于提供一种应用所述基于超像素提升图像拼接质量的方法的移动终端。

本发明的另一目的在于提供一种应用所述基于超像素提升图像拼接质量的方法的相机。

综上所述，本发明的优点及积极效果为：本发明基于超像素的图像拼接方法可以通过对拼接图像进行超像素的划分，利用划分的超像素对图像进行对齐拼接，避免的密集的网格划分方法，提高的图像拼接速度。而且在划分超像素的时候可以通过设置不同的参数，对拼接图像进行不同程度的超像素划分，使得图像区域的划分更加合理，避免了网格划分将相同景深的物体割裂开，从而提高图像的对齐能力。而且在超像素点较少的情况下，本发明都可以获得很好的的拼接效果。本发明实现了一种速度快、对齐能力强的图像拼接方法。

附图说明

图1是本发明实施例提供的基于超像素提升图像拼接质量的方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术对于重叠区域不在一个平面，或者图像之间存在较大视差的情况，现有算法不能很好的对其图像，或者对齐的效率太低，处理速度太慢的问题。在超像素点较少的情况下，本发明都可以获得很好的拼接效果。本发明实现了一种速度快、对齐能力强的图像拼接方法。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于超像素提升图像拼接质量的方法包括以下步骤：

S101：对图像进行SIFT特征提取，并利用特征描述子进行特征匹配，得到对应的匹配对集合；

S102：利用RANSAC算法对得到的匹配对集合进行内点的筛选，根据直接线性算法，利用筛选的匹配对集合构造系数矩阵A；

S103：对待拼接图像进行超像素划分，并计算超像素的中心点坐标；

S104：利用图像的超像素中心点坐标和匹配对集合，计算超像素的权重矩阵W；

S105：利用权重矩阵W乘以系数矩阵A，并对其乘积进行奇异值分解得到超像素的映射变换矩阵；

S106：利用映射变换矩阵对超像素进行映射变换，并对映射变换结果进行插值处理，得到最终的拼接结果。

在本发明的优选实施例中，步骤S101中对图像进行SIFT特征提取，并利用特征描述子进行特征匹配，得到对应的匹配对集合，具体包括：利用SIFT算法对图像I_A和图像I_B进行特征提取和匹配。SIFT算法主要分为三个步骤，第一步，提取出图像I_A和图像I_B中的特征点，特征点主要包括三个信息：位置、尺度和方向；第二步，需要为每个特征点建立一个描述符，通过对特征点周围的图像区域分块，计算块内的梯度直方图，一般计算特征点尺度空间内4*4大小的窗口内8个方向的梯度信息，也就是一共有128维的向量来表征特征点，这128维的向量被称为特征描述符；第三步，利用快速最近邻(FLANN)方法对上述特征点的高维描述符进行快速匹配，得到图像I_A和图像I_B之间对应的特征匹配对集合。

在本发明的优选实施例中，步骤S102中利用RANSAC算法对得到的匹配对集合进行内点的筛选，根据直接线性算法，利用筛选的匹配对集合构造系数矩阵A，具体包括：在利用RANSAC算法筛选得到两幅图像匹配的内点集合中，首先需要利用直接线性算法计算得到一组映射变换关系，映射关系的表达式如下：

其中(u、v)表示图像I_A中的特征点坐标，(x、y)表示表示图像I_B中与(u、v)点匹配的特征点坐标。H是一个3×3的矩阵，它的自由度为8。具体形式如下：

给定匹配对集合就可以利用上述等式求解H矩阵。为求解上述等式，需先将上述等式展开得：

cu＝h₁x+h₂y+h₃；

cv＝h₄x+h₅y+h₆；

c＝h₇x+h₈y+h₉；

之后对上述等式化简整理得：

h₁x+h₂y+h₃+h₄*0+h₅*0+h₆*0-h₇*xu-h₈*yu-h₉u＝0；

h₁*0+h₂*0+h₃*0+h₄x+h₅y+h₆-h₇*xv-h₈*yv-h₉v＝0；

由上述等式可知，给定一对匹配的特征点可以列出两组等式方程，那么要计算得出自由度为8的H矩阵，就需要4对匹配的特征点，组成8个方程，就可以计算得出H映射变换矩阵。

利用RANSAC算法筛选内点就是基于上述计算过程，具体过程如下：先设立一个阈值d_max，该阈值是用来判断特征点是内外点的。之后从上述步骤S101计算得到的图像I_A和图像I_B的特征匹配对集合中随机的选出4对匹配的特征点。之后再根据上述等式方程，利用这4对匹配的特征点计算出映射变换矩阵H。之后利用映射变换矩阵H，将图像I_B中除这4个点之外的匹配特征点映射变换到图像I_A上，再计算图像I_A上经过映射变换后的特征点和对应匹配特征点之间的距离d，如果该距离d小于阈值d_max，就认为该特征点符合该映射变换等式；否则就认为不符合。统计出符合该映射变换关系的特征点数目，这些特征点就被称为内点。之后不断的重复上述过程多次，如果统计得出的内点数目增加，则更新内点和内点数目，经过多次迭代之后就筛选出符合条件的内点。

进一步就是利用筛选出的内点对齐图像，对齐图像I_A和图像I_B的目的就是使得一幅图像上的内点经过映射变换之后能够尽量和对应图像上匹配的内点重合，也就是二者之间的距离尽可能的小。这里定义一个误差函数用来表示上述关系：

其中||a_ih||表示将图像I_A上的内点a_i映射变换到图像I_B上之后的点与图像I_B上的a_i匹配的内点之间的距离，使得上述误差函数最小的h矩阵就是用来对齐图像I_A和图像I_B的单应矩阵。

求解单应矩阵h需要根据直接线性算法构造系数矩阵A，之后对系数矩阵A进行奇异值分解，即可求解单应矩阵h。系数矩阵A的构造具体如下：以第i对匹配的内点为例，即(x_i,y_i)与(u_i,v_i)互为匹配的内点，其中(u_i,v_i)∈I_A，(x_i,y_i)∈I_B，系数矩阵A的表示形式如下：

A[2*i:]＝(x_i,y_i,1,0,0,0,-x_iu_i,-y_iu_i,-u_i)；

A[2*i+1:]＝(0,0,0,x_i,y_i,1,-x_iv_i,-y_iv_i,-v_i)；

系数矩阵A构造完成之后，误差函数的表示如下：

假设图像I_A与图像I_B有N对匹配的特征点，系数矩阵A就是一个(2N,9)的矩阵，对该矩阵进行奇异值分解就可以得到用于对齐图像的单应矩阵h。

在本发明的优选实施例中，步骤S103对图像进行超像素的划分，并根据划分的超像素计算中心像素点的坐标位置，具体如下：由于将图像I_B对齐到图像I_A上，因此对图像I_B进行超像素的划分。超像素的划分主要利用聚类的思想，首先按照预设定的超像素个数对图像I_B进行均匀的分割，并初始化种子点；之后在种子点附近的3×3邻域内计算最小梯度值的像素点，将种子点移动到梯度值最小的像素点位置；开始计算每个像素点到附近种子点的距离，找到距离该像素点最近的种子点，并将该像素点划分为这个种子点对应的超像素，更新超像素对应的种子点；不断的重复上述过程，进行迭代优化，直到超像素的中心点不再发生变换，完成对图像的超像素划分。

假设图像I_B中划分的一个超像素包含有M个像素点，超像素中心点z的坐标计算如下：

其中(z_x,z_y)表示超像素的中心点坐标，(x_i,y_i)表示超像素内第i个像素的坐标。

在本发明的优选实施例中，步骤S104中利用步骤S102中得到的匹配对集合和步骤S103中得到的超像素，计算得到超像素的权重矩阵W，具体如下：假设图像I_B中的一个超像素的中心点坐标为z，其中z＝(z_x,z_y)，计算图像I_B上的一个特征点u_i到超像素的中心点坐标z的距离d_i，计算公式如下：

之后由d_i计算得到权重矩阵中W中的权值w_i，计算公式如下：

上述表达式中的σ与γ均为需要调整的参数，经过实验σ与γ的范围是：σ∈[8,12]，γ∈[0.0025,0.025]。

由于步骤S102筛选得到N对匹配的特征点，为了与全局系数矩阵A的维度相匹配，第k个超像素的权重矩阵W_k的表示形式如下：

由上述计算可知权重矩阵W_k是一个2N×2N的对角矩阵，除对角线以外，其它的所有的元素都为0。

在本发明的优选实施例中，步骤S105中利用步骤S104中超像素的权重矩阵和步骤S102中的全局系数矩阵A相乘，对得到的乘积进行奇异值分解，得到超像素对应的映射变换矩阵，具体如下：以图像I_B中的第j个超像素为例进行说明，假设第j个超像素的权重矩阵为W_j，图像I_B对应的全局系数矩阵为A，根据步骤S102中对误差函数的定义，那么超像素j的误差函数为：

为求解得到第j个超像素的单应矩阵，需要利用直接线性算法，定义矩阵M_j等于W_j乘以A，即M_j＝W_jA，对矩阵M_j进行奇异值分解，即可求解图像I_B中第j个超像素对应的单应矩阵h。

在本发明的优选实施例中，步骤S106中利用超像素对应的权重矩阵，将图像I_B中的所有像素进行映射变换，并对映射变换后的结果进行插值处理，具体如下：将图像I_B划分成为多个超像素，利用步骤S105计算得出每个超像素的单应矩阵h；之后将图像B的每一个超像素映射变换到图像I_A上，并对映射变换得图像进行插值处理，得到最终拼接结果。

下面结合实验对本发明的应用效果做详细的描述。

为了说明本发明能够很好的提升拼接效率，同时也能够解决待拼接图像的重叠区域不在一个平面或者存在较大视差导致的重影和错位问题。分别进行了不同场景下的拼接实验，在取得和对齐能力极强的APAP算法一样的拼接效果下，表1给出了APAP拼接所需要时间和本发明拼接所需要的时间。

表1：APAP与本发明测试时间

拼接时间(s)	rail	temple	house	Site
					APAP	12.23	11.45	14.69	13.98
Proposed	1.65	1.61	2.19	1.97

从上述表1的结果可知，本发明的时间复杂度相对于APAP方法有了很大的提升。本发明可以解决图像拼接过程中出现的重影和错位问题，实验结果表明本发明的可用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于超像素提升图像拼接质量的方法，其特征在于，所述基于超像素提升图像拼接质量的方法包括：

(1)对图像进行SIFT特征提取，并利用提取的特征描述子进行特征匹配，得到匹配对集合；

(2)利用RNASAC算法对匹配对集合进行内点的筛选，根据直接线性算法DLT，利用筛选得到的内点集合构造系数矩阵A；

(3)对图像进行超像素的划分，并计算超像素的中心坐标；

(4)利用超像素的中心坐标和筛选得到的内点，计算超像素的权重矩阵W；

(5)利用超像素的权重矩阵W和全局系数矩阵A，根据奇异值分解技术计算超像素的映射变换矩阵H；

(6)利用超像素的映射变换矩阵对图像进行映射变换，并对映射变换后的图像进行插值处理，得到最终的拼接结果。

2.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤一中提取图像中的特征点，并计算特征点对应的特征描述子，利用特征描述子进行特征匹配，得到对应的匹配对集合，具体包括：采用SIFT算法提取图像中的特征点，SIFT算法会从图像中提取出位置、尺度和旋转的不变量，将这些不变量称为特征点；在特征点周围计算梯度信息，根据梯度信息建立特征描述子；计算图像之间特征描述子的距离，得到对应的特征匹配对集合。

3.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤二中利用RANSAC算法对特征匹配对集合筛选得到内点，并根据内点集合构造全局系数矩阵A具体包括：对特征匹配对集合进行筛选，得到符合条件的内点集合；不同图像之间匹配的两个点(u、v)与(x、y)通过下面的映射关系表示：

上述等式中H是一个3×3的矩阵，自由度为8，具体形式如下：

将H代入上述可得：

cu＝h₁x+h₂y+h₃

cv＝h₄x+h₅y+h₆

c＝h₇x+h₈y+h₉

对三个等式化简整理得：

h₁x+h₂y+h₃+h₄*0+h₅*0+h₆*0-h₇*xu-h₈*yu-h₉u＝0

h₁*0+h₂*0+h₃*0+h₄x+h₅y+h₆-h₇*xv-h₈*yv-h₉v＝0

RANSAC算法筛选内点先从特征匹配对集合中随机的选出4对匹配的特征点，计算得到H矩阵；使用H矩阵将剩余的特征点进行映射变换，判断经过映射变换的点是否符合内点要求；重复上述过程多次，统计符合条件的内点数目最多的情况，就是筛序得到的内点集合；

利用筛选得到的内点集合，根据上述等式构造全局系数矩阵A，第i对匹配的内点为(x_i,y_i)和(u_i,v_i)，那么系数矩阵A的第i行和第i+1行为：

A[2*i:]＝(x_i,y_i,1,0,0,0,-x_iu_i,-y_iu_i,-u_i)；

A[2*i+1:]＝(0,0,0,x_i,y_i,1,-x_iv_i,-y_iv_i,-v_i)；

筛选得到N对内点，构造得到(2N,9)大小的系数矩阵A。

4.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤三中对图像进行超像素的划分，并根据划分的超像素计算中心坐标位置；先给每一个像素点建立描述子，包括颜色、亮度描述信息；再根据聚类的思想，计算图像像素点的描述子之间的距离，将像素点描述子之间距离近的归为一类，称这一类像素点为一个超像素；对超像素内的像素点坐标进行平均，得到超像素的中心坐标。

5.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤四中利用图像的超像素中心和内点匹配对集合，计算超像素的权重矩阵W，具体如下：先计算内点(x_i,y_i)与超像素中心(z_x,z_y)的距离d_i：

之后由d_i计算内点(x_i,y_i)对应的权值w_i，计算公式如下：

由N对匹配的内点计算得到第k个超像素对应的权重矩阵为W_k，W_k的表达式如下：

W_k＝diag([w_k,1,w_k,1,w_k,2,w_k,2,......,w_k,N,w_k,N])；

权重矩阵W_k是一个(2N,2N)大小的对角矩阵，除对角线以外，其它的所有的元素都为0。

6.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤五中利用超像素的权重矩阵W乘以系数矩阵A，并对其乘积进行奇异值分解得到超像素的映射变换矩阵；定义M为W和A的乘积，即：M＝W×A，根据直接线性算法，对矩阵M进行奇异值分解，得到超像素对应的映射变换矩阵。

7.如权利要求1所述的基于超像素提升图像拼接质量的方法，其特征在于，所述步骤六中利用映射变换矩阵对超像素进行映射变换，并对映射变换结果进行插值处理，得到最终的拼接结果；根据图像中的超像素对应的映射变换矩阵，将超像素映射变换到另一幅图像上去；由于映射变换会对图像有一定程度的拉伸，造成经过映射变换后的超像素内部或者超像素之间会有像素点的像素值为零，对缺失像素值的像素点进行插值处理，得到最终的拼接结果。

8.一种应用权利要求1～8任意一项所述基于超像素提升图像拼接质量的方法的移动终端。

9.一种应用权利要求1～8任意一项所述基于超像素提升图像拼接质量的方法的相机。