CN110111248A - 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 - Google Patents

Abstract

本发明属于图像拼接技术领域，公开了一种基于特征点的图像拼接方法、虚拟现实系统、照相机；首先对两幅图像提取fast角点，并计算harris角点响应，进行网格划分，在每一个网格内，对fast角点进行harris角点响应排序，筛选出强特征点；然后对强特征点进行orb和brief描述子描述，并分别进行暴力匹配，筛选匹配完全一致的特征点匹配对，计算引导矩阵；利用引导矩阵，将先前提取的fast角点进行映射，进行区域限定匹配；在进行得到特征点匹配对后，根据相似的单应矩阵具有相近的位置冲突关系来改进ransac，最终能够得到较好的结果。本发明可以快速的计算出图像之间的单应关系，取得较好的拼接结果。

Description

一种基于特征点的图像拼接方法、虚拟现实系统、照相机

技术领域

本发明属于图像拼接技术领域，尤其涉及一种基于特征点的图像拼接方法、虚拟现实系统、照相机。

背景技术

目前，最接近的现有技术：随着计算机技术的飞速发展，一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在需要真实、全面、直观的表现某一场景时，全景图像拼接无疑是最好的选择。目前基于特征点的图像拼接方法仍然为主流方法，首先检测出图像的特征点，并进行配准，根据图像匹配情况，能够计算出图像之间的变换模型，用所得到的模型对待拼接的图像进行变换，然后使用光照一致性方法以改善图像光照差异，再对图像重叠部分进行融合处理，从而得到了拼接图像。

基于特征的图像拼接技术不易受图像平移、旋转、尺度缩放、光照及视角变化等因素的影响，具有配准精度高、拼接效果好等优点，但是其速度却差强人意，在图像质量不好的情况下，拼接效果也无法得到保证。最常用的sift算法，由于sift计算关键点过程需要构建高斯金字塔和高斯差分金字塔，以模拟人眼由远及近的观察过程，同时在不同尺度上的特征点还要保证稳定性和唯一性，需要进行极大值抑制和精确点定位，并计算其主方向，能够使特征点具备旋转不变性，在对特征点进行描述时，需要计算关键点周围像素的梯度，并进行划分统计，以上步骤使sift计算复杂度高，计算速度慢，而在实际应用中无法满足要求。而orb算法是一种基于二进制描述方法，使用fast寻找图像中中间像素与周围像素相差过大的特征点，使用brief对特征点描述，采用随机采样，比较两次采样结果的大小赋值为0或1，由于这种方法采用二进制描述，匹配速度很快，但是其鲁棒性不是很好。在得到匹配对后，还需要使用ransac进行筛选匹配对，很多情况下ransac时间过长，而且得出的单应矩阵的正确性也无法保证。同时传统ransac需要对每一个随机计算的单应矩阵进行模型的误差计算，都造成了大量的时间消耗。而图像的配准精度与速度是影响图像拼接质量好坏的决定性因素，待拼接图像的质量千差万别，在提升拼接质量的前提下，对拼接算法提速是一个重要的研究内容。由于以上种种原因，目前还没有一种通用的拼接方法能够很好地同时满足鲁棒性和实时性的要求，如何兼顾这两点一直是近期拼接领域的研究重点。

综上所述，现有技术存在的问题是：目前基于特征点的图像拼接算法在特征点提取和配准过程中计算复杂度高，计算速度慢，无法应对一些图像质量差的情况，如特征点较少或者光照不均匀等情况；ransac时间过长，得出的单应矩阵的正确性也无法保证，从而造成整个图像拼接时间过长，无法进行实时应用。

解决上述技术问题的难度：如何在图像质量不好的情况下，仍然能够快速实现图像精准配准，以实现提升图像拼接的质量和速度。

解决上述技术问题的意义：在应对图像质量不好的情况下，仍然能够快速拼接出高质量的全景图像，为实时全景拼接提供可能。

发明内容

针对现有技术存在的问题，本发明提供了一种基于特征点的图像拼接方法、虚拟现实系统、照相机。

本发明是这样实现的，一种基于特征点的图像拼接方法，所述基于特征点的图像拼接方法包括：

第一步，对两幅图像进行fast角点提取，计算harris角点响应，并对图像网格化，在每一个网格内根据角点响应排序，筛选强特征点；

第二步，对强特征点进行orb和brief二进制描述子描述，然后分别进行暴力匹配，筛选出完全一致的匹配对，利用ransac求出引导矩阵；

第三步，将之前提取的fast角点利用引导矩阵进行映射，将其需要匹配的位置信息进行限定；

第四步，得到图像的匹配对后，随机选取4对匹配对求解单应矩阵，

第五步，选取4个固定点，利用单应矩阵进行映射，得到的位置信息，记录其坐标值到一个容器L内；

第六步，将获得的位置信息与L中已存在的进行差值计算，差值大于一定阈值重复第四步和第五步，差值小于一定的阈值，则计算模型的优劣，直到满足停止条件，则输出最优的单应矩阵；然后进行图像拼接，得到最终的结果。

进一步，所述第一步中对两幅图像提取强特征点具体为：对两幅图像进行fast角点提取，fast特征点是对图像上某个像素周围一定半径的像素进行比较，若有连续的一部分像素灰度值比中心点的像素灰度大于或小于一定的阈值，则认为中心点为特征点。再对提取到的特征点进行harris角点响应值计算，计算公式为：

R＝det M-α(traceM)²；

其中，det M是矩阵M的行列式，traceM是矩阵M的迹，ω为窗函数，I_x(x,y)为x方向梯度，I_y(x,y)为y方向的梯度；然后分别对两幅图像进行网格化，对每一个网格内的fast角点根据harris角点响应值进行排序，筛选出网格内响应值排在前三名的作为强特征点。

进一步，所述第二步中计算引导矩阵具体为：通过对强特征点进行二进制描述，采用orb和brief两种描述方法，BRIEF描述子采用二进制码串作为描述子向量；Brief以特征点p为中心，取一个S×S大小的Patch邻域；在这个邻域内随机取N对点；对这2×N点分别做高斯平滑；定义τ测试，比较N对像素点的灰度值的大小；

则二进制码串组成的N维向量为：

Orb描述子则是在brief基础上提出使用矩法确定FAST特征点的方向；通过矩计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：

而该窗口的质心是：

那么整个窗口的旋转为：

θ＝atan2(m₀₁,m₁₀)θ∈(-π,π)；

采用两种不同的二进制码串，匹配上采用汉明距离，选取匹配一致的部分作为计算引导矩阵的匹配对。

进一步，所述第三步中利用引导矩阵进行区域限定匹配具体为：将之前两幅图像提取的fast角点全部做orb二进制描述，根据特征点的坐标对第二幅图像进行网格划分，然后采用引导匹配，将第一幅图的特征点利用下式进行映射：

其中，是引导矩阵，(x,y,1)^T是第一幅图像特征点的齐次坐标，(x',y',1)^T是第一幅图像特征点经过引导矩阵G映射在第二幅图像上的齐次坐标位置，确定了第一幅图像特征点的网格，在网格内进行暴力匹配。

进一步，所述第四步中随机求解单应矩阵具体为：随机选取4对匹配对，利用DLT算法计算单应矩阵，第一幅图像和第二幅图像对应匹配点为p和p’，其中p＝(x,y,1)^T，p’＝(x',y',1)^T，他们的对应关系为：

其中H是一个3*3的矩阵，自由度为8，具体形式为；

由p'＝Hp可得p'×Hp＝0，即；

对上式展开得；

当随机选取4对匹配点对时，带入上式得；

利用此式子则计算出随机选取4对匹配点对的单应矩阵。

进一步，所述第五步中固定点映射得到位置信息具体为：选取固定的四个点分别为z＝[(0,0),(h,0),(h,w),(0,w)]，其中，h和w分别为图像的高和宽，利用得到的单应矩阵进行映射，得到z'＝[(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)]，存储到容器L中。

进一步，所述第六步中得到最优单应矩阵具体为：每得到一个位置关系向量时，与L中容器中位置关系进行位置冲突判断，使用下式：

d＝|x₁-x₁'|+|y₁-y₁'|+|x₂-x₂'|+|y₂-y₂'|+|x₃-x₃'|+|y₃-y₃'|+|x₄-x₄'|+|y₄-y₄'|；

若计算得到的d大于阈值，将位置坐标信息存储到容器L后，不做其他操作，直接再次重复第四步和第五步；当d小于一个阈值，则认为这两次得到的位置关系冲突，则单应矩阵正确的可能性较大，则进行误差计算，若优于之前的单应矩阵，则进行模型的更新；迭代计算n’次后，输出最优单应矩阵；迭代次数n’的具体推导如下：两幅图像之间的特征点正确匹配的概率为w，即内点率，n次实验后，找到正确的单应矩阵正确的概率为：

p₀＝1-P[G_s＝0]＝1-(1-p_in)ⁿ；

至少两次找到正确的概率为：

p₀＝P[G_s＞2]＝1-(1-p_in)ⁿ'-n*p_in*(1-p_in)ⁿ'^-1；

对两个概率曲线进行差值拟合，得到差值函数为：

δ＝1.7*ω^-4；

则n’为：

本发明的另一目的在于提供一种应用所述基于特征点的图像拼接方法的虚拟现实系统。

本发明的另一目的在于提供一种应用所述基于特征点的图像拼接方法的照相机。

本发明的另一目的在于提供一种应用所述基于特征点的图像拼接方法的医学图像处理系统。

综上所述，本发明的优点及积极效果为：本发明是基于特征点的图像拼接加速算法，适用于待拼接图片质量不好的情况下，也可以得到较好的图像拼接结果。通过提取强特征点进行双二进制描述子描述，投票筛选完全一致的匹配计算引导矩阵，利用引导矩阵限定匹配步骤中特征点的范围，最后通过过滤大部分的不正确的随机单应矩阵，计算得到最优模型，解决了图像配准不准确的技术难题，克服了传统算法实时性与鲁棒性不可兼容的缺点，实现了一种基于特征点快速、鲁棒的图像拼接算法。

附图说明

图1是本发明实施例提供的基于特征点的图像拼接方法流程图。

图2图3是本发明实施例提供的两组计算特征点匹配对实验结果对比图。

图4图5是本发明实施例提供的两组拼接实验结果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明所要解决的技术问题是提供一种基于特征点的图像拼接加速方法，为了加快特征点提取与匹配速度，同时还要保证其鲁棒性，进行ransac的时候，滤除不必要的随机单应矩阵误差计算。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于特征点的图像拼接方法包括以下步骤：

S101：对两幅图像进行fast角点提取，计算harris角点响应，并对图像网格化，在每一个网格内根据角点响应排序，筛选强特征点；

S102：对强特征点进行orb和brief二进制描述子描述，然后分别进行暴力匹配，筛选出完全一致的匹配对，利用ransac求出引导矩阵；

S103：将之前提取的fast角点利用引导矩阵进行映射，将其需要匹配的位置信息进行限定；

S104：得到图像的匹配对后，随机选取4对匹配对求解单应矩阵，

S105：选取4个固定点，利用单应矩阵进行映射，得到的位置信息，记录其坐标值到一个容器L内；

S106：将获得的位置信息与L中已存在的进行差值计算，差值大于一定阈值重复步骤S104、步骤S105，差值小于一定的阈值，则计算模型的优劣，直到满足停止条件，则输出最优的单应矩阵，然后进行图像拼接，得到最终的结果。

在本发明的优选实施例中，S101步骤中对两幅图像提取强特征点具体为：对两幅图像进行fast角点提取，fast特征点是对图像上某个像素周围一定半径的像素进行比较，若有连续的一部分像素灰度值比中心点的像素灰度大于或小于一定的阈值，则认为中心点为特征点。再对提取到的特征点进行harris角点响应值计算，计算公式为：

R＝det M-α(traceM)²；

其中，det M是矩阵M的行列式，traceM是矩阵M的迹，ω为窗函数，I_x(x,y)为x方向梯度，I_y(x,y)为y方向的梯度。然后分别对两幅图像进行网格化，对每一个网格内的fast角点根据harris角点响应值进行排序，筛选出网格内响应值排在前三名的作为强特征点。

在本发明的优选实施例中，S102步骤中计算引导矩阵具体为：通过对强特征点进行二进制描述，本发明采用orb和brief两种描述方法，BRIEF描述子采用二进制码串(每一位非1即0)作为描述子向量，同时形成描述子算法的过程简单。Brief以特征点p为中心，取一个S×S大小的Patch邻域；在这个邻域内随机取N对点，然后对这2×N点分别做高斯平滑。定义τ测试，比较N对像素点的灰度值的大小；

则二进制码串组成的N维向量为：

Orb描述子则是在brief基础上提出使用矩(moment)法来确定FAST特征点的方向。也就是说通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。矩定义如下：

而该窗口的质心就是：

那么整个窗口的旋转为：

θ＝atan2(m₀₁,m₁₀)θ∈(-π,π)；

本发明采用两种不同的二进制码串，匹配上采用汉明距离，选取匹配一致的部分作为候选匹配对来计算引导矩阵，保证了算法的鲁棒性，同时加快了匹配的速度。

在本发明的优选实施例中，，S103步骤中利用引导矩阵进行区域限定匹配具体为：将之前两幅图像提取的fast角点全部做orb二进制描述，然后根据特征点的坐标对第二幅图像进行网格划分，采用引导匹配，将第一幅图的特征点利用下式进行映射：

其中，是引导矩阵，(x,y,1)^T是第一幅图像特征点的齐次坐标，(x',y',1)^T是第一幅图像特征点经过引导矩阵G映射在第二幅图像上的齐次坐标位置，从而确定了第一幅图像特征点的网格，然后在网格内进行暴力匹配，这样避免了全局的暴力匹配，加快了匹配速度。

在本发明的优选实施例中，，S104步骤中随机求解单应矩阵具体为：随机选取4对匹配对，利用DLT算法计算单应矩阵，假设第一幅图像和第二幅图像对应匹配点为p和p’，其中p＝(x,y,1)^T，p’＝(x',y',1)^T，他们的对应关系为：

其中H是一个3*3的矩阵，自由度为8。具体形式为；

由p'＝Hp可得p'×Hp＝0，即；

对上式展开得；

当随机选取4对匹配点对时，带入上式得；

利用此式子使用最小二乘方法则可以计算出随机选取4对匹配点对的单应矩阵。

在本发明的优选实施例中，S105步骤中固定点映射得到位置信息具体为：选取固定的四个点分别为z＝[(0,0),(h,0),(h,w),(0,w)]，其中，h和w分别为图像的高和宽，利用S104得到的单应矩阵进行映射，得到z'＝[(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)]，存储到容器L中。

在本发明的优选实施例中，S106步骤中得到最优单应矩阵具体为：每得到一个位置关系向量时，都要与L中容器中位置关系进行位置冲突判断，使用下式：

d＝|x₁-x₁'|+|y₁-y₁'|+|x₂-x₂'|+|y₂-y₂'|+|x₃-x₃'|+|y₃-y₃'|+|x₄-x₄'|+|y₄-y₄'|；

若计算得到的d大于阈值，将位置坐标信息存储到容器L后，不做其他操作，直接再次重复S104和S105步骤。当d小于一个阈值，则认为这两次得到的位置关系冲突，则单应矩阵正确的可能性较大，则进行误差计算，若优于之前的单应矩阵，则进行模型的更新。迭代计算n’次后，输出最优单应矩阵。迭代次数n’的具体推导如下：两幅图像之间的特征点正确匹配的概率为w，即内点率，n次实验后，找到正确的单应矩阵正确的概率为：

p₀＝1-P[G_s＝0]＝1-(1-p_in)ⁿ；

至少两次找到正确的概率为：

p₀＝P[G_s＞2]＝1-(1-p_in)ⁿ'-n*p_in*(1-p_in)ⁿ'^-1；

对两个概率曲线进行差值拟合，得到差值函数为：

δ＝1.7*ω^-4；

则n’为：

改进后的ransac过滤了大部分不正确的单应矩阵，加速了ransac过程。在得到最优的单应矩阵后，对两幅图像进行拼接。

下面结合实验对本发明的应用效果做详细的描述。

为了说明本发明能够很好的提升拼接效率同时也能解决低纹理场景下的拼接。分别进行了两组图片进行了拼接实验，表1给出了常用特征点算法与本发明计算单应矩阵的方法在两组图片实验的时间对比。表2中是在得到单应关系后，都采用最佳缝合线对图像拼接进行结果优化。图2和图3是本发明实施例提供的两组计算特征点匹配对实验结果对比图。图4和图5是本发明实施例提供的两组拼接实验结果对比图。

表1与其他特征点提取算法时间比较

计算单应矩阵时间(ms)	场景1	场景2
			Orb	87ms	89ms
Sift	619ms	666ms
			Gms	61ms	68ms
Proposed	26ms	70ms

表2与其他特征点图像拼接时间比较

图像拼接时间(ms)	场景1	场景2
			Orb	363ms	333ms
Sift	857ms	842ms
			Gms	296ms	318ms
Proposed	266ms	312ms

从上述表1和表2的结果可知，本发明的时间复杂度相对传统方法和最新的Gms算法都有很大的提升，

图2和图3是本发明实施例提供的两组计算特征点匹配对实验结果对比图。可以看到本发明提出的算法，得到的匹配对数量较多，而且准确性有提高了很多。图4和图5是本发明实施例提供的两组拼接实验结果对比图，由于图片质量不好，存在orb和sift不能进行拼接的情况，最新算法gms都可以完成拼接，但是拼接质量与本发明拼接质量存在差异，从细节部分明显可以看到gms拼接结果存在错位情况，而本发明的实验室结果图，无明显错位痕迹。从实验结果可以看出对于质量较差的图片本发明也能够进行很好的拼接，速度和鲁棒性有了很大的提升。测试结果表明了本发明的可行性与实用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于特征点的图像拼接方法，其特征在于，所述基于特征点的图像拼接方法包括：

第一步，对两幅图像进行fast角点提取，计算harris角点响应，并对图像网格化，在每一个网格内根据角点响应排序，筛选强特征点；

第二步，对强特征点进行orb和brief二进制描述子描述，然后分别进行暴力匹配，筛选出完全一致的匹配对，利用ransac求出引导矩阵；

第三步，将之前提取的fast角点利用引导矩阵进行映射，将其需要匹配的位置信息进行限定；

第四步，得到图像的匹配对后，随机选取4对匹配对求解单应矩阵，

第五步，选取4个固定点，利用单应矩阵进行映射，得到的位置信息，记录其坐标值到一个容器L内；

第六步，将获得的位置信息与L中已存在的进行差值计算，差值大于一定阈值重复第四步和第五步，差值小于一定的阈值，则计算模型的优劣，直到满足停止条件，则输出最优的单应矩阵；然后进行图像拼接，得到最终的结果。

2.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第一步中对两幅图像提取强特征点具体为：对两幅图像进行fast角点提取，fast特征点是对图像上某个像素周围一定半径的像素进行比较，若有连续的一部分像素灰度值比中心点的像素灰度大于或小于一定的阈值，则认为中心点为特征点；再对提取到的特征点进行harris角点响应值计算，计算公式为：

R＝det M-α(traceM)²；

其中，det M是矩阵M的行列式，traceM是矩阵M的迹，ω为窗函数，I_x(x,y)为x方向梯度，I_y(x,y)为y方向的梯度；然后分别对两幅图像进行网格化，对每一个网格内的fast角点根据harris角点响应值进行排序，筛选出网格内响应值排在前三名的作为强特征点。

3.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第二步中计算引导矩阵具体为：通过对强特征点进行二进制描述，采用orb和brief两种描述方法，BRIEF描述子采用二进制码串作为描述子向量；Brief以特征点p为中心，取一个S×S大小的Patch邻域；在这个邻域内随机取N对点；对这2×N点分别做高斯平滑；定义τ测试，比较N对像素点的灰度值的大小；

则二进制码串组成的N维向量为：

Orb描述子则是在brief基础上提出使用矩法确定FAST特征点的方向；通过矩计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：

而该窗口的质心是：

那么整个窗口的旋转为：

θ＝a tan2(m₀₁,m₁₀)θ∈(-π,π)；

采用两种不同的二进制码串，匹配上采用汉明距离，选取匹配一致的部分作为计算引导矩阵的匹配对。

4.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第三步中利用引导矩阵进行区域限定匹配具体为：将之前两幅图像提取的fast角点全部做orb二进制描述，根据特征点的坐标对第二幅图像进行网格划分，然后采用引导匹配，将第一幅图的特征点利用下式进行映射：

其中，是引导矩阵，(x,y,1)^T是第一幅图像特征点的齐次坐标，(x',y',1)^T是第一幅图像特征点经过引导矩阵G映射在第二幅图像上的齐次坐标位置，确定了第一幅图像特征点的网格，在网格内进行暴力匹配。

5.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第四步中随机求解单应矩阵具体为：随机选取4对匹配对，利用DLT算法计算单应矩阵，第一幅图像和第二幅图像对应匹配点为p和p’，其中p＝(x,y,1)^T，p’＝(x',y',1)^T，他们的对应关系为：

其中H是一个3*3的矩阵，自由度为8，具体形式为；

由p'＝Hp可得p'×Hp＝0，即；

对上式展开得；

当随机选取4对匹配点对时，带入上式得；

利用此式子则计算出随机选取4对匹配点对的单应矩阵。

6.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第五步中固定点映射得到位置信息具体为：选取固定的四个点分别为z＝[(0,0),(h,0),(h,w),(0,w)]，其中，h和w分别为图像的高和宽，利用得到的单应矩阵进行映射，得到z'＝[(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)]，存储到容器L中。

7.如权利要求1所述的基于特征点的图像拼接方法，其特征在于，所述第六步中得到最优单应矩阵具体为：每得到一个位置关系向量时，与L中容器中位置关系进行位置冲突判断，使用下式：

d＝|x₁-x₁'|+|y₁-y₁'|+|x₂-x₂'|+|y₂-y₂'|+|x₃-x₃'|+|y₃-y₃'|+|x₄-x₄'|+|y₄-y₄'|；

若计算得到的d大于阈值，将位置坐标信息存储到容器L后，不做其他操作，直接再次重复第四步和第五步；当d小于一个阈值，则认为这两次得到的位置关系冲突，则单应矩阵正确的可能性较大，则进行误差计算，若优于之前的单应矩阵，则进行模型的更新；迭代计算n’次后，输出最优单应矩阵；迭代次数n’的具体推导如下：两幅图像之间的特征点正确匹配的概率为w，即内点率，n次实验后，找到正确的单应矩阵正确的概率为：

p₀＝1-P[G_s＝0]＝1-(1-p_in)ⁿ；

至少两次找到正确的概率为：

p₀＝P[G_s＞2]＝1-(1-p_in)ⁿ'-n*p_in*(1-p_in)ⁿ'^-1；

对两个概率曲线进行差值拟合，得到差值函数为：

δ＝1.7*ω^-4；

则n’为：

8.一种应用权利要求1～7任意一项所述基于特征点的图像拼接方法的虚拟现实系统。

9.一种应用权利要求1～7任意一项所述基于特征点的图像拼接方法的照相机。

10.一种应用权利要求1～7任意一项所述基于特征点的图像拼接方法的医学图像处理系统。