CN106530407A - 一种用于虚拟现实的三维全景拼接方法、装置和系统 - Google Patents

Abstract

本发明公开了一种用于虚拟现实的三维全景拼接方法，包括以下步骤：s1，分别提取图像的sift特征点，进行特征点检测得到描述子，根据描述子进行特征点描述的到种子点；s2，根据种子点进行特征点匹配查找得到叶子节点；s3，根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；s4，根据模型进行图像拼接融合。本发明相应的提供一种用于虚拟现实的三维全景拼接的装置和系统。本发明利用采集的离散并有空间重合的图像序列或连续的视频帧作为基础数据，通过图像拼接技术生成一系列的图像序列，并对图像序列进行拼接、链接、重投影交互列，对其进行空间关联，生成360度的全景图像，进行3D建模和绘制，解决了现有技术存在的不足。

Description

一种用于虚拟现实的三维全景拼接方法、装置和系统

技术领域

本发明涉及计算机视觉领域，尤其涉及一种用于虚拟现实的三维全景拼接方法、装置和系统。

背景技术

虚拟现实技术是利用计算机技术构建一个逼真的虚拟三维场景，即以仿真的方式给人们创造一个反映实体对象变化及其相互作用的三维世界，使得人们能够通过使用专用设备，就能像在自然环境中一样对虚拟环境中的实体进行观察与控制。在虚拟场景的构建过程中，生成场景画面的质量和速度是衡量这个虚拟场景优劣的两项关键性指标。早期虚拟场景的构建通常采用基于计算机图形学原理，即所谓的基于模型绘制技术首先对场景进行三维几何建模，然后将图像映射到几何体上，当作某一部分场景的近似，这个过程称作纹理映射，它依赖于定义纹理空间坐标与三维几何模型中对应位置之间的映射函数，这种映射的确定既困难又费时，经常需要人工的干预，并且需要昂贵的专门硬件来加速绘制，同时具有很高的复杂度，对于当前的VR设备具有很大的挑战。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明提供的一种用于虚拟现实的三维全景拼接方法、装置和系统，利用采集的离散并有空间重合的图像序列或连续的视频帧作为基础数据，然后，通过图像拼接技术生成一系列的图像序列，并对图像序列进行拼接、链接、重投影交互列，对其进行空间关联，即可生成360度的全景图像，并进行3D建模和绘制，解决了现有技术的不足。

本发明的技术方案如下：

一种用于虚拟现实的三维全景拼接方法，其中，包括以下步骤：

s1，分别提取图像的sift特征点，进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；

s2，根据种子点进行特征点匹配查找得到叶子节点；

s3，根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；

s4，根据模型进行图像拼接融合。

所述用于虚拟现实的三维全景拼接方法，其中，所述s1步骤中进行所述特征点的检测包括：

对原始图像进行若干次连续滤波得到第一尺度组图像，再把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；

对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；

求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。

所述用于虚拟现实的三维全景拼接方法，其中，所述s1步骤中进行所述特征点的描述包括：

确定计算描述子所需的图像区域；

将坐标移至关键点主方向；

在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；

在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；

描述子向量元素门限化及门限化后的描述子的向量规范化。

所述用于虚拟现实的三维全景拼接方法，其中，所述s2步骤包括：

以所有特征点建立K-D树；

对于某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；

递归的向上回溯，在每个节点中进行以下操作：

若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；

若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯；

回退到根节点，搜索结束，得到最近邻点。

所述用于虚拟现实的三维全景拼接方法，其中，所述s3步骤包括：

初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，比计算两幅图像匹配点对之间的变换矩阵；

上述随机采样一致算法通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点，并用下述方法进行验证：

用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

用所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；

若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型；

通过估计局内点与模型的错误率来评估模型。

所述用于虚拟现实的三维全景拼接方法，其中，所述s4步骤将待拼接的图像分为多个部分经变换矩阵拼接融合到一个新图像中。

相应的，本发明实施例还提供一种用于虚拟现实的三维全景拼接装置，包括：

检测模块，用于提取图像的sift特征点，进行特征点检测得到描述子；

描述模块，与检测模块相连，用于根据描述子进行特征点描述得到种子点；

匹配查找模块，与描述模块相连，用于根据种子点对特征点进行匹配查找，得到叶子节点；

筛选模块，与匹配查找模块相连，用于根据叶子节点进行匹配点的筛选和变换矩阵的计算得到模型；

图像拼接模块，与筛选模块相连，用于根据模型进行图像的拼接融合。

此外的，本发明实施例还提供一种用于虚拟现实的三维全景拼接系统，包括本发明实施例所提供的任一用于虚拟现实的三维全景拼接装置。

有益效果：本发明中提供的一种用于虚拟现实的三维全景拼接方法，操作简单，应用成本低，可以快速生成高质量的场景画面，解决了现有虚拟场景构建采用基于计算机图形学原理存在的不足。

附图说明

图1为本发明一种用于虚拟现实的三维全景图像拼接方法的流程图。

图2为本发明实施例提供的采集到的两幅草原图像示意图。

图3为本发明实施例对图2两幅草原图像提取sift特征点后的示意图。

图4为本发明实施例提供的匹配点筛选中初步匹配的结果示意图。

图5为本发明实施例提供的匹配点筛选中精确匹配的结果示意图。

图6为本发明实施例对图2中两幅草原图像拼接的效果示意图。

图7为本发明一种用于虚拟现实的三维全景图像拼接装置的结构示意图。

图8为本发明一种用于虚拟现实的三维全景图像拼接装置的另一具体结构示意图。具体实施方式

本发明提供一种用于虚拟现实的三维全景拼接方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种用于虚拟现实的三维全景拼接方法，包括以下步骤：

s1，分别提取图像的sift特征点（Sift特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性），进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；

s2，采用BBF算法（是对K-D tree算法的改进，通过将查询路径上的节点进行排序，优先回溯优先级最高的节点来确保优先检索包含最近邻节点可能性更高的空间）进行特征匹配查找得到叶子节点；

s3根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；

s4，根据模型进行图像拼接融合。

为了便于说明全景图像的制作过程，采用普通相机拍摄的两张图像（图2）来阐述采用本发明中的全景拼接方法生成更大分辨率的的全景图像过程。

实际应用中，从视觉感官的角度看，关键点是指图像中不会因光照变化而消失的与周围点差异较大的突出点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点；数学上则是图像在不同尺度空间下检测出的具有方向信息的局部极值点。

参见图3，s1步骤中进行特征点的检测包括：

采用高斯滤波器对原始图像进行若干次连续滤波得到第一尺度组图像，再把原始图像宽高缩小一半，同样采用高斯滤波器进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；

对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；

求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。

实际应用中，描述的目的是在特征点计算后，用一组向量将一个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。

参见图3，s1步骤中进行特征点的描述，Sift算法中128维的描述子的生成步骤如下：

确定计算描述子所需的图像区域；

将坐标移至关键点主方向；

在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；

在窗口宽度为2*2的区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。然后再在下一个2*2的区域内进行直方图统计，形成下一个种子点，共生成16个种子点；

描述子向量元素门限化及门限化后的描述子的向量规范化。

进一步的，两幅图像的特征点找到后，需要找到两幅图像中特征点之间的匹配关系，如果采用图像1中的每个特征点与图像2中所有特征点进行暴力匹配，整个过程的匹配速度会非常慢，我们采用BBF算法进行特征匹配。

以图3中第一幅图的一个特征点，在图3第二幅图中所有的特征点中找到最佳匹配点为例。

s2步骤包括：

以图3第二幅图的所有特征点建立K-D树。

对于图3第一幅图中的某个目标特征点x，从图3第二幅图的K-D树的根节点出发，递归地向下搜索K-D树，若目标点x当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止；

以此叶子节点为“当前最近点”；

递归的向上回溯，在每个节点中进行以下操作：

若该节点保存的实例点比当前最近点距离目标点更近，则更新“当前最近点”，否则，保持“当前最近点”不变；

当前最近点一定存在于该节点一个子节点对应的区域，检查子节点的父节点的另一子节点对应的区域是否有更近的点。具体做法是，检查另一子结点对应的区域是否以目标点位球心，以目标点与“当前最近点”间的距离为半径的圆或超球体相交：如果相交，可能在另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点，接着，继续递归地进行最近邻搜索；如果不相交，向上回溯；

当回退到根节点时，搜索结束，最后的“当前最近点”即为x的最近邻点。

更进一步的，参见图4和图5，通过RANSAC算法（Random Sample Consensus，随机采样一致算法）删除一些误匹配点对从而得到比较精准的匹配，比计算两幅图像匹配点对之间的变换矩阵H。

RANSAC算法通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，被选取的子集被假设为局内点，并用下述方法进行验证，s3步骤包括：

初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，比计算两幅图像匹配点对之间的变换矩阵；

上述随机采样一致算法通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点，并用下述方法进行验证：

用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

用所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；

若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型，因为它仅仅被初始的假设局内点估计过；

通过估计局内点与模型的错误率来评估模型。

实际应用中，s4步骤将待拼接的图像分为多个部分经变换矩阵H拼接融合到一个新图像（如图6所示）中，具体方法为：

将融合拼接后的目标图像分为三部分，左部分，中间重合部分及右部分；

左部分我们直接取自图2第一幅图中的图像；

中间两幅图像重合部分取图2第一幅图和图2第二幅图重合部分的加权平均；

右部分完全取自图2第二幅图经过变换矩阵H变换后的图像；

最后将两幅优化后的图像进行拼接融合。

实际应用中，参见图7和图8，本发明还提供一种用于虚拟现实的三维全景拼接装置，包括：

检测模块101和描述模块201，用于提取图像的sift特征点，进行特征点的检测与描述；

匹配查找模块301，用于对特征点进行匹配查找；

筛选模块401，用于匹配点的筛选和变换矩阵的计算；

图像拼接模块501，用于图像的拼接融合。

其中检测模块还包括：

滤波模块102，用于对原始图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；

差分模块103，用于对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；

计算模块104，用于求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。

其中描述模块还包括：

区域确定模块202，用于确定计算描述子所需的图像区域；

坐标移动模块203，用于将坐标移至关键点主方向；

直方图生成模块204，具体用于在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；

种子点生成模块205，用于在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；

规范模块206，用于描述子向量元素门限化及门限化后的描述子的向量规范化。

进一步的，匹配查找模块还包括：

建立模块302，用于以所有特征点建立K-D树；

搜索模块303，用于对某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；

回溯模块304，用于递归的向上回溯，得到最近邻点；

若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；

若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯。

更进一步的，筛选模块还包括：

删除模块402，用于初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，计算两幅图像匹配点对之间的变换矩阵；

选取模块403，用于通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点；

实际应用中，选取模块还包括：

假设模块404，用于用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

测试模块405，用于所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；

评估模块406，若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型，通过估计局内点与模型的错误率来评估模型。

此外，本发明还提供一种用于虚拟现实的三维全景拼接系统，包括本实施例任一项虚拟现实的三维全景拼接装置。

本发明中提供的一种用于虚拟现实的三维全景拼接方法，操作简单，应用成本低，可以快速生成高质量的场景画面，解决了现有虚拟场景构建采用基于计算机图形学原理存在的不足。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (12)

1.一种用于虚拟现实的三维全景拼接方法，其特征在于，包括以下步骤：

s1、分别提取图像的sift特征点，进行特征点检测得到描述子，根据所述描述子进行特征点描述得到种子点；

s2、根据种子点进行特征点匹配查找得到叶子节点；

s3、根据叶子节点进行匹配点筛选与变换矩阵的计算得到模型；

s4、根据模型进行图像拼接融合。

2.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s1步骤中进行特征点的检测包括：

对原始图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；

对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；

求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。

3.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s1步骤中进行特征点的描述包括：

确定计算描述子所需的图像区域；

将坐标移至关键点主方向；

在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；

在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；

描述子向量元素门限化及门限化后的描述子的向量规范化。

4.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s2步骤包括：

以所有特征点建立K-D树；

对于某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；

递归的向上回溯，在每个节点中进行以下操作：

若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；

若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯；

回退到根节点，搜索结束，得到最近邻点。

5.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s3步骤包括：

初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，计算两幅图像匹配点对之间的变换矩阵；

上述随机采样一致算法通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点，并用下述方法进行验证：

用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

用所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；

若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型；

通过估计局内点与模型的错误率来评估模型。

6.根据权利要求1所述的用于虚拟现实的三维全景拼接方法，其特征在于，所述s4步骤将待拼接的图像分为多个部分经变换矩阵拼接融合到一个新图像中。

7.一种用于虚拟现实的三维全景拼接装置，其特征在于，包括：

检测模块，用于提取图像的sift特征点，进行特征点检测得到描述子；

描述模块，与检测模块相连，用于根据描述子进行特征点描述得到种子点；

匹配查找模块，与描述模块相连，用于根据种子点对特征点进行匹配查找，得到叶子节点；

筛选模块，与匹配查找模块相连，用于根据叶子节点进行匹配点的筛选和变换矩阵的计算得到模型；

图像拼接模块，与筛选模块相连，用于根据模型进行图像的拼接融合。

8.根据权利要求7所述的装置，其特征在于，所述检测模块还包括：

滤波模块，用于对原始图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；

差分模块，用于对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组图像；

计算模块，用于求解计算这些高斯差分尺度组图像的局部极值点，即为所求的特征点。

9.根据权利要求7所述的装置，其特征在于，所述描述模块还包括：

区域确定模块，用于确定计算描述子所需的图像区域；

坐标移动模块，用于将坐标移至关键点主方向；

直方图生成模块，具体用于在图像半径区域内对每个像素点求其梯度幅值和方向，对每个梯度幅值乘以高斯权重参数，生成方向直方图；

种子点生成模块，用于在区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，在下一个区域内进行直方图统计，形成下一个种子点，生成若干个种子点；

规范模块，用于描述子向量元素门限化及门限化后的描述子的向量规范化。

10.根据权利要求7所述的装置，其特征在于，所述匹配查找模块还包括：

建立模块，用于以所有特征点建立K-D树；

搜索模块，用于对某个目标特征点K-D树的根节点出发，递归的向下搜索K-D树，若目标点当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止，并以此叶子节点为当前最近点；

回溯模块，用于递归的向上回溯，得到最近邻点；

若该节点保存的实例点比当前最近点距离目标点近，则更新当前最近点，否则，保持当前最近点不变；

若存在距目标点更近的点，则移动到另一个子结点，继续递归的进行最近邻搜索，否则，向上回溯。

11.根据权利要求7所述的装置，其特征在于，所述筛选模块还包括：

删除模块，用于初步匹配后通过随机采样一致算法删除一些误匹配点对从而得到比较精准的匹配，计算两幅图像匹配点对之间的变换矩阵；

选取模块，用于通过反复选取数据中的一组随机子集来达成目标，被选取的子集被假设为局内点；

上述选取模块还包括：

假设模块，用于用一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；

测试模块，用于所述模型去测试所有的其它数据，若某个点适用于估计的模型，则认为它是局内点；

评估模块，若有足够多的点被归类为假设的局内点，则所述模型合理，再用所有假设的局内点去重新估计上述模型，通过估计局内点与模型的错误率来评估模型。

12.一种用于虚拟现实的三维全景拼接系统，其特征在于，包括权利要求7至11任一项所述的虚拟现实的三维全景拼接装置。