CN107038758B - 一种基于orb算子的增强现实三维注册方法 - Google Patents

Abstract

本发明提供一种基于ORB算子的增强现实三维注册方法，包括使用采集设备采集特定场景中的物体的图像，还包括以下步骤：提取所述物体的图像的特征点，将所述特征点进行描述，得出描述符并进行特征的匹配，计算所述采集设备的姿态与位置，减少误差，生成点云，信息传输，在设备上显示虚拟信息。该发明可以使用的设备包括移动手机，平板电脑。这些设备更加普及，携带方便；该发明无需在场景中放置人工标记，使用方便；使用ORB算法进行特征的提取与匹配，不仅计算量小，而且对不同的光照强度有着很好的鲁棒性；该系统对真实场景中物体识别更加快速准确。

Description

一种基于ORB算子的增强现实三维注册方法

技术领域

本发明涉及计算机系统的增强现实的技术领域，特别是一种基于ORB算子的增强现实三维注册方法。

背景技术

增强现实技术是研究真实世界和计算机生成数据相融合的一个新型领域,且最近正在变得正在越来越热门。而着家用移动设备的普及,人们对移动性能的需求递增,移动AR正在成为一个潜力十足的领域。移动设备越来越强大的处理器,加之新型设备固有的硬件传感,构建移动设备上的AR系统显得充满吸引力。

当前现存的大部分移动AR系统仍无法脱离显著标志的辅助,或不得不利用特殊的硬件传感来解决实时跟踪的问题。这给AR技术的发展带来了不小的阻力,并由此限制了移动AR的应用范畴。

公开号为CN101339654A的专利文件公开了一种基于标志点的增强现实三维注册方法和系统，所述方法包括以下步骤：生成不可见光标志点；将生成的不可见光标志点投影到现实环境的承载面上；采用具有不可见光滤光片的摄像机对投影在承载面上的不可见光标志点记性拍摄，获取所数不可见光标志点在屏幕中的二维坐标数据；根据所述的二维坐标数据对所述的不可见光标志点进行识别，获取不可见光标志点在现实环境的三维坐标与在屏幕中的二维坐标的映射；根据所述的映射计算出所述摄像机的姿态。该方法是一种基于标志点的方法，有以下缺点：1、需要在真实的场景中加入人工标志，在一些特定的场合中，比如博物馆中是不易添加这种人工标记的，并且很影响场景的一致性，而且人工标志物必须一直出现在摄像机的视野范围内，一旦出了范围便无法跟踪；2、使用投影技术将标记投射到场景中的，有可能存在光照强度对摄像机曝光，反光的影响，所以无法跟踪注册到场景中的标记。需要额外的头显设备，使用不方便。

发明内容

为了解决上述的技术问题，本发明提出一种基于ORB算子的增强现实三维注册方法，不需要人工标记，通过识别场景中的明显特征来作为标记，这些特征以及特征匹配通过orb算子来检测，相比较，保证场景的一致性；即使部分特征被遮挡或离开视野范围，也可以通过检测其他特征点来继续跟踪注册；ORB算子对光照具有很好的鲁棒性。可以通过移动来实现，普及，快捷。

本发明提供一种基于ORB算子的增强现实三维注册方法，包括使用采集设备采集特定场景中的物体的图像，还包括以下步骤：

步骤1：提取所述物体的图像的特征点；

步骤2：将所述特征点进行描述，得出描述符并进行特征的匹配；

步骤3：计算所述采集设备的姿态与位置；

步骤4：减少误差；

步骤5：生成点云；

步骤6：信息传输；

步骤7：在设备上显示虚拟信息。

优选的是，所述采集设备为照相机、摄像机、带摄像头的智能设备中至少一种。

在上述任一方案中优选的是，所述物体可以为文物和艺术品中至少一种。

在上述任一方案中优选的是，所述图像为特定分辨率的特定格式的图像。

在上述任一方案中优选的是，所述特定分辨率为2560x 1920、1280x 960、640x480、320x240和其他任意分辨率中至少一种。

在上述任一方案中优选的是，所述特定格式为：RGBA、BMP、JPG、TIF和其他图像格式中至少一种。

在上述任一方案中优选的是，步骤1为将所述图像转化为灰度图。

在上述任一方案中优选的是，所述灰度图为特定比特的灰度图。

在上述任一方案中优选的是，步骤1还为根据所述灰度图构建图像金字塔。

在上述任一方案中优选的是，步骤1还为将所述图像金字塔分为n个层次。

在上述任一方案中优选的是，每一个层次的长和宽都是前面一层图像的一半。

在上述任一方案中优选的是，在每一层上检测ORB将征点。

在上述任一方案中优选的是，所述步骤2为选取原始图像的经过降采样后的模糊小图作为基础图。

在上述任一方案中优选的是，所述模糊小图的尺寸分别为原始尺寸的m分之一。

在上述任一方案中优选的是，所述步骤2还为利用所述原始图像的灰度值来优化当前帧相对于上一帧的旋转，使用如下函数进行计算：

其中I_r表示上一帧(参考帧)的灰度图,I_c表示当前帧的灰度图,p_i表示图像上的第i个像素坐标,W表示对图像做透视变换,x是W的参数。具体来说我们计算一个从参考帧到当前帧的单应性矩阵,用H_rc表示,则

其中R_rc表示从参考帧到当前帧的相机旋转变化量,同时由于我们处理的事先标定过的相机,每一帖的内参都是确定的,即K_c＝K_r＝K,其中K是我们事先标定过的内参矩阵。

在上述任一方案中优选的是，通过最小化下面函数得到当前帧的相对于上一帧的旋转变化量R_rc，并估计出当前帧的初始姿态。

在上述任一方案中优选的是，使用所述初始姿态基于公式：

π(K,R,X)＝x

将Map里的三维特征点{X_i}投影到当前帧的图像上得到{x_i},作为特征点跟踪的初始位置。通过这个初始的恃征点位置,每个特征点的搜索都被限定在在x_i周围的一个窗口内。

在上述任一方案中优选的是，所述步骤3为跟踪新的观测点来更新相机的姿态并引入Tukey函数：

在上述任一方案中优选的是，所述步骤4为将所述图像分为x层金字塔。

在上述任一方案中优选的是，所述步骤4还为在最高的两层做特征跟踪并估计出一个初始的相机姿态。

在上述任一方案中优选的是，所述步骤4还为在第三、四层上做进一步的优化相机姿态。

在上述任一方案中优选的是，所述步骤5为计算出来的点的三维坐标以所述点云的形式保存起来。

在上述任一方案中优选的是，所述步骤6为通过网络上传到服务器端进行点云的匹配，并且将匹配正确的配置文件传回到设备中。

本发明具有如下优点：(1)该发明在不同的光照强度下都具有很好的鲁棒性，比如在反光，闪光灯下，可以很好的提取文物的特征；(2)使用服务器端来进行大量的数据计算，可以减少设备的计算压力；(3)由于点云的存储空间比图像要小，所有以点云的方式上传到服务器上，可以大大减少传输的压力。

附图说明

图1为按照本发明的基于ORB算子的增强现实三维注册方法的一优选实施例的流程图。

图2为按照本发明的基于ORB算子的增强现实三维注册方法的图像金字塔的一优选实施例的第一层次图。

图2a为按照本发明的基于ORB算子的增强现实三维注册方法的如图2所示的实施例的第二层次图。

图2b为按照本发明的基于ORB算子的增强现实三维注册方法的如图2所示的实施例的第三层次图。

图2c为按照本发明的基于ORB算子的增强现实三维注册方法的如图2所示的实施例的第四层次图。

图3为按照本发明的基于ORB算子的增强现实三维注册方法的如图2所示的实施例的第一层次的使用ORB算子的检测结果图。

图3a为按照本发明的基于ORB算子的增强现实三维注册方法的如图2a所示的实施例的第二层次的使用ORB算子的检测结果图。

图3b为按照本发明的基于ORB算子的增强现实三维注册方法的如图2b所示的实施例的第三层次的使用ORB算子的检测结果图。

图3c为按照本发明的基于ORB算子的增强现实三维注册方法的如图2c所示的实施例的第四层次的使用ORB算子的检测结果图。

图4为按照本发明的基于ORB算子的增强现实三维注册方法的一优选实施例的场景中的物体识别图

图4a为按照本发明的基于ORB算子的增强现实三维注册方法的如图2a所示的实施例的虚拟物体三维注册结果图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，使用摄像机获取文物的图像。执行步骤110，把从设备上获取的图像调整为640x480分辨率的RGBA格式的图像,首先将图像转为8比特(256级)的灰度图,然后构建图像金字塔,分为4个层次,每一层分别是前面一层图像的一半。我们在每一层上都检测ORB将征点。执行步骤120，将提取的特征点进行描述，得出描述符并进行特征的匹配。在每一帧的特征跟踪开始之前,我们需要对相机的运动做一个预估计,基于上一帧相机的姿态W及当前侦的图像信息,预估计当前帧的相机姿态。这里我们是选用原始图像的经过降采样后的一个模糊小图,尺寸是40x30,即长宽分别是原始图像的千六分之一。然后利用图像的灰度值来优化当前帧相对于上一帧的旋转。针对这种问题,我们定义如下函数:

其中I_r表示上一帧(参考帧)的灰度图,I_c表示当前帧的灰度图,p_i表示图像上的第i个像素坐标,W表示对图像做透视变换,x是W的参数。具体来说我们计算一个从参考帧到当前帧的单应性矩阵,用H_rc表示,则

其中R_rc表示从参考帧到当前帧的相机旋转变化量,同时由于我们处理的事先标定过的相机,每一帖的内参都是确定的,即K_c＝K_r＝K,其中K是我们事先标定过的内参矩阵。

最小化上面函数,即可得出当前帧的相对于上一顿的旋转变化量R_rc,然后即可估计出当前帧的初始姿态。执行步骤130，利用视觉图像几何来计算摄像机的姿态与位置。经过运动估计之后,我们有了当前帧相机的个初始的姿态。用这个估计的相机姿态,基于公式(3):π(K,R,X)＝x。将Map里的三维特征点{X_i}投影到当前帧的图像上得到{x_i},作为特征点跟踪的初始位置。通过这个初始的恃征点位置,每个特征点的搜索都被限定在在x_i周围的一个窗口内(通常设置为半径为10的窗口)。这种方法可以显著减小特征点搜索的计算量,及误匹配的几率。在进行了有效的特征点跟踪之后,我们有了多维特征点在当前侦上的新的观测点,接下来就是跟踪新的观测点来更新相机的姿态。引入Tukey函数。

引入Tukey函数可以有效的降低特征跟踪中离群值对最终结果的影响,Tukey对在离中也较近的点的权重较大,离中也较远的点的权重几乎为零。所以Tukey算子能够有效的避免离群值对参数估计的影响。同时因为Tukey算子以参数c为分界点,可以很好的标记出将有效值和离群值区分开。执行步骤140，利用视觉图像几何来计算摄像机的姿态与位置。我们将图像分成几层金字塔,第一步先在最高两层(80*60和160*120)做特征跟踪,估计出来一个初始的相机姿态。然后第二步再在下面两层(320*240和640*480)上面做更进一步去优化相机姿态经过这样由粗到精的过程,相机的跟踪可保持较好的鲁俸性和精确性。识别场景中物体，并将虚拟物体叠加到正确位置。执行步骤150，将计算出来的点的三维坐标以点云的形式保存起来。执行步骤160，信息传输。通过4G或者WiFi网络，将生成的点云数据上传到点云库中。点云库中事先存放好待识别的文物的点云，将上传的点云依次与库中的点云进行匹配，并将相关的配置文件传回。执行步骤170，在设备上显示虚拟信息。

实施例二

如图2、2a、2b、2c所示，将图像转化为8比特(256级)的灰度图,然后构建图像金字塔。金字塔是图像多尺度表示的主要形式，图像金字塔是以多分辨率来解释图像的一种有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。在本系统中，我们采用隔行抽样来提取金字塔模型。一共分为4个层次，第一层次的分辨率为640x480，第二层次的分辨率为320x240，第三层次的分辨率为160x120，第四层次的分辨率为80x60，每一层分别是前面一层图像的一半。如图3所示的图像为在图2中所示层次上检测ORB特征点(图中白边的圆点)，得到需要的特征；如图3a所示的图像为在图2a中所示层次上检测ORB特征点(图中白边的圆点),得到需要的特征；如图3b所示的图像为在图2b中所示层次上检测ORB特征点(图中白边的圆点)，得到需要的特征；如图3c所示的图像为在图2c中所示层次上检测ORB特征点(图中白边的圆点)，得到需要的特征。可以看到，随着分辨率的降低，图像变得越模糊，图像中可以检测到的ORB特征点越少。如此检测出来的特征点具有尺度不变性。

实施例三

如图4、4a所示，通过本文中所提出的算法对图4中的物体进行检测，可以检测到场景中能够用作标记的特征点(图中灰色的点)，这些特征点对光照，尺度，旋转都具有很好的鲁棒性。运用这些特征点生成如图4a所示的虚拟信息的图像。

实施例四

如图5、5a所示，使用该系统可以对一小块真实场景中的特征点信息进行保存，保存为点云文件并上传至服务器。该点云文件只包括位置信息，即空间三维坐标。每一个场景保存200到2000个特征点不等，并将虚拟物体与点云的相对位置信息保存在配置文件当中，当使用移动设备对一个真实场景进行识别的时候会从服务器中寻找以保存的点云信息，并加载相应的配置文件，以实现当前场景中的增强现实的效果。当场景中出现强光照的时候，依然可以很好的检测出场景中的自然特征点信息；当出现遮挡的时候，虚拟物体可以通过其他特征点来进行跟踪注册。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (17)

1.一种基于ORB算子的增强现实三维注册方法，包括使用采集设备采集特定场景中的物体的图像，其特征在于，还包括以下步骤：

步骤1：提取所述物体的图像的特征点；

步骤2：将所述特征点进行描述，得出描述符并进行特征的匹配；

步骤3：计算所述采集设备的姿态与位置，跟踪新的观测点来更新相机的姿态并引入Tukey函数：

其中，x是透视变换W的参数，c表示当前帧；

步骤4：减少误差，将所述图像分为x层金字塔，在最高的两层做特征跟踪并估计出一个初始的相机姿态，在第三、四层上做进一步的优化相机姿态；

步骤5：生成点云，计算出来的点的三维坐标以所述点云的形式保存起来；

步骤6：信息传输，通过网络上传到服务器端进行点云的匹配，并且将匹配正确的配置文件传回到设备中；

步骤7：在设备上显示虚拟信息。

2.如权利要求1所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述采集设备为照相机、摄像机、带摄像头的智能设备中至少一种。

3.如权利要求1所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述物体可以为文物和艺术品中至少一种。

4.如权利要求1所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述图像为特定分辨率的特定格式的图像。

5.如权利要求4所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述特定分辨率为2560x 1920、1280x 960、640x480、320x240和其他任意分辨率中至少一种。

6.如权利要求4所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述特定格式为：RGBA、BMP、JPG、TIF和其他图像格式中至少一种。

7.如权利要求1所述的基于ORB算子的增强现实三维注册方法，其特征在于：步骤1为将所述图像转化为灰度图。

8.如权利要求7所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述灰度图为特定比特的灰度图。

9.如权利要求7所述的基于ORB算子的增强现实三维注册方法，其特征在于：步骤1还为根据所述灰度图构建图像金字塔。

10.如权利要求8所述的基于ORB算子的增强现实三维注册方法，其特征在于：步骤1还为将所述图像金字塔分为n个层次。

11.如权利要求10所述的基于ORB算子的增强现实三维注册方法，其特征在于：每一个层次的长和宽都是前面一层图像的一半。

12.如权利要求10所述的基于ORB算子的增强现实三维注册方法，其特征在于：在每一层上检测ORB特征点。

13.如权利要求1所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述步骤2为选取原始图像的经过降采样后的模糊小图作为基础图。

14.如权利要求13所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述模糊小图的尺寸分别为原始尺寸的m分之一。

15.如权利要求13所述的基于ORB算子的增强现实三维注册方法，其特征在于：所述步骤2还为利用所述原始图像的灰度值来优化当前帧相对于上一帧的旋转，使用如下函数进行计算：

其中I_r表示上一帧的灰度图，I_c表示当前帧的灰度图，p_i表示图像上的第i个像素坐标，W表示对图像做透视变换，x是W的参数，计算一个从参考帧到当前帧的单应性矩阵，用Hrc表示，则

其中R_rc表示从参考帧到当前帧的相机旋转变化量，同时由于处理的事先标定过的相机，每一帖的内参都是确定的，即K_c＝K_r＝K，其中K是我们事先标定过的内参矩阵。

16.如权利要求15所述的基于ORB算子的增强现实三维注册方法，其特征在于：通过最小化下面函数得到当前帧的相对于上一帧的旋转变化量R_rc，并估计出当前帧的初始姿态。

17.如权利要求16所述的基于ORB算子的增强现实三维注册方法，其特征在于：使用所述初始姿态基于公式：

π(K，R，X)＝x

将Map里的三维特征点{X_i}投影到当前帧的图像上得到{x_i}，作为特征点跟踪的初始位置，通过这个初始的恃征点位置，每个特征点的搜索都被限定在在x_i周围的一个窗口内，其中，R为旋转变化量。

Images