CN106845435A

CN106845435A - 一种基于实物检测追踪算法的扩增实境技术实现方法

Info

Publication number: CN106845435A
Application number: CN201710073058.2A
Authority: CN
Inventors: 施茂燊
Original assignee: Qianhai Shenzhen Da Cheng Technology Co Ltd
Current assignee: Chengdu Mizhi Technology Co ltd
Priority date: 2017-02-10
Filing date: 2017-02-10
Publication date: 2017-06-13

Abstract

本发明公开了一种基于实物检测追踪算法的扩增实境技术实现方法，包括以下步骤：生成本地标志物文件；初始化扩增实境系统；获取真实场景的图像，提取和优化图像边缘；在图像边缘进行模板匹配，若匹配成功则在该区域生成决定窗；导入模板对应的位姿矩阵，并对该位姿矩阵进行微调修正；根据修正后的位姿矩阵渲染扩增实境特效；在决定窗中提取角点，根据角点数量选择合适的追踪算法，若角点数量大于阈值，系统进入特征点追踪算法，若角点数量小于阈值，系统进入边缘追踪算法；根据追踪算法更新扩增实境动画特效；其根据角点数量采取不同的追踪算法，从而实现不存在丰富的特征点或者没有特征点时对立体实物检测与跟踪。

Description

一种基于实物检测追踪算法的扩增实境技术实现方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于实物检测追踪算法的扩增实境技术实现方法。

背景技术

扩增实境技术全称为Augmented Reality，即AR，为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让用户透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。

扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给用户强烈鲜明的视觉效果。由于扩增实景技术的快速发展，用户已经不满足于利用摄像头追踪简单的二维码图像或者平面影像。取而代之对更加复杂的对立体实物的捕捉与追踪成为了工业应用、商业推广等商家们的需求。

经典的扩增实境技术是基于图像特征点开发的，即通过提取真实环境影像的特征点描述子与事先存在标志物文件中的描述子做比对，来实施对标志物的检测与追踪的。二维码图形或者平面图片中往往蕴涵着大量的特征点信息，对于细节丰富的实物模型来说，特征点的跟踪匹配还是较优的选择。但是，三维立体实物中有可能并不存在丰富的特征点，甚至存在没有特征点的极端情况，例如三维打印出的模型，这对实物的匹配造成了干扰，因此基于特征点的立体实物检测与跟踪存在局限性。

有鉴于此，扩增实镜中在实物特征点不足的情况下怎样进行检测与跟踪是亟待解决的技术问题。

发明内容

本发明为了解决上述技术问题提供一种基于实物检测追踪算法的扩增实境技术实现方法。

本发明通过下述技术方案实现：

一种基于实物检测追踪算法的扩增实境技术实现方法，包括以下步骤：

1)、生成本地标志物文件，包括模板档和与模板档对应的三维模型位姿矩阵文件；

2)、初始化扩增实境系统；

3)、获取真实场景的图像，提取和优化图像边缘；

4)、在图像边缘进行模板匹配，若匹配成功则在该区域生成决定窗；

5)、导入模板对应的位姿矩阵，并对该位姿矩阵进行微调修正；

6)、根据修正后的位姿矩阵渲染扩增实境特效；

7)、在决定窗中提取角点，根据角点数量选择合适的追踪算法，若角点数量大于阈值，系统进入特征点追踪算法，若角点数量小于阈值，系统进入边缘追踪算法；

8)、根据追踪算法更新扩增实境动画特效；

9)、若目标标志物在真实场景的图像中丢失，则回到步骤3)。

作为优选，所述特征点追踪算法包括以下步骤：

A1、利用决定窗中找到的角点，记录角点坐标并提取orb描述子；

A2、根据位姿矩阵算出实物表面特征点在实物世界坐标中的三维坐标值；

A3、摄像头获取下一帧影像，提取该帧影像的orb特征点并生成orb描述子，在上一帧的角点坐标附近区域搜索与该帧相匹配的特征点，譬如该点附近15*15像素的正方形区域，并根据新匹配到的特征点与实物世界坐标计算出这一帧新的位姿矩阵；

A4、根据新的位姿矩阵求出这一帧所有特征点在实物世界的坐标；

A5、按A3、A4步骤跟踪线程跟踪至少两帧时，根据前两帧的位姿矩阵预估一个预测矩阵，用预测矩阵将前一帧的特征点坐标投影到这一帧上，在上一帧角点的投影位置附近搜索匹配点，譬如在上一帧角点附近9*9像素的正方形区域进行搜索；

A6、更新位姿矩阵。

作为优选，所述边缘追踪算法的具体步骤为：

B1、利用前一帧的位姿矩阵渲染出实物结构并提取取样点；

B2、寻找当前帧边缘图中与取样点距离最近的边缘，建立误差公式；

B3、优化上一步的误差值更新取样点坐标；

B4、根据取样点坐标更新位姿矩阵。

进一步的，所述步骤B3的具体方法为：利用IRLS算法和RANSAC算法计算使该误差最小时取样点应该在的位置。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明根据角点数量采取不同的追踪算法，在角点数量较小的情况小，利用边缘追踪算法实现扩增实境技术，从而实现三维立体实物中不存在丰富的特征点或者没有特征点时对立体实物检测与跟踪。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

2)、初始化扩增实境系统；

3)、获取真实场景的图像，提取和优化图像边缘；

5)、导入模板对应的位姿矩阵，将模板收敛到全局的最优解，并对该位姿矩阵进行微调修正；

6)、根据修正后的位姿矩阵渲染扩增实境特效；

7)、在最优解的模板生成的在决定窗中提取角点，根据角点数量选择合适的追踪算法，若角点数量大于阈值，系统进入特征点追踪算法，若角点数量小于阈值，系统进入边缘追踪算法；

8)、根据追踪算法更新扩增实境动画特效；

9)、若目标标志物在真实场景的图像中丢失，则回到步骤3)。

实施例2

本实施例在实施例1的基础上对各步骤进行细化。

具体的，步骤2)中，扩增实境系统可以在带有摄像头的设备上实现，譬如手机、平板计算机、智能眼镜或头盔等。初始化扩增实境系统主要包括两方面：1.摄像头的校准及初始化，用于获取真实场景图像，初始化摄像头具体指将摄像头的焦距和形变等内部固有参数读取到内存中；2.扩增实境系统读取实现技术需要的预存好的本地数据，包括目标标志物文件，3D模型的信息。

通过摄像头等设备获取一个真实场景的图像，帧率30FPS，对该图像提取边缘并优化成边缘线段。

扩增实境系统读入模板，模板自放大或缩小数倍，之后开始在现实图像的边缘图窗口进行扫描检索，计算价值函数，当价值函数小于一定的阈值时，认定模板在该区域被匹配到。价值函数结果由距离转换的和决定。模板被匹配到之后，将模板用决定框的方式将匹配到的区域标记下来，在决定框中用模板对应的位姿矩阵将实物结构从obj文件渲染在屏幕上，渲染过程中用OpenGL的深度检测功能，只渲染出实物表面的结构而隐藏背面的结构。在被渲染出的线条上取样点，在这些样点周边寻找现实环境中真实存在的边缘点，计算它们之间的误差。之后使用模拟退火粒子滤波器，使匹配到的模板收敛到全局的最优解并不断微调和修正位姿矩阵。

根据上一步修正后的位姿矩阵，渲染出扩增实境特效。

在决定窗中提取角点，根据角点数量选择合适的追踪算法，若角点数量大于阈值，说明实物表面特征点丰富，系统进入特征点追踪算法，若角点数量小于阈值，说明实物表面特征点不足，系统进入边缘追踪算法；

根据追踪算法更新扩增实境动画特效；

若目标标志物在真实场景的图像中丢失，则回到步骤3)。

具体的，上述特征点追踪算法包括以下步骤：

A3、摄像头获取下一帧影像，提取该帧影像的orb特征点并生成orb描述子，在上一帧的角点坐标附近区域搜索与该帧相匹配的特征点，并根据新匹配到的特征点与实物世界坐标计算出这一帧新的位姿矩阵；

A5、按A3、A4步骤跟踪线程跟踪至少两帧时，根据前两帧的位姿矩阵预估一个预测矩阵，用预测矩阵将前一帧的特征点坐标投影到这一帧上，在上一帧角点的投影位置附近搜索匹配点；

A6、更新位姿矩阵。

上述边缘追踪算法的具体步骤为：

B1、利用前一帧的位姿矩阵渲染出实物结构并提取取样点；

B3、优化上一步的误差值更新取样点坐标；

B4、根据取样点坐标更新位姿矩阵。

所述步骤B3的具体方法为：利用IRLS算法和RANSAC算法计算使该误差最小时取样点应该在的位置。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于实物检测追踪算法的扩增实境技术实现方法，其特征在于，包括以下步骤：

2)、初始化扩增实境系统；

3)、获取真实场景的图像，提取和优化图像边缘；

6)、根据修正后的位姿矩阵渲染扩增实境特效；

8)、根据追踪算法更新扩增实境动画特效；

9)、若目标标志物在真实场景的图像中丢失，则回到步骤3)。

2.根据权利要求1所述的一种基于实物检测追踪算法的扩增实境技术实现方法，其特征在于，所述特征点追踪算法包括以下步骤：

A6、更新位姿矩阵。

3.根据权利要求1所述的一种基于实物检测追踪算法的扩增实境技术实现方法，其特征在于，所述边缘追踪算法的具体步骤为：

B1、利用前一帧的位姿矩阵渲染出实物结构并提取取样点；

B3、优化上一步的误差值更新取样点坐标；

B4、根据取样点坐标更新位姿矩阵。

4.根据权利要求3所述的一种基于实物检测追踪算法的扩增实境技术实现方法，其特征在于：所述步骤B3的具体方法为：利用IRLS算法和RANSAC算法计算使该误差最小时取样点应该在的位置。